CN101136203A - 信号处理设备、方法、记录介质和程序 - Google Patents

Abstract

本发明提供一种信号处理设备、方法、记录介质和程序。该信号处理设备包括：解码单元、分析单元、合成单元以及选择单元。解码单元对输入的编码声频信号进行解码，并输出重放声频信号。在编码声频信号发生丢失时，分析单元对发生丢失之前输出的重放声频信号进行分析，产生线性预测残留信号。根据线性预测残留信号，合成单元合成合成声频信号。选择单元选择合成声频信号和重放声频信号之一，并输出所选择的声频信号作为连续输出声频信号。

Description

信号处理设备、方法、记录介质和程序

技术领域

本发明涉及一种用于处理信号的设备和方法、记录介质以及程序，特别是，本发明涉及一种即使在要接收的包丢失时，仍可以输出自然发声语音的信号处理设备和方法、记录介质以及程序。

背景技术

最近，IP(网际协议)技术受到关注。IP电话采用VoIP(通过IP的语音)技术。在该技术中，采用诸如因特网的IP网络作为电话网的一部分或者作为整个电话网。利用各种编码方法压缩语音数据，然后，将该语音数据变换为数据包。通过IP网络，实时传送该数据包。

通常，有两种语音数据编码方法：参量(parametric)编码和波形编码。在参量编码中，从原始语音数据中，检索频率特性和音调(pitch)周期(即，基本周期)作为参数。即使在某些数据在传输路径上被破坏或者丢失时，通过直接利用先前的参数，或者利用在对先前参数进行了某种处理后的先前参数，解码器仍可以轻而易举地降低丢失数据产生的影响。因此，广泛采用参量编码。然而，尽管参量编码保证高压缩比，但是参量编码的缺陷在于，被处理声音波形的再现性糟糕。

相反，在波形编码中，基本上根据波形图像编码语音数据。尽管压缩比没有这么高，但是波形编码可以提供高保真度处理的声音。此外，最近几年，某些波形编码方法可以提供较高的压缩比。此外，广泛采用高速通信网。因此，在通信领域，已经开始采用波形编码。

甚至在波形编码中，已经建议了在接收端执行的技术，如果数据在传输路径上被破坏或者丢失，这种技术可以降低丢失数据产生的影响(例如，请参考日本特开2003-218932)。

发明内容

然而，在日本特开2003-218932描述的技术中，输出类似蜂鸣声的不自然声音，而且难以输出对人耳自然的声音。

因此，本发明提供了一种即使在要接收的包被丢失时也可以输出自然声音的信号处理设备和方法、记录介质和程序。

根据本发明实施例，信号处理设备包括：解码装置，用于对输入的编码声频信号进行解码，并输出重放声频信号；分析装置，用于在编码声频信号发生丢失时，对发生丢失之前输出的重放声频信号进行分析，产生线性预测残留信号；合成装置，用于根据线性预测残留信号，合成合成声频信号；以及选择装置，用于选择合成声频信号和重放声频信号之一，并输出所选择的声频信号作为连续输出声频信号。

分析装置包括：线性预测残留信号生成装置，用于产生用作特征参数的线性预测残留信号；以及参数生成装置，用于从线性预测残留信号产生用作不同特征参数的第一特征参数，其中，根据第一特征参数，合成装置产生合成声频信号。

线性预测残留信号生成装置还产生第二特征参数，其中，根据第一特征参数和第二特征参数，合成装置产生合成声频信号。

线性预测残留信号生成装置计算用作第二特征参数的线性预测系数，其中，参数生成装置包括：滤波装置，用于对线性预测残留信号进行滤波；以及音调提取装置，用于产生音调周期和音调增益作为第一特征参数，其中，音调周期被确定为在滤波线性预测残留信号的自相关最大时滤波线性预测残留信号的延迟量，音调增益被确定为自相关。

合成装置包括：合成线性预测残留信号生成装置，用于从线性预测残留信号产生合成线性预测残留信号；以及合成信号生成装置，用于通过根据第二特征参数定义的滤波特性对合成线性预测残留信号进行滤波，来产生线性预测合成信号，以便作为合成声频信号输出。

合成线性预测残留信号生成装置包括：类噪声残留信号生成装置，用于从线性预测残留信号产生具有随机变化相位的类噪声残留信号；周期残留信号生成装置，用于通过根据音调周期重复线性预测残留信号来产生周期残留信号；以及合成残留信号生成装置，用于通过根据第一特征参数，以预定比例，求类噪声残留信号和周期残留信号之和来产生合成残留信号，并输出合成残留信号作为合成线性预测残留信号。

类噪声残留信号生成装置包括：傅立叶变换装置，用于对线性预测残留信号进行快速傅立叶变换，以产生傅立叶谱信号；平滑装置，用于平滑傅立叶谱信号；类噪声谱生成装置，用于通过将不同相位分量与平滑傅立叶谱信号相加，产生类噪声谱信号；以及快速傅立叶逆变换装置，用于对类噪声谱信号进行快速傅立叶逆变换，以产生类噪声残留信号。

合成残留信号生成装置包括：第一乘法装置，用于使类噪声残留信号与音调增益确定的第一系数相乘；第二乘法装置，用于使周期残留信号与音调增益确定的第二系数相乘；以及加法装置，用于求乘以第一系数的类噪声残留信号与乘以第二系数的周期残留信号之和，以获得合成残留信号，并输出获得的合成残留信号作为合成线性预测残留信号。

在音调增益小于基准值时，通过读出位于随机位置的线性预测残留信号，周期残留信号生成装置产生周期残留信号，而不根据音调周期重复线性预测残留信号。

合成装置还包括增益调节合成信号生成装置，用于通过将线性预测合成信号乘以根据差错状态值或编码声频信号的差错状态经历的时间而变化的系数，来产生增益调节合成信号。

合成装置还包括：合成重放声频信号生成装置，用于通过以预定比例求重放声频信号和增益调节合成信号之和，产生合成重放声频信号；以及输出装置，用于选择合成重放声频信号和增益调节合成信号之一，并输出所选择的信号作为合成声频信号。

信号处理设备还包括：分解装置，用于将通过分解收到的包而获得的编码声频信号送到解码装置。

合成装置包括控制装置，用于根据声频信号中是否存在差错，来控制解码装置、分析装置以及合成装置本身的操作。

在差错影响对另一声频信号的处理时，控制装置进行控制，使得即使在不存在差错时，也输出合成声频信号，而不输出重放声频信号。

根据本发明的另一实施例，用于处理信号的方法、计算机可读程序以及含有计算机可读程序的记录介质包括步骤：对输入的编码声频信号进行解码，并输出重放声频信号；在编码声频信号发生丢失时，对发生丢失之前输出的重放声频信号进行分析，产生线性预测残留信号；根据线性预测残留信号，合成合成声频信号；以及选择合成声频信号和重放声频信号之一，输出所选择的声频信号作为连续输出声频信号。

根据本发明实施例，对通过解码编码声频信号获得的重放声频信号进行分析，以产生线性预测残留信号。根据产生的线性预测残留信号，产生合成声频信号。此后，选择合成声频信号和重放声频信号之一，然后输出之，作为连续输出声频信号。

如上所述，根据本发明实施例，即使包被丢失，也可以减少重放声频信号的断续次数。特别是，根据本发明实施例，可以输出产生更自然发声语音的声频信号。

附图说明

图1是根据本发明示例性实施例的包语音通信设备的方框图；

图2是示出信号分析单元的示例性配置的方框图；

图3是示出信号合成单元的示例性配置的方框图；

图4是状态控制单元的状态转移图；

图5是示出传输处理的流程图；

图6是示出接收处理的流程图；

图7是示出信号分析处理的流程图；

图8A和8B是示出滤波处理的示意图；

图9示出旧重放声频信号的例子；

图10示出线性预测残留信号的例子；

图11示出自相关的例子；

图12是示出信号合成处理的流程图；

图13是图12所示流程图的继续；

图14示出傅立叶谱信号的例子；

图15示出类噪声残留信号的例子；

图16示出周期残留信号的例子；

图17示出合成残留信号的例子；

图18示出线性预测合成信号的例子；

图19示出输出声频信号的例子；

图20示出旧重放声频信号的例子；

图21示出线性预测残留信号的例子；

图22示出自相关的例子；

图23示出傅立叶谱信号的例子；

图24示出周期残留信号的例子；

图25示出类噪声残留信号的例子；

图26示出合成残留信号的例子；

图27示出线性预测合成信号的例子；

图28示出输出声频信号的例子；

图29示出重放编码数据与重放声频信号之间的关系；

图30是示出帧的差错状态的改变的示意图；以及

图31是个人计算机的示例性配置的方框图。

具体实施方式

下面，在说明本发明实施例之前，首先说明权利要求的特征与本发明实施例中公开的特定单元之间的对应关系。本说明书意在保证在说明书中描述支持所要求的发明的实施例。因此，即使没有与本发明的某个特征相关地描述如下实施例中的单元，也不一定意味着该单元与权利要求的特征无关。相反，即使在此与权利要求的某个特征相关地描述某个单元，也不一定意味着该单元与权利要求的其他特征相关。

此外，不应该认为本说明书限定在权利要求中描述了实施例公开的本发明的所有方面。即，本说明书不否定存在实施例中公开但在本申请中没有要求的本发明的方面，即，存在将来利用分案申请要求的本发明的方面，或者通过修改而附加要求的本发明的方面。

根据本发明实施例，信号处理设备(例如，图1所示的包语音通信设备1)包括：解码装置(例如，图1所示的信号解码单元35)，用于解码输入的编码声频信号，然后，输出重放声频信号；分析装置(例如，图1所示的信号分析单元37)，用于在丢失编码声频信号时，分析丢失之前的重放声频信号，然后，产生线性预测残留信号；合成装置(例如，图1所示的信号合成单元38)，用于根据线性预测残留信号，合成合成声频信号(例如，图1所示的合成声频信号)；以及选择装置(例如，图1所示的开关39)，用于选择合成声频信号和重放声频信号之一，然后，输出选择的声频信号，作为连续输出声频信号。

该分析装置可以包括：线性预测残留信号生成装置(例如，图2所示的线性预测分析单元61)，用于产生作为特征参数的线性预测残留信号；以及参数生成装置(例如，图2所示的滤波器62和音调提取单元63)，用于根据线性预测残留信号，产生用作不同特征参数的第一特征参数(例如，图2所示音调周期“音调”和音调增益pch_g)。根据第一特征参数，合成装置可以产生合成声频信号。

线性预测残留信号生成装置还可以产生第二特征参数(例如，图2所示的线性预测系数)，根据第一特征参数和第二特征参数，合成装置可以产生合成声频信号。

线性预测残留信号生成装置可以计算用作第二特征参数的线性预测系数。参数生成装置可以包括：滤波装置(例如，图2所示的滤波器62)，用于对线性预测残留信号进行滤波；以及音调提取装置(例如，图2所示的音调提取单元63)，用于产生音调周期和音调增益，作为第一特征参数。音调周期可以被确定为，在滤波过的线性预测残留信号的自相关最大时，滤波过的线性预测残留信号的延迟量，可以将音调增益确定为该自相关。

合成装置可以包括：合成线性预测残留信号生成装置(例如，图3所示模块121)，用于根据线性预测残留信号，产生合成线性预测残留信号(例如，图3所示的合成残留信号r_A[n])；以及合成信号生成装置(例如，图3所示的LPC合成单元110)，用于通过根据第二特征参数确定的滤波特性，对合成线性预测残留信号进行滤波，来产生作为合成声频信号(例如，图3所示的合成声频信号S_H”[n])输出的线性预测合成信号。

合成线性预测残留信号生成装置可以包括：类噪声残留信号生成装置(例如，图3所示模块122)，用于根据线性预测残留信号，产生相位随机变化的类噪声残留信号；周期残留信号生成装置(例如，图3所示的信号重复单元107)，用于通过根据音调周期重复线性预测残留信号，来产生周期残留信号；以及合成残留信号生成装置(例如，图3所示的模块123)，用于通过根据第一特征参数，以预定比例，求类噪声残留信号和周期残留信号之和，产生合成残留信号，然后，输出合成残留信号，作为合成线性预测残留信号。

类噪声残留信号生成装置可以包括：傅立叶变换装置(例如，图3所示FFT单元102)，用于对线性预测残留信号进行快速傅立叶变换，以产生傅立叶谱信号；平滑装置(例如，图3所示的谱平滑单元103)，用于使傅立叶谱信号平滑；类噪声谱生成装置(例如，图3所示的类噪声谱生成单元104)，用于通过将不同相位分量与平滑傅立叶谱信号相加，产生类噪声谱信号；以及快速傅立叶逆变换装置(例如，图3所示IFFT单元105)，用于对类噪声谱信号进行快速傅立叶逆变换，以产生类噪声残留信号。

合成残留信号生成装置可以包括：第一乘法装置(例如，图3所示的乘法器106)，用于使类噪声残留信号乘以音调增益确定的第一系数(例如，图3所示的系数β₂)；第二乘法装置(例如，图3所示的乘法器108)，用于使周期残留信号乘以音调增益确定的第二系数(例如，图3所示的系数β₁)；以及加法装置(例如，图3所示的加法器109)，用于求乘以第一系数的类噪声残留信号和乘以第二系数的周期残留信号之和以获得合成残留信号，然后，输出获得的合成残留信号，作为合成线性预测残留信号。

在音调增益小于基准值时，通过读出位于随机位置的线性预测残留信号，而不根据音调周期(例如，根据等式(6)和(7)的运算)重复线性预测残留信号，周期残留信号生成装置可以产生周期残留信号。

合成装置可以进一步包括增益调节合成信号生成装置(例如，图3所示的乘法器111)，用于通过将线性预测合成信号乘以根据差错状态值或者编码声频信号的差错状态经历的时间而变化的系数(例如，图3所示的系数β₃)，产生增益调节合成信号。

合成装置可以进一步包括：合成重放声频信号生成装置(例如，图3所示的加法器114)，用于通过以预定比例求重放声频信号与增益调节合成信号之和，产生合成重放声频信号；以及输出装置(例如，图3所示的开关115)，用于选择合成重放声频信号和增益调节合成信号之一，然后，输出所选择的信号，作为合成声频信号。

信号处理设备可以进一步包括：分解装置(例如，图1所示包分解单元34)，用于将通过分解收到的包获得的编码声频信号送到解码装置。

合成装置可以包括：控制装置(例如，图3所示的状态控制单元101)，用于根据声频信号中是否存在差错，控制解码装置、分析装置、以及合成装置本身的操作。

如果差错影响对另一个声频信号的处理，则控制装置可以进行控制，以便即使在不存在差错时，仍输出合成声频信号，而不输出重放声频信号(例如，差错状态是“-2”时执行的处理，如图30所示)。

根据本发明的另一个实施例，用于处理信号的方法(例如，在图6所示接收处理中采用的方法)、用于处理信号的计算机可读程序或者含有该计算机可读程序的记录介质包括步骤：解码输入的编码声频信号以及输出重放声频信号(例如，图6所示步骤S23)，在编码声频信号发生丢失时，对丢失之前输出的重放声频信号进行分析，然后，产生线性预测残留信号(例如，图6所示的步骤S25)，根据线性预测残留信号，合成合成声频信号(例如，图6所示的步骤S26)，然后，选择合成声频信号和重放声频信号之一，输出选择的声频信号，作为连续输出声频信号(例如，图6所示的步骤S28和S29)。

下面将参考附图说明本发明的示例性实施例。

根据本发明的示例性实施例，提供了一种系统，在该系统中，利用波形编码器，对诸如人的语音信号的声频信号编码，通过传输路径发送编码声频信号，利用位于接收端的波形解码器，解码该编码声频信号，以便重放。在该系统中，如果发送信息主要在传输路径中发生破坏或者丢失，而且位于接收端的波形解码器检测到该信息被破坏或者丢失，则利用通过从先前再现的信号中提取特征获得的信息，波形解码器产生替换信号。因此，降低信息被丢失产生的影响。

图1是根据本发明实施例的包语音通信设备1的方框图。根据本实施例，利用一帧的编码数据解码两个连续帧。

包语音通信设备1包括发送模块11和接收模块12。发送模块11包括：输入单元21、信号编码单元22、包生成单元23以及发送单元24。接收模块12包括：接收单元31、抖动缓冲器32、抖动控制单元33、包分解单元34、信号解码单元35、信号缓冲器36、信号分析单元37、信号合成单元38、开关39以及输出单元40。

发送模块11的输入单元21含有麦克风，它主要用于采集人的语音。输入单元21输出对应于输入到该输入单元21的人语音的声频信号。将该声频信号分离为呈预定时间间隔的帧。

例如，利用自适应变换声编码(ATRAC(注册商标))方法，信号编码单元22将该声频信号变换为编码数据。在ATRAC方法中，首先，将声频信号分离为4个频率范围。随后，利用修改的离散余弦变换(修改的DCT)，将该声频信号的时基数据变换为频基数据。因此，编码并压缩该声频信号。

包生成单元23对从信号编码单元22输入的一个或者多个编码数据项目中的某些或者全部编码数据项目进行并置(concatenate)。此后，包生成单元23对并置的数据项目附加头，以产生包数据。发送单元24对包生成单元23提供的包数据进行处理，以产生VoIP的发送数据，然后，通过诸如因特网的网络2，将该发送数据发送到位于另一端的包语音通信设备(未示出)。

在此使用的术语“网络”指至少两个设备的互连系统，其中一个设备可以将信息发送到不同设备。通过网络互相通信的设备可以互相独立，也可以是系统的内部设备。

此外，术语“通信”包括无线通信、有线通信以及在某些区域内执行无线通信，而在另一些区域内执行有线通信的的组合。此外，通过有线通信，第一设备可以与第二设备通信，而利用无线通信，第二设备可以与第三设备通信。

通过网络2，接收模块12的接收单元31接收位于另一端的包语音通信设备发送的数据。随后，接收单元31将该数据变换为重放包数据，然后，输出该重放包数据。如果因为某种原因或者因为接收数据中的某种差错，接收单元31没有检测到要接收的包，则接收单元31将第一差错标志Fe1设置为“1”。否则，接收单元31将差错标志设置为“0”。此后，接收单元31输出该标志。

抖动缓冲器32是用于临时存储接收单元31提供的重放包数据和第一差错标志Fe1的存储器。抖动控制单元33进行控制，以便即使在接收单元31不能以固定间隔接收包数据时，仍可以将该重放包数据和第一差错标志Fe1传送到连接在抖动控制单元33下游的包分解单元34。

包分解单元34从抖动缓冲器32接收重放包数据和第一差错标志Fe1。如果将第一差错标志Fe1设置为“0”，则包分解单元34将该重放包数据看作正常数据，然后，处理该重放包数据。然而，如果将第一差错标志Fe1设置为“1”，则包分解单元34废弃该重放包数据。此外，包分解单元34分解重放包数据，以产生重放编码数据。随后，包分解单元34将该重放编码数据输出到信号解码单元35。此时，如果重放编码数据正常，则包分解单元34将第二差错标志Fe2设置为“0”。然而，如果该重放编码数据存在某个差错，或者不存在该重放编码数据，即，如果该重放编码数据实际上被丢失，则包分解单元34将第二差错标志Fe2设置为“ 1”。随后，包分解单元34将第二差错标志Fe2输出到信号解码单元35和信号合成单元38。

如果包分解单元34提供的第二差错标志Fe2被设置为“0”，则利用对应于信号编码单元22采用的编码方法的解码方法，信号解码单元35对也是由包分解单元34提供的重放编码数据进行解码。因此，信号解码单元35输出重放声频信号。相反，如果第二差错标志Fe2被设置为“1”，则信号解码单元35不解码该重放编码数据。

信号缓冲器36临时存储信号解码单元35输出的重放声频信号。此后，在预定时间，信号缓冲器36将存储的重放声频信号输出到信号分析单元37，作为旧重放声频信号。

如果信号合成单元38提供的控制标志Fc被设置为“1”，则信号分析单元37分析信号缓冲器36提供的旧重放声频信号。随后，信号分析单元37将特征参数，例如，用作短期预测系数的线性预测系数a_i、用作短期预测残留信号的线性预测残留信号r[n]、音调周期“音调”以及音调增益pch_g，输出到信号合成单元38。

在第二差错标志Fe2的值从“0”变更为“1”时(对于下面描述的图30所示第二、第五以及第八帧)，信号合成单元38将控制标志Fc设置为“1”，然后，将该控制标志Fc输出到信号分析单元37。此后，信号合成单元38从信号分析单元37接收特征参数。此外，根据该特征参数，信号合成单元38产生合成声频信号，然后，输出该合成声频信号。此外，在第二差错标志Fe2的值连续两次从“ 1”变更为“0”时(例如，对于下面描述的图30所示第四和第十帧)，信号合成单元38以预定比例求信号解码单元35提供的重放声频信号和内部产生的增益调节合成信号S_A’[n]之和。此后，信号合成单元38输出该和，作为合成声频信号。

根据信号合成单元38提供的输出控制标志Fco，开关39选择信号解码单元35输出的重放声频信号和信号合成单元38输出的合成声频信号之一。此后，开关39将选择的声频信号输出到输出单元40，作为连续输出声频信号。包括例如扬声器的输出单元40输出对应于该输出声频信号的声音。

图2是信号分析单元37的方框图。信号分析单元37包括：线性预测分析单元61、滤波器62以及音调提取单元63。

在检测到从信号合成单元38接收的控制标志Fc被设置为“1”时，线性预测分析单元61对包括信号解码单元35提供的N个采样的旧重放声频信号s[n]应用第p阶线性预测滤波器A^-1(z)。因此，线性预测分析单元61产生利用线性预测滤波器A^-1(z)滤波的线性预测残留信号r[n]，然后，求得线性预测滤波器A^-1(z)的线性预测系数a_i。线性预测滤波器A^-1(z)被表示为如下：

$A^{-1}\left(z\right)=1-\underset{i=1}{\overset{P}{\mathrm{\Σ}}}{a}_i{z}^{-i}\·\·\·\left(1\right)$

例如，利用适当滤波特性，由低通滤波器构成的滤波器62对线性预测分析单元61产生的线性预测残留信号r[n]进行滤波，以计算被滤波的线性预测残留信号r_L[n]。为了从滤波器62产生的滤波线性预测残留信号r_L[n]中获得音调周期“音调”和音调增益pch_g，音调提取单元63执行下面的计算：

r_w[n]＝h[n]·r_L[n]...(2)

其中n＝0，1，2，...，N-1。

即，如等式(2)所示，音调提取单元63使滤波的线性预测残留信号r_L[n]乘以预定窗口函数h[n]，以产生窗口残留信号r_w[n]。

随后，利用下面的等式，音调提取单元63计算窗口残留信号r_w[n]的自相关ac[L]：

$\mathrm{ac}\left[L\right]=\frac{\underset{n=\max (0,2L-N)}{\overset{L-1}{\mathrm{\Σ}}}\mathrm{rw}[N-L+n]\·\mathrm{rw}[N-2\·L+n]}{\sqrt{\underset{n=\max (\mathrm{0,2}L-N)}{\overset{L-1}{\mathrm{\Σ}}}\mathrm{rw}{[N-L+n]}^2}\sqrt{\underset{n=\max (\mathrm{0,2}L-N)}{\overset{L-1}{\mathrm{\Σ}}}\mathrm{rw}{\[N-2\·L+n\]}^2}}\·\·\·\left(3\right)$

其中L＝L_min，L_min+1，...，L_max。

在此，L_min和L_max分别表示要搜索的音调周期的最小值和最大值。

在自相关ac[L]变成最大值时，音调周期“音调”被确定为采样值L。此时，将音调增益pch_g确定为自相关ac[L]的值。然而，根据需要，可以将用于确定音调周期和音调增益的算法变更为不同算法。

图3是信号合成单元38的方框图。信号合成单元38包括：状态控制单元101、快速傅立叶变换(FFT)单元102、谱平滑单元103、类噪声谱生成单元104、快速傅立叶逆变换(IFFT)单元105、乘法器106、信号重复单元107、乘法器108、加法器109、线性预测编码(LPC)合成单元110、乘法器111、112和113、加法器114以及开关115。

状态控制单元101由状态机构成。根据包分解单元34提供的第二差错标志Fe2，状态控制单元101产生输出控制标志Fco，以控制开关39。在输出控制标志Fco是“0”时，开关39被切换到接点A。然而，在输出控制标志Fco是“1”时，开关39被切换到接点B。此外，根据声频信号的差错状态，状态控制单元101控制FFT单元102、乘法器111以及开关115。

如果差错状态的值为“1”，则FFT单元102执行快速傅立叶变换。在乘法器111内乘以LPC合成单元110输出的线性预测合成信号S_A[n]的系数β₃根据差错状态的值和在该差错状态下经历的时间发生变化。在差错状态的值是“-1”时，开关115切换到接点B。否则(即，在差错状态的值是-2，0，1或者2时)，开关115切换到接点A。

FFT单元102对线性预测残留信号r[n]，即，线性预测分析单元61输出的特征参数，执行快速傅立叶变换，以获得傅立叶谱信号R[k]。随后，FFT单元102将获得的傅立叶谱信号R[k]输出到谱平滑单元103。谱平滑单元103使该傅立叶谱信号R[k]平滑，以获得平滑傅立叶谱信号R’[k]。随后，谱平滑单元103将获得的傅立叶谱信号R’[k]输出到类噪声谱生成单元104。类噪声谱生成单元104随机改变平滑傅立叶谱信号R’[k]的相位，以产生类噪声谱信号R”[k]。随后，类噪声谱生成单元104将类噪声谱信号R”[k]输出到IFFT单元105。

IFFT单元105对输入的类噪声谱信号R”[k]进行快速傅立叶逆变换，以产生类噪声残留信号r”[n]。随后，IFFT单元105将产生的类噪声残留信号r”[n]输出到乘法器106。乘法器106使该类噪声残留信号r”[n]乘以系数β₂，然后，将获得的值输出到加法器109。在此，系数β₂是音调增益pch_g，即，音调提取单元63提供的特征参数的函数。

根据音调周期，即，音调提取单元63提供的特征参数，信号重复单元107重复线性预测分析单元61提供的线性预测残留信号r[n]，以产生周期残留信号r_H[n]。随后，信号重复单元107将产生的周期残留信号r_H[n]输出到乘法器108。信号重复单元107进行重复处理使用的函数根据特征参数(即，音调增益pch_g)发生变化。乘法器108使该周期残留信号r_H[n]乘以系数β₁，然后，将获得的值输出到加法器109。与系数β₂相同，系数β₁也是音调增益pch_g的函数。加法器109求从乘法器106输入的类噪声残留信号r”[n]和从乘法器108输入的周期残留信号r_H[n]之和，以产生合成残留信号r_A[n]。此后，加法器109将产生的合成残留信号r_A[n]输出到LPC合成单元110。

模块121包括：FFT单元102、谱平滑单元103、类噪声谱生成单元104、IFFT单元105、乘法器106、信号重复单元107、乘法器108以及加法器109。根据线性预测残留信号r[n]，模块121计算合成残留信号r_A[n]，用作合成线性预测残留信号。在模块121上，根据线性预测残留信号r[n]，包括FFT单元102、谱平滑单元103、类噪声谱生成单元104以及IFFT单元105的模块122产生类噪声残留信号r”[n]。包括乘法器106和108以及加法器109的模块123以预定比例将信号重复单元107产生的周期残留信号r_H[n]与类噪声残留信号r”[n]组合在一起，以计算合成残留信号r_A[n]，用作合成线性预测残留信号。如果仅采用周期残留信号，则产生所谓“蜂鸣声”。然而，通过包括可以降低蜂鸣声的类噪声残留信号，上述合成线性预测残留信号可以提供质量接近人语音声音的自然声。

LPC合成单元110对加法器109提供的合成残留信号r_A[n]应用线性预测分析单元61提供的线性预测系数a_i确定的滤波函数，以产生线性预测合成信号S_A[n]。随后，LPC合成单元110将产生的线性预测合成信号S_A[n]输出到乘法器111。乘法器111使线性预测合成信号S_A[n]与系数β₃相乘，以产生增益调节合成信号S_A’[n]。然后，乘法器111将产生的增益调节合成信号S_A’[n]输出到开关115的接点A和乘法器112。在开关115切换到接点A时，将产生的增益调节合成信号S_A’[n]送到开关39的接点B，作为合成声频信号S_H”[n]。

乘法器112使增益调节合成信号S_A’[n]与预定值的系数β₅相乘，以将获得的值输出到加法器114。乘法器113使信号解码单元35提供的重放声频信号S_H[n]与预定值的系数β₄相乘，然后，将获得的值输出到加法器114。加法器114求从乘法器112输入的产生的增益调节合成信号S_A’[n]和从乘法器113输入的重放声频信号S_H[n]之和，以产生合成声频信号S_H’[n]。然后，加法器114将产生的合成声频信号S_H’[n]送到开关115的接点B。在开关115切换到接点B时，将合成声频信号S_H’[n]送到开关39的接点B，作为合成声频信号S_H”[n]。

图4示出状态控制单元101的结构。如图4所示，状态控制单元101包括状态机。在图4中，圆圈内的编号表示差错状态，差错状态控制信号合成单元38的每个部件。从圆圈伸出的箭头表示差错状态的转移。靠近该箭头的数字表示第二差错标志Fe2的值。

例如，在差错状态是“0”，而且第二差错标志Fe2是“0”时，差错状态不转移到另一个差错状态(例如，下面描述的图12所示步骤S95)。然而，如果第二差错标志Fe2是“1”，则差错状态转移到差错状态“1”(例如，下面描述的图12所示步骤S86)。

在差错状态是“1”，而且第二差错标志Fe2是“0”时，该差错状态转移到差错状态“-2”(例如，下面描述的图12所示步骤S92)。然而，如果第二差错标志Fe2是“1”，则该差错状态转移到差错状态“2”(例如，下面描述的图12所示步骤S89)。

在差错状态是“2”，而且第二差错标志Fe2是“0”时，该差错状态转移到差错状态“-2”(例如，下面描述的图12所示步骤S92)。然而，如果第二差错标志Fe2是“1”，则该差错状态不转移到另一个差错状态(例如，下面描述的图12所示步骤S89)。

在差错状态是“-1”，而且第二差错标志Fe2是“0”时，该差错状态转移到差错状态“0”(例如，下面描述的图1 2所示步骤S95)。然而，如果第二差错标志Fe2是“1”，则差错状态转移到差错状态“1”(例如，下面描述的图12所示步骤S86)。

在差错状态是“-2”，而且第二差错标志Fe2是“0”时，该差错状态转移到差错状态“-1”(例如，下面描述的图12所示步骤S94)。然而，如果第二差错标志Fe2是“1”，则该差错状态转移到差错状态“2”(例如，下面描述的图12所示步骤S89)。

接着，将说明包语音通信设备1的操作。

首先，参考图5说明发送处理。为了将语音发送到位于另一端的包语音通信设备，用户对输入单元21说话。输入单元21将对应于用户的语音的声频信号分离为数字信号的帧。随后，输入单元21将声频信号送到信号编码单元22。在步骤S1，利用ATRAC方法，信号编码单元22对从输入单元21输入的声频信号进行编码。然而，也可以采用ATRAC方法之外的方法。

在步骤S2，包生成单元23打包信号编码单元22输出的编码数据。即，包生成单元23将一个或者多个编码数据项目中的某些或者全部并置为包。此后，包生成单元23对该包附加头。在步骤S3，发送单元24对包生成单元23产生的包进行调制，以产生VoIP发送数据，然后，通过网络2，将该发送数据发送到位于另一端的包语音通信设备。

位于另一端的包语音通信设备接收发送的包。在包语音通信设备1通过网络2收到位于另一端的包语音通信设备发送的包时，包语音通信设备1执行图6所示的接收处理。

即，在根据本实施例的系统中，位于发送端的包语音通信设备1将该语音信号分离为一定时间间隔的信号，编码该信号，然后，通过传输路径，发送该信号。收到该信号后，位于接收端的包语音通信设备解码该信号。

在步骤S21，接收单元31接收通过网络2发送的包。根据收到的数据，接收单元31重构包数据，然后，输出重构的包数据。此时，如果接收单元31检测到异常情况，例如，不存在包数据，或者包数据中发生错误，则接收单元31将第一差错标志Fe1设置为“1”。然而，如果接收单元31没有检测到异常情况，则接收单元31将第一差错标志Fe1设置为“0”。此后，接收单元31输出第一差错标志Fe1。将输出的重构包数据和第一差错标志Fe1临时存储在抖动缓冲器32内。随后，以预定固定间隔，将输出的重构包数据和第一差错标志Fe1送到包分解单元34。因此，可以对通过网络2的可能延迟进行补偿。

在步骤S22，包分解单元34分拆该包。即，如果第一差错标志Fe1被设置为“0”(如果没有异常情况)，则包分解单元34分拆该包，然后，将包内的编码数据输出到信号解码单元35，作为重放编码数据。然而，如果第一差错标志Fe1被设置为“1”(如果存在异常情况)，则包分解单元34废弃该包数据。此外，如果重放编码数据正常，则包分解单元34将第二差错标志Fe2设置为“0”。然而，如果包分解单元34检测到异常情况，例如，在重放编码数据中存在错误或者编码数据被丢失，包分解单元34将第二差错标志Fe2设置为“1”。此后，包分解单元34将第二差错标志Fe2输出到信号解码单元35和信号合成单元38。此后，将所有异常情况简称为“数据丢失”。

在步骤S23，信号解码单元35解码包分解单元34提供的编码数据。更具体地说，如果第二差错标志Fe2被设置为“1”(如果存在异常情况)，则信号解码单元35不执行解码处理。然而，如果第二差错标志Fe2被设置为“0”(如果不存在异常情况)，则信号解码单元35执行解码处理，然后，输出获得的重放声频信号。将该重放声频信号送到开关39的接点A、信号缓冲器36以及信号合成单元38。在步骤S24，信号缓冲器36存储该重放声频信号。

在步骤S25，信号分析单元37执行信号分析处理。利用图7所示的流程图详细说明信号分析处理。

在图7所示的步骤S51，线性预测分析单元61确定控制标志Fc是否被设置为“1”。如果包分解单元34提供的控制标志Fc被设置为“1”(如果存在异常情况)，则在步骤S52，线性预测分析单元61从信号缓冲器36获取旧重放声频信号，以进行线性预测分析。即，通过对作为当前帧之前的帧中的最后帧的正常重放声频信号的旧重放声频信号s[n]应用等式(1)表示的线性预测滤波，线性预测分析单元61产生被滤波的线性预测残留信号r[n]，而且求得第p阶线性预测滤波器的线性预测系数a_i。将线性预测残留信号r[n]送到滤波器62、FFT单元102以及信号重复单元107。将该线性预测系数a_i送到LPC合成单元110。

例如，在对如图8A所示在不同频率范围内具有不同峰值的旧重放声频信号s[n]应用等式(1)表示的线性预测滤波时，可以产生峰值基本上对准相同水平的被滤波的线性预测残留信号r[n]。

此外，例如，如图9所示，在包括异常接收的编码数据的帧之前的各帧中的最后帧的正常重放声频信号具有48kHz的采样频率和帧内960个采样时，将该重放声频信号存储在信号缓冲器36内。图9所示的重放声频信号具有很强的周期性，例如，元音(vowel)中表现的周期性。对用作旧重放声频信号的该重放声频信号进行线性预测分析。因此，产生图10所示的线性预测残留信号r[n]。

如上所述，当在传输路径中检测到差错或者数据丢失时，包语音通信设备1可以对根据紧接在前的正常接收数据获得的解码信号进行分析，然后，通过产生线性预测残留信号r[n]，产生用作音调周期“音调”重复的分量的周期残留信号r_H[n]。此外，包语音通信设备1可以产生用作强类噪声分量的类噪声残留信号r”[n]。随后，包语音通信设备1求线性预测残留信号r[n]和类噪声残留信号r”[n]之和，以产生线性预测合成信号S_A[n]。因此，如果因为某种错误或者因为数据丢失而丢失信息，则在丢失数据周期内，包语音通信设备1可以输出产生的线性预测合成信号S_A[n]，来代替接收数据的真实解码信号。

在步骤S53，滤波器62利用预定滤波器对线性预测残留信号r[n]进行滤波，以产生滤波线性预测残留信号r_L[n]。例如，可以将可以从通常含有大量高频分量的残留信号中提取低频分量(例如，音调周期)的低通滤波器用作预定滤波器。在步骤S54，音调提取单元63计算音调周期和音调增益。即，根据等式(2)，音调提取单元63使滤波线性预测残留信号r_L[n]乘以窗口函数h[n]，以获得窗口残留信号r_w[n]。此外，根据等式(3)，音调提取单元63利用等式(3)计算窗口残留信号r_w[n]的自相关ac[L]。随后，音调提取单元63将自相关ac[n]的最大值确定为音调增益pch_g，而且在自相关ac[L]最大时，将采样数L确定为音调周期“音调”。将音调增益pch_g送到信号重复单元107和乘法器106和108。将音调周期“音调”送到信号重复单元107。

图11示出对图10所示线性预测残留信号r[n]计算的自相关ac[L]。在这种情况下，最大值约为0.9542。采样数是216。因此，音调增益pch_g是0.9542。音调周期“音调”是216。图10中的实线箭头表示216个采样的音调周期“音调”。

回头参考图6，在步骤S25以上述方式执行了信号分析处理后，在步骤S26，信号合成单元38执行信号合成处理。下面将参考图12详细说明信号合成处理。通过进行信号合成处理，根据特征参数，例如，线性预测残留信号r[n]、线性预测系数a_i、音调周期“ 音调”以及音调增益pch_g，产生合成声频信号S_H”[n]。

在步骤S27，开关39确定输出控制标志Fco是否是“1”。如果状态控制单元101输出的输出控制标志Fco是“0”(在正常情况下)，则在步骤S29，开关39切换到接点A。因此，通过开关39的接点A，将信号解码单元35解码的重放声频信号送到输出单元40，因此，输出相应声音。

相反，如果状态控制单元101输出的输出控制标志Fco是“1”(在异常情况下)，则在步骤S28，开关39切换到接点B。因此，通过开关39的接点B，将信号合成单元38合成的合成声频信号S_H”[n]送到输出单元40，代替重放声频信号，因此，输出相应声音。因此，即使在网络2上包被丢失时，也可以输出声音。即，可以降低因为包丢失产生的影响。

接着，将参考图12和13详细说明在图6所示步骤S26执行的信号合成处理。对每帧分别执行该信号合成处理。

在步骤S81，状态控制单元101将差错状态ES的初始值设置为“0”。仅对刚开始解码处理之后的首帧执行该处理，而不对第二帧之后的帧执行该处理。在步骤S82，状态控制单元101确定包分解单元34提供的第二差错标志Fe2是否是“0”。如果第二差错标志Fe2是“1”，而非“0”(即，如果出现错误)，则在步骤S83，状态控制单元101确定该差错状态是“0”还是“-1”。

要确定的该差错状态是紧接在先帧的差错状态，而非当前帧的差错状态。在步骤S86、S89、S92、S94或者S95，设置当前帧的差错状态。然而，在步骤S104确定的差错状态是在步骤S86、S89、S92、S94或者S95设置的当前帧的差错状态。

如果紧接在前的差错状态是“0”或者“-1”，则紧接在前帧被正常解码。因此，在步骤S84，状态控制单元101将控制标志Fc设置为“1”。将控制标志Fc传送到线性预测分析单元61。

在步骤S85，信号合成单元38从信号分析单元37获取特征参数。即，将线性预测残留信号r[n]送到FFT单元102和信号重复单元107。将音调增益pch_g送到信号重复单元107和乘法器106和108。将音调增益“音调”送到信号重复单元107。将线性预测系数a_i送到LPC合成单元110。

在步骤S86，状态控制单元101将差错状态ES更新为“1”。在步骤S87，FFT单元102对线性预测残留信号r[n]执行快速傅立叶变换处理。因此，FFT单元102从线性预测残留信号r[0，...，N-1]中检索最后k个采样，其中N是帧长度。随后，FFT单元102将k个采样乘以预定窗口函数。此后，FFT单元102执行快速傅立叶变换处理，以产生傅立叶谱信号R[0，...，K/2-1]。在进行快速傅立叶变换处理时，希望K的值是2的幂(power)。因此，例如，可以采用如图10的点划箭头所示位于范围C内的最后512(＝2⁹)个采样(从图10的右侧开始的512个采样)。图14示出这种快速傅立叶变换运算的结果例子。

在步骤S88，谱平滑单元103使傅立叶谱信号平滑，以计算平滑傅立叶谱信号R’[k]。该平滑操作如下使每M个采样的傅立叶谱振幅平滑。

$|R\′[k_0\·M+k_1]|=\frac{g\left[k_0\right]}{M}\underset{m=0}{\overset{M=1}{\mathrm{\Σ}}}\left|R[k_0\·M+m]\right|\·\·\·\left(4\right)$

$k0=\mathrm{0,1},\·\·\·,\frac{\frac{k}{2}}{M}-1$

$k1=\mathrm{0,1},\·\·\·,M-1$

在此，等式(4)中的g[k₀]表示每个频谱的权重系数。

在图14中，阶梯线表示每M个采样的平均值。

在步骤S83，如果差错状态既不是“0”，也不是“-1”(即，如果差错状态是“-2”、“1”和“2”之一)，则在先前帧或者在两个连续先前帧中产生差错。因此，在步骤S89，状态控制单元101将差错状态ES设置为“2”，而将控制标志Fc设置为“0”，这表示不进行信号分析。

如果在步骤S82，确定第二差错标志Fe2是“0”(即，如果没有差错)，则在步骤S90，状态控制单元101将控制标志Fc设置为“0”。在步骤S91，状态控制单元101确定差错状态ES是否小于或者等于0。如果差错状态ES不小于或者等于0(即，如果差错状态ES是“2”和“1”之一)，则在步骤S92，状态控制单元101将差错状态ES设置为“-2”。

然而，如果在步骤S91，确定差错状态ES小于或者等于0，则在步骤S93，状态控制单元101确定差错状态ES是否大于或者等于“-1”。如果差错状态ES小于“-1”(即，如果差错状态ES是“-2”)，则在步骤S94，状态控制单元101将该差错状态ES设置为“-1”。

然而，如果在步骤S93，确定该差错状态ES大于或者等于“-1”(即，如果该差错状态ES是“0”和“-1”之一)，则在步骤S95，状态控制单元101将差错状态ES设置为“0”。此外，在步骤S96，状态控制单元101将输出控制标志Fco设置为“0”。输出控制标志Fco为“0”表示开关39被切换到接点A，因此，选择重放声频信号(请参考图6所示的步骤S27和S29)。

完成了步骤S88、S89、S92和S94的处理后，在步骤S97，类噪声谱生成单元104随机化谱平滑单元103输出的平滑傅立叶谱信号R’[k]的相位，以产生类噪声谱信号R”[k]。在步骤S98，IFFT单元105执行快速傅立叶逆变换处理，以产生类噪声残留信号r”[0，...，N-1]。即，平滑线性预测残留信号的频谱。此后，将具有随机相位的频谱变换为时域，以产生类噪声残留信号r”[0，...，N-1]。

如上所述，在随机化该信号的相位，或者对该信号提供某个噪声时，可以输出自然发声语音。

图15示出利用将图14所示平均FFT振幅乘以适当权重系数g[k]，将随机相位与获得的值相加，然后，对获得的值进行快速傅立叶逆变换的运算获得的类噪声残留信号的例子。

在步骤S99，信号重复单元107产生周期残留信号。即，通过根据音调周期重复线性预测残留信号r[n]，产生周期残留信号r_H[0，...，N-1]。图10利用箭头A和B示出该重复操作。在这种情况下，如果音调增益pch_g大于或者等于预定基准值，即，如果可以检测到显著音调周期，则使用下面的等式：

$r_H\left[n\right]=r\[N-\[\frac{n+s\·N+L}{L}\]\·L+n+s\·N\]\·\·\·\left(5\right)$

$n=\mathrm{0,1},\·\·\·,N-1$

$s=\mathrm{0,1},\·\·\·$

其中s表示在差错状态最近变更为“1”后计数的帧数。

图16示出以上述方式产生的周期残留信号的例子。如图10中的箭头A所示，可以重复最后一个周期。然而，也可以不重复最后周期，而重复箭头B所示的周期。此后，通过以适当比例使这两个周期的信号混合，可以产生周期残留信号。图16示出后者情况下的周期残留信号的例子。

如果音调增益pch_g小于预定基准值，即，如果不能检测到显著音调周期，则通过利用下面的等式，读出位于随机位置的线性预测残留信号，可以产生周期残留信号：

$r_H\left[n\right]=r[N-q+n]\·\·\·\left(6\right)$

$n=\mathrm{0,1},\·\·\·,$

$\frac{N}{2}-1$

$r_H\left[n\right]=r[\frac{N}{2}-q^{\text{'}}+n]$

$n=\frac{N}{2},\frac{N}{2}+1,\·\·\·,N-1$

其中q和q’是在N/2至N的范围内随机选择的整数。

在该例中，两次根据线性预测残留信号获得一帧的信号。然而，也可以多次获得一帧的信号。

此外，利用适当信号内插方法，可以减少断续次数。

通过减少断续次数，可以输出更自然发声语音。

在步骤S100，乘法器108将周期残留信号r_H[0，...，N-1]与权重系数β₁相乘。乘法器106将类噪声残留信号r”[0，...，N-1]与权重系数β₂相乘。这两个系数β₁和β₂是音调增益pch_g的函数。例如，在音调增益pch_g接近数值“1”时，将周期残留信号r_H[0，...，N-1]乘以比类噪声残留信号r”[0，...，N-1]的权重系数β₂大的权重系数β₁。这样，在步骤S101，可以改变类噪声残留信号r”[0，...，N-1]与周期残留信号r_H[0，...，N-1]之间的混合比。

在步骤S101，通过利用下面的等式求类噪声残留信号r”[0，...，N-1]和周期残留信号r_H[0，...，N-1]之和，加法器109产生合成残留信号r_A[0，...，N-1]：

r_A[n]＝β₁·r_H[n]+β₂·r″[n]    ...    (8)

n＝0，...，N-1

即，利用系数β₁和β₂，以要求的比例，将通过根据音调周期“音调”重复线性预测残留信号r[n]产生的周期残留信号r_H[0，...，N-1]和通过平滑线性预测残留信号的频谱并将具有随机相位的频谱变换为时域产生的类噪声残留信号r”[0，...，N-1]相加。因此，产生合成残留信号r_A[0，...，N-1]。

图17示出通过求图15所示类噪声残留信号和图16所示周期残留信号之和产生的合成残留信号的例子。

在步骤S102，通过将加法器109在步骤S101产生的合成残留信号r_A[0，...，N-1]乘以下面表示的滤波器A(z)，LPC合成单元110产生线性预测合成信号S_A[n]：

$A\left(z\right)=\frac{1}{1-\underset{i=1}{\overset{P}{\mathrm{\Σ}}}{a}_i\·z^{-i}}\·\·\·\left(9\right)$

其中p表示LPC合成滤波器的阶。

即，利用线性预测合成处理，产生线性预测合成信号S_A[n]。

从等式(9)可以看出，利用线性预测分析单元61提供的线性预测系数a_i确定LPC合成滤波器的特性。

即，当在传输路径上检测到差错或者信息丢失时，对从紧接在前的正常接收数据中获取的解码信号进行分析，然后，求作为根据音调周期“音调”的重复分量的周期残留信号r_H[0，...，N-1]和作为具有强噪声特性的分量的类噪声残留信号r”[0，...，N-1]之和。因此，获得线性预测合成信号S_A[n]。如下所述，如果信息因为差错或者数据丢失而基本上被丢失，则在丢失周期内输出线性预测合成信号S_A[n]，来代替接收数据的真实解码信号。

在步骤S103，乘法器111将线性预测合成信号S_A[0，...，N-1]乘以根据差错状态值和该差错状态经历的时间发生变化的系数β₃，从而如下产生增益调节合成信号S_A’[0，...，N-1]：

S_A′[n]＝β₃·S_A[n]    ...(10)

n＝0，...，N-1

因此，例如，如果存在大量差错，则可能降低音量。将增益调节合成信号S_A’[0，...，N-1]输出到开关115的接点A和乘法器112。

图18示出以上述方式产生的线性预测合成信号S_A[n]的例子。

在步骤S104，状态控制单元101确定差错状态ES是否是“-1”。该被确定的差错状态是在步骤S86、S89、S92、S94或者S95设置的当前帧的差错状态，而非紧接在前帧的差错状态。然而，在步骤S82确定的差错状态是紧接在前帧的差错状态。

如果当前帧的差错状态ES是“-1”，则信号解码单元35正常产生了紧接在前帧的解码信号。因此，在步骤S105，乘法器113获取信号解码单元35提供的重放声频信号S_H[n]。随后，在步骤S106，加法器114如下求重放声频信号S_H[n]和增益调节合成信号S_A’[0，...，N-1]之和：

SH′[n]＝β₄·S_H[n]+β₅·S_A′[n]    ...    (11)

n＝0，...，N-1

更具体地说，乘法器112将增益调节合成信号S_A’[0，...，N-1]乘以系数β₅。乘法器113将重放声频信号S_H[n]乘以系数β₄。加法器114求两个获得的值之和，以产生合成声频信号S_H’[n]。将产生的合成声频信号S_H’[n]输出到开关115的接点B。这样，在第二差错标志Fe2是“0”(非信号丢失周期)的两个状态之前的信号丢失周期刚结束后(即，在第二差错标志Fe2是“1”(信号丢失周期)的状态下)，将增益调节合成信号S_A’[0，...，N-1]与重放声频信号S_H[n]以要求的比例组合在一起。因此，提供平滑信号切换。

在等式(11)中，系数β₄和β₅是信号的权重系数。系数β₄和β₅随n变化而变化。即，对于每个采样，系数β₄和β₅不同。

如果在步骤S104，差错状态ES不是“-1”(即，如果差错状态ES是“-2”、“0”、“1”和“2”之一)，则跳过在步骤S105和S106执行的处理。当在步骤S94，将差错状态ES设置为“-1”时，开关115被切换到接点B。当在步骤S92，S95、S86或者S89，将差错状态ES设置为“-2”、“0”、“1”和“2”之一时，将开关115切换到接点A。

因此，如果差错状态ES是“-1”(即，如果在紧接在前帧中没有发现差错)，则通过开关115的接点B输出在步骤S106产生的合成重放声频信号，作为合成声频信号。相反，如果差错状态ES是“-2”、“0”、“1”和“2”之一(即，如果在紧接在前帧中发现差错)，则通过开关115的接点A输出在步骤S103产生的增益调节合成信号，作为合成声频信号。

在完成在步骤S106执行的处理后，或者如果在步骤S104，确定该差错状态ES不是“-1”，则在步骤S107，状态控制单元101将输出控制标志Fco设置为“1”。即，设置输出控制标志Fco，以便开关39选择信号合成单元38输出的合成声频信号。

随后，根据输出控制标志Fco，切换开关39。在图9所示正常信号的N₁个采样数之后，输出通过将图18所示线性预测合成信号S_A[n]乘以用于减小振幅的系数β₃获得的增益调节合成信号S_A’[n]。这样，可以获得图19所示输出声频信号。因此，掩盖了信号丢失。此外，样本号N₁后面的合成信号的波形与先前正常信号的波形相似。即，该波形与自然发声语音的波形相似，因此，可以输出自然发声语音。

在执行步骤S97至S107的处理，而不执行步骤S84至S88的处理时，即，在执行了步骤S89、S92和S94的处理后，在执行从步骤S97至步骤S107的处理时，不获取新特征参数。在这种情况下，由于已经获取而且保存了最后无差错帧的特征参数，所以该特征参数用于该处理。

除了上面描述的具有强周期性的元音，本发明还可以应用于低周期性的辅音。图20示出刚好在接收正常编码数据失败之前具有低周期性的重放声频信号。如上所述，将该信号存储在信号缓冲器36内。

图20所示的该信号被定义为旧重放声频信号。随后，在图7所示的步骤S52，线性预测分析单元61对该信号进行线性预测处理。因此，产生线性预测残留信号r[n]，如图21所示。

在图21中，箭头A和B确定的每个周期分别表示从任意给定点开始的信号读出周期。箭头A的左端与在样本号960结束的该图的右端之间的距离相当于等式(6)中的“q”，而箭头B的左端与在样本号960结束的该图的右端之间的距离相当于等式(7)中的“q”’。

在步骤S53，利用滤波器62对图21所示的线性预测残留信号r[n]进行滤波。因此，产生滤波线性预测残留信号r_L[n]。图22示出音调提取单元63在步骤S54计算的滤波线性预测残留信号r_L[n]的自相关。通过将图22与图11进行比较可以看出，相关性非常低。因此，该信号不适合重复处理。然而，通过读出随机位置的线性预测残留信号，而且利用等式(6)和(7)，可以产生周期残留信号。

图23示出通过在图12所示的步骤S98利用FFT单元102对图21所示线性预测残留信号r[n]进行快速傅立叶变换获得的傅立叶谱信号R[k]的振幅。

在步骤S99，通过随机改变读出位置，信号重复单元107多次读出图21所示的线性预测残留信号r[n]，如箭头A和B示出的周期内所示。此后，并置读出的信号。因此，产生图24所示的周期残留信号r_H[n]。如上所述，通过随机改变读出位置，多次读出该信号，然后，并置读出的信号，以产生具有周期性的周期残留信号。因此，即使在低周期性的信号被丢失时，也可以输出自然发声语音。

图25示出通过平滑图23所示的傅立叶谱信号R[k](步骤S88)、进行随机相位处理(步骤S97)以及进行快速傅立叶逆变换(步骤S98)，产生的类噪声残留信号r”[n]。

图26示出通过以预定比例将图24所示的周期残留信号r_H[n]与图25所示的类噪声残留信号r”[n]组合在一起(步骤S101)获得的合成残留信号r_A[n]。

图27示出通过利用线性预测系数a_i确定的滤波特性对图26所示的合成残留信号r_A[n]进行LPC合成处理(步骤S102)获得的线性预测合成信号S_A[n]。

在将对图27所示线性预测合成信号S_A[n]进行增益调节获得的增益调节合成信号S_A’[n]与位于样本号N₂所示位置的图28所示正常重放声频信号S_H[n]并置(步骤S28和S29)时，可以获得图28所示的输出声频信号。

即使在这种情况下，也可以掩盖信号丢失。此外，样本号N₂之后的合成信号的波形与先前正常信号的波形相似。即，该波形与自然发声语音的波形相似，因此，可以输出自然发声语音。

利用上述五差错状态进行控制的原因是因为要求执行5种不同的处理。

信号解码单元35执行图29所示的解码处理。在图29中，上部示出时序重放编码数据。方框中的数字表示帧编号。例如，方框中的“n“表示第n块上的编码数据。同样，下部示出时序重放声频数据。方框中的编号表示帧编号。

箭头示出产生每个重放声频信号所需的重放编码数据。例如，为了产生第n帧的重放声频信号，需要第n帧和第(n+1)帧的重放编码数据。因此，例如，如果不能获取第(n+2)帧的正常重放编码数据，则不能产生使用第(n+2)帧的重放编码数据的两个连续帧，即，第(n+1)帧和第(n+2)帧的重放声频信号。

根据本发明的本示例性实施例，通过执行上述处理，可以掩盖丢失的两个或者两个以上连续帧的重放声频信号。

状态控制单元101控制自身和信号分析单元37，以使信号解码单元35执行图29所示的解码处理。为了进行该控制，关于信号解码单元35、信号分析单元37以及状态控制单元101本身的操作，状态控制单元101 具有5种差错状态“0”、“1”、“2”、“-1”和“-2”。

在差错状态“0”，信号解码单元35工作，而信号分析单元37和信号合成单元38不工作。在差错状态“1”，信号解码单元35不工作，而信号分析单元37和信号合成单元38工作。在差错状态“2”，信号解码单元35和信号分析单元37不工作，而信号合成单元38工作。在差错状态“-1”，信号解码单元35和信号合成单元38工作，而信号分析单元37不工作。在差错状态“-2”，信号解码单元35工作，但是不输出解码信号，信号分析单元37不工作，而信号合成单元38工作。

例如，假定如图30所示，在该帧中顺序出现差错。此时，状态控制单元101设置差错状态，如图30所示。在图30中，圆圈表示该单元工作。叉号表示该单元不工作。三角表示信号解码单元35执行解码操作，但是不输出重放声频信号。

如图29所示，信号解码单元35对两帧的重放编码数据进行解码，以产生一帧的重放声频信号。这种基于两帧的处理防止信号解码单元35过载。因此，将通过解码先前帧获取的数据存储在内部存储器内。在解码后续帧的重放编码数据并获取解码数据时，信号解码单元35使该解码数据与存储数据并置。因此，产生一帧的重放声频信号。对于利用三角标记表示的帧，仅执行头半部分操作。然而，不将获得的数据存储在信号缓冲器36内。

首先，状态控制单元101将表示状态控制单元101的状态的差错状态设置为初始值“0”。

关于第0帧和第一帧，第二差错标志Fe2是“0”(即，没有发现差错)。因此，信号分析单元37和信号合成单元38不工作。仅信号解码单元35工作。差错状态保持“0”不变(步骤S95)。此时，将输出控制标志Fco设置为“0”(步骤S96)。因此，开关39切换到接点A。因此，输出信号解码单元35输出的重放声频信号，作为输出声频信号。

关于第二帧，第二差错标志Fe2是“1”(即，发现差错)。因此，差错状态转移到差错状态“1”(步骤S86)。信号解码单元35不工作。信号分析单元37分析紧接在前的重放声频信号。由于紧接在前差错状态是“0”，所以在步骤S83确定是“是”。因此，在步骤S84，将控制标志Fc设置为“1”。因此，信号合成单元38输出合成声频信号(步骤S102)。此时，将输出控制标志Fco设置为“1”(步骤S107)。因此，开关39被切换到接点B。因此，输出信号合成单元38输出的重放声频信号(即，因为差错状态不是“-1”，通过开关115的接点A输出的增益调节合成信号)，作为输出声频信号。

关于第三帧，第二差错标志Fe2是“0”。因此，差错状态转移到差错状态“-2”(步骤S 92)。信号解码单元35工作，但是不输出重放声频信号。信号合成单元38输出合成声频信号。信号分析单元37不工作。此时，输出控制标志Fco被设置为“1”(步骤S107)。因此，开关39切换到接点B。因此，输出信号合成单元38输出的合成声频信号(即，因为差错状态不是“-1”，通过开关115的接点A输出的增益调节合成信号)，作为输出声频信号。

在差错状态是“-2”时，在当前帧中没有发现差错。因此，执行解码处理。然而，不输出解码信号。相反，输出合成信号。由于在相邻帧内发现差错，所以执行该运算，以防止该差错的影响。

关于第四帧，第二差错标志Fe2是“0”。因此，差错状态转移到差错状态“-1”(步骤S94)。信号解码单元35输出重放声频信号，该重放声频信号与信号合成单元38输出的合成声频信号混合。信号分析单元37不工作。此时，输出控制标志Fco被设置为“1”(步骤S107)。因此，开关39切换到接点B。因此，输出信号合成单元38输出的合成声频信号(即，因为差错状态是“-1”，通过开关115的接点B输出的合成重放声频信号)，作为输出声频信号。

关于第五帧，第二差错标志Fe2是“1”。因此，差错状态转移到差错状态“1”(步骤S86)。信号解码单元35不工作。信号分析单元37分析紧接在前的重放声频信号。即，由于紧接在前差错状态是“-1”，所以在步骤S83确定为“是”。因此，在步骤S84，将控制标志Fc设置为“1”。因此，信号分析单元37进行分析处理。信号合成单元38输出合成声频信号(步骤S102)。此时，输出控制标志Fco被设置为“1”(步骤S107)。因此，开关39切换到接点B。因此，输出信号合成单元38输出的合成声频信号(即，因为差错状态不是“-1”，通过开关115的接点A输出的增益调节合成信号)，作为输出声频信号。

关于第六帧，第二差错标志Fe2是“1”。因此，差错状态转移到差错状态“2”(步骤S89)。信号解码单元35和信号分析单元37不工作。信号合成单元38输出合成声频信号。此时，输出控制标志Fco被设置为“1”(步骤S107)。因此，开关39切换到接点B。因此，输出信号合成单元38输出的合成声频信号(即，因为差错状态不是“-1”，通过开关115的接点A输出的增益调节合成信号)，作为输出声频信号。

关于第七帧，第二差错标志Fe2是“0”。因此，差错状态转移到差错状态“-2”(步骤S92)。信号解码单元35工作，但是不输出重放声频信号。信号合成单元38输出合成声频信号。信号分析单元37不工作。此时，输出控制标志Fco被设置为“1”(步骤S107)。因此，开关39切换到接点B。因此，输出信号合成单元38输出的合成声频信号(即，因为差错状态不是“-1”，通过开关115的接点A输出的增益调节合成信号)，作为输出声频信号。

关于第八帧，第二差错标志Fe2是“1”。因此，差错状态转移到差错状态“2”(步骤S89)。信号解码单元35和信号分析单元37不工作。信号合成单元38输出合成声频信号。此时，输出控制标志Fco被设置为“1”(步骤S107)。因此，开关39切换到接点B。因此，输出信号合成单元38输出的合成声频信号(即，因为差错状态不是“-1”，通过开关115的接点A输出的增益调节合成信号)，作为输出声频信号。

关于第九帧，第二差错标志Fe2是“0”。因此，差错状态转移到差错状态“-2”(步骤S92)。信号解码单元35工作，但是不输出重放声频信号。信号合成单元38输出合成声频信号。信号分析单元37不工作。此时，输出控制标志Fco被设置为“1”(步骤S107)。因此，开关39切换到接点B。因此，输出信号合成单元38输出的合成声频信号(即，因为差错状态不是“-1”，通过开关115的接点A输出的增益调节合成信号)，作为输出声频信号。

关于第十帧，第二差错标志Fe2是“0”。因此，差错状态转移到差错状态“-1”(步骤S94)。信号解码单元35输出重放声频信号，该重放声频信号与信号合成单元38输出的合成声频信号混合。信号分析单元37不工作。此时，输出控制标志Fco被设置为“1”(步骤S107)。因此，开关39切换到接点B。因此，输出信号合成单元38输出的合成声频信号(即，因为差错状态是“-1”，通过开关115的接点B输出的合成重放声频信号)，作为输出声频信号。

关于第十一帧，第二差错标志Fe2是“0”。因此，差错状态转移到差错状态“0”(步骤S86)。信号分析单元37和信号合成单元38不工作。仅信号解码单元35工作。此时，输出控制标志Fco被设置为“0”(步骤S96)。因此，开关39切换到接点A。因此，输出信号解码单元35输出的重放声频信号，作为输出声频信号。

总之：

(a)在第二差错标志Fe2是“0”时(在差错状态小于或者等于“  0”时)，信号解码单元3 5工作。然而，在差错状态是“-2”时，信号解码单元35不输出重放声频信号。

(b)仅在差错状态是“1”时，信号分析单元37工作。

(c)在差错状态不是“0”时，信号合成单元38工作。在差错状态是“-1”时，信号合成单元38使重放声频信号与合成声频信号混合，然后，输出混合信号。

如上所述，通过掩盖丢失重放声频信号，可以减小使用户感觉刺激的不愉快声音。

此外，可以改变状态控制单元101的配置，以致对一个帧的处理不对对另一个帧的处理产生任何影响。

尽管参考包语音通信系统描述了示例性实施例，但是该示例性实施例可以应用于蜂窝电话以及各种类型的信号处理设备。特别是，在利用软件实现上述功能时，通过将软件安装在个人计算机内，该示例性实施例可以应用于个人计算机。

图31是利用程序执行上述一系列处理的个人计算机311的硬件配置。根据存储在只读存储器(ROM)322或者存储单元328内的程序，中央处理单元(CPU)321执行上述处理和附加处理。随机存取存储器(RAM)323存储CPU321执行的程序或者所需的数据。CPU321、ROM322以及RAM323通过总线324互相连接在一起。

此外，输入/输出接口325通过总线324连接到CPU321。包括键盘、鼠标以及麦克风的输入单元326以及包括显示器和扬声器的输出单元327连接到输入/输出接口325。响应通过输入单元326输入的用户指令，CPU321执行各种处理。随后，CPU321将处理结果输出到输出单元327。

存储单元328连接到输入/输出接口325。例如，存储单元328包括硬盘。存储单元328存储CPU321执行的程序和各种数据。通信单元329通过诸如因特网和局域网的网络与外部设备通信。可以通过通信单元329获取程序，而且可以将获取的程序存储在存储单元328内。

驱动器330连接到输入/输出接口325。在诸如磁盘、光盘、磁光盘或者半导体存储器的可拆卸介质331安装在驱动器330上时，驱动器330驱动可拆卸介质331，以获取记录在可拆卸介质331上的程序或者数据。在需要时，将获取的程序和数据传送到存储单元328。存储单元328存储传送的程序和数据。

如果利用软件执行上述一系列处理，则将用作软件的程序存储在程序记录介质上。随后，将该程序从程序记录介质安装到嵌入专用硬件的计算机或者在安装有各种程序时可以执行各种处理的计算机，例如，通用个人计算机内。

程序记录介质存储安装在计算机内的程序，以便利用计算机执行它。如图31所示，程序记录介质的例子包括：磁盘(包括软盘)，诸如CD-ROM(压缩光盘只读存储器)、DVD(数字通用光盘)以及磁光盘的光盘，由半导体存储器构成用作封装介质的可拆卸介质331，用于临时或者永久存储程序的ROM322，以及用作存储单元328的硬盘。利用有线通信介质或者无线通信介质，例如，局域网、因特网或者卫星数字广播，通过通信单元329(例如，路由器或者调制解调器)，将程序存储在程序记录介质内。

在本说明书中，描述存储在记录介质内的程序的步骤不仅包括以上述顺序执行的处理，而且包括并行或单独执行的处理。

此外，本说明书中用的术语“系统”指多个设备的逻辑组合。本领域技术人员明白，只要落入所附权利要求书及其等同的范围内，可以根据设计要求和其他因素，设想各种修改、组合、子组合以及替换。

本发明包含2006年8月31日在日本专利局提交的日本专利申请JP2006-236222的主题，在此引用该专利申请的全部内容供参考。

Claims (18)

1.一种信号处理设备，包括：

解码装置，用于对输入的编码声频信号进行解码，并输出重放声频信号；

分析装置，用于在编码声频信号发生丢失时，对发生丢失之前输出的重放声频信号进行分析，产生线性预测残留信号；

合成装置，用于根据线性预测残留信号，合成合成声频信号；以及

选择装置，用于选择合成声频信号和重放声频信号之一，并输出所选择的声频信号作为连续输出声频信号。

2.根据权利要求1所述的信号处理设备，其特征在于，分析装置包括：线性预测残留信号生成装置，用于产生用作特征参数的线性预测残留信号；以及参数生成装置，用于从线性预测残留信号产生用作不同特征参数的第一特征参数，其中，根据第一特征参数，合成装置产生合成声频信号。

3.根据权利要求2所述的信号处理设备，其特征在于，线性预测残留信号生成装置还产生第二特征参数，其中，根据第一特征参数和第二特征参数，合成装置产生合成声频信号。

4.根据权利要求3所述的信号处理设备，其特征在于，线性预测残留信号生成装置计算用作第二特征参数的线性预测系数，其中，参数生成装置包括：滤波装置，用于对线性预测残留信号进行滤波；以及音调提取装置，用于产生音调周期和音调增益作为第一特征参数，其中，音调周期被确定为在滤波线性预测残留信号的自相关最大时滤波线性预测残留信号的延迟量，音调增益被确定为自相关。

5.根据权利要求4所述的信号处理设备，其特征在于，合成装置包括：合成线性预测残留信号生成装置，用于从线性预测残留信号产生合成线性预测残留信号；以及合成信号生成装置，用于通过根据第二特征参数定义的滤波特性对合成线性预测残留信号进行滤波，来产生线性预测合成信号，以便作为合成声频信号输出。

6.根据权利要求5所述的信号处理设备，其特征在于，合成线性预测残留信号生成装置包括：类噪声残留信号生成装置，用于从线性预测残留信号产生具有随机变化相位的类噪声残留信号；周期残留信号生成装置，用于通过根据音调周期重复线性预测残留信号来产生周期残留信号；以及合成残留信号生成装置，用于通过根据第一特征参数，以预定比例，求类噪声残留信号和周期残留信号之和来产生合成残留信号，并输出合成残留信号作为合成线性预测残留信号。

7.根据权利要求6所述的信号处理设备，其特征在于，类噪声残留信号生成装置包括：傅立叶变换装置，用于对线性预测残留信号进行快速傅立叶变换，以产生傅立叶谱信号；平滑装置，用于平滑傅立叶谱信号；类噪声谱生成装置，用于通过将不同相位分量与平滑傅立叶谱信号相加，产生类噪声谱信号；以及快速傅立叶逆变换装置，用于对类噪声谱信号进行快速傅立叶逆变换，以产生类噪声残留信号。

8.根据权利要求6所述的信号处理设备，其特征在于，合成残留信号生成装置包括：第一乘法装置，用于使类噪声残留信号与音调增益确定的第一系数相乘；第二乘法装置，用于使周期残留信号与音调增益确定的第二系数相乘；以及加法装置，用于求乘以第一系数的类噪声残留信号与乘以第二系数的周期残留信号之和，以获得合成残留信号，并输出获得的合成残留信号作为合成线性预测残留信号。

9.根据权利要求6所述的信号处理设备，其特征在于，在音调增益小于基准值时，通过读出位于随机位置的线性预测残留信号，周期残留信号生成装置产生周期残留信号，而不根据音调周期重复线性预测残留信号。

10.根据权利要求5所述的信号处理设备，其特征在于，合成装置还包括增益调节合成信号生成装置，用于通过将线性预测合成信号乘以根据差错状态值或编码声频信号的差错状态经历的时间而变化的系数，来产生增益调节合成信号。

11.根据权利要求10所述的信号处理设备，其特征在于，合成装置还包括：合成重放声频信号生成装置，用于通过以预定比例求重放声频信号和增益调节合成信号之和，产生合成重放声频信号；以及输出装置，用于选择合成重放声频信号和增益调节合成信号之一，并输出所选择的信号作为合成声频信号。

12.根据权利要求1所述的信号处理设备，其特征在于，还包括：

分解装置，用于将通过分解收到的包而获得的编码声频信号送到解码装置。

13.根据权利要求1所述的信号处理设备，其特征在于，合成装置包括控制装置，用于根据声频信号中是否存在差错，来控制解码装置、分析装置以及合成装置本身的操作。

14.根据权利要求13所述的信号处理设备，其特征在于，在差错影响对另一声频信号的处理时，控制装置进行控制，使得即使在不存在差错时，也输出合成声频信号，而不输出重放声频信号。

15.一种处理信号的方法，包括如下步骤：

对输入的编码声频信号进行解码，并输出重放声频信号；

在编码声频信号发生丢失时，对发生丢失之前输出的重放声频信号进行分析，产生线性预测残留信号；

根据线性预测残留信号，合成合成声频信号；以及

选择合成声频信号和重放声频信号之一，输出所选择的声频信号作为连续输出声频信号。

16.一种包括程序代码的计算机可读程序，所述程序代码使计算机执行如下步骤：

对输入的编码声频信号进行解码，并输出重放声频信号；

在编码声频信号发生丢失时，对发生丢失之前输出的重放声频信号进行分析，产生线性预测残留信号；

根据线性预测残留信号，合成合成声频信号；以及

选择合成声频信号和重放声频信号之一，输出所选择的声频信号作为连续输出声频信号。

17.一种用于存储计算机可读程序的记录介质，所述计算机可读程序包括使计算机执行如下步骤的程序代码：

对输入的编码声频信号进行解码，并输出重放声频信号；

在编码声频信号发生丢失时，对发生丢失之前输出的重放声频信号进行分析，产生线性预测残留信号；

根据线性预测残留信号，合成合成声频信号；以及

选择合成声频信号和重放声频信号之一，输出所选择的声频信号作为连续输出声频信号。

18.一种信号处理设备，包括：

解码单元，用于对输入的编码声频信号进行解码，并输出重放声频信号；

分析单元，用于在编码声频信号发生丢失时，对发生丢失之前输出的重放声频信号进行分析，产生线性预测残留信号；

合成单元，用于根据线性预测残留信号，合成合成声频信号；以及

选择单元，用于选择合成声频信号和重放声频信号之一，并输出所选择的声频信号作为连续输出声频信号。

Images