CN104978966A - 音频流中的丢帧补偿实现方法和装置 - Google Patents

Abstract

本发明提供了一种音频流中的丢帧补偿实现方法和装置。所述方法包括：获取由编解码器输入的音频流和丢帧信息；根据丢帧信息将音频流置为静音，并按照预设时间进行延时处理；由丢帧信息和音频流对应的音频信息修正的混响声场输出余音；平滑处理输出的余音以得到补偿的音频流。所述装置包括：输入获取模块，用于获取由编解码器输入的音频流和丢帧信息；预处理模块，用于根据丢帧信息将音频流置为静音，并按照预设时间进行延时处理；混响模块，用于由丢帧信息和音频流对应的音频信息修正的混响声场输出余音；平滑处理模块，用于平滑处理输出的余音以得到补偿的音频流。采用本发明能适应所有种类的音频的丢帧补偿且明显改善了输出效果。

Description

音频流中的丢帧补偿实现方法和装置

技术领域

本发明涉及音频信号处理技术，特别是涉及一种音频流中的丢帧补偿实现方法和装置。

背景技术

为实现音频的丢帧补偿，传统的实现方案包括了依赖于编解码的方案和不依赖于编解码的方案两大类。依赖于编解码的方案在解码时如发现当前帧丢失，则利用前后若干帧编码数据中的相关信息来估算得到当前编码帧，进而由估算出的当前编码帧得出补帧音频流。而不依赖于编解码的方案则与编解码无关，将针对已经解码所得到的前后音频信息，利用其时域频域等特征进行估算，以得出补偿音频流。

然而，对于依赖于编解码的方案而言，在进行丢帧补偿后将出现明显的“金属音”，在连续丢帧时将更为显著；而在使用不依赖于编解码的方案的过程中，虽然规避了大多数的“金属音”，以稍微改善输出效果，但是，对于语音音频，尤其是背景较纯净时浊音末尾的丢帧补偿，将能够明显发现所得到的补偿音频流即为噪声；而对于音乐音频，虽然时域掩蔽降低了这一感知，但是存在着断续感十分严重的缺陷，因此并无法适应于所有种类的音频的丢帧补偿，仅限于对少数音频得到较好的丢帧补偿效果。

发明内容

基于此，有必要针对传统的音频丢帧补偿实现方案无法适应所有种类的音频的丢帧补偿的技术问题，提供一种能适应所有种类的音频的丢帧补偿且明显改善了输出效果的音频流中的丢帧补偿实现方法。

此外，还有必要提供一种能适应所有种类的音频的丢帧补偿且明显改善了输出效果的音频流中的丢帧补偿实现装置。

一种音频流中的丢帧补偿实现方法，包括如下步骤：

获取由编解码器输入的音频流和丢帧信息；

根据所述丢帧信息将所述音频流置为静音，并按照预设时间进行延时处理；

由所述丢帧信息和所述音频流对应的音频信息修正的混响声场输出余音；

平滑处理所述输出的余音以得到补偿的音频流。

一种音频流中的丢帧补偿实现装置，包括：

输入获取模块，用于获取由编解码器输入的音频流和丢帧信息；

预处理模块，用于根据所述丢帧信息将所述音频流置为静音，并按照预设时间进行延时处理；

混响模块，用于由所述丢帧信息和所述音频流对应的音频信息修正的混响声场输出余音；

平滑处理模块，用于平滑处理所述输出的余音以得到补偿的音频流。

上述音频流中的丢帧补偿实现方法和装置中，将获取由编解码器输入的音频流和丢帧信息，根据丢帧信息将音频流置为静音，并按照预设时间进行延时处理，在达到设置的时间延时完成延时处理之后将由混响声场输出余音，其中，该混响声场是由丢帧信息和音频流对应的音频信息进行修正的，平滑处理该余音即可得到补偿的音频流，由于这一丢帧补偿过程对输入的音频流所对应的音频种类并没有强相关，因此能够适应所有种类的音频的丢帧补偿，并且由于混响声场已经由当前所获取得到的丢帧信息和音频流对应的音频信息进行了修正，因此将大幅提高了丢帧补偿质量，明显地改善了输出效果。

附图说明

图1为一个实施例中音频流中的丢帧补偿实现方法的流程图；

图2为另一个实施例中音频流中的丢帧补偿实现方法的流程图；

图3为图2中通过得到的当前丢帧状态和音频流对应的音频信息修正构建的混响声场；

图4为一个实施例中平滑处理输出的余音以得到补偿的音频流的方法流程图；

图5为一个实施例中音频流中的丢帧补偿实现方法的应用示意图；

图6为一个实施例中音频流中的丢帧补偿实现装置的结构示意图；

图7为另一个实施例中音频流中的丢帧补偿实现装置的结构示意图；

图8为图7中声场修正模块的结构示意图；

图9为一个实施例中平滑处理模块的结构示意图；

图10为实现本发明实施例的一个计算机系统的模块图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

如图1所示，在一个实施例中，一种音频流中的丢帧补偿实现方法，包括如下步骤：

步骤S110，获取由编解码器输入的音频流和丢帧信息。

本实施例中，编解码器为音频引擎中使用的编解码器，例如，该编解码器可为celt高音质编解码器。当前所获取到的由编解码器输入的音频流即为编解码器所输出的音频流。在未发生音频流的丢帧时，不需要对音频流进行丢帧补偿；当发生音频流的丢帧时，则需要对获取到的由编解码器输入的音频流进行优化，以实现丢帧补偿。

由音频引擎的上层得到当前的丢帧信息，以将传递至编解码器中，该音频引擎的上层是相对于编解码器而言的。在判断到当前的音频流发生了丢帧的情况之后，将生成相应的丢帧信息，得以由这一丢帧信息获知音频流的丢帧状况。

在一个实施例中，上述步骤S110的具体过程为：逐帧获取由编解码器输入的音频流和当前帧音频流所对应的丢帧信息。

本实施例中，进行丢帧补偿的输入将包括了一帧音频流和该帧音频流所对应的丢帧信息，也就是说，音频流的获取和丢帧补偿的实现都是以帧为单位进行的。

步骤S130，根据丢帧信息将音频流置为静音，并按照预设时间进行延时处理。

本实施例中，在发生音频流的丢帧时，所获取到的音频流即为空帧，此时将静音作为混响声场的输入。

具体的，在获知发生了丢帧之后对当前丢帧时刻所对应的音频流置为静音，将其做预设时间的延时处理，以延迟混响声场中的静音输入，其中，该预设时间是与用于进行平滑处理的平滑窗口的重叠长度相匹配的，例如，该预设时间可为5毫秒。

步骤S150，由丢帧信息和音频流对应的音频信息修正的混响声场输出余音。

本实施例中，延迟了预设时间之后将以静音作为混响声场的输入，通过混响声场得到余音并输出，该余音即为前一段时间的音频流所产生的。输出余音的混响声场是系统通过一定的混响算法模拟的，例如，可以采用Schroeder混响模型实现，即通过四个并联的梳状滤波器级联两个全通滤波器实现混响音效。

进一步的，用于输出余音的混响声场将不断通过丢帧信息和音频流对应的音频信息进行各项参数的不断修正，以保证较高的丢帧补偿质量。

步骤S170，平滑处理输出的余音以得到补偿的音频流。

本实施例中，通过平滑窗口对混响声场输出的余音进行平滑处理，以完成当前发生的丢帧进行补偿得到相应的音频流。

进一步的，由混响声场输出的余音包括了干声和湿声，因此，相应的，平滑窗口也包括了干声窗口和湿声窗口，因此将使得混响声场输出的干声和湿声分别相应地通过干声窗口和湿声窗口相加以得到最终输出声音，即补偿的音频流。

通过如上所述的方法将使得编解码器在发生网络丢包时得以通过模拟且不断修正各项参数的混响声场输出余音，并使这段余音经过一定的平滑处理衔接，进而得到了补偿的音频流，对语音和音乐等音频解码输出的流畅度都有明显的提高，极大地改善了输出效果。

如上所述的方法是独立于编解码之外进行丢帧补偿的，因此其输出效果并不依赖于编解码种类的，对输入的声音种类（例如，语音或音乐）也没有强相关，因此可以广泛地应用于声音丢失的补偿，极大地扩充了音频应用场景。

如图2所示，在一个实施例中，上述步骤S150之前，该方法还包括：

步骤S210，根据丢帧信息更新当前丢帧状态。

本实施例中，丢帧信息用于指示当前的音频流发生了丢帧的情况，以进行当前丢帧状态的更新。其中，当前丢帧状态将包括了对当前音频流的丢帧所进行的记录以及对记录的音频流丢帧进行估计所得到的丢帧统计状况，以用于如实反映音频流的丢帧状况。

在一个实施例中，上述步骤S210的具体过程为：根据丢帧信息记录当前发生的音频流丢帧，并由记录的音频流丢帧估计得到当前的丢帧统计状况。

本实施例中，根据丢帧信息对当前音频流所发生的丢帧，即通过一定的标识对音频流发生丢帧和未发生丢帧的状况进行记录，例如，用“1”表示该帧音频流没有丢失，用“0”表示该帧音频流实际为空，发生了丢帧，因此，所进行的连续记录将表明了一串连续的若干帧音频流所对应的丢帧状况。如“0001”将记录了四帧音频流所对应的丢帧状况，即当前输入的一帧音频流是正常的帧，未发生丢帧的状况，但是前一帧、前两帧和前三帧均为空帧，都发生了丢帧。

因此通过对发生的音频流丢帧所进行的记录将可以获知当前丢帧是第几次丢帧，进而由记录的音频流丢帧进行估计以得到当前的丢帧统计状况，其中，当前的丢帧统计状况可以通过统计的丢帧率表示。

步骤S230，通过得到的当前丢帧状态和音频流对应的音频信息修正构建的混响声场。

本实施例中，根据当前丢帧状态和当前音频流所对应的音频信息对构建的混响声场中的各项参数进行修正，以时刻保证混响声场中的混响效果。

如图3所示，在一个实施例中，上述步骤S230包括：

步骤S231，由音频流对应的音频信息提取能量信息、噪声信息和音素信息。

本实施例中，音频流所对应的音频信息将包括了能量信息、噪声信息和音素信息等，其中，能量信息和噪声信息指的是波形的峰值电平，音素信息则是用于判断当前帧音频流是浊音还是清音。

步骤S233，通过当前丢帧状态和提取的能量信息、噪声信息、音素信息对构建的混响声场进行参数更新，以得到修正的混响声场。

本实施例中，能量信息、噪声信息和音素信息都是会变化的，因此，在发生的变化进入到一个指定的区间之后将会相应地对混响声场中的参数进行调整。而对于当前丢帧状态而言，该当前丢帧状态可为统计的丢帧率，将对丢帧率所对应的值划分为三个区间，即高中低所对应的三个区间。当丢帧率高时，混响声场的混响时间参数将增大，从而产生足够的余音来填充空帧；例如，在连续丢的是第三帧时，余音衰减可能太厉害，需要进行增益补偿。

如图4所示，在一个实施例中，上述步骤S170包括：

步骤S171，由当前的丢帧统计状况确定平滑窗形状。

本实施例中，平滑处理所用的平滑窗口将由当前帧是怎样的帧来确定其所对应的平滑窗形状。

步骤S173，通过确定的平滑窗形状对输出的余音进行平滑处理以得到补偿的音频流。

本实施例中，确定的平滑窗形状包括了干声窗口所对应的平滑窗形状和湿声窗口所对应的平滑窗形状，因此，在进行平滑处理的过程中，通过干声窗口所对应的平滑窗形状和湿声窗口所对应的平滑窗形状将对余音所包含的干声和湿声进行平滑过渡，以得到最终输出声音，即对丢帧进行补偿的音频流。

例如，若对音频流发生丢帧和未发生丢帧的状况进行记录所得到的连续四帧音频流所对应的丢帧状况为“1110”，则说明了在这四帧音频流中，前三帧音频流均是正常的，第四帧音频流是一次孤立的丢帧，由于设置的延时处理的时间为5毫秒，因此，相应干声窗口内将有5毫秒是正常数据，其后则为静音数据，而湿声窗口内的前5毫秒将和干声做平滑过渡以过渡到余下的部分得到补偿的音频流。

下面结合一个具体的实施例来阐述上述音频流中的丢帧补偿实现方法。该实施例中，如图5所示，音频流和丢帧信息同步输入，其中，通过丢帧信息可知由celt编解码器或都其它编解码器所输入的音频流发生了丢帧的状况，实际为一空帧，此时执行S501将空帧置为静音，并如S502所述按照预设时间进行延时处理，以延时静音对混响声场的输入。

延时预设时间之后，将执行S503由混响声场输出余音，该余音包括了干声和湿声，进而对干声和湿声执行S504的平滑处理即可得到最终输出的音频流，这一最终输出的音频流即为与当前输入的音频流所发生的丢帧相对应的补偿帧。

如图5所示，与音频流同步输入的丢帧信息将由丢帧状态机510进行当前丢帧状态的更新，以通过丢帧状态准确获知当前输入的音频流发生了丢帧，进而立即将其置为静音，并依次执行如S502至S504所示的丢帧补偿过程。

而在将执行S503中由混响声场输出干声和湿声的步骤之前，将对丢帧状态机510所更新得到的当前丢帧状态进行丢帧状态估计，如S505，以得到当前的丢帧统计状况，进而通过得到的当前丢帧统计状况和音频流对应的音频信息对混响声场进行修正，以保证混响声场的混响效果，其中，该音频信息即包括了如图5所示的能量信息、噪声信息和音素信息。

如图6所示，在一个实施例中，一种音频流中的丢帧补偿实现装置，包括输入获取模块110、预处理模块130、混响模块150和平滑处理模块170。

输入获取模块110，用于获取由编解码器输入的音频流和丢帧信息。

本实施例中，编解码器为音频引擎中使用的编解码器，例如，该编解码器可为celt高音质编解码器。输入获取模块110当前所获取到的由编解码器输入的音频流即为编解码器所输出的音频流。在未发生音频流的丢帧时，不需要对音频流进行丢帧补偿；当发生音频流的丢帧时，则需要对获取到的由编解码器输入的音频流进行优化，以实现丢帧补偿。

由音频引擎的上层得到当前的丢帧信息，以将传递至编解码器中，该音频引擎的上层是相对于编解码器而言的。在判断到当前的音频流发生了丢帧的情况之后，将生成相应的丢帧信息，得以由这一丢帧信息获知音频流的丢帧状况。

在一个实施例中，输入获取模块110还用于逐帧获取由编解码器输入的音频流和当前帧音频流所对应的丢帧信息。

本实施例中，进行丢帧补偿的输入将包括了一帧音频流和该帧音频流所对应的丢帧信息，也就是说，输入获取模块110对音频流的获取和丢帧补偿的实现都是以帧为单位进行的。

预处理模块130，用于根据丢帧信息将音频流置为静音，并按照预设时间进行延时处理。

本实施例中，在发生音频流的丢帧时，所获取到的音频流即为空帧，此时预处理模块130将静音作为混响声场的输入。

具体的，在获知发生了丢帧之后预处理模块130对当前丢帧时刻所对应的音频流置为静音，将其做预设时间的延时处理，以延迟混响声场中的静音输入，其中，该预设时间是与用于进行平滑处理的平滑窗口的重叠长度相匹配的，例如，该预设时间可为5毫秒。

混响模块150，用于由丢帧信息和音频流对应的音频信息修正的混响声场输出余音。

本实施例中，延迟了预设时间之后混响模块150将以静音作为混响声场的输入，通过混响声场得到余音并输出，该余音即为前一段时间的音频流所产生的。输出余音的混响声场是系统通过一定的混响算法模拟的，例如，可以采用Schroeder混响模型实现，即通过四个并联的梳状滤波器级联两个全通滤波器实现混响音效。

进一步的，用于输出余音的混响声场将不断通过丢帧信息和音频流对应的音频信息进行各项参数的不断修正，以保证较高的丢帧补偿质量。

平滑处理模块170，用于平滑处理输出的余音以得到补偿的音频流。

本实施例中，平滑处理模块170通过平滑窗口对混响声场输出的余音进行平滑处理，以完成当前发生的丢帧进行补偿得到相应的音频流。

进一步的，由混响声场输出的余音包括了干声和湿声，因此，相应的，平滑窗口也包括了干声窗口和湿声窗口，因此平滑处理模块170将使得混响声场输出的干声和湿声分别相应地通过干声窗口和湿声窗口相加以得到最终输出声音，即补偿的音频流。

通过如上所述的装置将使得编解码器在发生网络丢包时得以通过模拟且不断修正各项参数的混响声场输出余音，并使这段余音经过一定的平滑处理衔接，进而得到了补偿的音频流，对语音和音乐等音频解码输出的流畅度都有明显的提高，极大地改善了输出效果。

如上所述的装置是独立于编解码之外进行丢帧补偿的，因此其输出效果并不依赖于编解码种类的，对输入的声音种类（例如，语音或音乐）也没有强相关，因此可以广泛地应用于声音丢失的补偿，极大地扩充了音频应用场景。

如图7所示，在另一个实施例中，该装置还包括了状态更新模块210和声场修正模块230。

状态更新模块210，用于根据丢帧信息更新当前丢帧状态。

本实施例中，丢帧信息用于指示当前的音频流发生了丢帧的情况，以进行当前丢帧状态的更新。其中，当前丢帧状态将包括了对当前音频流的丢帧所进行的记录以及对记录的音频流丢帧进行估计所得到的丢帧统计状况，以用于如实反映音频流的丢帧状况。

在一个实施例中，状态更新模块210还用于根据丢帧信息记录当前发生的音频流丢帧，并由记录的音频流丢帧估计得到当前的丢帧统计状况。

本实施例中，状态更新模块210根据丢帧信息对当前音频流所发生的丢帧，即通过一定的标识对音频流发生丢帧和未发生丢帧的状况进行记录，例如，用“1”表示该帧音频流没有丢失，用“0”表示该帧音频流实际为空，发生了丢帧，因此，所进行的连续记录将表明了一串连续的若干帧音频流所对应的丢帧状况。如“0001”将记录了四帧音频流所对应的丢帧状况，即当前输入的一帧音频流是正常的帧，未发生丢帧的状况，但是前一帧、前两帧和前三帧均为空帧，都发生了丢帧。

因此状态更新模块210通过对发生的音频流丢帧所进行的记录将可以获知当前丢帧是第几次丢帧，进而由记录的音频流丢帧进行估计以得到当前的丢帧统计状况，其中，当前的丢帧统计状况可以通过统计的丢帧率表示。

声场修正模块230，用于通过得到的当前丢帧状态和音频流对应的音频信息修正构建的混响声场。

本实施例中，声场修正模块230根据当前丢帧状态和当前音频流所对应的音频信息对构建的混响声场中的各项参数进行修正，以时刻保证混响声场中的混响效果。

如图8所示，在一个实施例中上述声场修正模块230包括提取单元231和参数更新单元233。

提取单元231，用于由音频流对应的音频信息提取能量信息、噪声信息和音素信息。

本实施例中，音频流所对应的音频信息将包括了能量信息、噪声信息和音素信息等，其中，能量信息和噪声信息指的是波形的峰值电平，音素信息则是用于判断当前帧音频流是浊音还是清音。

参数更新单元233，用于通过当前丢帧状态和提取的能量信息、噪声信息、音素信息对构建的混响声场进行参数更新，以得到修正的混响声场。

本实施例中，能量信息、噪声信息和音素信息都是会变化的，因此，在发生的变化进入到一个指定的区间之后参数更新单元233将会相应地对混响声场中的参数进行调整。而对于当前丢帧状态而言，该当前丢帧状态可为统计的丢帧率，将对丢帧率所对应的值划分为三个区间，即高中低所对应的三个区间。当丢帧率高时，混响声场的混响时间参数将增大，从而产生足够的余音来填充空帧；例如，在连续丢的是第三帧时，余音衰减可能太厉害，需要进行增益补偿。

如图9所示，在一个实施例中，上述平滑处理模块170包括形状确定单元171和平滑输出单元173。

形状确定单元171，用于由当前的丢帧统计状况确定平滑窗口形状。

本实施例中，平滑处理所用的平滑窗口将由当前帧是怎样的帧来确定其所对应的平滑窗形状。

平滑输出单元173，用于通过确定的平滑窗口形状对输出的余音进行平滑处理以得到补偿的音频流。

本实施例中，确定的平滑窗形状包括了干声窗口所对应的平滑窗形状和湿声窗口所对应的平滑窗形状，因此，在进行平滑处理的过程中，平滑输出单元173通过干声窗口所对应的平滑窗形状和湿声窗口所对应的平滑窗形状将对余音所包含的干声和湿声进行平滑过渡，以得到最终输出声音，即对丢帧进行补偿的音频流。

例如，若对音频流发生丢帧和未发生丢帧的状况进行记录所得到的连续四帧音频流所对应的丢帧状况为“1110”，则说明了在这四帧音频流中，前三帧音频流均是正常的，第四帧音频流是一次孤立的丢帧，由于设置的延时处理的时间为5毫秒，因此，相应干声窗口内将有5毫秒是正常数据，其后则为静音数据，而湿声窗口内的前5毫秒将和干声做平滑过渡以过渡到余下的部分得到补偿的音频流。

图10为能实现本发明实施例的一个计算机系统1000的模块图。该计算机系统1000只是一个适用于本发明的计算机环境的示例，不能认为是提出了对本发明的使用范围的任何限制。计算机系统1000也不能解释为需要依赖于或具有图示的示例性的计算机系统1000中的一个或多个部件的组合。

图10中示出的计算机系统1000是一个适合用于本发明的计算机系统的例子。具有不同子系统配置的其它架构也可以使用。例如有大众所熟知的台式机、笔记本、个人数字助理、智能电话、平板电脑、便携式媒体播放器、机顶盒等类似设备可以适用于本发明的一些实施例。但不限于以上所列举的设备。

如图10所示，计算机系统1000包括处理器1010、存储器1020和系统总线1022。包括存储器1020和处理器1010在内的各种系统组件连接到系统总线1022上。处理器1010是一个用来通过计算机系统中基本的算术和逻辑运算来执行计算机程序指令的硬件。存储器1020是一个用于临时或永久性存储计算程序或数据（例如，程序状态信息）的物理设备。系统总线1020可以为以下几种类型的总线结构中的任意一种，包括存储器总线或存储控制器、外设总线和局部总线。处理器1010和存储器1020可以通过系统总线1022进行数据通信。其中存储器1020包括只读存储器（ROM）或闪存（图中都未示出），以及随机存取存储器（RAM），RAM通常是指加载了操作系统和应用程序的主存储器。

计算机系统1000还包括显示接口1030（例如，图形处理单元）、显示设备1040（例如，液晶显示器）、音频接口1050（例如，声卡）以及音频设备1060（例如，扬声器）。显示设备1040和音频设备1060是用于体验多媒体内容的媒体设备。

计算机系统1000一般包括一个存储设备1070。存储设备1070可以从多种计算机可读介质中选择，计算机可读介质是指可以通过计算机系统1000访问的任何可利用的介质，包括移动的和固定的两种介质。例如，计算机可读介质包括但不限于，闪速存储器（微型SD卡），CD-ROM，数字通用光盘（DVD）或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备，或者可用于存储所需信息并可由计算机系统1000访问的任何其它介质。

计算机系统1000还包括输入装置1080和输入接口1090（例如，IO控制器）。用户可以通过输入装置1080，如键盘、鼠标、显示装置1040上的触摸面板设备，输入指令和信息到计算机系统1000中。输入装置1080通常是通过输入接口1090连接到系统总线1022上的，但也可以通过其它接口或总线结构相连接，如通用串行总线（USB）。

计算机系统1000可在网络环境中与一个或者多个网络设备进行逻辑连接。网络设备可以是个人电脑、服务器、路由器、智能电话、平板电脑或者其它公共网络节点。计算机系统1000通过局域网（LAN）接口1100或者移动通信单元1110与网络设备相连接。局域网（LAN）是指在有限区域内，例如家庭、学校、计算机实验室、或者使用网络媒体的办公楼，互联组成的计算机网络。WiFi和双绞线布线以太网是最常用的构建局域网的两种技术。WiFi是一种能使计算机系统1000间交换数据或通过无线电波连接到无线网络的技术。移动通信单元1110能在一个广阔的地理区域内移动的同时通过无线电通信线路接听和拨打电话。除了通话以外，移动通信单元1110也支持在提供移动数据服务的2G，3G或4G蜂窝通信系统中进行互联网访问。

应当指出的是，其它包括比计算机系统1000更多或更少的子系统的计算机系统也能适用于发明。例如，计算机系统1000可以包括能在短距离内交换数据的蓝牙单元，用于照相的图像传感器，以及用于测量加速度的加速计。

如上面详细描述的，适用于本发明的计算机系统1000能执行上述实现应用程序性能分析的方法的指定操作。计算机系统1000通过处理器1010运行在计算机可读介质中的软件指令的形式来执行这些操作。这些软件指令可以从存储设备1070或者通过局域网接口1100从另一设备读入到存储器1020中。存储在存储器1020中的软件指令使得处理器1010执行上述的实现应用程序性能分析的方法。此外，通过硬件电路或者硬件电路结合软件指令也能同样实现本发明。因此，实现本发明并不限于任何特定硬件电路和软件的组合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种音频流中的丢帧补偿实现方法，包括如下步骤：

获取由编解码器输入的音频流和丢帧信息；

根据所述丢帧信息将所述音频流置为静音，并按照预设时间进行延时处理；

由所述丢帧信息和所述音频流对应的音频信息修正的混响声场输出余音；

平滑处理所述输出的余音以得到补偿的音频流。

2.根据权利要求1所述的方法，其特征在于，所述获取由编解码器输入的音频流和丢帧信息的步骤包括：

逐帧获取由编解码器输入的音频流和当前帧音频流所对应的丢帧信息。

3.根据权利要求1所述的方法，其特征在于，所述由所述丢帧信息和所述音频流对应的音频信息修正的混响声场输出余音的步骤之前，所述方法还包括：

根据所述丢帧信息更新当前丢帧状态；

通过所述得到的当前丢帧状态和所述音频流对应的音频信息修正构建的混响声场。

4.根据权利要求3所述的方法，其特征在于，所述根据所述丢帧信息更新当前丢帧状态的步骤包括：

根据所述丢帧信息记录当前发生的音频流丢帧，并由记录的音频流丢帧估计得到当前的丢帧统计状况。

5.根据权利要求3所述的方法，其特征在于，所述通过所述得到的当前丢帧状态和所述音频流对应的音频信息修正构建的混响声场的步骤包括：

由所述音频流对应的音频信息提取能量信息、噪声信息和音素信息；

通过所述当前丢帧状态和提取的能量信息、噪声信息、音素信息对构建的混响声场进行参数更新，以得到修正的混响声场。

6.根据权利要求4所述的方法，其特征在于，所述平滑处理所述输出的余音以得到补偿的音频流的步骤包括：

由所述当前的丢帧统计状况确定平滑窗形状；

通过所述确定的平滑窗形状对所述输出的余音进行平滑处理以得到补偿的音频流。

7.一种音频流中的丢帧补偿实现装置，其特征在于，包括：

输入获取模块，用于获取由编解码器输入的音频流和丢帧信息；

预处理模块，用于根据所述丢帧信息将所述音频流置为静音，并按照预设时间进行延时处理；

混响模块，用于由所述丢帧信息和所述音频流对应的音频信息修正的混响声场输出余音；

平滑处理模块，用于平滑处理所述输出的余音以得到补偿的音频流。

8.根据权利要求7所述的装置，其特征在于，所述输入获取模块还用于逐帧获取由编解码器输入的音频流和当前帧音频流所对应的丢帧信息。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

状态更新模块，用于根据所述丢帧信息更新当前丢帧状态；

声场修正模块，用于通过所述得到的当前丢帧状态和所述音频流对应的音频信息修正构建的混响声场。

10.根据权利要求9所述的装置，其特征在于，所述状态更新模块还用于根据所述丢帧信息记录当前发生的音频流丢帧，并由记录的音频流丢帧估计得到当前的丢帧统计状况。

11.根据权利要求9所述的装置，其特征在于，所述声场修正模块包括：

提取单元，用于由所述音频流对应的音频信息提取能量信息、噪声信息和音素信息；

参数更新单元，用于通过所述当前丢帧状态和提取的能量信息、噪声信息、音素信息对构建的混响声场进行参数更新，以得到修正的混响声场。

12.根据权利要求10所述的装置，其特征在于，所述平滑处理模块包括：

形状确定单元，用于由所述当前的丢帧统计状况确定平滑窗口形状；

平滑输出单元，用于通过所述确定的平滑窗口形状对所述输出的余音进行平滑处理以得到补偿的音频流。