CN111613235A - 一种回声消除方法及装置 - Google Patents

Abstract

本申请公开了一种回声消除方法及装置，用于解决回声消除效果不佳的技术问题。所述方法包括：视频会议系统中的回声消除装置确定视频会议系统中的音频设备的失真等级，音频设备包括播放设备和采集设备，失真等级用于表征经过播放设备播放，并由采集设备采集后的音频数据的非线性失真程度；确定失真等级对应的目标抑制等级，目标抑制等级用于表征对音频数据进行非线性回声抑制处理的程度；通过目标抑制等级对采集设备采集的音频数据进行非线性回声抑制处理，获得经过非线性回声抑制处理后的音频数据。

Description

一种回声消除方法及装置

技术领域

本申请涉及音频信号处理技术领域，尤其涉及一种回声消除方法及装置。

背景技术

近年来，互联网的发展推动了网络电话和视频会议技术的广泛应用，与此同时，其语言质量也日益受到关注，其中最关键的一个因素就是回声的影响。由于远端播放设备(如扬声器)播放出来的音频会被采集设备(如话筒)拾取后发回近端，再加上各种延迟的影响，使得近端谈话者能听到自己的回声，严重影响了通话的质量，所以需要对回声进行消除。

经典的回声消除方法主要分为两部分：线性回声消除和非线性回声抑制。首先对音频数据进行线性回声消除，如果音频数据的非线性失真比较大，通过线性回声消除之后，回声的残留也会比较大，所以，需要通过非线性回声抑制对残留回声进行处理，而在进行非线性回声抑制时，为了确保无回声，就需要较大的抑制强度，此时又会降低近端的语音质量。因此，目前亟需一种回声消除方法，用于解决回声消除效果不佳的技术问题。

发明内容

本申请实施例提供一种回声消除方法及装置，用于解决回声消除效果不佳的技术问题。

第一方面，提供一种回声消除方法，所述方法包括：

视频会议系统中的回声消除装置确定所述视频会议系统中的音频设备的失真等级，所述音频设备包括播放设备和采集设备，所述失真等级用于表征经过所述播放设备播放，并由所述采集设备采集后的音频数据的非线性失真程度；

确定所述失真等级对应的目标抑制等级，所述目标抑制等级用于表征对音频数据进行非线性回声抑制处理的程度；

通过所述目标抑制等级对所述采集设备采集的音频数据进行非线性回声抑制处理，获得经过非线性回声抑制处理后的音频数据。

在一种可能的设计中，确定音频设备的失真等级，包括：

确定预设的参考音频数据以及采集音频数据之间的线性相关值，所述采集音频数据为所述参考音频数据经过所述播放设备播放，并由所述采集设备采集后获得的音频数据；

确定所述线性相关值与预设的多个相关值区间的所属关系；

根据所述所属关系与第一对应关系，确定与所述线性相关值对应的失真等级，所述第一对应关系为相关值区间与失真等级之间的对应关系。

在一种可能的设计中，确定音频设备的失真等级，包括：

确定所述播放设备的第一设备参数以及所述采集设备的第二设备参数；

根据所述第一设备参数、所述第二设备参数以及第二对应关系，确定所述音频设备对应的失真等级，所述第二对应关系为不同播放设备的设备参数、不同采集设备的设备参数以及失真等级之间的对应关系。

在一种可能的设计中，确定音频设备的失真等级，包括：

在确定满足预设确定条件时，确定音频设备对应的失真等级，所述预设确定条件包括确定达到预设的时刻或检测到播放方式切换或检测到采集方式切换，不同的播放方式为通过不同的播放设备进行音频播放，不同的采集方式为通过不同的采集设备进行音频采集。

在一种可能的设计中，确定所述失真等级对应的目标抑制等级，包括：

根据预设的失真等级与抑制等级之间的对应关系，确定所述目标抑制等级，所述预设的失真等级与抑制等级之间的对应关系为预设的失真等级与多个抑制等级分组的对应关系。

在一种可能的设计中，根据预设的失真等级与抑制等级之间的对应关系，确定所述目标抑制等级，包括：

确定所述失真等级对应的抑制等级分组；

将所述抑制等级分组中满足预设选取条件的抑制等级确定为所述目标抑制等级，所述预设选取条件为使得所述播放设备播放的音频数据的能量值最大。

第二方面，提供一种回声消除装置，所述装置包括：

第一确定模块，用于确定所述视频会议系统中的音频设备的失真等级，所述音频设备包括播放设备和采集设备，所述失真等级用于表征经过所述播放设备播放，并由所述采集设备采集后的音频数据的非线性失真程度；

第二确定模块，用于确定所述失真等级对应的目标抑制等级，所述目标抑制等级用于表征对音频数据进行非线性回声抑制处理的程度；

处理模块，用于通过所述目标抑制等级对所述采集设备采集的音频数据进行非线性回声抑制处理，获得经过非线性回声抑制处理后的音频数据。

在一种可能的设计中，所述第一确定模块，用于：

确定预设的参考音频数据以及采集音频数据之间的线性相关值，所述采集音频数据为所述参考音频数据经过所述播放设备播放，并由所述采集设备采集后获得的音频数据；

确定所述线性相关值与预设的多个相关值区间的所属关系；

根据所述所属关系与第一对应关系，确定与所述线性相关值对应的失真等级，所述第一对应关系为相关值区间与失真等级之间的对应关系。

在一种可能的设计中，所述第一确定模块，用于：

确定所述播放设备的第一设备参数以及所述采集设备的第二设备参数；

根据所述第一设备参数、所述第二设备参数以及第二对应关系，确定所述音频设备对应的失真等级，所述第二对应关系为不同播放设备的设备参数、不同采集设备的设备参数以及失真等级之间的对应关系。

在一种可能的设计中，所述第一确定模块，用于：

在确定满足预设确定条件时，确定音频设备对应的失真等级，所述预设确定条件包括确定达到预设的时刻或检测到播放方式切换或检测到采集方式切换，不同的播放方式为通过不同的播放设备进行音频播放，不同的采集方式为通过不同的采集设备进行音频采集。

在一种可能的设计中，所述第二确定模块，用于：

根据预设的失真等级与抑制等级之间的对应关系，确定所述目标抑制等级，所述预设的失真等级与抑制等级之间的对应关系为预设的失真等级与多个抑制等级分组的对应关系。

在一种可能的设计中，所述第二确定模块还用于：

确定所述失真等级对应的抑制等级分组；

将所述抑制等级分组中满足预设选取条件的抑制等级确定为所述目标抑制等级，所述预设选取条件为使得所述播放设备播放的音频数据的能量值最大。

第三方面，提供一种终端设备，所述终端设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面及任一可能的实施例中所述的方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面及任一可能的实施例中所述的方法。

第五方面，提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的回声消除方法。

在本申请实施例中，由于不同的音频设备能够引起不同程度的非线性失真程度，所以根据被播放设备播放，并由采集设备采集后的音频数据的失真程度，确定不同音频设备所对应的失真等级，然后通过与该失真等级相对应的抑制等级对采集设备采集的音频数据进行非线性回声抑制，可以实现自适应的根据不同的音频设备灵活选择适配的抑制等级进行非线性回声抑制，既能保证非线性失真较小时的语音质量，又能有效消除非线性失真较大时的回声残留，从而确保了回声消除的有效性。由于可以自动根据不同的设备调节抑制等级，不需要人为参与部署，减短了回声消除的处理周期，提高了回声消除的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1位本申请实施例提供的应用场景的示意图；

图2为本申请实施例提供的回声消除方法的流程示意图；

图3为本申请实施例提供的回声消除装置的结构示意图；

图4为本申请实施例提供的回声消除装置的结构框图；

图5为本申请实施例提供的终端设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

传统的回声消除装置中，为了实现单讲无回声，可以使用较大的抑制强度对音频数据进行非线性回声抑制处理，确保无回声残留。但是较大的非线性抑制强度会严重抑制近端声音，使得双讲时近端声音忽大忽小或断断续续，降低了近端语音质量，较小的抑制强度又会有回声残留。因此，传统的回声消除方法中存在消除效果不佳的技术问题。

鉴于此，本申请实施提供一种回声消除方法，视频会议系统中的回声消除装置根据被播放设备播放，并由采集设备采集后的音频数据的失真程度，确定不同音频设备所对应的失真等级，然后通过与该失真等级相对应的抑制等级对采集设备采集的音频数据进行非线性回声抑制，从而使得可以通过与音频设备相适配的抑制等级对残留回声进行消除，既能保证非线性失真较小时的语音质量，又能有效消除非线性失真较大时的回声残留，确保了经过非线性回声抑制处理后的音频数据的回声消除的有效性。

为便于理解本申请实施例提供的技术方案，下面对本申请实施例提供的技术方案使用的应用场景做一些简单的介绍，需要说明的是，以下介绍的应用场景仅用于说明本发明实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

请参见图1所示，图1为本申请实施例的技术方案能够适用的一种应用场景。在该应用场景中，包括一个多点控制单元和至少两个会议终端，在图1中以至少两个会议设备为3个为例，分别为会议终端1、会议终端2和会议终端3。

其中，多点控制单元用于在网络视频会议中控制两方或者多方与会会议终端在同一个会议中开会。会议终端可以是手机、平板、电脑或者其它可以进行视频会议的智能设备，对于会议终端的类型，本申请实施例不做限制。

每个会议终端中都带有回声消除装置，用于进行回声消除处理，每个会议终端都配有音频采集设备(如麦克风)和音频播放设备(如扬声器)，麦克风用于采集近端的音频数据，扬声器用于播放远端的音频数据，在进行视频会议时，近端可以理解为是自身会议终端，远端可以理解为是其它会议终端，例如对于会议终端1来说，会议终端1即为近端，会议终端2和会议终端3即为远端。每方会议终端的扬声器播放音频数据后，会被麦克风采集，如果直接将麦克风采集到的音频数据发送给其它会议终端，音频数据中就会有回声，因此，需要通过回声消除装置进行回声消除。

为此，本申请提出，在进行视频会议之前，回声消除装置可以确定视频会议的音频设备对应的失真等级，然后确定与该失真等级对应的抑制等级，进而通过该抑制等级对经过线性回声消除之后的音频数据进行非线性回声抑制处理，消除残留回声。而非线性抑制等级是根据音频设备动态确定的，因此，回声消除装置可以自适应进行抑制等级的选取，确保了回声消除的有效性。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并行执行。

请参见图2所示，图2为本申请实施例提供的一种回声消除方法的流程图，该方法可以部署在有回声消除装置的视频会议系统中，图2中的回声消除方法的流程描述如下：

步骤201：视频会议系统中的回声消除装置确定视频会议系统中的音频设备的失真等级，音频设备包括播放设备和采集设备，失真等级用于表征经过播放设备播放，并由采集设备采集后的音频数据的非线性失真程度。

在具体的实施方式中，在确定音频设备对应的失真等级之前，可以先确定是否满足预设确定条件，该预设确定条件是指用于确定是否需要确定音频设备的失真等级的条件，在满足预设确定条件时，表明需要确定当前的音频设备的失真等级。也就是说，只有在一些特定情况下，回声消除装置才会确定音频设备对应的失真等级，可以减少回声消除装置的运算量以及功耗。

在一种可能的实施方式中，预设确定条件可以是达到预设的时刻，也就是说，预先设定好在某一个固定时刻确定音频设备的失真等级，那么在该时刻到来时，就重新确定当前视频会议系统中的音频设备的失真等级。例如设置的预设时刻是每个月1号的凌晨00:00，那么在到达每个月1号的00:00时，就确定设备的失真等级。

或者可以是预先设定确定音频设备的失真等级的周期，当距离上一次确定的时刻到达预设周期时，就重新确定失真等级。预设的周期例如可以一周、15天或者一个月，等等，在此不做限制。以将确定失真等级的周期设置为15天为例进行说明，回声消除装置中还可以包括有计时模块，当确定完一次失真等级之后，计时模块就可以开始进行计时，当计时时间达到距离上一次确定时刻为15天的时候，就重新确定音频设备的失真等级。

在本申请实施例中，可以通过预先设定确定时刻的方式，使回声消除装置在对应时刻自动重新确定音频设备的失真等级，通过定期重新检测失真等级，确保了确定出的失真等级的时效性。

在另一种可能的实施方式中，预设确定条件也可以是检测到切换了播放方式，不同的播放方式指的是通过不同的播放设备进行音频播放，也就是说，播放方式指的是通过哪一种播放设备进行音频数据播放。播放设备例如可以是高清多媒体接口(HighDefinition Multimedia Interface，HDMI)电视、模拟音箱、数字音箱，等等。需要说明的是，同一类型的播放设备会有很多不同的型号，所以，不同的播放方式具体可以理解为是使用某一个公司某一种型号的某一种播放设备进行音频播放。当更换了播放设备时，就表明切换了播放方式，那么此时就需要重新确定音频设备的失真等级。

在另一种可能的实施方式中，预设确定条件还可以是检测到切换了采集方式，不同的采集方式指的是通过不同的采集设备进行音频采集，也就是说，采集方式指的是通过哪一种采集设备进行音频数据采集。采集设备例如可以是模拟麦克风、数字麦克风，等等。需要说明的是，同一类型的采集设备也会有很多不同的型号，所以，不同的采集方式具体可以理解为是使用某一个公司的某一种型号的某一种采集设备进行音频采集。当更换了采集设备时，就表明切换了采集方式，那么此时也就需要重新确定音频设备的失真等级。

也就是说，在更换了播放设备或者采集设备的时候，就可以自动触发重新确定音频设备的失真等级，这样，就可以确保确定出的失真等级是对应于当前的音频设备的，不会因为设备的更换使得确定的失真等级出现不适配的情况。

在具体的实施过程中，至少可以通过以下两种方式中的其中一种方式确定音频设备的失真等级。

第一种确定方式

可以根据经过播放设备播放，并由采集设备采集后的音频数据的失真程度来确定音频设备的失真等级。在具体的实施过程中，可以预先存储一段音频数据，为了便于区分，例如可以将该音频数据称为是参考音频数据，在需要确定音频设备的失真等级时，可以通过当前视频会议系统中的播放设备将该参考音频数据进行播放，再由采集设备进行采集，获得采集后的音频数据，例如可以将采集后的音频数据称为是采集音频数据。然后就可以确定出采集音频数据相对于参考音频数据的失真程度，进而根据失真程度确定音频设备的失真等级。

在确定采集音频数据相对于参考音频数据的失真程度时，可以计算两者之间的线性相关度，当相关度较高时，表明采集音频数据相对于参考音频数据的失真度较小，当相关度较低时，表明采集音频数据相对于参考音频数据的失真度较大。在计算线性相关度时，例如可以是通过线性相关性检测算法进行线性相关性检测的，然后就可以获得一个对应的线性相关值。

可以预先确定线性相关值的取值区间，即确定线性相关值的最大值和最小值，然后将最小值到最大值的数值范围确定为是线性相关值的取值区间，将该取值区间划分几个小区间，就可以获得多个预设的相关值区间。例如，预先设置的失真等级包括0～3四个等级，那么就可以把该取值区间等分为四个小区间，然后建立失真等级与相关值区间之间的对应关系，为了便于区分，例如可以将该对应关系称为是第一对应关系。

该第一对应关系可以是表格或者描述文档的方式进行存储。例如，该第一对应关系可以如表1所示，在表1中包括两个参数，分别为失真等级和线性相关值区间，失真程度最小的等级为等级0，线性相关值最小的区间为区间0。由于线性相关值越大，表明失真度越小，所以，在建立第一对应关系的时候，就相应的需要将相关值较大的区间对应于较低的失真等级，所以，表格中失真等级最低的等级0对应于线性相关值取值最大的区间3，在具体实施过程中，具体的区间数量以及区间的取值根据实际情况进行设置，在此不作限制。该表1中的每一个表项可以认为是一个对应关系。

表1

当然，该第一对应关系还可以是其他表现形式，在此不一一举例，且本申请实施例中不对该对应关系的表现形式进行限制。

在具体的实施方式中，在计算出线性相关值后，就可以确定该值与多个相关值区间之间的所属关系，即确定该值处于哪一个相关值区间。然后就可以根据所属关系和第一对应关系确定出该线性相关值对应的失真等级，该失真等级即为当前音频设备的失真等级。以表1中的对应关系为例，例如当前确定出的线性相关值处于区间2中，而与区间2对应的等级1，那么此时确定出的音频设备的失真等级即为等级1。

第二种确定方式

可以预先存储各种音频设备的设备参数与失真等级之间的对应关系，为了便于区分，例如可以将该对应关系称为是第二对应关系，然后在需要确定当前音频设备的失真等级时，就可以根据该第二对应关系进行确定。设备参数可以理解为是设备的一些性能参数，采集设备的设备参数例如是灵敏度、频率响应、指向性，动态范围，等等，播放设备的设备参数例如可以是额定阻抗、功率、灵敏度、指向性、谐振频率，等等，对于音频设备的设备参数类型以及参数数量，本申请实施例不做限制。

在具体的实施方式中，可以选定一些对音频数据影响较大的设备参数，然后确定将每个设备参数的参数值划分区间，建立第二对应关系。作为一种示例，播放设备的设备参数、采集设备的设备参数以及失真等级之间的对应关系可以如表2所示。在表2中选取的设备参数是采集设备的灵敏度参数，以及播放设备的额定阻抗参数。然后将采集设备的灵敏度划分为四个区间，播放设备的额定阻抗划分为三个区间，采集设备的不同灵敏度区间、播放设备的不同额度阻抗区间对应不同的失真等级。具体的区间数量以及区间的取值根据实际情况进行设置，在此不作限制。

表2

在具体的实施过程中，也可以是在获取到设备的某些参数之后，根据特定的算法，计算获得这些参数对应的一个参考数值，再根据该参考数值确定音频设备的失真等级，或者还可以根据其它方式进行确定，对于失真等级的确定方法，本申请实施例不做限制。

步骤202：确定失真等级对应的目标抑制等级，目标抑制等级用于表征对音频数据进行非线性回声抑制处理的程度。

在具体的实施过程中，可以是预先设定好失真等级与抑制等级之间的对应关系，那么在确定出某一音频设备的失真等级后，就可以通过该对应关系确定出与该失真等级对应的目标抑制等级。

在一种可能的实施方式中，失真等级与抑制等级之间的对应关系可以是一对一的关系，例如，当前的失真等级包括0～3四个等级，那么相应的，将抑制等级设置为0～3四个等级，由于失真等级越高，表明失真程度越大，回声残留就会越大，所以就需要更高的抑制等级进行非线性回声抑制，因此，可以将失真等级0～3与抑制等级0～3一一对应。失真等级为0时，可以理解为是没有回声残留，抑制等级为0时，可以理解为是不需要经非线性回声抑制处理。

在本申请实施例中，当失真等级为0时，经过线性回声消除处理之后的音频数据无残留回声，那就通过最低的抑制等级0进行处理。而当失真等级为3时，就表明非线性失真程度较严重，回声残留比较大，进而通过最高的抑制等级3进行非线性回声抑制处理。可以根据失真等级确定出适配的抑制等级，确保了进行回声抑制的有效性。

在另一种可能的实施方式中，预设的失真等级与抑制等级之间的对应关系可以是预设的失真等级与多个抑制等级分组之间的对应关系，那么，在确定出失真等级之后，该失真等级就可以对应于一个抑制等级分组。在具体的实施过程中，例如可以针对每个失真等级预存一段带有回声残留的音频数据，然后在确定出抑制等级分组之后，可以通过该抑制等级分组中包括的抑制等级对该失真等级对应的回声残留音频数据进行非线性回声抑制处理，再根据处理结果，选出满足预设选取条件的抑制等级，该抑制等级即为确定出的目标抑制等级。

预设选取条件可以是使得播放设备播放的音频数据的能量值最大，或者是使得播放设备播放的音频数据的连续性最强，或者是进行非线性回声抑制处理的处理时间最短，还可以是其它一些能够从抑制等级分组中选择出最适配的抑制等级的条件，在此不做限制。以使得播放设备播放的音频数据的连续性最强为例进行说明，例如，确定出的抑制等级分组中有三个抑制等级，通过这三个抑制等级对带有回声残留的音频数据进行处理之后，第二个抑制等级处理后的音频数据的连续性最强，那么就将该抑制等级分组中的第二个抑制等级确定为是目标抑制等级。

在本申请实施例中，可以通过预设选取条件从抑制等级分组中确定出最优的抑制等级作为目标抑制等级，这样，就可以进一步确保回声消除的消除效果，对回声进行有效抑制。

步骤203：通过目标抑制等级对采集设备采集的音频数据进行非线性回声抑制处理，获得经过非线性回声抑制处理后的音频数据。

在确定出目标抑制等级之后，就可以通过该目标抑制等级对采集设备采集的音频数据进行非线性回声抑制处理，获得经过非线性回声抑制处理之后的音频数据，然后将该数据发送给远端。由于发送的是经过回声处理之后的音频数据，且，是通过与当前的音频设备最适配的抑制等级进行非线性回声抑制处理的，所以远端播放时，播放的就是基本没有回声的音频数据，确保了会议的双讲效果。

下面通过图3对回声消除装置进行回声消除处理的过程做进一步的说明，图3中展示了本申请实施例提供的一种回声消除装置的结构示意图。该回声消除装置中包括非线性失真检测模块，线性回声消除模块和非线性回声抑制模块。其中，非线性检测模块用于检测声音数据经过播放设备和采集设备后的非线性失真等级，并将该等级发送给非线性回声抑制模块。对采集设备采集的音频数据进行回声消除时，通过线性回声消除模块先对音频数据进行线性处理，例如可以是采用自适应维纳滤波器对回声进行消除，然后再由非线性回声抑制模块对残留回声进行进一步的处理，在非线性回声抑制模块进行处理之前，需要先根据从非线性失真检测接收到的失真等级确定处适配的抑制等级，再通过确定的抑制等级对残留的回声进行处理。

在非线性失真检测模块确定非线性失真等级时，播放设备播放参考音频数据，然后采集设备进行采集，并获得采集后的音频数据，然后将两个音频数据传输到非线性失真检测模块，非线性失真检测模块确定失真等级后，传输给非线性回声抑制模块，然后由非线性回声抑制模块确定出对应的抑制等级，在近端的采集设备采集到音频数据之后，就可以通过线性回声消除模块对其进行回声消除处理，然后再传输到非线性回声抑制模块通过确定出的抑制等级对残留回声进行抑制处理，进而获得处理之后的音频数据，然后编码发送给远端。远端在接收到近端发送的音频数据后，就可以解码进行播放，此时播放的即为近端发送的经过回声消除处理后的音频数据。

在本申请实施例中，由于不同的音频设备能够引起不同程度的非线性失真程度，所以根据被播放设备播放，并由采集设备采集后的音频数据的失真程度，确定不同音频设备所对应的失真等级，然后通过与该失真等级相对应的抑制等级对采集设备采集的音频数据进行非线性回声抑制，可以实现自适应的根据不同的音频设备灵活选择适配的抑制等级进行非线性回声抑制，既能保证非线性失真较小时的语音质量，又能有效消除非线性失真较大时的回声残留，从而确保了回声消除的有效性。由于可以自动根据不同的设备调节抑制等级，不需要人为参与部署，减短了回声消除的处理周期，提高了回声消除的效率。

基于同一发明构思，本申请实施例提供了一种回声消除装置，该回声消除装置能够实现前述的回声消除方法对应的功能。该回声消除装置可以是硬件结构、软件模块、或者硬件结构加软件模块。该回声消除装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图4所示，该回声消除装置包括第一确定模块401、第二确定模块402和处理模块403。其中：

第一确定模块401，用于确定视频会议系统中的音频设备的失真等级，音频设备包括播放设备和采集设备，失真等级用于表征经过播放设备播放，并由采集设备采集后的音频数据的非线性失真程度；

第二确定模块402，用于确定失真等级对应的目标抑制等级，目标抑制等级用于表征对音频数据进行非线性回声抑制处理的程度；

处理模块403，用于通过目标抑制等级对采集设备采集的音频数据进行非线性回声抑制处理，获得经过非线性回声抑制处理后的音频数据。

在一种可能的实施方式中，第一确定模块401，用于：

确定预设的参考音频数据以及采集音频数据之间的线性相关值，采集音频数据为参考音频数据经过播放设备播放，并由采集设备采集后获得的音频数据；

确定线性相关值与预设的多个相关值区间的所属关系；

根据所属关系与第一对应关系，确定与线性相关值对应的失真等级，第一对应关系为相关值区间与失真等级之间的对应关系。

在一种可能的实施方式中，第一确定模块401，用于：

确定播放设备的第一设备参数以及采集设备的第二设备参数；

根据第一设备参数、第二设备参数以及第二对应关系，确定音频设备对应的失真等级，第二对应关系为不同播放设备的设备参数、不同采集设备的设备参数以及失真等级之间的对应关系。

在一种可能的实施方式中，第一确定模块401，用于：

在确定满足预设确定条件时，确定音频设备对应的失真等级，预设确定条件包括确定达到预设的时刻或检测到播放方式切换或检测到采集方式切换，不同的播放方式为通过不同的播放设备进行音频播放，不同的采集方式为通过不同的采集设备进行音频采集。

在一种可能的实施方式中，第二确定模块402，用于：

根据预设的失真等级与抑制等级之间的对应关系，确定目标抑制等级，预设的失真等级与抑制等级之间的对应关系为预设的失真等级与多个抑制等级分组的对应关系。

在一种可能的实施方式中，第二确定模块402还用于：

确定失真等级对应的抑制等级分组；

将抑制等级分组中满足预设选取条件的抑制等级确定为目标抑制等级，预设选取条件为使得播放设备播放的音频数据的能量值最大。

前述图3中所示的非线性失真检测模块可以对应理解为图4中的第一确定模块401，图3中的非线性回声抑制模块可以对应理解为是图4中的第二确定模块402和处理模块403。

前述的回声消除方法的实施例涉及的各步骤的所有相关内容均可援引到本申请施例中的回声消除装置所对应的功能模块的功能描述，在此不再赘述。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

基于同一发明构思，本申请实施例提供一种终端设备。请参见图5所示，该终端设备包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本申请实施例中不限定处理器501与存储器502之间的具体连接介质，图5中是以处理器501和存储器502之间通过总线500连接为例，总线500在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线500可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请实施例中的终端设备还可以包括通信接口503，该通信接口503例如是网口，终端设备可以通过该通信接口503接收数据或者发送数据。

在本申请实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的回声消除方法中所包括的步骤。

其中，处理器501是终端设备的控制中心，可以利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的回声消除方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性终端机可读存储介质，可用于存储非易失性软件程序、非易失性终端机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由终端机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器501进行设计编程，可以将前述实施例中介绍的回声消除方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的回声消除方法的步骤，如何对处理器501进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的回声消除方法的步骤。

在一些可能的实施方式中，本申请提供的回声消除方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算设备上运行时，程序代码用于使该计算设备执行本说明书上述描述的根据本申请各种示例性实施方式的回声消除方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种回声消除方法，其特征在于，所述方法包括：

视频会议系统中的回声消除装置确定所述视频会议系统中的音频设备的失真等级，所述音频设备包括播放设备和采集设备，所述失真等级用于表征经过所述播放设备播放，并由所述采集设备采集后的音频数据的非线性失真程度；

确定所述失真等级对应的目标抑制等级，所述目标抑制等级用于表征对音频数据进行非线性回声抑制处理的程度；

通过所述目标抑制等级对所述采集设备采集的音频数据进行非线性回声抑制处理，获得经过非线性回声抑制处理后的音频数据。

2.如权利要求1所述的方法，其特征在于，确定音频设备的失真等级，包括：

确定预设的参考音频数据以及采集音频数据之间的线性相关值，所述采集音频数据为所述参考音频数据经过所述播放设备播放，并由所述采集设备采集后获得的音频数据；

确定所述线性相关值与预设的多个相关值区间的所属关系；

根据所述所属关系与第一对应关系，确定与所述线性相关值对应的失真等级，所述第一对应关系为相关值区间与失真等级之间的对应关系。

3.如权利要求1所述的方法，其特征在于，确定音频设备的失真等级，包括：

确定所述播放设备的第一设备参数以及所述采集设备的第二设备参数；

根据所述第一设备参数、所述第二设备参数以及第二对应关系，确定所述音频设备对应的失真等级，所述第二对应关系为不同播放设备的设备参数、不同采集设备的设备参数以及失真等级之间的对应关系。

4.如权利要求1所述的方法，其特征在于，确定音频设备的失真等级，包括：

在确定满足预设确定条件时，确定音频设备对应的失真等级，所述预设确定条件包括确定达到预设的时刻或检测到播放方式切换或检测到采集方式切换，不同的播放方式为通过不同的播放设备进行音频播放，不同的采集方式为通过不同的采集设备进行音频采集。

5.如权利要求1-4任一所述的方法，其特征在于，确定所述失真等级对应的目标抑制等级，包括：

根据预设的失真等级与抑制等级之间的对应关系，确定所述目标抑制等级，所述预设的失真等级与抑制等级之间的对应关系为预设的失真等级与多个抑制等级分组的对应关系。

6.如权利要求5所述的方法，其特征在于，根据预设的失真等级与抑制等级之间的对应关系，确定所述目标抑制等级，包括：

确定所述失真等级对应的抑制等级分组；

将所述抑制等级分组中满足预设选取条件的抑制等级确定为所述目标抑制等级，所述预设选取条件为使得所述播放设备播放的音频数据的能量值最大。

7.一种回声消除装置，其特征在于，所述装置包括：

第一确定模块，用于确定所述视频会议系统中的音频设备的失真等级，所述音频设备包括播放设备和采集设备，所述失真等级用于表征经过所述播放设备播放，并由所述采集设备采集后的音频数据的非线性失真程度；

第二确定模块，用于确定所述失真等级对应的目标抑制等级，所述目标抑制等级用于表征对音频数据进行非线性回声抑制处理的程度；

处理模块，用于通过所述目标抑制等级对所述采集设备采集的音频数据进行非线性回声抑制处理，获得经过非线性回声抑制处理后的音频数据。

8.如权利要求7所述的装置，其特征在于，所述第一确定模块，用于：

确定预设的参考音频数据以及采集音频数据之间的线性相关值，所述采集音频数据为所述参考音频数据经过所述播放设备播放，并由所述采集设备采集后获得的音频数据；

确定所述线性相关值与预设的多个相关值区间的所属关系；

根据所述所属关系与第一对应关系，确定与所述线性相关值对应的失真等级，所述第一对应关系为相关值区间与失真等级之间的对应关系。

9.如权利要求7所述的装置，其特征在于，所述第一确定模块，用于：

确定所述播放设备的第一设备参数以及所述采集设备的第二设备参数；

根据所述第一设备参数、所述第二设备参数以及第二对应关系，确定所述音频设备对应的失真等级，所述第二对应关系为不同播放设备的设备参数、不同采集设备的设备参数以及失真等级之间的对应关系。

10.一种终端设备，其特征在于，所述终端设备包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-6中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-6中任一项所述的方法。

Images