CN117177134A - 一种处理方法、装置、存储介质及处理设备 - Google Patents

Abstract

本申请公开了一种处理方法、装置、存储介质及处理设备，该处理方法包括：建立与多个电子设备的无线连接通道，每个电子设备包括第一音频采集装置和第二音频采集装置；基于无线连接通道获得第一音频采集装置组；基于无线连接通道获得第二音频采集装置组；基于第一音频采集装置组执行第一处理策略；基于第二音频采集装置组执行第二处理策略；第一处理策略与第二处理策略相关。

Description

一种处理方法、装置、存储介质及处理设备

技术领域

本申请涉及数据处理技术领域，更具体的说是涉及一种处理方法、装置、存储介质及处理设备。

背景技术

在一些会议应用场景中，例如，在会议室中配备专门的会议机(会议系统)，但是当前的会议机成本高。如果每个会议室配置一个会议机无疑会大大提高成本。

发明内容

有鉴于此，本申请提供如下技术方案：

一种处理方法，包括：

建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；

基于所述无线连接通道获得第一音频采集装置组；

基于所述无线连接通道获得第二音频采集装置组；

基于所述第一音频采集装置组执行第一处理策略；

基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

可选地，所述基于所述第一音频采集装置组执行第一处理策略，包括：

控制所述第一音频采集装置组中多个第一音频采集装置同时处于工作状态；

所述基于所述第二音频采集装置组执行第二处理策略，包括：

控制所述第二音频采集装置组中目标音频采集装置处于工作状态；

其中，所述目标音频采集装置基于所述第一处理策略的处理结果确定。

可选地，所述基于所述第一音频采集装置组执行第一处理策略，还包括：

获得多个所述第一音频采集装置采集的第一音频信号；

基于多个所述第一音频信号与目标参数的目标值确定目标设备，将所述目标设备作为第一处理策略的处理结果。

可选地，所述基于多个所述第一音频信号与目标参数的目标值确定目标设备，包括：

获得多个所述第一音频信号中属性不同的目标音频子信号；

基于每一所述目标音频子信号的信号强度值以及目标强度阈值，确定目标设备。

可选地，所述方法还包括：

基于所述第一音频采集装置获得初始第一音频信号；

对所述初始第一音频信号进行第一回声消噪处理，得到目标第一音频信号；

所述第一回声消噪处理至少包括下列之一：

抑制每一所述第一音频采集装置的音频信号相同部分的音频子信号；

放大每一所述第一音频采集装置的音频信号不同部分的音频子信号；

抑制每一所述第一音频采集装置的音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

可选地，还包括：

基于所述第二音频采集装置获得初始第二音频信号；

对所述初始第二音频信号进行第二回声消噪处理，得到目标第二音频信号；

所述第二回声消噪处理至少包括以下之一：

抑制所述初始第二音频信号中具有特定属性的音频子信号；

抑制所述第二音频采集装置的初始第二音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

可选地，所述基于所述第二音频采集装置组执行第二处理策略，包括：

控制所述第二音频采集装置组中多个第二音频采集装置作为目标事件的音频输入设备。

一种处理装置，包括：

建立单元，用于建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；

第一获取单元，用于基于所述无线连接通道获得第一音频采集装置组；

第二获取单元，用于基于所述无线连接通道获得第二音频采集装置组；

第一执行单元，用于基于所述第一音频采集装置组执行第一处理策略；

第二执行单元，用于基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

一种存储介质，所述存储器上存储有计算机程序，所述计算机程序被处理器执行包括：建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；基于所述无线连接通道获得第一音频采集装置组；基于所述无线连接通道获得第二音频采集装置组；基于所述第一音频采集装置组执行第一处理策略；基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

一种处理设备，所述处理设备包括：

无线通信模块；

处理器，用于通过所述无线通信模块建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；基于所述无线连接通道获得第一音频采集装置组；基于所述无线连接通道获得第二音频采集装置组；基于所述第一音频采集装置组执行第一处理策略；基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种处理方法的流程示意图；

图2为本申请实施例提供的一种应用场景的示意图；

图3为本申请实施例提供的一种应用场景的处理流程示意图；

图4为本申请实施例提供的一种处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书以及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

参见图1，为本申请实施例提供的一种处理方法的流程示意图，该方法可以包括以下步骤：

S101、建立与多个电子设备的无线连接通道。

电子设备包括第一音频采集装置和第二音频采集装置，可以是当前应用场景中的主设备建立与多个电子设备的无线连接通道，例如，可以是线上会议应用场景中的会议机建立与多个电子设备的无线连接通道。该无线连接通道，是指遵循Miracast协议的连接的通道，该通道是基于Wi-Fi协议的通道。

在一种实施方式中，该主设备可以基于每一电子设备的连接请求，建立与各个电子设备的无线连接通道。在另一实施方式中，该主设备还可以基于特定应用程序建立与多个电子设备的无线连接通道，例如，当主设备启动会议应用程序后，对应的各个电子设备也启动其安装的会议应用程序，该会议应用程序会检测对应加入目标会议的电子设备，自动建立这些电子设备与主设备的无线连接通道。主设备可以通过与每一电子设备建立的无线连接通道获得电子设备对应部件产生的数据或者通过相关部件采集得到的数据，从而后续对相应数据进行处理。

S102、基于无线连接通道获得第一音频采集装置组。

S103、基于无线连接通道获得第二音频采集装置组。

每个电子设备包括第一音频采集装置和第二音频采集装置，其中，第一音频采集装置和第二音频采集装置可以是电子设备内置的音频采集装置，也可以是电子设备通过音频接口外接的音频采集装置。第一音频采集装置和第二音频采集装置可以设置在电子设备的不同位置，也可以是第一音频采集装置和第二音频采集装置的音频采集参数不同，即第一音频采集装置和第二音频采集装置的音频采集效果不同。以电子设备是手机为例，第一音频采集装置可以是手机的副麦克风(副mic)，第二音频采集装置可以是手机的主麦克风(主mic)。其中，副麦克风通常设置手机顶端或手机背部，这样使得副麦克风采集到较多的手机环境音，主麦克风通常设置在手机底端，即靠近用户正常通话时嘴巴的位置，这样使得主麦克风采集得到更多的是用户的声音。

当前应用系统中的主设备建立与多个电子设备的无线连接通道，然后基于无线连接通道获得对应电子设备的第一音频采集装置组和第二音频采集装置组。第一音频采集装置组可以包括至少一个第一音频采集装置，第二音频采集装置组包括至少一个第二音频采集装置。基于无线连接通道获得的第一音频采集装置组中的第一音频采集装置，可以包括建立无线连接通道的每一电子设备的第一音频采集装置，也可以是当前电子设备中已经开启的第一音频采集装置，例如，当前主设备与第一电子设备、第二电子设备和第三电子设备建立了无线连接通道，第二电子设备可以实现用户手动开启或关闭对应的音频采集装置，若其在当前时刻关闭了第一音频采集装置，则当前时刻第一音频采集装置组包括第一电子设备的第一音频采集装置和第三电子设备的第二音频采集装置。对应的，第二音频采集装置组可以包括每一电子设备对应的第二音频采集装置，也可以是当前每一电子设备中已经开启的第二音频采集装置。

通过无线连接通道获得对应的第一音频采集装置组和第二音频采集装置组后，可以基于该无线连接通道获得第一音频采集装置组中的第一音频采集装置采集到的音频信号，也可以是基于该无线连接通道获得第二音频采集装置组中的第二音频采集装置采集到的音频信号。对于获得的这些音频信息可以进行进一步处理，主要是依据当前的处理事件对这些采集到的音频信号进行处理，如将哪部分音频信号作为处理事件的参考信息，又或者是将哪部分音频信号作为该处理事件输入或输出信息等。

进一步地，在与电子设备建立无线连接通道的时候，也可以基于电子设备的设备标识信息对各个无线连接通道进行区分，也可以是对组成第一音频采集装置组的各个第一音频采集装置进行区分，对应的，对组成第二音频采集装置组的各个第二音频采集装置进行区分，从而使得后续对音频信号的应用可以基于对应的无线连接通道获取。

在获得了第一音频采集装置组和第二音频采集装置组后，可以基于当前的应用需求以及处理事件的事件特征，确定对应的处理策略，以满足当前处理事件对应的音频处理效果。

S104、基于第一音频采集装置组执行第一处理策略。

S105、基于第二音频采集装置组执行第二处理策略。

其中，第一处理策略与第二处理策略相关，可以是第二处理策略基于第一处理策略确定，也可以根据第一音频采集装置组执行第一处理策略时获得的处理结果来确定第二处理策略。

第一处理策略是将第一音频采集装置组中对应的第一音频采集装置用于对音频信号进行检测的策略，即使得对应的第一音频采集装置类似于当前处理系统中传感器的功能，其可以对相应的音频信号进行采集，但是不作为通过音频输出装置输出的音频信号。例如，当前应用场景为线上会议场景，组成会议系统的是各个参会者的手机，各个手机中的副麦克组成了第一音频采集装置组，通过第一处理策略可以控制各个副麦克对当前场景中的音频信号进行采集，并将采集到的音频信号传输给当前会议系统中主设备的处理装置，该主设备的处理装置可以基于该音频信号生成对应的控制指令，而并不是将副麦克采集到的音频信号直接输出到当前环境中。即处理装置仅将各个副麦克风采集到的音频信号作为生成指令的参考信息，例如，可以通过副麦克采集到的音频信号来确定当前会议中的主讲话者。这样避免了将多种音频信号直接输出后造成输出过多的环境音，以及环境音对讲话者的干扰的问题。具体的，第一处理策略可以是针对第一音频采集装置组中各个第一音频采集装置的工作状态的策略，例如，全部开启各个第一音频采集装置，或者部分开启第一音频采集装置。该第一处理策略还可以针对第一音频采集装置组进行音频信号采集周期的策略，例如，第一音频采集装置组中的某个第一音频采集装置需要实时采集音频信号，而另一个第一音频采集装置可以是以固定的采集周期进行音频信号采集。

第二处理策略是指将第二音频采集装置中对应的第二音频采集装置用于与特定处理事件的绑定的策略，即将对应的第二音频采集装置提供给该特定处理事件，作为该处理事件的音频信号的采集装置，并将该第二音频采集装置采集到的音频信号作为该特定处理事件的音频输出信号。例如，当前应用系统中的主设备运行会议软件，此时的特定处理事件为会议事件，将与第二处理策略对应的第二音频采集装置作为会议事件的有效音频输入装置。由于第二处理策略与第一处理策略有关，例如，当在执行第一处理策略时，通过对应的第一音频采集装置采集到的音频信号，确定出当前某个电子设备的用户的讲话声音较大，可以将该电子设备对应的第二音频采集装置确定为与当前音频处理事件的待输出的音频信号的音频采集装置，即将该第二音频采集装置采集到的音频信号通过当前场景中的音频输出装置输出至环境中，使得所有用户可以听到该音频信号。具体的，第二处理策略可以包括针对第二音频采集装置组中第二音频采集装置的工作状态的策略，如在不同的时刻使得不同的第二音频采集装置开启或者关闭。

具体的，在第一音频采集装置组中的第一音频采集装置执行第一处理策略时，可以是通过第一音频采集装置组中的各个第一音频采集装置采集电子设备对应的音频信号，如采集电子设备所处环境的音频信号和电子设备对应的用户的声音信号等，而与电子设备建立无线连接通道的主设备可以基于待处理事件的事件需求，对第一音频采集装置采集到的音频信号进行处理，如可以通过该音频信号对当前环境进行分析，还可以进一步确定是否存在满足特定需求的音频信号。第二音频采集装置组中的第二音频采集装置执行第二处理策略时，可以是控制第二音频采集装置组中的某个第二音频采集装置在当前时刻开启，并采集对应的音频信号，以使得主设备能够将该第二音频采集装置采集到的音频信号进行输出。

在相应的应用场景中，可以在同一时刻将第一处理策略对应的全部的第一音频采集装置开启，这样可以使得各个第一音频采集装置实时对当前场景中的音频信号进行采集，以便于能够辅助主设备的处理装置生成更为准确和更为满足当前场景的指令信息，例如，在由用户电子设备组成的线上会议的应用场景中，第一音频采集装置可以是用户电子设备的副麦克，第二音频采集装置可以是用户电子设备的主麦克风。在同一时刻各个电子设备的副麦克均进行音频信号的采集，可以时刻确定出当前的主讲话者，保证在某个讲话者进行讲话的过程中其他用户发言能够被准确识别和捕捉到，从而使得主设备的处理装置能够生成与当前对应的第二处理策略，即保证开启当前讲话者对应的主麦克风，并将该主麦克风采集到的讲话者的音频信号输出。这样，在同一时刻，开启各个副麦克风，可以基于各个副麦克风采集到的音频信号，实时准确确定出当前的讲话者，而对应于第二处理策略仅开启与讲话者对应的主麦克风，从而保证没有啸叫干扰。

当前应用场景中主设备建立与多个电子设备的无线连接通道，使得多个电子设备能够处于当前的通信系统中，而每个电子设备又包括第一音频采集装置和第二音频采集装置，会使得各个电子设备采集到的音频信号较多，例如不仅可以采集到目标用户的声音，还可以采集到环境音，或者当前系统中音频输出模块的下行音频信号，使得在音频输出过程中会出现噪音、回声、啸叫等问题。因此，在本申请实施例中，基于无线通道获得第一音频采集装置组，可以是仅与该第一音频采集装置组建立通信连接，即可以获得各个第一音频采集装置采集到的音频信号，但是这部分音频信号并不做为当前处理事件的输入音频，即不将该部分音频信号作为处理事件的输出音频。仅是将第一音频采集装置采集到的音频信号作为后续音频处理的参考音频信号，如基于这部分音频信号确定出符合条件的特定音频信号。例如，基于第一音频采集装置采集到的音频信号确定出当前讲话者，然后控制该讲话者的电子设备的第二音频采集装置执行第二处理策略，如开启该讲话者的电子设备的第二音频采集装置，由该第二音频采集装置采集该讲话者的声音信号，并作为当前处理事件的输出音频。这样可以避免输出过多的环境音，以及环境音对讲话者的干扰，可以使得当前音频输出效果较好。

本申请实施例提供的处理方法或者具备该处理方法的装置或者具备该处理方法的电子设备，能够提供在同一个空间场所中的多个人利用各自的电子设备(手机、平板电脑、笔记本电脑等)组建一个处理系统(例如，会议系统)从而节省了成本(例如，为每个会议室配置会议机的成本)。

本申请实施例提供了一种处理方法，该方法可以应用于能够与多个电子设备建立通信连接的处理设备上，该处理设备可以是对应的应用场景中的执行数据处理功能的主设备，也可以是组成该通信系统的电子设备中的任一设备，具体的可以根据实际的应用场景需求确定。其中，电子设备可以包括个人电脑、智能手机、可穿戴设备或者线上会议终端中的一种或多种。本申请可以通过该处理方法，可以解决在同一个空间场所中由多个电子设备构成的通信应用场景中音频信号之间的干扰或噪声等问题(例如，在同一个会议室的中如果多个电子设备连接后将采集的音频信号提供当前的各个电子设备或者将远端的电子设备提供的音频信号提供当前的各个电子设备时产生的干扰或噪声等问题)，以提升对应的应用场景的音频输出效果。

当然，本申请实施例所提供的主设备也可以是会议室的会议机，也就是说本方案的方法应用于会议机也可以让会议机能够与其他电子电子组成会议系统但是不产生相应的干扰问题。

在本申请实施例的一种实施方式中，基于第一音频采集装置组执行第一处理策略，包括：控制第一音频采集装置组中多个第一音频采集装置同时处于工作状态。对应的，所述基于第二音频采集装置组执行第二处理策略，包括：控制第二音频采集装置组中目标音频采集装置处于工作状态。其中，目标音频采集装置基于第一处理策略的处理结果确定。

控制第一音频采集装置组中多个第一音频采集装置同时处于工作状态，可以是控制第一音频采集装置组中的每一个音频采集装置同时处于工作状态，也可以是控制第一音频采集装置组中满足目标条件的多个第一音频采集装置同时处于工作状态，例如，当前应用场景为线上会议场景，并且是包括多个会议室的线上会议场景，若能够获知每一会议室在此次线上会议中的职能，如第一会议室中的每个用户基于各自的终端能够进行发言并实时获得会议中的输出音频，而第二会议室中的用户仅是作为当前会议的听众不进行发言，虽然第一会议室和第二会议室中的用户终端均与该线上会议的会议机建立了无线连接通道，并且第一音频采集装置组包括第一会议室各个用户终端的副麦克风以及第二会议室各个用户终端的副麦克风，由于第二会议室中的用户不参与发言，则可以仅控制第一会议室的各个用户终端的副麦克风开启，即处于工作状态。

控制第二音频采集装置组中目标音频采集装置处于工作状态，即在某个时刻仅控制第二音频采集装置组中的一个第二音频采集装置处于工作状态，例如，在该时刻仅开启这一个第二音频采集装置，关闭其他的第二音频采集装置。可以在不同时刻基于实际需求对不同的第二音频采集装置的工作状态进行切换。其中，目标采集装置基于第一处理策略的处理结果确定，如在获得了第一音频采集装置组中处于工作状态的第一音频采集装置采集得到的音频信号后，根据该音频信号确定出满足条件的电子设备，将该电子设备对应的第二音频采集装置确定为目标音频采集装置。

在一种实施方式中，所述基于第一音频采集装置组执行第一处理策略，还包括：获得多个第一音频采集装置采集的第一音频信号；基于多个第一音频信号与目标参数值确定目标设备，将目标设备作为第一处理策略的处理结果。

当多个第一音频采集装置处于工作状态时，每一第一音频采集装置均会进行音频信号的采集，得到多个第一音频信号。然后对这些第一音频信号进行分析，可以提取出满足对应条件的音频信号，将满足对应条件的音频信号对应的音频特征值与该音频特征对应的目标值进行比较，基于比较结果确定出目标音频信号，将采集到该目标音频信号的第一音频采集装置所属的电子设备确定为目标设备。

具体的，在一种实施方式中，可以是将第一音频采集装置能够采集到具有特定音频特征的音频信号，且该音频信号的信号强度值大于强度阈值时，将该第一音频采集装置所属的电子设备作为目标设备。例如，特定音频特征可以是表征人的音频特征，具体的，可以根据构建的能够在环境音中识别出人的声音信号的神经网络模型，来对第一音频采集装置采集到的音频信号进行处理并识别，得到人的声音信号，并且为了避免误触发，可以设置对应的信号强度值，即检测到人的声音信号后，还要将该声音信号对应的信号强度值与强度阈值进行比较，若高于该强度阈值的声音信号作为后续主要采集的声音信号。即通过对应的第二音频采集装置采集该声音信号，并输出。

由于各个第一音频采集装置采集获得音频信号类似，可以对每一音频采集装置采集到的音频信号进行分析，获得相同部分和不同部分，从而进一步确定出满足条件的音频信号，作为后续控制对应第二音频采集装置处于工作状态的参考信息。即在另一种实施方式中，所述基于多个第一音频信号与目标参数的目标值确定目标设备，包括：获得多个所述第一音频信号中属性不同的目标音频子信号；基于每一目标音频子信号的信号强度值以及目标强度阈值，确定目标设备。

例如，电子设备为用户终端，第一音频采集装置为该用户终端的副mic，第二音频采集装置为该用户终端的主mic，多个用户终端组成了当前的会议系统。当每一个用户终端的副mic均处于工作状态时，其可以采集当前环境中的环境音和对应的用户讲话的声音，但是由于每一个副mic均可以采集到当前环境音，即各个副mic采集到的环境音的音频特征相同，因此，可以提取出与环境音属性不同的目标音频子信号，并且由于每一副mic所处的电子设备不同，其采集到的目标音频子信号的强度值不同，可以筛选出大于目标强度阈值的目标音频子信号，并选取出信号强度最大的目标音频子信号，将采集到该信号强度最大的目标音频子信号对应的副mic所属的用户终端确定为目标设备。从而可以仅控制该目标设备的主mic开启，以采集当前目标设备的用户的声音信号，并将该声音信号作为处理事件(如会议事件)的输入音频，并通过该处理事件对应的音频输出端输出该声音信号，从而可以避免多个主mic开启时采集到多个用户声音，影响主要声音信号的输出效果。

在第二音频采集装置组中目标音频采集装置处于工作状态时，如该目标音频采集装置采集该电子设备的目标用户的声音信号时，第一音频采集装置组中各个第一音频采集装置可以仍同时处于工作状态，以确定出是否将该目标音频采集装置切换至其他第二音频采集装置。例如，第一电子设备的第一主mic开启，并采集第一电子设备的声音信号并输出时，第一电子设备和其他电子设备的副mic仍处于工作状态，若通过第二电子设备的副mic采集到的音频信号识别到当前第二电子设备的用户的声音较大，则关闭第一电子设备的主mic，开启第二电子设备的主mic，并输出第二电子设备的主mic采集到的声音信号。

在本申请实施例的一种实施方式中，基于第二音频采集装置组执行第二处理策略，包括：控制第二音频采集装置组中多个第二音频采集装置作为目标事件的音频输入设备。

目标事件为当前待处理的事件，第一音频采集装置采集到的音频信号可以作为该目标事件进行数据处理的参考信号，而不是将第一音频采集装置作为目标事件的音频输入设备，即第一音频采集装置采集到的音频信号可以不作为目标事件对应的输出音频。需要说明的是，多个第二音频采集装置可以作为目标事件的音频输入设备，但是不是同时作为目标事件的音频输入设备，若同时开启两个第二音频采集装置会产生啸叫的问题，因此在本申请实施例中某个时刻仅有一个第二音频采集装置处于工作状态，即使在一些特定场景例如，对话题进行讨论的场景中，由于音频采集装置的功耗较低，频繁地切换也不容易造成系统卡顿或者其他问题，而是能够提供一个较好的音频输出效果。

进一步地，若在控制第二音频采集装置处于工作状态时，会与第二音频采集装置要采集的音频信号存在延时，例如，当检测到用户的讲话声音较大时，可以控制该用户的终端的主mic开启，通过主mic采集该用户的讲话的音频信号并输出。但是由于采集到用户的讲话声音较大时才开启该用户的主mic进行采集，可能会造成用户讲话的音频丢帧的问题，这时可以提取该用户副mic采集到的音频信号中属于用户讲话的部分，该该部分的音频信号与主mic采集到的音频信号叠加并输出，需要说明的是，此时仅是提取了副mic采集的音频信号作为后续叠加音频的部分信号，而不是将副mic采集到的音频信号直接输出。

为了能够提升音频输出效果，以及音频处理的精准性。避免环境音、下行音频信号等的干扰，在本申请实施例中第一音频采集装置采集到的音频信号，以及第二音频采集装置采集到的音频信号，都是基于回声消噪处理后的音频信号。

在一种实施方式中，所述方法还包括：

基于所述第一音频采集装置获得初始第一音频信号；

对所述初始第一音频信号进行第一回声消噪处理，得到目标第一音频信号；

所述第一回声消噪处理至少包括下列之一：

抑制每一所述第一音频采集装置的音频信号相同部分的音频子信号；

放大每一所述第一音频采集装置的音频信号不同部分的音频子信号；

抑制每一所述第一音频采集装置的音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

以线上会议场景为例，各个用户的用户终端组成该线上会议系统，第一音频采集装置可以是用户终端的副mic，该副mic主要是采集环境音以及存在的用户声音，而各个用户终端的副mic采集到的环境音相同，可以将这部分音频信号作为音频信号相同部分的音频子信号。这部分音频子信号会影响后续音频信号的处理，因此，可以抑制该部分的音频信号。对应的，不同部分的音频子信号可以是用户讲话的音频信号，可以放大该部分信号，便于后续的处理。对应的，该会议场景中的音频输出装置(如中央扬声器)其输出的音频信号也会影响副mic的音频信号的采集，此时需要对副mic开启回声消噪处理，以消除下行回声对上行的影响。即抑制每一所述第一音频采集装置的音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

对应的，所述方法还包括：

基于所述第二音频采集装置获得初始第二音频信号；

对所述初始第二音频信号进行第二回声消噪处理，得到目标第二音频信号；

所述第二回声消噪处理至少包括以下之一：

抑制所述初始第二音频信号中具有特定属性的音频子信号；

抑制所述第二音频采集装置的初始第二音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

其中，特定属性的音频子信号可以是指属于干扰信号属性的信号，如第二音频采集装置主要是用于采集人的声音信号时，该特定属性的音频子信号可以是环境音信号，然后抑制这部分的音频子信号。若电子设备同时开启了上行和下行，即该电子设备进行音频输入和音频输出时，可以抑制所述第二音频采集装置的初始第二音频信号与音频输出装置输出的音频信号的相同部分的音频子信号，消除下行回声对上行的影响。

以线上会议应用场景为例，基于第二音频采集装置获得用户音频信号时，可以基于预存的用户声纹信息，对除与所述用户声纹信息相匹配的音频信号之外的音频信号均进行回声消噪处理。还可以是在基于第一音频采集装置采集到的音频信号进行处理时，可以识别到目标声源所处的区域(例如，讲话者的位置区域)，将除该区域之外的所有区域产生的声音均识别为噪声，进行回声消噪处理。例如可以是TDOA(Time Difference ofArrival，到达时间差)算法，即基于各信号到达各麦克风的时间延迟(TDOA)估计的定位方向，通过计算不同副mic接收音源数据中各信号(语音信号和噪音信号)的时间差，并通过几何定位或搜索的方法确定目标声源的位置信息；基于波束指向性(steeredbeamformer)的定位算法，即在最大拟然准则的前提下，对收集的音源数据中各信号(语音信号和噪音信号)进行滤波，并对整个接收空间进行扫描，获得的波束能量的方向即为目标音源的方向，从而对非目标声源方向的音频信号均进行抑制。

具体的，在进行回声消噪处理时，可以基于电子设备自身的回声消噪模块实现，即利用预设的回声消噪算法中的自适应滤波器来调整回声消噪参数，使得调整后的回声消噪参数用于消除噪声信号，即对相关信号进行抑制。

通过对第一音频采集装置和第二音频采集装置采集到的音频信号进行回声消噪处理，可以使得处理后的音频信号更加满足场景的应用需求。例如，对第一音频采集装置采集到的音频信号进行回声消噪处理后，可以更容易从处理后的音频信号中识别出特定的音频信号。对第二音频采集装置采集到的音频信号进行回声消噪处理，可以更能突出对应部分的音频信号(如讲话者的音频信号)，使得将其输出效果更好，避免其他音频信号的干扰。

下面以线上会议场景为例，参见图2，为本申请实施例提供的一种应用场景的示意图。在该会议场景中，通过各个用户的手机或者PC组成了该会议系统，通常因为手机或者PC的麦克风灵敏度有限，当用户坐在在1号位，2号位，3号位，6号位的时候，传输的声音大小会比较小，会导致整体的通话效果不如4号位和5号位的人。因此，在本申请实施例中可以通过该会议系统中的主设备，如会议系统的服务端，或者当前用户终端的一个，建立与每一用户终端的无线连接通道，基于每一用户终端的副mic监测各个用户的发言行为，当检测到某个用户发言时，通过会议程序调度该用户的用户终端的主mic开启，而非该用户的其他用户的主mic关闭，从而达到所有发言人的信噪比都是比较高的，达到比较好的会议体验。进一步地，通过用户终端的副mic来监测每个用户的发言行为，但是因为用户终端同时开启了下行和上行，所在在副mic监听发言人行为的时候需要对副mic开启回声处理，以消除下行回声对上行的影响，然后设定一个表征用户讲话的音频的音频强度门限，如该门限值为声压门限值，当声压值超过该门限值，得到这个人想发言，同时查询是否有其他人也在发言中，如果没有，则将该发言人的主mic打开，关闭其他所有人的主mic。如果有，则需要判断当前发言人是否为上次发言人，如果是，则继续保持该发言人的发言行为，如果不是，则忽略该发言人的发言行为。

参见图3，为本申请实施例提供的一种应用场景的处理流程示意图，若当前会议场景中包括设备0、设备1、设备2、设备3、设备4、设备5和设备6，对每一设备的副mic采集到的音频信号进行会生成处理，并基于处理后的音频信号中表征用户讲话声音的声压值与声压阈值进行比较，如果没有大于该声音阈值的声压值，则关闭所有的设备的主mic。如果有，进一步确定当前场景中是否还有第二个设备，该第二个设备表征声压值也高于该声压阈值的设备，如果有第二设备，判断该当前设备是否为之前的设备，如果是，则继续保持该发言人的发言行为，如果不是，则忽略该发言人的发言行为。如果不存在第二设备，则将音频通路切换到对应的设备，然后控制该设备的主mic采集音频信号并控制会议程序输出该音频信号。

在本申请实施例中还提供了一种处理装置，参见图4，该装置包括：

建立单元201，用于建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；

第一获取单元202，用于基于所述无线连接通道获得第一音频采集装置组；

第二获取单元203，用于基于所述无线连接通道获得第二音频采集装置组；

第一执行单元204，用于基于所述第一音频采集装置组执行第一处理策略；

第二执行单元205，用于基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

可选地，所述第一执行单元包括：

第一控制子单元，用于控制所述第一音频采集装置组中多个第一音频采集装置同时处于工作状态；

所述第二执行单元包括：

第二控制子单元，用于控制所述第二音频采集装置组中目标音频采集装置处于工作状态；

其中，所述目标音频采集装置基于所述第一处理策略的处理结果确定。

可选地，所述第一执行单元还包括：

第一获取子单元，用于获得多个所述第一音频采集装置采集的第一音频信号；

第一确定子单元，用于基于多个所述第一音频信号与目标参数的目标值确定目标设备，将所述目标设备作为第一处理策略的处理结果。

可选地，所述第一确定子单元具体用于：

获得多个所述第一音频信号中属性不同的目标音频子信号；

基于每一所述目标音频子信号的信号强度值以及目标强度阈值，确定目标设备。

可选地，所述装置还包括：回声消噪单元用于

基于所述第一音频采集装置获得初始第一音频信号；

对所述初始第一音频信号进行第一回声消噪处理，得到目标第一音频信号；

所述第一回声消噪处理至少包括下列之一：

抑制每一所述第一音频采集装置的音频信号相同部分的音频子信号；

放大每一所述第一音频采集装置的音频信号不同部分的音频子信号；

抑制每一所述第一音频采集装置的音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

可选地，所述回声消噪单元还用于

基于所述第二音频采集装置获得初始第二音频信号；

对所述初始第二音频信号进行第二回声消噪处理，得到目标第二音频信号；

所述第二回声消噪处理至少包括以下之一：

抑制所述初始第二音频信号中具有特定属性的音频子信号；

抑制所述第二音频采集装置的初始第二音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

可选地，所述第二执行单元包括：

第三控制单元，用于控制所述第二音频采集装置组中多个第二音频采集装置作为目标事件的音频输入设备。

需要说明的是，本实施例中各个单元以及子单元的具体实现可以参考前文中的相应内容，此处不再详述。

在本申请的另一实施例中，还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行包括：建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；基于所述无线连接通道获得第一音频采集装置组；基于所述无线连接通道获得第二音频采集装置组；基于所述第一音频采集装置组执行第一处理策略；基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

在本申请的另一实施例中，还提供了一种处理设备，所述处理设备可以包括：

无线通信模块；

处理器，用于通过所述无线通信模块建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；基于所述无线连接通道获得第一音频采集装置组；基于所述无线连接通道获得第二音频采集装置组；基于所述第一音频采集装置组执行第一处理策略；基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种处理方法，包括：

建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；

基于所述无线连接通道获得第一音频采集装置组；

基于所述无线连接通道获得第二音频采集装置组；

基于所述第一音频采集装置组执行第一处理策略；

基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

2.根据权利要求1所述的方法，所述基于所述第一音频采集装置组执行第一处理策略，包括：

控制所述第一音频采集装置组中多个第一音频采集装置同时处于工作状态；

所述基于所述第二音频采集装置组执行第二处理策略，包括：

控制所述第二音频采集装置组中目标音频采集装置处于工作状态；

其中，所述目标音频采集装置基于所述第一处理策略的处理结果确定。

3.根据权利要求2所述的方法，所述基于所述第一音频采集装置组执行第一处理策略，还包括：

获得多个所述第一音频采集装置采集的第一音频信号；

基于多个所述第一音频信号与目标参数的目标值确定目标设备，将所述目标设备作为第一处理策略的处理结果。

4.根据权利要求3所述的方法，所述基于多个所述第一音频信号与目标参数的目标值确定目标设备，包括：

获得多个所述第一音频信号中属性不同的目标音频子信号；

基于每一所述目标音频子信号的信号强度值以及目标强度阈值，确定目标设备。

5.根据权利要求1所述的方法，所述方法还包括：

基于所述第一音频采集装置获得初始第一音频信号；

对所述初始第一音频信号进行第一回声消噪处理，得到目标第一音频信号；

所述第一回声消噪处理至少包括下列之一：

抑制每一所述第一音频采集装置的音频信号相同部分的音频子信号；

放大每一所述第一音频采集装置的音频信号不同部分的音频子信号；

抑制每一所述第一音频采集装置的音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

6.根据权利要求5所述的方法，还包括：

基于所述第二音频采集装置获得初始第二音频信号；

对所述初始第二音频信号进行第二回声消噪处理，得到目标第二音频信号；

所述第二回声消噪处理至少包括以下之一：

抑制所述初始第二音频信号中具有特定属性的音频子信号；

抑制所述第二音频采集装置的初始第二音频信号与音频输出装置输出的音频信号的相同部分的音频子信号。

7.根据权利要求1所述的方法，所述基于所述第二音频采集装置组执行第二处理策略，包括：

控制所述第二音频采集装置组中多个第二音频采集装置作为目标事件的音频输入设备。

8.一种处理装置，包括：

建立单元，用于建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；

第一获取单元，用于基于所述无线连接通道获得第一音频采集装置组；

第二获取单元，用于基于所述无线连接通道获得第二音频采集装置组；

第一执行单元，用于基于所述第一音频采集装置组执行第一处理策略；

第二执行单元，用于基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

9.一种存储介质，所述存储器上存储有计算机程序，所述计算机程序被处理器执行包括：建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；基于所述无线连接通道获得第一音频采集装置组；基于所述无线连接通道获得第二音频采集装置组；基于所述第一音频采集装置组执行第一处理策略；基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。

10.一种处理设备，所述处理设备包括：

无线通信模块；

处理器，用于通过所述无线通信模块建立与多个电子设备的无线连接通道，每个所述电子设备包括第一音频采集装置和第二音频采集装置；基于所述无线连接通道获得第一音频采集装置组；基于所述无线连接通道获得第二音频采集装置组；基于所述第一音频采集装置组执行第一处理策略；基于所述第二音频采集装置组执行第二处理策略；所述第一处理策略与所述第二处理策略相关。