CN114339548A - 同一空间中多终端检测方法和装置、会议处理方法和系统、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种同一空间中多终端检测方法和装置、会议处理方法和系统、电子设备及计算机可读存储介质。该方法包括：向加入音视频会议的终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据；检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，确定在同一空间中存在与参加同一音视频会议的至少两个终端。本申请实施例避免了终端自己发出的音频信号在同一空间中被其他终端播放而被再次接收从而不断放大后形成的啸叫等问题，从而提高了音视频会议的通话体验。

Description

同一空间中多终端检测方法和装置、会议处理方法和系统、电 子设备及计算机可读存储介质

技术领域

本申请涉及会议处理技术领域，尤其涉及一种同一空间中多终端检测方法和装置、会议处理方法和系统、电子设备及计算机可读存储介质。

背景技术

随着音频技术的应用的不断扩展，多方音频处理技术也越来越多地应用在各种商务会议中。例如，在多终端参与的音视频会议中，可以通过每个参会者的手持式终端来采集和播放音频。但是在这样的情况下，如果位于同一空间中的多个参会者的终端都开放麦克风和扬声器，则当终端一的麦克风采集到声音信号，经由会议音频系统的服务器传输到处于同一空间中的终端二，并通过终端二的扬声器播放后，终端一的麦克风会再次采集被终端二的扬声器播放的声音信号，并再次传输到会议音频系统中，因此在这多方参与的会议音频系统中形成声学回路，在该声学回路中由该同一空间中的多个终端采集到的音频信号将被不断放大，从而在这些终端的扬声器产生非常刺耳的啸叫，影响音视频会议的通话体验。

发明内容

本申请实施例提供一种同一空间中多终端检测方法和装置、会议处理方法和系统、电子设备及计算机可读存储介质，以解决现有技术中同一空间中的多个参会者的终端产生声学回路的缺陷。

为达到上述目的，本申请实施例提供了种检测同一空间中多终端检测方法，包括：

向加入音视频会议的终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向该终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据；

检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，确定在同一空间中存在与参加同一音视频会议的至少两个终端。

本申请实施例还提供了一种会议处理方法，包括：

向加入会议的多个终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向该终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据；

检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，向所述至少两个终端中的至少一个终端发送关闭指令，以指示该终端关闭麦克风或扬声器。

本申请实施例还提供了一种会议处理方法，包括：

向加入会议的多个终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向该终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据；

检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，向所述会议的发起者或管理者发送接收到包括与所述第二音频数据对应的特征的第三音频数据的终端的信息；

接收所述发起者或管理者的终端指示信息，以根据所述终端指示信息关闭终端指示信息中所指定的终端的麦克风或扬声器。

本申请实施例还提供了一种同一空间中多终端检测装置，包括：

发送模块，用于向加入音视频会议的终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向该终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据；

特征检测模块，用于检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

确定模块，用于当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，确定在同一空间中存在与参加同一音视频会议的至少两个终端。

本申请实施例还提供了一种会议处理系统，包括：会议管理服务器以及多个终端，其中，所述多个终端中的每一个终端通过所述会议管理服务器彼此通信来参加会议，并且

所述会议管理服务器用于：

向参加会议的多个终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据，

检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，向所述至少两个终端中的至少一个终端发送关闭指令，以指示该终端关闭麦克风或扬声器。

本申请实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行本申请实施例提供的同一空间中多终端检测方法以及会议处理方法。

本申请实施例还提供了一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如本申请实施例提供的同一空间中多终端检测方法以及会议处理方法。

本申请实施例提供的同一空间中多终端检测方法和装置、会议处理方法和系统、电子设备及计算机可读存储介质，能够通过向加入音视频会议的终端中的至少两个终端发送音频叠加指令来指示这两个终端在发出的第一音频数据中以指定的叠加周期和音频模式叠加第二音频数据，并且通过对接收到的音频数据中检测是否存在与音频叠加指令对应的特征来判断在当前的空间中是否存在发出的具有这样的特征的第二音频数据的终端，从而判断在当前的空间中存在参加同一音视频会议的至少两个终端，因此，能够以简单的以指定的叠加周期和音频模式叠加第二音频数据的方式来准确地判断当前空间中存在同一音视频会议的至少两个终端，并且进而可以通知参加会议的至少一个终端注意或者指示其他终端关闭麦克风或扬声器，从而使得在同一空间中参加会议的终端所形成的声学回路中一个音频信号只会被发送一次，避免了终端自己发出的音频信号在同一空间中被其他终端播放而被再次接收从而不断放大后形成的啸叫等问题，从而提高了音视频会议的通话体验。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1a和图1b为本申请实施例提供的同一空间中多终端检测方法的应用场景示意图；

图2为本申请提供的同一空间中多终端检测方法一个实施例的流程图；

图3为本申请提供的同一空间中多终端检测方法另一个实施例的流程图；

图4为本申请提供的同一空间中多终端检测装置实施例的结构示意图；

图5为本申请提供的电子设备实施例的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

本申请实施例提供的方案可应用于任何具有音频处理能力的通信系统，例如安装有音频处理模块的终端设备等等。图1a和图1b为本申请实施例提供的同一空间中多终端检测方法的应用场景示意图，图1a和图1b所示的场景仅仅是本申请的技术方案可以应用的场景的示例之一。

随着互联网技术的发展，越来越多的人们使用互联网来进行沟通，尤其是近年来网络会议技术的发展，使得人们在不同的地方能够参与到同一个会议中。例如，在如图1a中所示的场景中，终端1至终端4一共4个终端通过互联网连接到服务器来参与同一个音视频会议。如图1b中所示，终端1和终端2处于同一个空间中，例如终端1和终端2分别属于同一个分公司的两个员工，他们在该分公司的会议室中一起与处于其他两个地方的分别使用终端3和终端4的两个员工一起参与音视频会议。在该情况下，每个员工都使用自己的终端，例如手机来发送语音和播放他人的语音。但是由于终端1和终端2处于同一个空间中，因此，如图1b中所示，终端1的例如麦克风的音频采集装置采集到的使用该终端1的员工的语音并且通过互联网传输到服务器，并且由服务器转发到其他终端2-4来播放给其他员工收听。因此，在该情况下，与终端1处于同一空间中的终端2会收到服务器转发来的终端1发出的音频数据并且通过终端2的扬声器播放出来。由于终端2与终端1处于同一空间中，因此，终端2的扬声器播放的来自终端1的音频数据会被终端1的扬声器采集到，并且作为终端1的语音数据而再次发送到服务器中，因此，终端1自己发出的语音数据被再次传输到会议系统中，从而在会议音频系统中形成了声学回路，因此会导致发生音频信号的叠加和放大，从而在各终端的扬声器中产生了非常刺耳的啸叫，从而严重影响了参与会议的人员的通话体验。

为此，在现有技术中，已经提出了通过判断终端设备的IP地址来识别参与会议的终端中是否存在处于同一空间中的终端，但是这一方面需要对各终端所使用的路由器进行相应的设置，另一方面，在通常情况下，一个公司可能对外具有同一个IP地址，但是当不同的员工在不同会议室参加会议室，很有可能会被服务器识别为具有相同IP，从而被错误地识别为处于同一空间中。

此外，在现有技术中还出现了在会议音频系统中利用数字信号处理技术来检测是否发生了啸叫并且相应地确定啸叫的模式，即啸叫的频段，从而在传输各终端的音频时对该频段的音频信号进行抑制以消除啸叫。但是这样的方式不能够从根本上解决啸叫的发生，并且由于是通过判定发生啸叫的频段来抑制啸叫，因此很可能会错误地抑制了接近该频段或处于该频段的正常的语音数据的传输。

在本申请实施例中，当终端申请加入某一音视频会议时，可以由服务器为该会议生成音频指令，并且发送给参加该会议的多个终端中的至少两个，从而作为远端的终端在采集到相应用户的第一语音数据之后并且在发送到会议系统中之前根据接收到的该音频叠加指令来向该终端通过例如麦克风采集到的第一语音数据中以该音频叠加指令中指定的叠加周期和该音频叠加指令中指定的音频模式来叠加第二音频数据，从而该终端最终发送到服务器的第三音频数据都将会包含具有该叠加周期和音频模式特征的音频数据，因此服务器可以根据通过对终端发送的第三音频数据进行特征检测来确认终端发送的第三音频数据中是否包括对应的特征。

例如，可以先通过检测叠加周期来确定终端发送的第三音频数据中包含有为该会议指定的叠加周期的特征，并且可以进一步检测在终端发送的第三音频数据中包含有两个或更多个为该会议指定的音频模式的特征。在该情况下，例如图1b中所示，终端1采集到其用户发出的语音并且将其采集为第一音频数据，之后在终端1中根据终端1加入该音视频会议时由服务器下发的针对该会议的音频叠加指令以指定的叠加周期和指定的音频模式在第一音频数据中叠加第二音频数据，以生成第三音频数据。例如，在本申请实施例中，音频数据包括但不是不限于超声波信号、具有特定频率的音频信号等等。

例如，在本申请实施例中，在第二音频数据为超声波的情况下，如图1b中所示，服务器为终端1和终端2下发的音频叠加指令为：以3秒的叠加周期叠加18kHz-20kHz的扫频(sweep)超声波信号。因此，终端1以3秒为周期在采集到的第一音频数据中叠加该18kHz-20kHz的扫频超声波信号以生成第三音频数据1。因此，服务器在接收到该终端1传输来的第三音频数据1之后转发给参与同一会议的终端2，并且终端2通过其扬声器播放该第三音频数据1，并且如图1b中所示，由于终端1和终端2处于同一空间中，因此终端2的扬声器播放的该第三音频数据1会被终端1的麦克风接收到，并且被作为新的第一音频数据2再次根据上述音频叠加指令进行音频叠加，即，在第三音频数据2中再次以3秒的周期叠加该18kHz-20kHz的扫频超声波信号。

换言之，终端1此时向服务器发出的第三音频数据2由于实际上是采集到的在同一空间中的终端2的扬声器发出的终端1上一次发出的语音数据，即第三音频数据1，也就是说终端1这时发出的第三音频数据2就是会引起啸叫的音频数据，因此，根据本申请实施例的方案，在终端1此时发出的这样的第三音频数据2中是在终端1上一次发出的第三音频数据1的基础上再次叠加第二音频数据而生成的，因此在服务器接收到该第三音频数据2并对其进行特征检测时，可以一方面通过检测该第三音频数据中两个连续的音频数据的频率峰值，即检测两个连续的频率峰，并且进而计算该两个频率峰值的时间间隔，当该时间间隔与为该会议所指定的叠加周期的差值小于预设阈值时，就可以确定该第三音频数据中包含有具有指定的(例如，3秒)的叠加周期的超声波信号。

此外，还可以进一步检测该第三音频数据中具有指定的音频模式(例如，18kHz-20kHz的扫频超声波信号)的数据的个数，并且当确定第三音频数据中的音频模式的个数大于预定阈值，例如1时，就能够确定该会议的参与者中存在至少一个与终端1处于同一空间中的其他终端，因为该终端1接收到了自己上一次发出的第三音频数据1，这显然是由于与终端1同处在一个空间中的终端2的扬声器发出来又被终端1的麦克风接收到而导致的。因此，在本申请实施例中，可以由服务器对于终端1和终端2下发通知，以提醒用户在同一空间中存在多个终端参与同一会议可能引发啸叫，并且进而也可以直接通知终端1或终端2的用户，指示其关闭其终端的麦克风和/或扬声器，以避免产生声学回路，从而引发啸叫。

因此，本申请实施例提供的同一空间中多终端检测方案、会议处理方案，能够通过向加入音视频会议的终端中的至少两个终端发送音频叠加指令来指示这两个终端在发出的第一音频数据中以指定的叠加周期和音频模式叠加第二音频数据，并且通过对接收到的音频数据中检测是否存在与第二音频数据对应的特征来判断在当前的空间中是否存在发出的具有这样的特征的第二音频数据的终端，从而判断在当前的空间中存在参加同一音视频会议的至少两个终端，因此，能够以简单的以指定的叠加周期和音频模式叠加第二音频数据的方式来准确地判断当前空间中存在同一音视频会议的至少两个终端，并且进而可以通知参加会议的至少一个终端注意或者指示其他终端关闭麦克风或扬声器，从而使得在同一空间中参加会议的终端所形成的声学回路中一个音频信号只会被发送一次，避免了终端自己发出的音频信号在同一空间中被其他终端播放而被再次接收从而不断放大后形成的啸叫等问题，从而提高了音视频会议的通话体验。

上述实施例是对本申请实施例的技术原理和示例性的应用框架的说明，下面通过多个实施例来进一步对本申请实施例具体技术方案进行详细描述。

实施例二

图2为本申请提供的同一空间中多终端检测方法一个实施例的流程图，该方法的执行主体可以为具有音频处理能力的各种通信终端或设备，也可以为集成在这些设备上的装置或芯片。如图2所示，该音频数据处理方法包括如下步骤：

S201，向加入音视频会议的终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据。

在本申请实施例中，如图1a中所示，在有多个终端1-4向服务器请求加入同一音视频会议时，可以由例如服务器向终端1-4中的每一个或者向其中的至少两个，例如1和2来发送音频叠加指令，以指示终端生成第三音频数据，从而通过服务器发送给其他终端。在本申请实施例中，音频叠加指令中可以包含向参加会议其他终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且可以用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据。

S202，检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征。

在步骤S201中为终端发送了音频叠加指令之后，接收到该指令的终端在参与会议的过程中会采集各自的用户发出的音频来作为第一音频数据并且根据在步骤S201中下发的音频叠加指令来进行第二音频数据的叠加，并且从而生成第三音频数据。因此，在本申请实施例中，可以在步骤S202中由服务器对于每个终端发送的第三音频数据进行音频特征检测以确定是否包括与服务器下发的音频叠加指令对应的特征。例如，可以先通过检测叠加周期来确定终端发送的第三音频数据中包括的音频周期特征和音频模式特征，并且可以进一步确定该音频周期特征和音频模式特征是否与音频叠加指令所包含的叠加周期和/或音频模式对应。

S203，当根据检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，确定在同一空间中存在与参加同一音视频会议的至少两个终端。

根据步骤S202的检测结果，在步骤S203中可以在检测结果表示在接收到的由例如终端1发送的第三音频数据中检测到与音频叠加指令对应的音频特征时，这说明终端1采集到的不仅仅是自己发出的第一音频数据，而且还采集到了由位于同一空间中的其他终端，例如图1b中的终端2通过扬声器发出的已经叠加过音频叠加指令所指示的音频特征的第三音频数据，因此，在步骤S203中可以根据音频特征检测结果确定在终端1所在的空间中存在至少两个终端参加同一会议，例如终端1和2。

因此，本申请实施例提供的同一空间中多终端检测方法，能够通过向加入音视频会议的终端中的至少两个终端发送音频叠加指令来指示这两个终端在发出的第一音频数据中以指定的叠加周期和音频模式叠加第二音频数据，并且通过对接收到的音频数据中检测是否存在与第二音频数据对应的特征来判断在当前的空间中是否存在发出的具有这样的特征的第二音频数据的终端，从而判断在当前的空间中存在参加同一音视频会议的至少两个终端，因此，能够以简单的以指定的叠加周期和音频模式叠加第二音频数据的方式来准确地判断当前空间中存在同一音视频会议的至少两个终端，并且进而可以通知参加会议的至少一个终端注意或者指示其他终端关闭麦克风或扬声器，从而使得在同一空间中参加会议的终端所形成的声学回路中一个音频信号只会被发送一次，避免了终端自己发出的音频信号在同一空间中被其他终端播放而被再次接收从而不断放大后形成的啸叫等问题，从而提高了音视频会议的通话体验。

实施例三

图3为本申请提供的同一空间中多终端检测方法另一个实施例的流程图，该方法的执行主体可以为具有音频处理能力的各种通信终端或设备，也可以为集成在这些设备上的装置或芯片。如图3所示，该同一空间中多终端检测处理方法包括如下步骤：

S301，向加入音视频会议的终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据。

在本申请实施例中，如图1a中所示，在有多个终端1-4向服务器请求加入同一音视频会议时，可以由例如服务器向终端1-4中的每一个或者向其中的至少两个，例如1和2来发送音频叠加指令，以生成第三音频数据，从而通过服务器发送给其他终端。在本申请实施例中，音频叠加指令中可以包含向参加会议其他终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且可以用于指示至少两个终端向所述第一音频数据中以叠加周期和音频模式叠加第二音频数据。

在本申请实施例中，音频模式可以为频率范围为18千赫兹至20千赫兹的扫频信号、频率范围为20千赫兹至22千赫兹的扫频信号、频率范围为18千赫兹至20千赫兹的非线性信号或者频率范围为20千赫兹至22千赫兹的非线性信号。

S3021，检测第三音频数据中的连续的两个的音频数据的频率峰值。

S3022，计算连续两个的频率峰值的时间间隔。

S3023，当时间间隔与叠加周期的差值小于预设阈值时，确定第三音频数据包括与音频叠加指令对应的特征。

在步骤S301中为终端发送了音频叠加指令之后，接收到指令的终端在参与会议的过程中会采集各自的用户发出的音频来作为第一音频数据并且根据在步骤S301中下发的音频叠加指令来以指定的叠加周期和音频模式进行第二音频数据的叠加，并且从而生成第三音频数据。因此，在本申请实施例中，可以在步骤S3021-S3023中由服务器对于每个终端发送的第三音频数据进行音频特征检测。例如，可以检测第三音频数据中两个连续的音频数据的频率峰值，即检测两个连续的频率峰，并且进而在步骤S3022计算该两个频率峰值的时间间隔，并且在步骤3023中，当该时间间隔与为该会议所指定的叠加周期的差值小于预设阈值时，就可以确定该第三音频数据中与指定的(例如，3秒)的叠加周期对应的特征。

此外，在本申请实施例中，还可以进一步检测第三音频数据中是否包含具有指定的音频模式的音频数据。例如，本申请的同一空间中多终端检测方法还可以包括：

3024，确定第三音频数据中音频模式特征的个数。

因此，在本申请实施例中，可以在对于参加会议的终端发送的第三音频数据进行音频特征检测时确定其包含的音频模式。例如，可以检测该第三音频数据中是否具有指定的音频模式(例如，18kHz-20kHz的扫频超声波信号)的个数，因此，当所音频模式特征的个数大于预设阈值时，确定第三音频数据包括与音频叠加指令对应的特征。

S303，当根据检测结果确定第三音频数据包括与音频叠加指令对应的特征时，确定在同一空间中存在与参加同一音视频会议的至少两个终端。

根据步骤S3021-3023和/或步骤S3024的检测结果，在步骤S303中可以在检测结果表示在接收到的由例如终端1发送的第三音频数据中检测到与音频叠加指令对应的音频特征时，这说明终端1采集到的不仅仅是自己发出的第一音频数据，而且还采集到了由位于同一空间中的其他终端，例如图1b中的终端2通过扬声器发出的已经叠加过音频叠加指令所指示的音频特征的第三音频数据，因此，在步骤S203中可以根据音频特征检测结果确定在终端1所在的空间中存在至少两个终端参加同一会议，例如终端1和2。

S304，向空间中参加同一音视频会议的多个终端发送消息指令，以通知在该空间中存在参加同一音视频会议的多个终端。

在本申请实施例中，在步骤S303中确定在终端1所在的空间中存在与终端1参加同一音视频会议的其他终端的情况下，可以在步骤S304中由例如服务器对于如图1b中所示的终端1和终端2下发通知，以提醒用户在同一空间中存在多个终端参与同一会议可能引发啸叫。此外，也可以直接通知终端1或终端2的用户，指示其关闭其终端的麦克风和/或扬声器，以避免产生声学回路，从而引发啸叫。

此外，在本申请实施例中，也可以当根据检测结果确定第三音频数据包括与音频叠加指令对应的特征时，向会议的发起者或管理者发送接收到包括与所述第二音频数据对应的特征的第三音频数据的终端的信息，从而发起者或管理者可以知晓在该会议中存在多个终端处于同一空间中的情况，并且进而发起者或管理者可以向终端发出终端指示信息，从而接收到指示的终端可以根据终端指示信息关闭终端指示信息中所指定的麦克风或扬声器。

因此，本申请实施例提供的同一空间中多终端检测方法，能够通过向加入音视频会议的终端中的至少两个终端发送音频叠加指令来指示这两个终端在发出的第一音频数据中以指定的叠加周期和音频模式叠加第二音频数据，并且通过对接收到的音频数据中检测是否存在与第二音频数据对应的特征来判断在当前的空间中是否存在发出的具有这样的特征的第二音频数据的终端，从而判断在当前的空间中存在参加同一音视频会议的至少两个终端，因此，能够以简单的以指定的叠加周期和音频模式叠加第二音频数据的方式来准确地判断当前空间中存在同一音视频会议的至少两个终端，并且进而可以通知参加会议的至少一个终端注意或者指示其他终端关闭麦克风或扬声器，从而使得在同一空间中参加会议的终端所形成的声学回路中一个音频信号只会被发送一次，避免了终端自己发出的音频信号在同一空间中被其他终端播放而被再次接收从而不断放大后形成的啸叫等问题，从而提高了音视频会议的通话体验。

实施例四

图4为本申请提供的同一空间中多终端检测装置实施例的结构示意图，可用于执行如图2和图3所示的方法步骤。如图4所示，该检测装置可以包括：发送模块41、特征检测模块42和确定模块43。

发送模块41可以用于向加入音视频会议的终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据。

在本申请实施例中，如图1a中所示，在有多个终端1-4向服务器请求加入同一音视频会议时，可以由例如服务器向终端1-4中的每一个或者向其中的至少两个，例如1和2来发送音频叠加指令，以指示终端生成第三音频数据，从而通过服务器发送给其他终端。在本申请实施例中，音频叠加指令中可以包含向参加会议其他终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且可以用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据例如，在本申请实施例中，发送模块41可以根据预先设定的规则为每个会议随机生成各自的音频叠加指令，也可以从预先设定的音频叠加指令列表中进行选择。

特征检测模块42可以用于检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征。

在发送模块41为终端发送了音频叠加指令之后，接收到该指令的终端在参与会议的过程中会采集各自的用户发出的音频来作为第一音频数据并且根据发送模块41下发的音频叠加指令来进行第二音频数据的叠加，并且从而生成第三音频数据。

因此，在本申请实施例中，特征检测模块42可以对于每个终端发送的第三音频数据进行音频特征检测以确定是否包括与服务器下发的音频叠加指令对应的特征。例如，可以先通过检测叠加周期来确定终端发送的第三音频数据中包括的音频周期特征和音频模式特征，并且可以进一步确定该音频周期特征和音频模式特征是否与音频叠加指令所包含的叠加周期和/或音频模式对应。

确定模块43可以用于当根据检测结果确定第三音频数据包括与音频叠加指令对应的特征时，确定在同一空间中存在与参加同一音视频会议的至少两个终端。

根据特征检测模块42的检测结果，确定模块43可以在检测结果表示在接收到的由例如终端1发送的第三音频数据中检测到与音频叠加指令对应的音频特征时，这说明终端1采集到的不仅仅是自己发出的第一音频数据，而且还采集到了由位于同一空间中的其他终端，例如图1b中的终端2通过扬声器发出的已经叠加过音频叠加指令所指示的音频特征的第三音频数据，因此，确定模块43可以根据音频特征检测结果确定在终端1所在的空间中存在至少两个终端参加同一会议，例如终端1和2。

具体地，例如本申请实施例中，特征检测模块42可以包括第一检测单元421、第一计算单元422和第一确定单元423。

第一检测单元421可以用于检测第三音频数据中的连续的两个的音频数据的频率峰值。

第一计算单元422可以用于计算连续两个的频率峰值的时间间隔。

第一确定单元423可以用于当当时间间隔与叠加周期的差值小于预设阈值时，确定第三音频数据包括与音频叠加指令对应的特征。

在本申请实施例中，在发送模块41为终端发送了音频叠加指令之后，接收到指令的终端在参与会议的过程中会采集各自的用户发出的音频来作为第一音频数据并且根据发送模块41下发的音频叠加指令来以指定的叠加周期和音频模式进行第二音频数据的叠加，并且从而生成第三音频数据。因此，在本申请实施例中，第一检测单元421可以检测第三音频数据中两个连续的音频数据的频率峰值，即检测两个连续的频率峰，并且进而第一计算单元422可以计算该两个频率峰值的时间间隔，并且第一确定单元423可以当该时间间隔与为该会议所指定的叠加周期的差值小于预设阈值时，确定该第三音频数据中与指定的(例如，3秒)的叠加周期对应的特征。

此外，在本申请实施例中，特征检测模块42还可以包括第二检测单元424。

第二检测单元424可以用于确定第三音频数据中音频模式特征的个数。

因此，在本申请实施例中，可以通过第二检测单元424对于参加会议的终端发送的第三音频数据进行音频特征检测时确定其包含的音频模式。例如，可以检测该第三音频数据中是否具有指定的音频模式(例如，18kHz-20kHz的扫频超声波信号)的个数，因此，当所音频模式特征的个数大于预设阈值时，确定第三音频数据包括与音频叠加指令对应的特征。

此外，本申请实施例中，同一空间中多终端检测装置可以进一步包括通知模块44。

通知模块44可以用于向空间中参加同一音视频会议的多个终端发送消息指令，以通知在该空间中存在参加同一音视频会议的多个终端。

在本申请实施例中，在确定模块43确定在终端1所在的空间中存在与终端1参加同一音视频会议的其他终端的情况下，可以通过通知模块44由例如服务器对于如图1b中所示的终端1和终端2下发通知，以提醒用户在同一空间中存在多个终端参与同一会议可能引发啸叫。此外，通知模块44也可以直接通知终端1或终端2的用户，指示其关闭其终端的麦克风和/或扬声器，以避免产生声学回路，从而引发啸叫。

因此，本申请实施例提供的同一空间中多终端检测装置，能够通过向加入音视频会议的终端中的至少两个终端发送音频叠加指令来指示这两个终端在发出的第一音频数据中以指定的叠加周期和音频模式叠加第二音频数据，并且通过对接收到的音频数据中检测是否存在与第二音频数据对应的特征来判断在当前的空间中是否存在发出的具有这样的特征的第二音频数据的终端，从而判断在当前的空间中存在参加同一音视频会议的至少两个终端，因此，能够以简单的以指定的叠加周期和音频模式叠加第二音频数据的方式来准确地判断当前空间中存在同一音视频会议的至少两个终端，并且进而可以通知参加会议的至少一个终端注意或者指示其他终端关闭麦克风或扬声器，从而使得在同一空间中参加会议的终端所形成的声学回路中一个音频信号只会被发送一次，避免了终端自己发出的音频信号在同一空间中被其他终端播放而被再次接收从而不断放大后形成的啸叫等问题，从而提高了音视频会议的通话体验。。

实施例五

以上描述了同一空间中多终端检测装置的内部功能和结构，该装置可实现为一种电子设备。图5为本申请提供的电子设备实施例的结构示意图。如图5所示，该电子设备包括存储器51和处理器52。

存储器51，用于存储程序。除上述程序之外，存储器51还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器52，不仅仅局限于中央处理器(CPU)，还可能为图形处理器(GPU)、现场可编辑门阵列(FPGA)、嵌入式神经网络处理器(NPU)或人工智能(AI)芯片等处理芯片。处理器52，与存储器51耦合，执行存储器51所存储的程序，该程序运行时执行上述实施例二和三的同一空间中多终端检测方法。

进一步，如图5所示，电子设备还可以包括：通信组件53、电源组件54、音频组件55、显示器56等其它组件。图5中仅示意性给出部分组件，并不意味着电子设备只包括图5所示组件。

通信组件53被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，3G、4G或5G，或它们的组合。在一个示例性实施例中，通信组件53经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件53还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件54，为电子设备的各种组件提供电力。电源组件54可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件55被配置为输出和/或输入音频信号。例如，音频组件55包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器51或经由通信组件53发送。在一些实施例中，音频组件55还包括一个扬声器，用于输出音频信号。

显示器56包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种同一空间中多终端检测方法，包括：

向加入音视频会议的终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向该终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据；

检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，确定在同一空间中存在与参加同一音视频会议的至少两个终端。

2.根据权利要求1所述的同一空间中多终端检测方法，其中，所述方法还包括：

向所述空间中参加所述同一音视频会议的至少一个终端发送消息指令，以通知在该空间中存在参加同一音视频会议的多个终端。

3.根据权利要求1或2所述的同一空间中多终端检测方法，其中，所述检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，包括：

检测所述第三音频数据中的连续的两个的音频数据的频率峰值；

计算所述连续两个的频率峰值的时间间隔，并且

当所述时间间隔与所述叠加周期的差值小于预设阈值时，确定所述第三音频数据包括与音频叠加指令对应的特征。

4.根据权利要求1或2所述的同一空间中多终端检测方法，其中，所述检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，包括：

确定所述第三音频数据中音频模式特征的个数，并且

当所所述音频模式特征的个数大于预设阈值时，确定所述第三音频数据包括与音频叠加指令对应的特征。

5.根据权利要求4所述的同一空间中多终端检测方法，其中，所述音频模式为频率范围为18千赫兹至20千赫兹的扫频信号、频率范围为20千赫兹至22千赫兹的扫频信号、频率范围为18千赫兹至20千赫兹的非线性信号或者频率范围为20千赫兹至22千赫兹的非线性信号。

6.根据权利要求1所述的同一空间中多终端检测方法，其中，所述第二音频数据为超声波信号。

7.根据权利要求2所述的同一空间中多终端检测方法，所述消息指令进一步包括：指示关闭所述空间中的参加所述音视频会议的至少一个终端的麦克风和/或扬声器的指令。

8.一种会议处理方法，包括：

向加入会议的多个终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向该终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据；

检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，向所述至少两个终端中的至少一个终端发送关闭指令，以指示该终端关闭麦克风或扬声器。

9.一种会议处理方法，包括：

向加入会议的多个终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向该终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据；

检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，向所述会议的发起者或管理者发送接收到包括与所述第二音频数据对应的特征的第三音频数据的终端的信息；

接收所述发起者或管理者的终端指示信息，以根据所述终端指示信息关闭终端指示信息中所指定的终端的麦克风或扬声器。

10.一种同一空间中多终端检测装置，包括：

发送模块，用于向加入音视频会议的终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向该终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据；

特征检测模块，用于检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

确定模块，用于当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，确定在同一空间中存在与参加同一音视频会议的至少两个终端。

11.一种会议处理系统，包括：会议管理服务器以及多个终端，其中，所述多个终端中的每一个终端通过所述会议管理服务器彼此通信来参加会议，并且

所述会议管理服务器用于：

向参加会议的多个终端中的至少两个终端分别发送音频叠加指令，以指示终端生成第三音频数据，其中，所述音频叠加指令中包含向终端发出的第一音频数据中叠加第二音频数据所依据的叠加周期和音频模式，并且用于指示所述至少两个终端向所述第一音频数据中以所述叠加周期和音频模式叠加所述第二音频数据，

检测终端所接收到的第三音频数据是否包括与音频叠加指令对应的特征，其中，所述特征至少包括音频周期特征和音频模式特征；

当根据所述检测结果确定所述第三音频数据包括与音频叠加指令对应的特征时，向所述至少两个终端中的至少一个终端发送关闭指令，以指示该终端关闭麦克风或扬声器。

12.一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行如权利要求1至9中任一所述的方法。

13.一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如权利要求1至9中任一所述的方法。

Images