CN111756723A - 应用于多方通话的音频处理方法、装置及设备 - Google Patents
应用于多方通话的音频处理方法、装置及设备 Download PDFInfo
- Publication number
- CN111756723A CN111756723A CN202010565178.6A CN202010565178A CN111756723A CN 111756723 A CN111756723 A CN 111756723A CN 202010565178 A CN202010565178 A CN 202010565178A CN 111756723 A CN111756723 A CN 111756723A
- Authority
- CN
- China
- Prior art keywords
- audio
- audio signal
- electronic device
- electronic equipment
- attribute value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 48
- 230000005236 sound signal Effects 0.000 claims abstract description 362
- 238000004891 communication Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 60
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42348—Location-based services which utilize the location information of a target
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
本申请提供了一种应用于多方通话的音频处理方法、装置及设备,通过基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值,对于第一电子设备当前得到的至少一路音频信号,可以获取该至少一路音频信号各自的预设属性值,并确定针对该第一电子设备采集的音频信号配置的目标属性值后,由于性配置规则是基于多个电子设备之间的位置关系确定的,为了避免对来自同一地方的电子设备采集并发送的音频信号的播放,本申请可以检测该至少一路音频信号中,存在与该目标属性值得比较结果满足条件的预设属性值对应的第一音频信号,从而禁止第一电子设备输出第一音频信号,提高多方通话质量及效率。
Description
技术领域
本申请主要涉及多方通话应用领域,更具体地说是涉及一种应用于多方通话的音频处理方法、装置及设备。
背景技术
多方通话是通过各种手段实现的多方在线语音通话,可以实现多方、异地实时的在线交流,目前主要应用于会议、游戏等应用场景。
然而,在实际应用中,参与多方通话的两个参与者可能位于同一地方,如参与者A和参与者B位于同一房间内,参与者C位于异地,在多方通话过程中,各参与者所使用的电子设备都会进行音频采集,并播放采集到以及接收到其他电子设备发送的音频信号,且播放的音频信号相对于说话参与者现场的声音往往会所有延迟,这就会导致处于同一房间内的参与者A和参与者B,在一方参与者说话时,另一方参与者听到的声音非常混乱,影响了多方通话效率。
发明内容
有鉴于此,为了提高多方通话质量及效率,本申请提供了一种应用于多方通话的音频处理方法,所述音频处理方法包括:
针对参与多方通话的第一电子设备,获取所述第一电子设备当前得到的至少一路音频信号各自的预设属性值,其中,所述预设属性值是基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置的,所述属性配置规则基于所述多个电子设备之间的位置关系确定;
确定针对所述第一电子设备采集的音频信号配置的目标属性值;
检测所述至少一路音频信号中,存在相应预设属性值与所述目标属性值的比较结果满足第一条件的第一音频信号,禁止所述第一电子设备输出所述第一音频信号。
可选的,所述基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的过程,包括:
从所述第一电子设备得到的多路音频信号中,确定第二电子设备采集并发送的第二音频信号,以及所述第一电子设备采集的第三音频信号;
获取所述第二音频信号与所述第三音频信号的音频内容相似度;
若所述音频内容相似度满足第二条件,确定所述第二电子设备与所述第一电子设备之间的距离在预设空间范围内,为所述第一电子设备和所述第二电子设备各自采集的音频信号配置同一预设属性值;
若所述音频内容相似度不满足所述第二条件,确定所述第二电子设备与所述第一电子设备之间的距离超过所述预设空间范围,为所述第一电子设备和所述第二电子设备各自采集的音频信号配置不同的预设属性值。
可选的,所述基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的过程,包括:
获取参与多方通话的多个电子设备各自的状态信息,所述状态信息包含相应电子设备的通话位置信息;
依据所述通话位置信息,为位于预设空间范围内的至少两个电子设备配置同一预设属性值。
可选的,所述基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的过程,包括:
检测存在针对第一参与者和第二参与者配置的禁止通话要求,所述第一参与者是指使用所述第一电子设备进行多方通话的参与者,所述第二参与者是指使用第二电子设备进行多方通话的参与者;
响应所述禁止通话要求,为所述第一电子设备和所述第二电子设备各自采集的音频信号配置同一预设属性值。
可选的,所述音频处理方法还包括:
检测所述至少一路音频信号中,存在相应预设属性值与所述目标属性值的比较结果不满足所述第一条件的第四音频信号,控制所述第一电子设备输出所述第四音频信号;
其中,若所述第四音频信号包含多路第四音频信号,所述控制所述第一电子设备输出所述第四音频信号,包括:
控制所述第一电子设备对所述多路第四音频信号进行混合处理,得到待输出音频信号;
输出所述待输出音频信号。
可选的,所述获取所述第一电子设备当前得到的至少一路音频信号各自的预设属性值,包括:
获取所述第一电子设备采集的至少一路音频信号各自的预设属性值;和/或,
接收第二电子设备采集并发送的第五音频信号,获取所述第五音频信号的预设属性值。
可选的,所述音频处理方法还包括:
获取针对参与多方通话的多个电子设备各自采集的音频信号配置的预设属性值;
将所述多个电子设备各自采集的音频信号的预设属性值,与所述第一电子设备采集的音频信号的目标属性值进行比较,得到比较结果;
检测存在满足所述第一条件的比较结果对应的第二电子设备,禁止将所述第一电子设备采集的音频信号发送至所述第二电子设备;
检测存在不满足所述第一条件的比较结果对应的第三电子设备,将所述第一电子设备采集的音频信号发送至所述第三电子设备。
本申请还提出了一种应用于多方通话的音频处理装置,所述音频处理装置包括:
预设属性值获取模块,用于针对参与多方通话的第一电子设备,获取所述第一电子设备当前得到的至少一路音频信号各自的预设属性值,其中,所述预设属性值是基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置的,所述属性配置规则基于所述多个电子设备之间的位置关系确定;
目标属性值确定模块,用于确定针对所述第一电子设备采集的音频信号配置的目标属性值;
音频信号禁止输出模块,用于检测所述至少一路音频信号中,存在相应预设属性值与所述目标属性值的比较结果满足条件的第一音频信号,禁止所述第一电子设备输出所述第一音频信号。
本申请还提出了一种应用于多方通话的音频处理设备,所述音频处理包括至少一个存储器和至少一个处理器,其中:
所述存储器,用于存储实现如上述的应用于多方通话的音频处理方法的程序;
所述处理器,用于加载并执行所述存储器存储的所述程序,以实现如上述的应用于多方通话的音频处理方法的各步骤。
可选的,所述应用于多方通话的音频处理设备为:参与多方通话的任一电子设备,或用于实现参与多方通话的多个电子设备相互之间的通信的服务设备;
若所述音频处理设备为参与多方通话的任一电子设备,所述音频处理设备还包括音频采集器和音频播放器。
由此可见,本申请提供了一种应用于多方通话的音频处理方法、装置及设备,本申请将基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值,这样,对于第一电子设备当前得到的至少一路音频信号,可以获取该至少一路音频信号各自的预设属性值,并确定针对该第一电子设备采集的音频信号配置的目标属性值,由于属性配置规则是基于多个电子设备之间的位置关系确定的,为了避免对来自同一地方的电子设备采集并发送的音频信号的播放,本申请可以检测该至少一路音频信号中,存在与该目标属性值得比较结果满足条件的预设属性值对应的第一音频信号,从而禁止第一电子设备输出第一音频信号,解决了现有技术中处于同一房间内两个多方通话的参与者,在一方参与者说话时,另一方参与者听到的声音非常混乱,降低多方通话效率的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本申请提出的应用于多方通话的音频处理方法的一可选示例的流程示意图;
图2a示出了现有的应用于多方通话的音频处理方法的一可选应用场景示意图;
图2b示出了本申请提出的应用于多方通话的音频处理方法的一可选应用场景示意图;
图3示出了本申请提出的应用于多方通话的音频处理方法的又一可选示例的流程示意图;
图4示出了本申请提出的应用于多方通话的音频处理方法的又一可选应用场景示意图;
图5示出了本申请提出的应用于多方通话的音频处理方法的又一可选示例的流程示意图;
图6示出了本申请提出的应用于多方通话的音频处理方法的又一可选示例的流程示意图;
图7示出了本申请提出的应用于多方通话的音频处理装置的一可选示例的结构示意图;
图8示出了本申请提出的应用于多方通话的音频处理装置的又一可选示例的结构示意图;
图9示出了本申请提出的应用于多方通话的音频处理设备的一可选示例的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
应当理解,本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换该词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外,本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
参照图1,为本申请提出的应用于多方通话的音频处理方法的一可选示例的流程示意图,该方法可以适用于应用于多方通话的音频处理设备,该音频处理设备可以是通信服务器,或者是参与多方通话的电子设备等计算机设备,本申请对该音频处理设备的设备类型不做限定。如图1所示,该音频处理方法可以包括:
步骤S11,针对参与多方通话的第一电子设备,获取第一电子设备当前得到的至少一路音频信号各自的预设属性值;
在如会议、游戏、在线教学等需要多方通话的应用场景,对于参与多方通话的任意一个电子设备记为第一电子设备,通常情况下,其可以获取参与该多方通话的其他电子设备(即除了该第一电子设备之外,参与多方通话的其他电子设备)上传的音频信号,并播放获取到的音频信号。
但是在如图2a所示的应用场景下,若参与者A和参与者B使用各自的电子设备,在城市C1的同一房间内参与多方通话,参与者C在城市C2参与多方通话,按照传统的多方通话的音频处理方法,以参与者A说话的情况为例进行说明,参与者A和参与者B各自使用的电子设备1和电子设备2都会采集到参与者A的音频信号,之后,电子设备1会将采集到的参与者A的音频信号发送至参与者B的电子设备2,以及参与者C的电子设备3进行播放,对于参与者B来说,其虽然已经听到参与者A说话的内容,其电子设备2仍然会再次播放,这将会导致同一时刻的声音会非常混乱,会对参与者B造成干扰。
同时,参与者B的电子设备2也会将采集的参与者A的音频信号发送至参与者A的电子设备1、以及参与者C的电子设备3进行播放,从而导致电子设备1播放自己使用者即参与者A所说的音频信号,显然,这是没有必要的,容易对参与者A造成干扰。
可见,针对如图2a所示应用场景下,电子设备1和电子设备2采集并播放自身及对方的音频信号的过程都是没有必要的,不仅会给参与者造成干扰,且会增加电子设备的音频处理负担。
针对上述问题,本申请希望处于同一房间内的参与者A和参与者B各自的电子设备不会播放对方的音频信号,只播放参与者C的音频信号,如图2b所示的应用场景。所以,本申请提出基于参与多方通话的多个电子设备之间的位置关系,来确定属性配置规则,从而基于该属性配置规则,为这多个电子设备各自采集的音频信号配置预设属性值,以便某电子设备能够依据该预设属性值,确定与接收到的各音频信号的来源电子设备之间的位置关系,进而禁止输出来自同一物理空间(如预设空间范围内)电子设备的音频信号。
可见,上述不同的预设属性值可以用来识别相应音频信号的来源电子设备之间的位置关系,需要其能够表示相应音频信号的来源电子设备,具体可以是电子设备所处地理坐标、电子设备自身的设备标识,或者是如数字、字母等唯一标签等,本申请对上述预设属性值的内容,以及用来配置该预设属性值所依据的属性配置规则的生成方式及其包含的内容均不做限定,可以根据实际应用需求确定。
需要说明,上述第一电子设备当前得到的至少一路音频信号,可以包括第一电子设备自身采集的至少一路音频信号,和/或接收第二电子设备采集并发送的音频信号。由于第一电子设备得到音频信号后,通常会先缓存再确定是否播放合适播放等,所以,本申请可以从第一电子设备的数据缓存空间中,获取当前得到的至少一路音频信号,进而按照上述方式得到各路音频信号对应的预设属性值。
步骤S12,确定针对第一电子设备采集的音频信号配置的目标属性值;
结合上文对预设属性值得相关描述,本实施例可以直接从预先配置的,参与多方通话的各电子设备采集的音频信号与预设属性值之间的对应关系中,查询第一电子设备自身采集的音频信号所对应的预设属性值,并将其确定为目标属性值,因此,该目标属性值得内容可以参照上文对预设属性值的描述。
需要说明的是,对于不同电子设备采集的音频信号所对应的预设属性值得内容类别一致,但对该内容类别的具体类别不做限定。
步骤S13,检测该至少一路音频信号中,存在相应预设属性值与目标属性值的比较结果满足第一条件的第一音频信号,禁止第一电子设备输出第一音频信号。
结合上文对预设属性值及其属性配置规则的相关描述可知,不同预设属性值之间的差异,可以表明相应电子设备之间的位置关系,所以,本实施例为了避免第一电子设备播放与其处于同一物理空间内(本申请对该同一物理空间的定义内容不做限定)的第二电子设备发送的音频信号,在接收到参与多方通话的其他电子设备发送的音频信号后,由于这些音频信号均携带有相应的预设属性值,这样,可以将接收到的音频信号的预设属性值,与第一电子设备自身对应的目标属性值进行比较,就能够依据该比较结果,确定与该第一电子设备处于同一空间的至少一个其他电子设备,从而将该至少一个其他电子设备发送的音频信号记为第一音频信号,此时,第一电子设备将禁止输出该第一音频信号,即禁止输出处于同一物理空间的其他电子设备发送的音频信号。
可见,上述第一条件可以包括预设属性值与第一电子设备对应的目标属性值的差值小于第一属性阈值,可以认为该预设属性值对应的电子设备与该第一电子设备处于同一物理空间内,本申请对该第一属性阈值的内容不做限定。应该理解的是,对于不同内容的预设属性值,上述第一条件的内容可以适应性调整,如标签或设备标识是否相同、地理坐标的差值是否小于预设距离等,本申请对上述第一条件的内容不做限定。
应该理解的是,对于任一电子设备来说,其通常不会播放自己采集到的音频信号,所以,若第一电子设备得到的音频信号仅是自己采集的音频信号,第一电子设备并不会输出这类音频信号,对于这一场景的音频处理包含在本实施例描述的音频处理过程中,如上述比较结果相同等,本申请对该应用场景不做详述。
综上,在多个电子设备进行多方通话的场景下,针对参与多方通话的任一电子设备记为第一电子设备,在其接收到参与多方通话的其他电子设备发送至的至少一路音频信号后,本实施例并不是直接输出,而是获取该至少一路音频信号各自的预设属性值,并确定第一电子设备自身采集的音频信号的目标属性值,由于该预设属性值和目标属性值是基于属性配置规则配置的,且该属性配置规则是基于参与多方通话的多个电子设备之间的位置关系确定的,所以说,不同预设属性值之间的差异,能够表明相应电子设备之间的位置关系,因此,本实施例将接收到的至少一路音频信号各自预设属性值与该目标属性值进行比较,若检测到比较结果满足第一条件的第一音频信号,说明第一电子设备的使用者能够直接听到发送第一音频信号的其他电子设备使用者说的第一音频信号,不需要第一电子设备再输出第一音频信号,所以,在这种情况下,将禁止第一电子设备输出第一音频信号,避免了直接输出其他电子设备发送的第一音频信号,对第一电子设备使用者造成干扰,提高了多方通话质量和效率。
参照图3,为本申请提出的应用于多方通话的音频处理方法的又一可选示例的流程示意图,本实施例可以是对上述实施例描述的应用于多方通话的音频处理方法的一可选细化实现方式,具体是对上述如何基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的过程进行细化,但并不局限于本实施例描述的细化实现方法,且该细化实现方法可以由应用于多方通话的音频处理设备,具体如上述第一电子设备或通信服务器等,本申请对该音频处理设备的设备类型不做限定。
如图3所述,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的过程可以包括:
步骤S21,从参与多方通话的第一电子设备当前得到的多路音频信号中,确定第二电子设备采集并发送的第二音频信号,以及第一电子设备采集的第三音频信号;
其中,第一电子设备可以是参与多方通话的任一电子设备,在多方通话的过程中,其可以接收参与多方通话的其他电子设备通过通信网络发送的音频信号,本实施例将这类音频信号记为第二音频信号,第一电子设备还可以对其所在空间产生的声音进行音频录制,即采集第三音频信号。
需要说明,上述第二音频信号可能包括第二电子设备使用者输出的音频信号,还可能包含第二电子设备所在空间的其他声源的音频信号,甚至可以包含第二电子设备自己播放的音频信号等,同理,上述第三音频信号可能包括第一电子设备使用者输出的音频信号,第一电子设备所在空间的其他声源的音频信号,该其他声源可以是其他使用者、其他电子设备或第一电子设备等,本申请对上述第二音频信号和第三音频信号具体包含的内容及其来源不做限定,可以依据具体应用场景确定,本申请不做一一详述。
本实施例实际应用中,在电子设备采集所在空间的音频信号后,可以为其添加该电子设备的设备标识,以便通过该设备标识确定该音频信号的来源设备,但本申请对该设备标识的内容不做限定。基于此,对于第一电子设备当前得到多路音频信号,可以依据各路音频信号所携带的设备标识,来识别来自第二电子设备的第二音频信号,以及来自第一电子设备自身采集的第三音频信号。
当然,在又一些实施例中,由于各音频信号的来源不同,第一电子设备得到该音频信号的通信通道往往是不同的,所以,对于第一电子设备当前得到多路音频信号,本申请也可以直接按照各路音频信号的来源通信通道类别,来确定来自通信网络的第二电子设备采集并发送的第二音频信号,以及来自自身声音采集器发送的第三音频信号。
需要说明,本申请对步骤S21的具体实现方法不做限定,并不局限于上文列举的两种实现方式。且在实际应用中,第一电子设备无论通过哪种方式得到音频信号后,通常都会先缓存再播放,因此,上述第一电子设备当前得到的多路音频信号,不一定都是当前时刻得到的,可以是当前时刻及其相邻若干时刻得到的音频信号。
步骤S22,获取第二音频信号与第三音频信号的音频内容相似度;
在实际应用中,本申请可以选择合适的人工智能技术实现,如将第二音频信号和第三音频信号转换为相应的文本信息,再利用自然语言处理技术(NaturalLanguageProcessing,NLP)对这两个文本信息进行内容相似度检测,具体相似度检测过程不做详述。
当然,本申请还可以依据音频信号自身的音频特征,实现第二音频信号与第三音频信号的音频内容相似度检测,本申请对不同音频信号之间的音频内容相似度获取方法不做限定。
需要说明的是,若第二音频信号包括来自不同第二电子设备的多个音频信号,第三音频信号可能也包含多帧音频信号,那么,本实施例需要获取每一个第二音频信号与每一个第三音频信号之间的音频内容相似度,获取过程类似,本申请不做详述。
步骤S23,检测该音频内容相似度是否满足第二条件,如果满足,进入步骤S24;如果不满足,执行步骤S25;
结合上文对属性配置规则以及预设属性值,在本申请提出的音频处理方法中所起到的作用,本申请希望能够通过预设属性值,来识别相应的电子设备之间的位置关系,基于反向思维,本实施例可以通过确定参与多方通话的不同电子设备之间的位置关系,为这些电子设备各自采集的音频信号配置相应的预设属性值。
在实际应用中,若参与多方通话的不同电子设备处于同一物理空间内,无论哪个电子设备的使用者(即多方通话的参与者)说话,处于该物理空间的每一个电子设备都会采集到相应的音频信号并缓存,同时会将采集到的音频信号发送至参与多方通话的其他电子设备,这样,该电子设备将接收到其他电子设备发送的同一内容的音频信号;若参与多方通话的不同电子设备处于不同的物理空间,各参与者说话产生的音频信号,只有其使用的电子设备采集并发送至其他电子设备,该电子设备不会通过通信网络接收到同一内容的音频信号。
因此,本实施例可以通过将电子设备自己采集的音频信号,与来自其他电子设备发送的音频信号进行音频内容相似度检测,来判断这两种途径得到的音频信号包含的音频内容是否一致,即音频内容相似度是否小于相似阈值(本申请对其具体数值不做限定),来确定该电子设备与该其他电子设备是否处于同一物理空间。
基于此,上述第二条件可以包括第一电子设备得到的第二音频信号与第三音频信号之间的音频相似度小于相似阈值,这种情况下,可以认为第一电子设备与发送该第二音频信号的第二电子设备处于同一物理空间内;反之,可以认为该第一电子设备与第二电子设备处于不同的物理空间。
需要说明,关于检测第一电子设备与第二电子设备是否处于同一物理空间的实现方法,并不局限于本实施例描述的这种音频内容相似度判断方式,还可以通过检测各电子设备所处的地理坐标(其可以是通话位置信息的一种表示方式,但并不局限于这种表示方式),直接通过比较地理坐标的差值,来判断第一电子设备与第二电子设备是否处于同一物理空间,该地理坐标可以利用全球定位系统检测得到,也可以由电子设备使用者上报的,本申请对通话位置信息的获取方式,以及第一电子设备与第二电子设备是否处于同一物理空间的检测方法不做限定。
步骤S24,确定第二电子设备与第一电子设备之间的距离在预设空间范围内,为第一电子设备和第二电子设备各自采集的音频信号配置同一预设属性值;
步骤S25,确定第二电子设备与第一电子设备之间的距离超过预设空间范围,为第一电子设备和第二电子设备各自采集的音频信号配置不同的预设属性值。
对于上述不同电子设备是否处于同一物理空间,本实施例可以采用不同电子设备之间的距离是否处于预设空间范围内来表示,但并不局限于这种表示方式,可以根据具体应用场景的需求确定,本实施例仅以此为例进行说明。
基于此,通过上述音频内容相似度的检测,确定第二电子设备与第一电子设备处于同一物理空间内,说明第二电子设备与第一电子设备之间的物理距离在预设空间范围内,这种情况下,为了避免使用这两个电子设备的参与者说话,两个电子设备都进行音频采集与传输,对这两个参与者造成干扰,降低多方通话效率及质量,本申请提出为第一电子设备和第二电子设备各自采集的音频信号配置同一预设属性值,这样,按照上文实施例描述的音频处理方法,在第一电子设备接收到第二电子设备发送的音频信号后,会检测到两者预设属性值的比较结果满足第一条件,第一电子设备就会禁止输出第二电子设备发送的音频信号。
结合上图2b所示的应用场景,电子设备1和电子设备2处于同一物理空间内,本申请将为电子设备1和电子设备2各自采集的音频信号配置同一个预设属性值,也就是说,无论是电子设备1采集到的参与者A的音频信号,和/或参与者B的音频信号,还是电子设备2采集到的参与者A的音频信号,和/或参与者B的音频信号,本申请都会为这些音频信号配置同一个预设属性值。这样,在实际多方通话过程中,电子设备1和电子设备2均不会再输出参与者A和参与者B的音频信号,避免了给对方造成干扰,且减少了相应电子设备的数据处理量。
若确定第二电子设备与第一电子设备不处于同一物理空间内,说明第二电子设备与第一电子设备之间的物理距离不在预设空间范围内,这种情况下,为第一电子设备和第二电子设备各自采集的音频信号配置不同的预设属性值,这样,按照上文实施例描述的音频处理方法,在第一电子设备接收到第二电子设备发送的音频信号后,会检测到两者预设属性值的比较结果不满足第一条件,第一电子设备会正常输出第二电子设备发送的音频信号,避免漏听他人说话内容。
仍以上图2b所示的应用场景为例,电子设备1与电子设备3并不处于同一物理空间内,希望能够接收并输出相应之间发送的音频信号,以使得参与者A与参与者C能够听到对方的音频信号。所以,针对电子设备1采集的音频信号,以及电子设备3采集的音频信号,本申请可以配置不同的预设属性值,同理,针对电子设备2采集的音频信号及电子设备3采集的音频信号,配置的预设属性值也将不同,从而保证电子设备3能够接收并输出电子设备1和电子设备2发送的音频信号,使得处于不同物理空间的参与者C能够通过电子设备3对音频信号的输出,得知参与者A和参与者B说话的内容。
需要说明的是,关于为电子设备自己采集的音频信号配置预设属性值得方式,本申请不做限定,可以依据上文对预设属性值的内容确定,本申请不做一一详述。
另外,本申请按照上述方式,实现对参与多方通话的各电子设备自身采集的音频信号,配置相应的预设属性值之后,可以确定该预设属性值与相应电子设备采集的音频信号之间的对应关系,并对该对应关系进行保存,这样,在整个多方通话过程中,对于该电子设备自身采集的音频信号,均可以按照该对应关系,配置预先确定的预设属性值,以保证整个多方通话的通话质量和效率。
其中,在该整个多方通话过程中,针对每一个电子设备采集的音频信号配置的预设属性值,在配置完成后可以不用再调整;当然,若需要调整,仍可以按照上述实施例描述的属性配置规则,为各电子设备采集的音频信号重新进行配置对应的预设属性值。
综上所述,本实施例可以通过对参与多方通话的任一电子设备,可以通过对其自身采集到的音频信号,以及通过通信网络接收到的其他电子设备发送的音频信号进行音频内容相似度检测,来确定该电子设备与该其他电子设备之间的距离是否在预设空间范围内,即检测该电子设备与该其他电子设备是否处于同一物理空间内,进而为处于同一物理空间内的多个电子设备各自采集的音频信号配置同一预设属性值,为不处于同一物理空间内的多个电子设备各自采集的音频信号配置不同的预设属性值,以便在多方通话过程中,电子设备得到音频信号后,通过检测这些音频信号的预设属性值是否与自身的预设属性值是否相同,来判断该音频信号的来源设备与该电子设备是否处于同一物理空间内,从而确定是否要输出该音频信号,以避免对来自同一电子设备发送的音频信号输出,所造成的声音混乱的情况发生。
在实际应用中,如上述实施例相应部分的描述,本实施例提出的预设属性值的配置过程,可以由通信服务器执行,这种情况下,通信服务器可以在接收到参与通话的各电子设备采集并发送的音频信号后,按照上述实施例描述的方式,确定各电子设备采集的音频信号的预设属性值,并生成不同预设属性值与不同电子设备采集的音频信号之间的对应关系,这样,在实际通话过程中,接收到电子设备发送的音频信号,可以按照该对应关系,为该音频信号配置对应的预设属性值之后,再发送至其他电子设备。
当然,通信服务器也可以将确定的各电子设备采集的音频信号的预设属性值发送至相应的电子设备,这样,在实际通话过程中,对于参与多方通话的任一电子设备,采集到当前所在场景下的音频信号后,可以为该音频信号配置所得的预设属性值(如在该音频信号生成的数据包中添加该预设属性值)后,再发送至通信服务器,并由通信服务器转发至其他电子设备,以使其他电子设备直接得到具有预设属性值的音频信号,按照上述音频处理方式继续操作。
在又一些实施例中,通信服务器在确定的各电子设备采集的音频信号的预设属性值后,还可以将其发送至参与多方通话的各电子设备,以使各电子设备得到不同预设属性值与不同电子设备采集的音频信号之间的对应关系,这样,在任一电子设备得到其他电子设备发送的音频信号后,可以按照该对应关系,以实现本申请上述实施例提出的音频处理方法,具体实现过程不做详述。
在又一些实施例中,若上述实施例描述的预设属性值的配置过程,是由参与多方通话的任一电子设备实现的,如上述第一电子设备实现,那么,按照上述实施例描述的方式确定各电子设备采集的音频信号对应的预设属性值之后,第一电子设备可以将该预设属性值发送至相应的其他电子设备,以使其他电子设备在发送其采集的音频信号之前,添加对应的预设属性值,以便参与多方通话的各电子设备在得到音频信号时,能够直接得到对应的预设属性值,以完成本申请的音频处理方法。
在又一些实施例中,第一电子设备也可以直接对得到的各电子设备得到不同预设属性值,与不同电子设备采集的音频信号之间的对应关系进行保存,同时将该对应关系发送至其他电子设备进行保存,这样,在参与多方通话的任一电子设备得到其他电子设备发送的音频信号后,可以直接利用该对应关系,获取该音频信号对应的预设属性值,以实现本申请的音频处理方法。
需要说明,本申请对完成预设属性值的配置过程的执行主体及其实现过程不做限定,且在确定参与多方通话的各电子设备得到不同预设属性值与不同电子设备采集的音频信号之间的对应关系之后,如何利用该对应关系,实现本申请提出的音频处理方法的具体实现方式,并不局限于本申请上文各实施例描述的方法,可以根据实际应用场景的需求确定。
作为本申请提出的实现上述实施例中,基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的又一可选实施例,本申请还可以获取参与多方通话的多个电子设备各自的状态信息,该状态信息可以包含相应电子设备的通话位置信息,从而依据该通话位置信息,为位于预设空间范围内的至少两个电子设备配置同一预设属性值。具体实现过程以及配置完成后的应用过程,可以参照上述实施例相应部分的描述,本申请不做详述。
其中,通话位置信息可以是采集设备采集得到的,也可以是由电子设备使用者上报的等,本申请对该通话位置信息的获取方式及其表示方式不做限定。
在上述各实施例描述的基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的实现方法的基础上,本申请还可以结合当前通话场景下,对各参与者的通话要求,来实现预设属性值的配置。在一种可能的实现方式中,本申请还可以检测是否存在针对第一参与者和第二参与者配置的禁止通话要求,该第一参与者可以是指使用第一电子设备进行多方通话的参与者,第二参与者可以是指使用第二电子设备进行多方通话的参与者,也就是说,当前通话场景是否要禁止第一参与者与第二参与者通话,禁止这两个参与者听到相互的声音,若存在该禁止通话要求,本申请可以响应该禁止通话要求,为第一电子设备和第二电子设备各自采集的音频信号配置同一预设属性值。
由此可见,通过上述检测方式,确定第一电子设备与第二电子设备未处于同一物理空间内,即确定第二电子设备与第一电子设备之间的距离不在预设空间范围内,本申请还可以按照本实施例描述的方式,进一步检测是否存在针对这两个电子设备各自的参与者的禁止通话要求,若存在,本申请仍然会为这两个电子设备各自采集的音频信号配置同一预设属性值;若不存在,才会按照上述实施例描述的方式,为第一电子设备和第二电子设备各自采集的音频信号配置不同的预设属性值。
其中,上述禁止通话要求可以响应第一电子设备或第二电子设备,或者是其他音频处理设备的请求生成,本申请对该禁止通话要求的生成方式及其包含的内容不做限定,通常可以包括禁止通话的多个参与者的标识,如使用的相应电子设备的设备标识、进行多方通话使用的通信账户等,
举例说明:如在某网络会议场景下,由于某一些个人隐私问题,不方便让参与者A和参与者C听到相互的声音,可以为参与者A和参与者C各自对应的电子设备所采集到的音频信号,配置上同一预设属性值,这样,结合上述实施例描述的音频处理方法,参与者A的电子设备接收到参与者C的电子设备发送的音频信号后不会输出,同理,参与者C的电子设备接收到参与者A的电子设备发送的音频信号后也不会输出。
基于上述实施例的描述,应该理解的是,对于同一个电子设备采集的音频信号,可能会配置多个预设属性值,以满足不同应用场景的需求,这种情况下,在对不同电子设备采集的音频信号对应的预设属性值进行比较时,可以将不同电子设备各自对应的每一个预设属性值进行比较,以决定是否输出其他电子设备发送的音频信号。
参照图4所示的应用场景,参与者A和参与者B处于同一房间(即同一物理空间的一种表示方式)内,按照上述属性配置规则,将为电子设备1和电子设备2各自采集的音频信号配置同一预设属性值T1,而参与者C和参与者D相互之间,以及与参与者A和参与者B均未处于同一房间,按照上述属性配置规则,可以为电子设备3采集的音频信号配置预设属性值T2,区别于上述预设属性值T1,并为电子设备3采集的音频信号配置预设属性值T3,区别于上述预设属性值T1和T2。以便通过比较预设属性值T1、T2和T3,实现对电子设备1、电子设备2、电子设备3以及电子设备4相互之间的音频处理,具体实现过程本申请不做详述。
然而,若在该多方通话过程中,由于某些因素,要求参与者C与参与者D相互之间不能听到对方声音,按照上述属性配置规则,这就要求为电子设备3和电子设备4各自采集的音频信号配置同一预设属性值T4,且区别于为电子设备1和电子设备2各自采集的音频信号配置的预设属性值T1,这样,电子设备3和电子设备4都只会输出参与者A和参与者B的音频信号,不会输出对方(即参与者D或参与者C)的音频信号,满足了当前多方通话的通话要求。
对于针对上述应用场景下的其他参与者之间的禁止通话要求,所实现的各电子设备采集的音频信号的预设属性值的配置过程,与上述实施例描述的配置过程类似,本申请不做一一详述。
应该理解的是,若禁止通话的一个参与者,存在与其处于同一物理空间的参与者,本申请可以直接将这三个参与者各自使用的电子设备采集的音频信号,配置同一预设属性值,如图4所示的应用场景下,禁止参与者A和参与者C相互听到对方声音,可以为参与者A、参与者B和参与者C各自使用的电子设备采集的音频信号,配置同一预设属性值,从而避免了参与者B的电子设备2输出参与者C的音频信号,使得处于同一房间的参与者A听到参与者C的说话内容,无法达到禁止参与者A和参与者C相互听到对方声音的要求的情况发生。
参照图5,为本申请提出的应用于多方通话的音频处理方法的又一可选示例的流程示意图,该方法仍可以适用于应用于多方通话的音频处理设备,如图5所示,该方法可以包括:
步骤S31,针对参与多方通话的第一电子设备,获取第一电子设备当前得到的至少一路音频信号各自的预设属性值;
其中,该预设属性值可以是基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置的,而该属性配置规则可以基于多个电子设备之间的位置关系确定,具体实现过程可以参照上述实施例相应部分的描述,本实施例不再赘述。
结合上述实施例的描述,步骤S31具体可以包括获取第一电子设备采集的至少一路音频信号各自的预设属性值;和/或,接收第二电子设备采集并发送的第五音频信号,获取该第五音频信号的预设属性值。也就是说,第一电子设备当前得到的至少一路音频信号可以包括:第一电子设备自己采集的音频信号,和/或通过通信网络接收其他电子设备采集的音频信号。
步骤S32,确定针对第一电子设备采集的音频信号配置的目标属性值;
步骤S33,将得到的每一路音频信号的预设属性值与目标属性值进行比较,得到相应的比较结果;
步骤S34,检测是否存在比较结果满足第一条件的第一音频信号,如果存在,进入步骤S35,如果否,执行步骤S36;
步骤S35,禁止第一电子设备输出比较结果满足第一条件的第一音频信号;
关于步骤S31~步骤S35的具体实现过程,可以参照上述实施例相应部分的描述,本实施例不再赘述。
步骤S36,确定比较结果不满足第一条件的多个第四音频信号,控制第一电子设备对多路第四音频信号进行混合处理,得到待播放音频信号;
步骤S37,输出该待输出音频信号。
本实施例按照上述方式,确定第一电子设备得到的多路音频信号中,存在来自处于不同物理空间的其他电子设备的音频信号,如上图2b所示的应用场景中,电子设备3接收到电子设备1和电子设备2各自的音频信号,按照上述检测方式可以确定,电子设备1和电子设备2各自的音频信号的预设属性值,与电子设备3自身采集的音频信号的目标属性值的比较结果不满足第一条件,电子设备3需要输出电子设备1和电子设备2各自发送的音频信号,若这两路音频信号的接收时间存在交叉,而不是接收一路音频信号,经过一定时间后才接收到另一路音频信号,通常需要对这多路音频信号进行混合处理,将得到的一路混合音频作为待输出音频后输出。
需要说明,本申请对如何将多路音频信号混合为一路音频信号输出的实现方法不做限定,如可以采用软件方式实现,也可以采用硬件电路实现,可以根据实际应用需求实现,本申请不做详述。
综上,对于多方通话的第一电子设备接收到的来自其他电子设备的音频信号,本实施例将检测该音频信号的预设属性值,与第一电子设备自身对应的目标属性值之间的比较结果是否满足第一条件,以使第一电子设备确定禁止满足第一条件的比较结果对应的其他电子设备发送的音频信号,输出不满足第一条件的比较结果对应的其他电子设备发送的音频信号,避免处于同一物理空间的多个电子设备播放对方音频信号,所造成的声音混乱,提高多方通话质量和效率。
参照图6,为本申请提出的应用于多方通话的音频处理方法的又一可选示例的流程示意图,在上述实施例描述的音频处理方法的基础上,该音频处理方法还可以包括:
步骤S41,获取针对参与多方通话的多个电子设备各自采集的音频信号配置的预设属性值;
步骤S42,将多个电子设备各自采集的音频信号的预设属性值,与第一电子设备采集的音频信号的目标属性值进行比较,得到比较结果;
步骤S43,检测比较结果是否满足第一条件,如果是,进入步骤S44;如果否,执行步骤S45;
关于步骤S41~步骤S43的实现过程,可以参照上述实施例相应部分的描述,不再赘述。
步骤S44,确定满足第一条件的比较结果对应的第二电子设备,禁止将第一电子设备采集的音频信号发送至第二电子设备;
步骤S45,确定不满足第一条件的比较结果对应的第三电子设备,将第一电子设备采集的音频信号发送至第三电子设备。
可见,本实施例是从是否将第一电子设备采集的音频信号发送至其他电子设备的角度进行描述,该过程可以是通信服务器实现,也可以是第一电子设备实现,本申请对此不做限定。
按照上文对预设属性值的比较检测方式,确定第二电子设备与第一电子设备处于同一物理空间内,本申请可以直接禁止将第一电子设备采集的音频信号发送至第二电子设备,从根源上避免了第二电子设备输出第一电子设备采集的音频信号所造成的干扰,且使第二电子设备在确定要输出的音频信号时,减少了对第一电子设备采集的音频信号的分析,从而减少了第二电子设备的数据处理工作量。
同理,对于确定的第一电子设备处于不同物理空间内的第三电子设备,会继续将第一电子设备采集的音频信号发送至第三电子设备,在该过程中,还可以将该检测结果同时发送至第三电子设备得知,这样,第三电子设备接收到第一电子设备采集并发送的音频信号后,可以不用再执行上述方式描述的音频处理方法,直接输出该音频信号,减少了第三电子设备的数据分析及处理工作量,提高了多方通话效率。
参照图7,为本申请提出的应用于多方通话的音频处理装置的一可选示例的结构示意图,该装置可以适用于应用于多方通话的音频处理设备,如图7所示,该音频处理装置可以包括:
预设属性值获取模块11,用于针对参与多方通话的第一电子设备,获取所述第一电子设备当前得到的至少一路音频信号各自的预设属性值;
其中,所述预设属性值是基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置的,所述属性配置规则基于所述多个电子设备之间的位置关系确定;
在一种可能的实现方式中,该预设属性值获取模块11可以包括:
第一属性值获取单元,用于获取所述第一电子设备采集的至少一路音频信号各自的预设属性值;和/或,
第二属性值获取单元,用于接收第二电子设备采集并发送的第五音频信号,获取所述第五音频信号的预设属性值。
目标属性值确定模块12,用于确定针对所述第一电子设备采集的音频信号配置的目标属性值;
音频信号禁止输出模块13,用于检测所述至少一路音频信号中,存在相应预设属性值与所述目标属性值的比较结果满足条件的第一音频信号,禁止所述第一电子设备输出所述第一音频信号。
在一些实施例中,如图8所示,为了实现对参与多方通话的多个电子设备各自采集的音频信号的预设属性值配置,上述音频处理装置还可以包括:
第一确定模块14,用于从所述第一电子设备得到的多路音频信号中,确定第二电子设备采集并发送的第二音频信号,以及所述第一电子设备采集的第三音频信号;
音频内容相似度获取模块15,用于获取所述第二音频信号与所述第三音频信号的音频内容相似度;
第二确定模块16,用于在音频内容相似度满足第二条件的情况下,确定第二电子设备与第一电子设备之间的距离在预设空间范围内;
第一属性值配置模块17,用于为第一电子设备和第二电子设备各自采集的音频信号配置同一预设属性值;
第三确定模块18,用于在音频内容相似度不满足第二条件的情况下,确定第二电子设备与第一电子设备之间的距离超过预设空间范围;
第二属性值配置模块19,用于为第一电子设备和第二电子设备各自采集的音频信号配置不同的预设属性值。
在又一些实施例中,上述实现对参与多方通话的多个电子设备各自采集的音频信号的预设属性值配置,上述音频处理装置还可以包括:
状态信息获取模块,用于参与多方通话的多个电子设备各自的状态信息,所述状态信息包含相应电子设备的通话位置信息;
第三属性值配置模块,用于依据所述通话位置信息,为位于预设空间范围内的至少两个电子设备配置同一预设属性值。
在又一些实施例中,上述实现对参与多方通话的多个电子设备各自采集的音频信号的预设属性值配置,上述音频处理装置还可以包括:
通话要求检测模块,用于检测存在针对第一参与者和第二参与者配置的禁止通话要求,所述第一参与者是指使用所述第一电子设备进行多方通话的参与者,所述第二参与者是指使用第二电子设备进行多方通话的参与者;
第四属性值配置模块,用于响应所述禁止通话要求,为所述第一电子设备和所述第二电子设备各自采集的音频信号配置同一预设属性值。
在又一些实施例中,在上述各实施例描述的音频处理装置的基础上,本申请提出的音频处理装置还可以包括:
音频检测模块,用于检测所述至少一路音频信号中,存在相应预设属性值与所述目标属性值的比较结果不满足所述第一条件的第四音频信号;
音频输出模块,用于控制所述第一电子设备输出所述第四音频信号;
其中,若所述第四音频信号包含多路第四音频信号,该音频输出模块可以包括:
音频混合处理单元,用于控制所述第一电子设备对所述多路第四音频信号进行混合处理,得到待输出音频信号;
音频输出单元,用于输出所述待输出音频信号。
在又一些实施例中,在上述各实施例描述的音频处理装置的基础上,本申请提出的音频处理装置还可以包括:
属性值获取模块,用于获取针对参与多方通话的多个电子设备各自采集的音频信号配置的预设属性值;
属性值比较模块,用于将所述多个电子设备各自采集的音频信号的预设属性值,与所述第一电子设备采集的音频信号的目标属性值进行比较,得到比较结果;
禁止音频发送模块,用于检测存在满足所述第一条件的比较结果对应的第二电子设备,禁止将所述第一电子设备采集的音频信号发送至所述第二电子设备;
音频发送模块,用于检测存在不满足所述第一条件的比较结果对应的第三电子设备,将所述第一电子设备采集的音频信号发送至所述第三电子设备。
需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
本申请还提供了一种存储介质,其上可以存储计算机程序,该计算机程序可以被处理器调用并加载,以实现上述实施例描述的应用于多方通话的音频处理方法的各个步骤。
参照图9,为本申请提出的应用于多方通话的音频处理设备的一可选示例的硬件结构示意图,如上述分析,该音频处理设备可以是用于实现参与多方通话的多个电子设备相互之间的通信的服务设备,或者是具有语音通话功能的,参与多方通话的任一电子设备,本申请对该音频处理设备的设备类型不做限定。
在一些实施例中,上述服务设备可以是通信服务器,如独立的一个物理服务器,或多个物理服务器构成的服务器集群,或支持云计算的云服务器等。上述电子设备可以包括但并不局限于智能手机、平板电脑、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本、个人数字助理(personal digitalassistant,PDA)、电子书阅读器、台式计算机等,图9示出的音频处理设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,无论该音频处理设备的哪种类型的设备,该音频处理设备均可以包括:至少一个存储器21和至少一个处理器22,其中:
存储器21可以用于存储实现如上述的应用于多方通话的音频处理方法的程序;处理器22可以用于加载并执行存储器21存储的程序,以实现上述任一方法实施例描述的应用于多方通话的音频处理方法的各步骤,具体实现过程可以参照上述实施例相应部分的描述,本实施例不再赘述。
在本申请实施例中,存储器21可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器22,可以为中央处理器(CentralProcessing Unit,CPU)、特定应用集成电路(application-specificintegrated circuit,ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
应该理解的是,图9所示的音频处理设备的结构并不构成对本申请实施例中音频处理设备的限定,在实际应用中,音频处理设备可以包括比图9所示的更多或更少的部件,或者组合某些部件,如若该音频处理设备为参与多方通话的任一电子设备,该音频处理设备还可以包括音频采集器和音频播放器,甚至是其他输入设备、输出设备等,本申请在此不做一一列举。
最后,需要说明,本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的音频处理装置、音频处理设备而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种应用于多方通话的音频处理方法,所述音频处理方法包括:
针对参与多方通话的第一电子设备,获取所述第一电子设备当前得到的至少一路音频信号各自的预设属性值,其中,所述预设属性值是基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置的,所述属性配置规则基于所述多个电子设备之间的位置关系确定;
确定针对所述第一电子设备采集的音频信号配置的目标属性值;
检测所述至少一路音频信号中,存在相应预设属性值与所述目标属性值的比较结果满足第一条件的第一音频信号,禁止所述第一电子设备输出所述第一音频信号。
2.根据权利要求1所述的音频处理方法,所述基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的过程,包括:
从所述第一电子设备得到的多路音频信号中,确定第二电子设备采集并发送的第二音频信号,以及所述第一电子设备采集的第三音频信号;
获取所述第二音频信号与所述第三音频信号的音频内容相似度;
若所述音频内容相似度满足第二条件,确定所述第二电子设备与所述第一电子设备之间的距离在预设空间范围内,为所述第一电子设备和所述第二电子设备各自采集的音频信号配置同一预设属性值;
若所述音频内容相似度不满足所述第二条件,确定所述第二电子设备与所述第一电子设备之间的距离超过所述预设空间范围,为所述第一电子设备和所述第二电子设备各自采集的音频信号配置不同的预设属性值。
3.根据权利要求1所述的音频处理方法,所述基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的过程,包括:
获取参与多方通话的多个电子设备各自的状态信息,所述状态信息包含相应电子设备的通话位置信息;
依据所述通话位置信息,为位于预设空间范围内的至少两个电子设备配置同一预设属性值。
4.根据权利要求1所述的音频处理方法,所述基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置预设属性值的过程,包括:
检测存在针对第一参与者和第二参与者配置的禁止通话要求,所述第一参与者是指使用所述第一电子设备进行多方通话的参与者,所述第二参与者是指使用第二电子设备进行多方通话的参与者;
响应所述禁止通话要求,为所述第一电子设备和所述第二电子设备各自采集的音频信号配置同一预设属性值。
5.根据权利要求1~4任一项所述的音频处理方法,所述音频处理方法还包括:
检测所述至少一路音频信号中,存在相应预设属性值与所述目标属性值的比较结果不满足所述第一条件的第四音频信号,控制所述第一电子设备输出所述第四音频信号;
其中,若所述第四音频信号包含多路第四音频信号,所述控制所述第一电子设备输出所述第四音频信号,包括:
控制所述第一电子设备对所述多路第四音频信号进行混合处理,得到待输出音频信号;
输出所述待输出音频信号。
6.根据权利要求1~4任一项所述的音频处理方法,所述获取所述第一电子设备当前得到的至少一路音频信号各自的预设属性值,包括:
获取所述第一电子设备采集的至少一路音频信号各自的预设属性值;和/或,
接收第二电子设备采集并发送的第五音频信号,获取所述第五音频信号的预设属性值。
7.根据权利要求1的音频处理方法,所述音频处理方法还包括:
获取针对参与多方通话的多个电子设备各自采集的音频信号配置的预设属性值;
将所述多个电子设备各自采集的音频信号的预设属性值,与所述第一电子设备采集的音频信号的目标属性值进行比较,得到比较结果;
检测存在满足所述第一条件的比较结果对应的第二电子设备,禁止将所述第一电子设备采集的音频信号发送至所述第二电子设备;
检测存在不满足所述第一条件的比较结果对应的第三电子设备,将所述第一电子设备采集的音频信号发送至所述第三电子设备。
8.一种应用于多方通话的音频处理装置,所述音频处理装置包括:
预设属性值获取模块,用于针对参与多方通话的第一电子设备,获取所述第一电子设备当前得到的至少一路音频信号各自的预设属性值,其中,所述预设属性值是基于属性配置规则,为参与多方通话的多个电子设备各自采集的音频信号配置的,所述属性配置规则基于所述多个电子设备之间的位置关系确定;
目标属性值确定模块,用于确定针对所述第一电子设备采集的音频信号配置的目标属性值;
音频信号禁止输出模块,用于检测所述至少一路音频信号中,存在相应预设属性值与所述目标属性值的比较结果满足条件的第一音频信号,禁止所述第一电子设备输出所述第一音频信号。
9.一种应用于多方通话的音频处理设备,所述音频处理包括至少一个存储器和至少一个处理器,其中:
所述存储器,用于存储实现如权利要求1~7任一项所述的应用于多方通话的音频处理方法的程序;
所述处理器,用于加载并执行所述存储器存储的所述程序,以实现如权利要求1~7任一项所述的应用于多方通话的音频处理方法的各步骤。
10.根据权利要求9所述的设备,所述应用于多方通话的音频处理设备为:参与多方通话的任一电子设备,或用于实现参与多方通话的多个电子设备相互之间的通信的服务设备;
若所述音频处理设备为参与多方通话的任一电子设备,所述音频处理设备还包括音频采集器和音频播放器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010565178.6A CN111756723B (zh) | 2020-06-19 | 2020-06-19 | 应用于多方通话的音频处理方法、装置及设备 |
US17/207,535 US11477326B2 (en) | 2020-06-19 | 2021-03-19 | Audio processing method, device, and apparatus for multi-party call |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010565178.6A CN111756723B (zh) | 2020-06-19 | 2020-06-19 | 应用于多方通话的音频处理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111756723A true CN111756723A (zh) | 2020-10-09 |
CN111756723B CN111756723B (zh) | 2022-08-19 |
Family
ID=72675644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010565178.6A Active CN111756723B (zh) | 2020-06-19 | 2020-06-19 | 应用于多方通话的音频处理方法、装置及设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11477326B2 (zh) |
CN (1) | CN111756723B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1033340A (zh) * | 1987-07-31 | 1989-06-07 | J.S.电信协会 | 至少三人参加的电话会议的控制方法及电路 |
CN102025852A (zh) * | 2009-09-23 | 2011-04-20 | 宝利通公司 | 在近端对回传音频的检测和抑制 |
CN103702258A (zh) * | 2013-12-27 | 2014-04-02 | 深圳泰山在线科技有限公司 | 麦克风装置及消除近场声源干扰的麦克风设置方法 |
US20140282094A1 (en) * | 2013-03-15 | 2014-09-18 | Comet Capital, Llc | System and method for multi-party communication |
CN104756473A (zh) * | 2012-09-14 | 2015-07-01 | 谷歌公司 | 处理并发语音 |
CN104851423A (zh) * | 2014-02-19 | 2015-08-19 | 联想(北京)有限公司 | 一种声音信息处理方法及装置 |
US20150341498A1 (en) * | 2012-12-21 | 2015-11-26 | Dolby Laboratories Licensing Corporation | Audio Burst Collision Resolution |
CN108551534A (zh) * | 2018-03-13 | 2018-09-18 | 维沃移动通信有限公司 | 多终端语音通话的方法及装置 |
CN209134478U (zh) * | 2019-01-17 | 2019-07-19 | 深圳市柯尔瑞智能科技有限公司 | 一种用于会议通话的防干扰式电话机 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130017811A1 (en) * | 2011-07-15 | 2013-01-17 | Motorola Solutions, Inc. | Simultaneous voice calls of dissimilar clients on a single device |
US9143107B2 (en) * | 2013-10-08 | 2015-09-22 | 2236008 Ontario Inc. | System and method for dynamically mixing audio signals |
US9560208B2 (en) * | 2014-01-07 | 2017-01-31 | Avaya Inc. | System and method for providing intelligent and automatic mute notification |
-
2020
- 2020-06-19 CN CN202010565178.6A patent/CN111756723B/zh active Active
-
2021
- 2021-03-19 US US17/207,535 patent/US11477326B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1033340A (zh) * | 1987-07-31 | 1989-06-07 | J.S.电信协会 | 至少三人参加的电话会议的控制方法及电路 |
CN102025852A (zh) * | 2009-09-23 | 2011-04-20 | 宝利通公司 | 在近端对回传音频的检测和抑制 |
CN104756473A (zh) * | 2012-09-14 | 2015-07-01 | 谷歌公司 | 处理并发语音 |
US20150341498A1 (en) * | 2012-12-21 | 2015-11-26 | Dolby Laboratories Licensing Corporation | Audio Burst Collision Resolution |
US20140282094A1 (en) * | 2013-03-15 | 2014-09-18 | Comet Capital, Llc | System and method for multi-party communication |
CN103702258A (zh) * | 2013-12-27 | 2014-04-02 | 深圳泰山在线科技有限公司 | 麦克风装置及消除近场声源干扰的麦克风设置方法 |
CN104851423A (zh) * | 2014-02-19 | 2015-08-19 | 联想(北京)有限公司 | 一种声音信息处理方法及装置 |
CN108551534A (zh) * | 2018-03-13 | 2018-09-18 | 维沃移动通信有限公司 | 多终端语音通话的方法及装置 |
CN209134478U (zh) * | 2019-01-17 | 2019-07-19 | 深圳市柯尔瑞智能科技有限公司 | 一种用于会议通话的防干扰式电话机 |
Also Published As
Publication number | Publication date |
---|---|
US20210400143A1 (en) | 2021-12-23 |
CN111756723B (zh) | 2022-08-19 |
US11477326B2 (en) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106063255B (zh) | 显示视频会议期间的演讲者的方法和系统 | |
US8630208B1 (en) | Muting of communication session participants | |
KR101685466B1 (ko) | 다자간 영상 회의 서비스의 참여자 확장 방법 | |
US8340267B2 (en) | Audio transforms in connection with multiparty communication | |
EP3131257B1 (en) | Program, information processing apparatus, and information processing system for use in an electronic conference system | |
CN115209083A (zh) | 一种多视频会议协同开会方法、终端及存储介质 | |
KR20200045205A (ko) | 화상 회의 서비스 방법 및 이를 수행하기 위한 장치 | |
CN111756723B (zh) | 应用于多方通话的音频处理方法、装置及设备 | |
WO2023239467A1 (en) | Customization of a user interface displaying a rendering of multiple participants of a hybrid communication session | |
CN103369292B (zh) | 一种呼叫处理方法及网关 | |
CN111798872B (zh) | 用于在线互动平台的处理方法、装置及电子设备 | |
CN113450797A (zh) | 基于在线会议的音频处理方法、设备、存储介质及系统 | |
JP2017519379A (ja) | オブジェクトベースの遠隔会議プロトコル | |
JP7143874B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US11089164B2 (en) | Teleconference recording management system | |
US10623448B2 (en) | Audio data transfer device and audio data transfer method | |
JP2017038304A (ja) | 情報処理装置、情報処理システム、プログラム、及び記録媒体 | |
CN113824922B (zh) | 一种基于互联网庭审的音视频流控制方法和装置 | |
JP7393000B2 (ja) | 遠隔会議装置、システム、方法及びプログラム | |
CN114584934B (zh) | 通信处理方法、装置、系统及存储介质 | |
CN109525792A (zh) | 会议录制管理方法及系统、终端和计算机可读存储介质 | |
KR102505345B1 (ko) | 하울링 제거 시스템과 방법 및 이를 위한 컴퓨터 프로그램 | |
WO2022208609A1 (ja) | 配信システム、配信方法、及びプログラム | |
US11871152B2 (en) | Information processing system, information processing apparatus, and program | |
CN113129915B (zh) | 音频共享方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |