CN114785886B - 使用多个音频设备的通话方法及电子设备 - Google Patents

使用多个音频设备的通话方法及电子设备 Download PDF

Info

Publication number
CN114785886B
CN114785886B CN202210682293.0A CN202210682293A CN114785886B CN 114785886 B CN114785886 B CN 114785886B CN 202210682293 A CN202210682293 A CN 202210682293A CN 114785886 B CN114785886 B CN 114785886B
Authority
CN
China
Prior art keywords
audio
voice
voice data
module
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210682293.0A
Other languages
English (en)
Other versions
CN114785886A (zh
Inventor
李晓亮
赫伽宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210682293.0A priority Critical patent/CN114785886B/zh
Publication of CN114785886A publication Critical patent/CN114785886A/zh
Application granted granted Critical
Publication of CN114785886B publication Critical patent/CN114785886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/02Details of telephonic subscriber devices including a Bluetooth interface

Abstract

本申请实施例提供一种使用多个音频设备的通话方法及电子设备,涉及音频技术领域。在本申请方案中,在第一设备与第二设备建立通话链路时,若用户选择多个音频设备作为第一设备的音频输入/输出设备,则第一设备为多个音频设备中的每个音频设备分别配置语音通路,并通过配置的语音通路传输语音数据,从而满足了使用多个音频设备的多个用户与使用其他设备的用户进行多人通话的需求,且通话过程不易受外界环境噪声影响。

Description

使用多个音频设备的通话方法及电子设备
技术领域
本申请涉及音频技术领域,尤其涉及一种使用多个音频设备的通话方法及电子设备。
背景技术
在常规通话方式中,如果来电呼入时用户点击接听控件,那么手机将通过听筒输出来自对端设备的对端语音,并向对端设备发送由麦克风采集到的本地语音,从而实现了双方通话。
在多人通话场景中,当多个用户想要通过手机加入到与对端设备的通话中时,可以打开手机的外放功能,从而手机通过扬声器输出来自对端设备的对端语音,并向对端设备发送由麦克风采集到的本地语音。但是,这种通话方式容易受到环境噪声影响,从而降低了通话质量。因此如何提高多人通话的服务质量成为亟待解决的问题。
发明内容
本申请提供一种使用多个音频设备的通话方法及电子设备,利用与电子设备连接的多个音频设备进行多人通话,降低了环境噪声对通话的干扰,提高了通话质量。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种使用多个音频设备的通话方法。该方法应用于第一设备,包括:
第一设备与第二设备建立通话链路,并与多个音频设备建立多个语音通路;第一设备通过通话链路接收来自第二设备的第一语音数据,并通过多个语音通路接收来自多个音频设备的多个第二语音数据;第一设备通过通话链路向第二设备发送第一混音数据,并通过多个语音通路中的目标语音通路向目标音频设备发送第二混音数据。
其中,多个音频设备中的一个音频设备对应多个语音通路中的一个语音通路。第一混音数据为对多个第二语音数据进行混音后的语音数据。目标音频设备为多个音频设备中的任意一个设备。第二混音数据为对第一语音数据,以及多个第二语音数据中除目标语音数据外的语音数据进行混音后的语音数据。目标语音数据为来自目标音频设备的语音数据。
应理解,在第一设备与第二设备建立通话的情况下,由于第一设备与多个音频设备分别建立了语音通路,因此每个音频设备可以通过与之对应的语音通路接收来自其他设备的下行语音数据,并通过与之对应的语音通路向其他设备发送上行语音数据,从而满足了使用多个音频设备的多个用户与使用其他设备的用户进行多人通话的需求。另外,由于每个音频设备可以作为电子设备的音频输入/输出设备,因此各个音频设备互不打扰,且通话过程不易受外界环境噪声影响,从而提高了多人通话的通话质量。
在一种可能的实现方式中,在第一设备与多个音频设备建立多个语音通路之前,该方法还包括:第一设备响应于用户对多个音频设备的选择操作,为多个音频设备中的每个音频设备分别配置一个语音通路。
应理解,由第一设备为多个音频设备中的每个音频设备分别配置一个语音通路,因此在多人通话过程中,各个音频设备可以通过各自的语音通路与其他设备交互语音数据。
在一种可能的实现方式中,选择操作为对多个音频设备的标识的触发操作。
相应地,在接收用户对多个音频设备的标识的触发操作之前,该方法还包括:
第一设备响应于用户对设备选择控件的操作,确定与第一设备建立通信连接的M个音频设备,并显示M个音频设备的标识。其中,M个音频设备的标识包括多个音频设备的标识。M为大于或等于2的整数。
应理解,由于设备选择控件用于触发显示与第一设备建立通信连接的所有音频设备。因此用户通过对设备选择控件的操作,可以从所有音频设备中选择用于多人通话的音频设备。
在一种可能的实现方式中,通信连接包括无线连接。
在一种可能的实现方式中,通信连接包括有线连接和无线连接。
在一种可能的实现方式中,多个语音通路为在下述任意一种情形下建立的:
情形1、第一设备接收到来自第二设备的通话业务请求,且第一设备与第二设备尚未建立通话链路。
情形2、第一设备接收到来自第二设备的通话业务请求,且第一设备与第二设备已经建立通话链路。
情形3、在第一设备向第二设备发起通话业务请求,且第一设备与第二设备尚未建立通话链路。
情形4、在第一设备向第二设备发起通话业务请求,且第一设备与第二设备已经建立通话链路。
在一种可能的实现方式中,第一设备包括目标应用程序、音频管理模块、音频策略模块和脉冲编码调制(pulse code modulation,PCM)虚拟设备。
相应地,第一设备响应于用户对多个音频设备的选择操作,为多个音频设备中的每个音频设备分别配置一个语音通路,包括:通过目标应用程序接收用户对多个音频设备的选择操作;响应于选择操作,通过音频管理模块提供的应用程序编程接口,向音频策略模块发送配置指令,配置指令用于指示为多个音频设备配置语音通路;通过音频策略模块响应于配置指令,打开PCM虚拟设备;通过PCM虚拟设备为多个音频设备中的每个音频设备分别配置一个语音通路。
应理解,音频策略模块通过打开PCM虚拟设备,可以为多个音频设备配置语音通路。
在一种可能的实现方式中,PCM虚拟设备为第一设备创建的多个PCM虚拟设备中的一个PCM虚拟设备。
相应地,通过音频策略模块响应于配置指令,打开PCM虚拟设备,包括:通过音频策略模块响应于配置指令,创建与多个音频设备对应的一个PCM虚拟设备,以及打开一个PCM虚拟设备;或者,在第一设备创建的PCM虚拟设备中,确定与多个音频设备对应的一个PCM虚拟设备,以及打开一个PCM虚拟设备。
应理解,不同的PCM虚拟设备用于为不同的音频设备配置语音通路。因此,当用户选择的音频设备不同时,音频策略模块打开的PCM虚拟设备不同,从而实现了采用与多个音频设备对应的一个PCM虚拟设备,为多个音频设备配置语音通路。
在一种可能的实现方式中,第一设备还包括硬件抽象层模块,硬件抽象层模块为音频策略模块和PCM虚拟设备的通信接口。
相应地,通过音频策略模块响应于配置指令,打开PCM虚拟设备,包括:通过音频策略模块响应于配置指令,并通过硬件抽象层模块,打开PCM虚拟设备。
应理解,音频策略模块位于库层,PCM虚拟设备位于内核层,因此通过在库层和内核层之间的硬件抽象层设置一个硬件抽象层模块,实现了配置指令透传。
在一种可能的实现方式中,第一设备包括音频数据信号处理器(audio digitalsingal processor,ADSP)。
相应地,在第一设备通过通话链路向第二设备发送第一混音数据,并通过多个语音通路中的目标语音通路向目标音频设备发送第二混音数据之前,该方法还包括:通过ADSP对多个第二语音数据进行混音,得到第一混音数据;通过ADSP对第一语音数据,以及多个第二语音数据中除目标语音数据外的语音数据进行混音,得到第二混音数据。
应理解,采用ADSP可以实现第一语音数据和本地语音数据的混音。
在一种可能的实现方式中,第一设备还包括音频编解码器,ADSP包括混音器。
相应地,通过ADSP对多个第二语音数据进行混音,得到第一混音数据,包括:
通过音频编解码器对多个第二语音数据进行解码;
通过混音器对解码后的多个第二语音数据进行混音,得到第一混音数据。
在一种可能的实现方式中,第一设备还包括音频编解码器,ADSP包括编解码模块和混音器。
相应地,通过ADSP对第一语音数据,以及多个第二语音数据中除目标语音数据外的语音数据进行混音,得到第二混音数据,包括:
通过编解码模块对第一语音数据进行解码;
通过音频编解码器对多个第二语音数据进行解码;
通过混音器对解码后的第一语音数据,及解码后的多个第二语音数据中除目标语音数据外的语音数据进行混音,得到第二混音数据。
应理解,ADSP的混音器可以实现对第一语音数据和本地语音数据的混音。ADSP的编解码模块可以实现对第一语音数据的解码,以及对本地语音数据的编码。
在一种可能的实现方式中,第一设备还包括调制解调器。
相应地,第一设备通过通话链路接收来自第二设备的第一语音数据,包括:通过调制解调器接收来自第二设备的第一语音数据,并将第一语音数据发送至编解码模块。第一设备通过通话链路向第二设备发送第一混音数据,包括:通过编解码模块对第一混音数据进行编码,并通过调制解调器,向第二设备发送编码后的第一混音数据。
应理解,通过调制解调器实现了本地混音数据与第一语音数据的交互。
在一种可能的实现方式中,第一设备还包括通信芯片,如蓝牙芯片。
相应地,第一设备通过多个语音通路接收来自多个音频设备的多个第二语音数据,包括:通过通信芯片接收来自多个音频设备的多个第二语音数据,并将多个第二语音数据发送至音频编解码器。第一设备通过多个语音通路中的目标语音通路向目标音频设备发送第二混音数据,包括:通过音频编解码器对第二混音数据进行编码,并通过通信芯片,向目标音频设备发送编码后的第二混音数据。
应理解,采用通信芯片,实现了多音频设备与第一设备的语音数据交互。
在一种可能的实现方式中,ADSP还包括音效模块。
相应地,该方法还包括:在通过混音器对解码后的第一语音数据和解码后的多个第二语音数据进行混音之前,通过音效模块对解码后的第一语音数据和解码后的多个第二语音数据进行音效处理。
应理解,先对语音数据进行音效处理,再对语音数据进行混音,提高混音效果。
第二方面,本申请提供一种通话装置,该装置包括用于执行上述第一方面的方法的单元/模块。该装置可对应于执行上述第一方面描述的方法,该装置中的单元/模块的相关描述请参照上述第一方面的描述,为了简洁,在此不再赘述。
第三方面,提供一种电子设备,包括处理器,以及与处理器耦合的存储器和通信接口;存储器用于存储计算机指令,通信接口用于与音频设备交互音频数据,处理器用于执行计算机指令,以使得电子设备实现如第一方面中任一项的使用多个音频设备的通话方法。
第四方面,提供一种芯片,该芯片与存储器耦合,该芯片用于读取并执行该存储器中存储的计算机程序,以实现如第一方面中任一项的使用多个音频设备的通话方法。
第五方面,提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,当该计算机程序在电子设备上运行时,使得电子设备执行如第一方面中任一项的使用多个音频设备的通话方法。
第六方面,提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面中任一项的使用多个音频设备的通话方法。
可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1为本申请实施例提供的一种多人通话的实现方案;
图2为本申请实施例提供的另一种多人通话的实现方案;
图3为本申请实施例提供的一种通话系统的示意图;
图4为本申请实施例提供的另一种通话系统的示意图;
图5为本申请实施例提供的一种电子设备的结构示意图;
图6为本申请实施例提供的一种电子设备的架构图;
图7为本申请实施例提供的一种建立蓝牙连接的场景示意图;
图8为本申请实施例提供的配置语音通路的场景示意图之一;
图9为本申请实施例提供的配置语音通路的场景示意图之二;
图10为本申请实施例提供的配置语音通路的场景示意图之三;
图11为本申请实施例提供的配置语音通路的场景示意图之四;
图12为本申请实施例提供的配置语音通路的场景示意图之五;
图13为本申请实施例提供的配置语音通路的场景示意图之六;
图14为本申请实施例提供的使用多个音频设备的通话方法的流程示意图之一;
图15为本申请实施例提供的使用多个音频设备的通话方法的流程示意图之二;
图16为本申请实施例提供的混音场景的示意图之一;
图17为本申请实施例提供的手机的架构图之一;
图18为本申请实施例提供的混音场景的示意图之二;
图19为本申请实施例提供的手机的架构图之二;
图20为本申请实施例提供的混音场景的示意图之三;
图21为本申请实施例提供的手机的架构图之三;
图22为本申请实施例提供的ADSP的结构示意图;
图23为本申请实施例提供的手机的架构图之四;
图24为本申请实施例提供的手机的架构图之五;
图25为本申请实施例提供的通话装置的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
在本申请的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B。在本申请的描述中,“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。在本申请中,“多个”是指两个或两个以上。
在本申请的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,或者用于区别对同一对象的不同处理,而不是用于描述对象的特定顺序。例如,第一时长和第二时长等是用于区别不同的时长,而不是用于描述时长的特定顺序。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
通话为手机提供的一项基础服务功能。在手机1与手机2建立通话链路后,在手机1侧的多个用户可能想要加入到与手机2的通话中,或者,在手机2侧的多个用户可能想要加入到与手机1的通话中。
图1提供了一种多人通话的实现方案:用户2和用户3打开手机2的外放功能。在手机1的麦克风采集到用户1的语音后,手机1向手机2发送用户1的语音,然后手机2通过扬声器输出用户1的语音。在手机2的麦克风采集用户2和用户3的语音后,手机2向手机1发送用户2和用户3的语音,然后手机1通过扬声器或听筒输出用户2和用户3的语音。在这种通话方式中,若手机2的外界环境嘈杂,则手机2会采集到环境噪声,导致使用手机1的用户无法听清楚来自用户2和用户3的语音。
图2提供了另一种多人通话的实现方案:手机2与一对蓝牙耳机建立蓝牙连接。用户2佩戴这对耳机的左耳塞。用户3佩戴这对耳机的右耳塞。在手机2接收到来自手机1的语音后,手机2将语音转发至左耳塞,左耳塞再将语音转发至右耳塞,从而左耳塞的听筒和右耳塞的听筒分别播放用户1的语音。在通常情况下,一对蓝牙耳机作为一部手机的音频输入/输出设备使用时,仅会开启一个耳塞的麦克风,并通过开启的麦克风采集声音信号,而另一个未开启的麦克风不能用于采集声音信号。比如,若开启了左耳塞的麦克风,未开启右耳塞的麦克风,则用户2可以采用麦克风输入语音,用户3无法采用麦克风输入语音,从而用户1和用户2不能听见用户3的语音,不能实现三方通话。
鉴于上述问题,本申请实施例提供一种使用多个音频设备的通话方法,在电子设备与其他设备建立通话链路时,若用户选择有线耳机、无线耳机和智能手表等多个音频设备作为电子设备的音频输入/输出设备,则电子设备为多个音频设备中的每个音频设备分别配置语音通路,并通过配置的语音通路传输语音数据,从而满足了使用多个音频设备的多个用户与使用其他设备的用户进行多人通话(也称为多方通话)的需求。另外,由于每个音频设备可以作为电子设备的音频输入/输出设备,因此各个音频设备互不打扰,且通话过程不易受外界环境噪声影响,从而提高了多人通话的通话质量。
首先对本申请实施例提供的通话系统进行详细描述。
该通话系统包括第一电子设备、第二电子设备以及多个音频设备。其中,第一电子设备也称为第一设备,第二电子设备也称为第二设备。
第一电子设备和第二电子设备用于通过移动通信方式或无线通信方式建立通话链路。第一电子设备为通话业务的发起设备,第二电子设备为通话业务的接受设备。或者,第一电子设备为通话业务的接受设备,第二电子设备为通话业务的发起设备。其中,通话业务可以为电话呼叫业务,也可以为视频通话业务或音频通话业务等。另外,第一电子设备和第二电子设备的形态相同或不同。例如,第一电子设备和第二电子设备可以是手机、平板电脑、手持计算机、可穿戴设备、车载设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或个人数字助理(personal digital assistant,PDA)等任意具备通话功能的电子设备,本申请实施例不作限定。
音频设备用于作为第一电子设备或第二电子设备的音频输入/输出设备。多个音频设备中的每个音频设备可以包括声音采集模块(如受话器、话筒等)和声音输出模块(如麦克风、听筒、传声器等)。例如,音频设备可以是有线耳机、无线耳机或智能手表等外围设备。其中,无线耳机可以是单边挂耳式蓝牙耳机、单边入耳式蓝牙耳机、头戴式蓝牙耳机或分离式蓝牙耳机等,本申请实施例不作限定。
以第一电子设备为手机1,第二电子设备为手机2为例。在多人通话场景中,在手机1与手机2建立通话链路的情况下,若手机1与多个音频设备连接,则手机1通过多个音频设备播放/采集语音数据,手机2通过本机播放/采集语音数据;或者,若手机2与多个音频设备连接,则手机1通过本机播放/采集语音数据,手机2通过多个音频设备播放/采集语音数据;或者,若手机1与多个音频设备连接,手机2与多个音频设备连接,则手机1和手机2分别通过与各自连接的音频设备播放/采集语音数据。
图3示出了一种通话系统的示意图。如图3所示,该通话系统包括手机1、手机2、蓝牙耳机A和蓝牙耳机B。手机2作为通话的一端,与手机1建立通话链路。蓝牙耳机A和蓝牙耳机B分别与手机2建立蓝牙连接。基于建立的蓝牙连接,蓝牙耳机A和蓝牙耳机B分别与手机2在蓝牙覆盖范围内交互语音数据和控制数据。
在一些实施例中,由蓝牙耳机A的受话器采集的声音信号被转化为语音数据a,语音数据a通过蓝牙耳机A与手机2的蓝牙连接传输至手机2。由蓝牙耳机B的受话器采集的声音信号被转化为语音数据b,语音数据b通过蓝牙耳机B与手机2的蓝牙连接传输至手机2。手机2对语音数据a和语音数据b进行混音处理得到混音数据,并将混音数据通过手机2与手机1的通信链路传输至手机1。然后,手机1根据混音数据,播放声音。
在另一些实施例中,由蓝牙耳机A的受话器采集的声音信号被转化为语音数据a,语音数据a通过蓝牙耳机A与手机2的蓝牙连接传输至手机2。由手机1的受话器采集的声音信号被转化为远端语音数据,远端语音数据通过手机1与手机2的通信链路传输至手机2。手机2对语音数据a和远端语音数据进行混音处理得到混音数据,并将混音数据通过手机2与蓝牙耳机B的蓝牙连接传输至蓝牙耳机B。然后,蓝牙耳机B根据混音数据,播放声音。
在又一些实施例中,由蓝牙耳机B的受话器采集的声音信号被转化为语音数据b,语音数据b通过蓝牙耳机B与手机2的蓝牙连接传输至手机2。由手机1的受话器采集的声音信号被转化为远端语音数据,远端语音数据通过手机1与手机2的通信链路传输至手机2。手机2对语音数据b和远端语音数据进行混音处理得到混音数据,并将混音数据通过手机2与蓝牙耳机A的蓝牙连接传输至蓝牙耳机A。然后,蓝牙耳机A根据混音数据,播放声音。
图4示出了另一种通话系统的示意图。如图4所示,该通话系统包括手机1、手机2、蓝牙耳机A、蓝牙耳机B和有线耳机。手机2作为通话的一端,与手机1建立通话链路。蓝牙耳机A和蓝牙耳机B分别与手机2建立蓝牙连接。有线耳机与手机2建立有线连接。基于建立的蓝牙连接,蓝牙耳机A和蓝牙耳机B分别与手机2在蓝牙覆盖范围内交互语音数据和控制数据。另外,有线耳机与手机2通过有线连接交互语音数据和控制数据。
如图4所示的通话系统与如图3所示的通话系统的描述类似,区别在于:
区别一、图3示出了两个音频设备,且两个音频设备均采用蓝牙方式与手机2建立连接,在本申请实施例中,通话系统可以包括比两个音频设备更多的音频设备,且音频设备与手机2的连接方式不局限于蓝牙连接。如图4所示,通话系统还可以包括有线耳机,且有线耳机与手机2的连接方式可以是有线连接。应理解,音频设备与手机2的连接方式还可以是其他可能的无线连接通信技术,本申请实施例不作限定。
区别二、在图3示出的通信系统中,手机2对蓝牙耳机A的语音数据和蓝牙耳机B的语音数据进行混音后的数据被转发至手机1,或对蓝牙耳机A的语音数据和手机1的语音数据进行混音后的数据被转发至蓝牙耳机B,或对蓝牙耳机B的语音数据和手机1的语音数据进行混音后的数据被转发至蓝牙耳机A。由于图4示出的通信系统增加了有线耳机,因此混音方式更为复杂。比如,手机2对蓝牙耳机A的语音数据、蓝牙耳机B的语音数据和有线耳机的语音数据进行混音后的数据被转发至手机1,或对蓝牙耳机A的语音数据、蓝牙耳机B的语音数据和手机1的语音数据进行混音后的数据转发至有线耳机,或对蓝牙耳机A的语音数据、有线耳机的语音数据和手机1的语音数据进行混音后的数据被转发至蓝牙耳机B,或对蓝牙耳机B的语音数据、有线耳机的语音数据和手机1的语音数据进行混音后的数据转发至蓝牙耳机A。应理解,与三个音频设备的混音方式相比,当音频设备的数量大于或等于4时,混音方式将更为复杂,对于其具体实现方式可以参照三个音频设备的混音方式,此处不再一一赘述。
图5示出了一种电子设备的结构示意图。该电子设备可以为上述实施例中的第一电子设备或第二电子设备。以电子设备是手机为例。如图5所示,手机可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,以及骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括控制器,应用处理器(application processor,AP),调制解调处理器,图形处理器(graphicsprocessing unit,GPU),图像信号处理器(image signal processor,ISP),存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,控制器可以是手机的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110具体可以是ADSP。ADSP用于对音频数据进行处理,如对接收的语音数据进行音效处理,以及对多种语音数据进行混音处理等。
手机的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。其中,天线1和天线2用于发射和接收电磁波信号。
移动通信模块150可以提供应用在手机上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。在一些实施例中,移动通信模块150可以由天线1接收来自其他设备的电磁波,并对电磁波进行滤波、放大等处理,传送至调制解调处理器进行解调,从而得到远端语音信号或远端控制信号。移动通信模块150还可以对经调制解调处理器调制后的语音信号或控制信号放大,经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中,调制器可以用于将待发送的低频基带信号调制成中高频信号。解调器可以用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备输出声音信号,或通过显示屏194显示图像或视频。
无线通信模块160可以提供应用在手机上的包括无线局域网(wireless localarea networks,WLAN)(如Wi-Fi网络),蓝牙,全球导航卫星系统(global navigationsatellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(nearfield communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。在一些实施例中,无线通信模块160经由天线2接收来自蓝牙耳机、蓝牙手表等外围设备的电磁波,将电磁波信号调频以及滤波处理,得到语音数据。无线通信模块160还可以从处理器110接收待发送的语音信号,对其进行调频,放大,经天线2转为电磁波辐射出去,从而使得外围设备可以接收电磁波。
手机通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。显示屏194用于显示图像和视频等,如显示如图7至图13所示的应用界面。
手机可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如语音数据播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。
扬声器170A,也称为“喇叭”,用于将音频电信号转换为声音信号。手机可以通过扬声器170A收听免提通话,即外放通话语音。
受话器170B,也称为“听筒”,用于将音频电信号转换成声音信号。当手机接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称为“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,还可以是美国蜂窝电信工业协会(cellular telecommunications industry association ofthe USA,CTIA)标准接口等。在一些实施例中,耳机接口170D将来自有线耳机的音频信号转发至音频模块170,并将来自音频模块170的音频信号转发至有线耳机。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和手机的接触和分离。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。
可以理解,本申请实施例示意的结构并不构成对手机的具体限定。在本申请另一些实施例中,手机可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
图6示出了本申请实施例提供的一种电子设备的架构图。该电子设备可以为上述实施例中的第一电子设备或第二电子设备。如图6所示,该电子设备的架构从上至下依次包括:应用层(application)、框架层(framework,FWK)、库层(FWK LIB)、硬件抽象层(hardware abstract layer,HAL)、内核层(Kernal)以及硬件层。其中,每层都有清晰的角色和分工,层与层之间通过接口通信。
另外,为了便于理解,图6还示出了与电子设备连接的外部设备,比如与电子设备建立通话链路的通话外设,以及电子设备的外围设备,如蓝牙耳机A和蓝牙耳机B等。
应用层用于提供电子设备上运行的各类应用程序(application,APP),如通话(Phone)应用和设置(Settings)应用等。应用程序具有可视的用户界面。比如,当用户想要对手机进行蓝牙配对时,如图7所示,手机可以显示蓝牙应用的蓝牙设置界面,蓝牙设置界面提供了已配对设备和可用设备的标识。又比如,当其他设备呼叫手机时,如图8中的(a)所示,手机会显示通话应用的正在呼叫界面,正在呼叫界面提供了接听控件、拒绝控件、外放控件和设备选择控件等。再比如,在通话过程中,如图8中的(d)所示,手机会显示通话应用的正在通话界面,正在通话界面提供了结束控件、外放控件和设备选择控件等。当用户操作界面中的任意一个控件时,通话应用通过应用程序编程接口(application programminginterface,API)进行某些控制操作,如开始通话或结束通话等。
框架层用于支持应用层中的各个应用程序的运行。比如包括:窗口管理服务(window manager service,WMS)模块、音频管理(AudioManager)模块、音频轨道(AudioTrack)模块、通知管理(Notification)模块、活动管理(ActivityManagerService,AMS)模块、音频系统(AudioSysem)模块、音频记录(AudioRecord)模块和通话管理(Telephone)模块等。其中,音频管理(AudioManager)模块,也称为音频管理器,用于提供对应用程序的音频流、音量大小和铃声模式进行控制及访问的API。音频系统(AudioSysem)模块用于作为取样音频系统资源的入口点,允许查询和访问安装在系统上的混频器。
库层,也称为系统运行库层,包括安卓运行库(Runtime)和程序库。其中,安卓运行库包括Dalvik虚拟机和Java核心库。程序库通过应用程序框架为开发者提供服务,包括一系列第三方类库,如轻量级数据库(SQlite)、网络工具库(Webkit)、音频策略(AudioPolicy)模块、音频流管理(AudioFlinger)模块、音频播放服务(StageFright)模块及表面合成服务(SurfaceFlinger)等。
硬件抽象层是对Linux内核驱动程序的封装,向上提供接口,它隐藏了特定平台的硬件接口细节,为操作系统提供了虚拟硬件平台,使其具有硬件无关性,可在多种平台上进行移植。例如,硬件抽象层包括音频Hal和蓝牙Hal。其中,音频Hal定义了由音频服务调用手机必须实现以确保音频硬件功能正常运行的标准接口,负责将音频流管理(AudioFlinger)模块、音频策略(AudioPolicy)模块与硬件设备关联起来。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动及传感器驱动。其中,音频驱动主要负责和硬件的交互,硬件包括扬声器和麦克风等音频设备。在本申请实施例中,内核层包括一个或多个PCM虚拟设备,也称为PCM逻辑设备、PCM中间层或PCM本地服务(native)。PCM虚拟设备即为PCM设备文件,在Linux系统中,所有的设备最终都抽象成一个或者多个用户空间可以访问的设备文件,用户空间的进程通过这些设备文件的读写来达到控制硬件的目的。对于播放声音或者录制声音来说,音频Hal和蓝牙Hal通过对PCM设备文件的读写来实现的。Android系统中实现通话录音需要从指定的PCM虚拟设备中获取录音数据,录音数据包括通话双方的声音,PCM虚拟设备可以通过选择音频场景(usecase)指定,且一个PCM虚拟设备可以对应多个usecase。
硬件层提供了各种硬件设备,比如调制解调器(modem)、ADSP和蓝牙芯片等,本申请实施例不作限定。其中,调制解调器用于将来自通话外设的模拟信号转换为数字信号,以及将来自ADSP的数字信号转换为模拟信号。ADSP用于对音频数据进行处理,如语音数据进行音效处理,以及对多种语音数据进行混音处理等。蓝牙芯片用于建立蓝牙连接,以及传输蓝牙数据等。
需要说明的是,图6仅示出了与本申请实施例相关的模块,各个层还可以包括其他任意可能的模块,各个模块还可以包括一个或多个子模块,本申请均不作限定。
在多人通话场景中,手机1和/或手机2可以与音频设备建立连接,以通过音频设备播放/采集语音数据。下面以手机2为例,介绍建立蓝牙连接的具体实现方式。其中,手机2可以为通话业务的接受设备(被叫设备),也可以为通话业务的发起设备(主叫设备)。
图7示出了一种建立蓝牙连接的场景示意图。用户可以开启各个待配对的音频设备的蓝牙功能。比如,通过对蓝牙耳机A和蓝牙耳机B的物理按键的按压操作,开启蓝牙耳机A和蓝牙耳机B的蓝牙功能。又比如,通过对手表的蓝牙控件的点击操作,开启手表的蓝牙功能。然后,用户对手机2的蓝牙应用的蓝牙选项进行选择操作,触发手机2显示如图7所示的蓝牙界面01。在手机2开启蓝牙功能的前提条件下,手机2会搜索附近的蓝牙设备,并在蓝牙界面01显示各个待配对的蓝牙设备的标识,如蓝牙耳机A、蓝牙耳机B、蓝牙耳机C、手表和手机3的标识。若用户对蓝牙耳机A、蓝牙耳机B以及手表的标识进行选择操作,则手机2会与蓝牙耳机A、蓝牙耳机B以及手表进行配对,并在成功配对后建立蓝牙连接。
在传统的语音通话场景中,手机2仅能为一个音频设备配置语音通路。这个音频设备通过语音通路接收由手机2转发的语音数据,或通过语音通路向手机2发送由音频设备采集的语音数据,即,仅能将一个音频设备作为手机2的音频输入/输出设备。例如在蓝牙耳机A、蓝牙耳机B、手表均与手机2建立蓝牙连接的情况下,手机2仅能为蓝牙耳机A、或蓝牙耳机B、或手表配置语音通路。而在本申请实施例中,手机2能为多个音频设备中的每个音频设备分别配置一个语音通路,例如手机2能为蓝牙耳机A、蓝牙耳机B和手表分别配置一个语音通路。即,手机2能将多个音频设备作为手机2的音频输入/输出设备。
为了更清楚理解配置语音通路的方案,下面将通过几种场景进行示例说明。其中,第一种场景和第二种场景是以手机2接收来自手机1的通话业务请求为例进行说明的,第三种场景和第四种场景是以手机2向手机1发起通话业务请求为例进行说明的。
第一种场景
在手机2与多个音频设备预先建立了蓝牙连接的情况下,若手机2接收到来自手机1的通话业务请求,则手机2响应于用户操作,从多个音频设备中选择用于作为音频输入/输出设备的至少两个音频设备,并为至少两个音频设备中的每个音频设备分别配置语音通路。
示例性地,假设手机2采用图7所示的方式,与蓝牙耳机A、蓝牙耳机B及手表预先建立了蓝牙连接。当手机2接收到来自手机1的通话业务请求时,手机2会显示来电界面。
一种来电界面的显示方式为:
如图8中的(a)所示,来电界面包括外放控件、设备选择控件02、拒绝控件和接听控件。当用户想要进行多人通话时,用户可以点击设备选择控件02,从而手机2调用接口,从蓝牙应用获取已经与手机2建立蓝牙连接的设备列表,如设备列表包括蓝牙耳机A、蓝牙耳机B及手表。然后,手机2显示如图8中的(b)所示的选择音频设备窗口03,音频设备窗口03包括了蓝牙耳机A、蓝牙耳机B及手表的标识。如果用户从选择音频设备窗口03中选择了蓝牙耳机A和蓝牙耳机B,那么手机2立即为蓝牙耳机A和蓝牙耳机B分别配置语音通路。在手机2为蓝牙耳机A和蓝牙耳机B分别配置语音通路后,佩戴蓝牙耳机A的用户和佩戴蓝牙耳机B的用户可以分别听到来电铃声。然后,如图8中的(c)所示,用户点击接听控件04,手机2与手机1建立通话链路。之后,手机2显示如图8中的(d)所示的正在通话界面。如此,蓝牙耳机A和蓝牙耳机B可以播放来自手机1的语音数据,也可以将采集的语音数据通过手机2发送至手机1。
另一种来电界面的显示方式为:
如图9中的(a)所示,来电界面不包括设备选择控件。当用户想要进行多人通话时,如图9中的(b)所示,用户可以通过下拉操作,触发手机2显示工具栏或菜单栏等快捷窗口,并对快捷窗口中的设备选择控件05进行选择操作,从而手机2调用接口,从蓝牙应用获取已经与手机2建立蓝牙连接的设备列表,如设备列表包括蓝牙耳机A、蓝牙耳机B及手表。然后,手机2显示如图9中的(c)所示的选择音频设备窗口06,音频设备窗口06包括了蓝牙耳机A、蓝牙耳机B及手表的标识。如果用户从选择音频设备窗口06中选择了蓝牙耳机A和蓝牙耳机B,那么手机2立即为蓝牙耳机A和蓝牙耳机B分别配置语音通路。在手机2为蓝牙耳机A和蓝牙耳机B分别配置语音通路后,佩戴蓝牙耳机A的用户和佩戴蓝牙耳机B的用户可以分别听到来电铃声。然后,用户点击接听控件,手机2与手机1建立通话链路。之后,手机2显示如图9中的(d)所示的正在通话界面。如此,蓝牙耳机A和蓝牙耳机B可以分别播放来自手机1的语音数据,也可以将采集的语音数据通过手机2发送至手机1。
需要说明的是,上述图8和图9是以用户先在音频设备窗口中选择至少两个音频设备,再点击接听控件,触发手机2与手机1建立通话链路为例进行说明的。图10提供了另外一种选择音频设备的示例。
示例性地,用户也可以先点击如图10中的(a)所示的接听控件07,触发手机2与手机1建立通话链路,再点击如图10中的(b)所示的设备选择控件08,或点击如图10中的(c)所示的设备选择控件09,然后手机2调用接口,从蓝牙应用获取已经与手机2建立蓝牙连接的设备列表,如设备列表包括蓝牙耳机A、蓝牙耳机B及手表。之后,手机2显示如图10中的(d)所示的选择音频设备窗口10,音频设备窗口10包括了蓝牙耳机A、蓝牙耳机B及手表的标识。如果用户从选择音频设备窗口10中选择了蓝牙耳机A和蓝牙耳机B,那么手机2立即为蓝牙耳机A和蓝牙耳机B分别配置语音通路。如此,蓝牙耳机A和蓝牙耳机B可以播放来自手机1的语音数据,也可以将采集的语音数据通过手机2发送至手机1。
第二种场景
在手机2与音频设备预先未建立蓝牙连接的情况下,若手机2接收到来自手机1的通话业务请求,则用户可以在蓝牙界面中选择连接的蓝牙设备,之后再返回通话界面,音频设备列表会自动刷新。如此,用户可以从选择音频设备窗口中选择用于作为音频输入/输出设备的至少两个音频设备,并为至少两个音频设备中的每个音频设备分别配置语音通路。
示例性地,假设手机2预先未与音频设备建立蓝牙连接。当手机2接收到来自手机1的通话业务请求时,手机2会显示如图11中的(a)所示的来电界面。由于手机2尚未与音频设备建立连接,因此该来电界面可以不包括设备选择控件。当用户想要进行多人通话时,用户可以从来电界面切换至如图11中的(b)所示的蓝牙界面11,该蓝牙界面11包括了搜索到的可用设备的标识,如蓝牙耳机A、蓝牙耳机B、蓝牙耳机C及手表的标识。然后,在用户选择蓝牙耳机A和蓝牙耳机B后,蓝牙耳机A和蓝牙耳机B与手机2建立蓝牙连接。用户可以从如图11中的(b)所示的蓝牙界面11返回到如图11中的(c)所示的来电界面,该来电界面可以包括设备选择控件12。用户可以点击设备选择控件12,手机2显示如图11中的(d)所示的选择音频设备窗口13。如果用户从选择音频设备窗口13中选择了蓝牙耳机A和蓝牙耳机B,那么手机2为蓝牙耳机A和蓝牙耳机B配置语音通路,从而佩戴蓝牙耳机A的用户和佩戴蓝牙耳机B的用户可以分别听到来电铃声。之后,用户点击接听控件,手机2与手机1建立通话链路。如此,蓝牙耳机A和蓝牙耳机B可以分别播放来自手机1的语音数据,也可以将采集的语音数据通过手机2发送至手机1。
需要说明的是,上述图11是以用户先在蓝牙界面选择多个音频设备,触发建立蓝牙连接;再在选择音频设备窗口选择音频设备,触发配置语音通路;之后点击接听控件,触发手机2与手机1建立通话链路为例进行说明的。在另一些实施例中,用户也可以先点击接听控件,触发手机2与手机1建立通话链路;再在蓝牙界面选择多个音频设备,触发建立蓝牙连接;之后在选择音频设备窗口选择音频设备,触发配置语音通路。
第三种场景
上述第一种场景对当手机2接收到来自手机1的通话业务请求时,用户从与手机2预先建立连接的多个音频设备中选择音频设备的场景进行了示例说明。第三种场景与第一种场景的不同在于:第三种场景是以手机2向手机1发起通话业务请求为例,对用户选择已建立蓝牙连接的音频设备,作为手机2的音频设备的场景进行示例说明。
示例性地,假设手机2与蓝牙耳机A、蓝牙耳机B以及手表预先建立了蓝牙连接。当手机2向手机1发起通话业务请求时,手机2会显示去电界面。如图12中的(a)所示,去电界面包括设备选择控件14。在手机1接听通话之前,如果使用手机2的用户想要进行多人通话时,那么使用手机2的用户可以点击设备选择控件14,从而手机2调用接口,从蓝牙应用获取已经与手机2建立蓝牙连接的设备列表,如设备列表包括蓝牙耳机A、蓝牙耳机B及手表。然后,手机2显示如图12中的(b)所示的选择音频设备窗口15。其中,选择音频设备界面15包括了蓝牙耳机A、蓝牙耳机B以及手表的标识。如果用户从选择音频设备界面15中,选择了蓝牙耳机A和蓝牙耳机B的标识,那么手机2为蓝牙耳机A和蓝牙耳机B分别配置语音通路。在手机2为蓝牙耳机A和蓝牙耳机B分别配置语音通路后,佩戴蓝牙耳机A的用户和佩戴蓝牙耳机B的用户可以分别听到来自手机1的回铃音。如果使用手机1的用户接听通话,那么手机2与手机1建立通话链路。然后,手机2显示如图12中的(c)所示的正在通话界面。如此,蓝牙耳机A和蓝牙耳机B可以分别播放来自手机1的语音数据,也可以将采集的语音数据通过手机2发送至手机1。
需要说明的是,图12是以用户先在音频设备窗口中选择多个音频设备,触发手机2为多个音频设备配置语音通路;再点击接听控件,触发手机2与手机1建立通话链路为例进行说明的。可以理解,在实际实现时,也可以先点击接听控件,触发手机2与手机1建立通话链路;再在音频设备窗口中选择多个音频设备,触发手机2为多个音频设备配置语音通路。
另外,图12是以在去电界面中设备设置设备选择控件为例进行说明的,其并不对本申请实施例形成限定。可以理解,在实际实现时,也可以在工具栏或菜单栏等快捷窗口中设置设备选择控件,可以根据实际使用需求进行设置。
第四种场景
第四种场景与第三种场景的区别在于:第三种场景是以手机2向手机1发起通话业务请求后,用户从与手机2预先建立连接的多个音频设备中选择音频设备为例进行说明的。第四种场景是以手机2向手机1发起通话业务请求后,如果手机2预先未连接任何音频设备,如何连接、选择音频设备为例进行说明的。
示例性地,假设手机2预先未与音频设备建立蓝牙连接。当手机2向手机1发起通话业务请求时,手机2会显示如图13中的(a)所示的去电界面,该去电界面不包括设备选择控件。在使用手机1的用户接听通话之后,手机2的听筒或麦克风可以播放来自手机1的语音数据。如果使用手机2的用户想要进行多人通话,那么用户可以从正在通话界面切换至如图13中的(b)所示的蓝牙界面16,该蓝牙界面16包括了手机2搜索到的可用设备的标识,如蓝牙耳机A、蓝牙耳机B、蓝牙耳机C及手表的标识。在用户选择蓝牙耳机A和蓝牙耳机B后,蓝牙耳机A和蓝牙耳机B与手机2建立蓝牙连接。用户可以从如图13中的(b)所示的蓝牙界面,返回到如图13中的(c)所示的正在通话界面,音频设备列表会自动刷新。用户可以点击设备选择控件17,手机2显示如图13中的(d)所示的选择音频设备窗口18。其中,选择音频设备窗口18包括已建立蓝牙连接的蓝牙耳机A和蓝牙耳机B的标识。如果用户从选择音频设备窗口18中选择了蓝牙耳机A和蓝牙耳机B,那么手机2为蓝牙耳机A和蓝牙耳机B配置语音通路。如此,蓝牙耳机A和蓝牙耳机B可以分别播放来自手机1的语音数据,也可以将采集的语音数据通过手机2发送至手机1。
需要说明的是,在通话过程中,用户也可以随时更换与手机连接的音频设备。一种方式为,如果先前的选择音频设备窗口包括了用户想要更换的音频设备,那么用户可以直接通过对设备选择控件的输入,触发手机2显示选择音频设备窗口,然后在选择音频设备窗口中重新选择音频设备,从而手机2为重新选择的音频设备配置语音通路。另一种方式为,如果先前的选择音频设备窗口不包括用户想要更换的音频设备,那么用户可以先在蓝牙界面中重新选择连接的音频设备,然后在选择音频设备窗口中选择配置的音频设备,从而手机2为重新选择的音频设备配置语音通路。需要说明的是,对于这两种方式的具体实现方式,可以参照上述实施例对于各种场景的相关描述,此处不再赘述。
另外,上述实施例是以电话呼叫业务为例进行说明的,其并不对本申请实施例形成限定。在手机2接收来自手机1的视频通话业务或音频通话业务的请求,或者,手机2向手机1发起视频通话业务或音频通话业务的请求时,可以采用与通话呼叫业务类似的方案,为使用手机2的多个用户选择的多个音频设备配置语音通路,此处不再赘述。
图14为本申请实施例提供的一种使用多个音频设备的通话方法的流程示意图。该方法可以应用于采用与电子设备连接的多个音频设备实现多人通话的场景中,比如,应用于如图8至图11所示的接收通话业务的场景中。该方法的执行主体可以为与多个音频设备连接的电子设备或电子设备中的功能模块。下面以执行主体为手机2为例对该方法进行介绍。
如图14所示,该方法可以包括下述的S201-S209。
S201、手机2接收来自手机1的通话业务请求。
其中,通话业务请求可以是电话呼叫请求、视频通话呼叫请求或音频通话呼叫请求等,本申请实施例不作限定。
S202、在手机2与手机1尚未建立通话链路的情况下,手机2显示来电界面。
示例性地,在手机2与手机1尚未建立通话链路的情况下,手机2可以显示如图8中的(a)、如图9中的(a)、如图10中的(a)或如图11中的(a)所示的来电界面。来电界面可以包括接听控件和拒绝控件等。手机2持续检测是否接收到用户对这些控件的操作。如果手机2接收到用户对设备选择控件的选择操作,那么执行下述S203、S204和S207。如果手机2接收到用户对接听控件的选择操作,那么执行下述S205-S206。如果手机2接收到用户对拒绝控件的选择操作,那么结束步骤。
S203、手机2显示设备标识列表。
S204、手机2响应于用户对设备标识列表中的多个标识的选择输入,为该多个标识指示的多个音频设备中的每个音频设备分别配置语音通路。
S205、手机2与手机1建立通话链路,显示正在通话界面。
S206、手机2接收到用户对设备选择控件的选择操作,则手机2显示设备标识列表。在手机2显示设备标识列表之后,手机2接收用户对设备标识列表中的多个音频设备标识的选择输入。手机2响应于该选择输入,为多个音频设备中的每个设备配置语音通路。
对于手机2显示设备标识列表、用户选择多个音频设备的具体实现方式,可以参照上述实施例中的描述,此处不再赘述。
S207、在手机2接收到用户对设备选择控件的选择操作的情况下,手机2与手机1建立通话链路,手机2显示正在通话界面。
S208、手机2通过通话链路接收来自手机1的远端语音数据,并通过多个语音通路接收来自多个音频设备的多个语音数据。
需要说明的是,来自手机1的远端语音数据可以称为第一语音数据,来自音频设备的语音数据可以称为第二语音数据。
S209、手机2通过通话链路向手机1发送第一混音数据,并通过多个语音通路中的目标语音通路向目标音频设备发送第二混音数据。
其中,第一混音数据为对多个语音数据进行混音后的语音数据。
目标音频设备为多个音频设备中的任意一个设备。第二混音数据为对远端语音数据,以及多个语音数据中除目标语音数据外的语音数据进行混音后的语音数据。目标语音数据为来自目标音频设备的语音数据。
图15为本申请实施例提供的另一种使用多个音频设备的通话方法的流程示意图。该方法可以应用于采用与电子设备连接的多个音频设备实现多人通话的场景中,比如,应用于如图12至图13所示的发起通话业务的场景中。该方法的执行主体可以为与多个音频设备连接的电子设备或电子设备中的功能模块。下面以执行主体为手机2为例对该方法进行介绍。
如图15所示,该方法可以包括下述的S301-S311。
S301、手机2向手机1发送通话业务请求。
其中,通话业务请求可以是电话呼叫请求、视频通话呼叫请求或音频通话呼叫请求。
S302、在手机2与手机1尚未建立通话链路的情况下,手机2显示去电界面。
S303、手机2检测是否接收到设备选择控件的操作。
如果手机2接收到用户对设备选择控件的选择操作,那么执行下述S304-S306。
如果手机2没有接收到用户对设备选择控件的选择操作,那么执行下述S307-S309。
S304、手机2显示设备标识列表。
S305、手机2响应于用户对设备标识列表中的多个标识的选择输入,为该多个标识指示的多个音频设备中的每个音频设备分别配置语音通路。
然后,手机2与多个音频设备建立多个语音通路,一个音频设备对应一个语音通路。
S306、手机2响应于用户对接听控件的选择操作,与手机1建立通话链路,并显示正在通话界面。
S307、手机2与手机1建立通话链路,并显示正在通话界面。
S308、手机2接收到用户对设备选择控件的选择操作,则手机2显示设备标识列表。
S309、手机2接收用户对设备标识列表中的多个音频设备标识的选择输入。手机2响应于该选择输入,为多个音频设备中的每个设备配置语音通路。
然后,手机2与多个音频设备建立多个语音通路,一个音频设备对应一个语音通路。
对于手机2显示设备标识列表、用户选择多个音频设备的具体实现方式,可以参照上述实施例中的描述,此处不再赘述。
S310、手机2通过通话链路接收来自手机1的远端语音数据,并通过多个语音通路接收来自多个音频设备的多个语音数据。
S311、手机2通过通话链路向手机1发送第一混音数据,并通过多个语音通路中的目标语音通路向目标音频设备发送第二混音数据。
其中,第一混音数据为对多个语音数据进行混音后的语音数据。
目标音频设备为多个音频设备中的任意一个设备。第二混音数据为对远端语音数据,以及多个语音数据中除目标语音数据外的语音数据进行混音后的语音数据。目标语音数据为来自目标音频设备的语音数据。
为了更清楚地理解图14和图15中介绍的混音方案,下面以蓝牙耳机A和蓝牙耳机B是手机2的音频输入/输出设备为例,通过三个示例对混音方案进行示例说明。
示例1
图16示出了本申请实施例提供的一种混音场景的示意图。相应地,图17示出了与图16的手机2对应的架构图。
如图16所示,手机2与手机1建立通话链路,手机2与蓝牙耳机A建立语音通路a,手机2与蓝牙耳机B建立语音通路b。当蓝牙耳机A的麦克风采集到用户2的语音后,将用户2的语音转换为语音数据a,并通过语音通路a向手机2发送语音数据a。当蓝牙耳机B的麦克风采集到用户3的语音后,将用户3的语音转换为语音数据b,并通过语音通路b向手机2发送语音数据a。若手机2同时接收到语音通路a和语音数据b,则对语音通路a和语音数据b进行混音得到混音数据,并通过通话链路向手机1发送混音数据。手机1接收混音数据,并根据混音数据播放声音,从而使用手机1的用户1可以听到用户2和用户3的声音。
如图17所示,手机2包括:应用层的通话应用,框架层的音频管理(AudioManager)模块,库层的音频策略(AudioPolicy)模块,硬件抽象层的蓝牙Hal,内核层的PCM虚拟设备,以及硬件层的调制解调器、ADSP和蓝牙芯片。
当用户操作手机2接听电话、拨打电话、接听视频通话、发起视频通话、接听语音通话或发起语音通话时,通话应用响应于用户操作,启动通话音频,通过音频管理(AudioManager)模块提供的API,向音频策略(AudioPolicy)模块发送配置指令。该配置指令用于指示为蓝牙耳机A和蓝牙耳机B配置语音通路。音频策略(AudioPolicy)模块响应于配置指令,通过蓝牙Hal,打开用于为两个蓝牙耳机服务的PCM虚拟设备。然后,该PCM虚拟设备为蓝牙耳机A配置语音通路a,为蓝牙耳机B配置语音通路b。蓝牙耳机A、蓝牙芯片和ADSP通过语音通路a建立连接,蓝牙耳机B、蓝牙芯片和ADSP通过语音通路b建立连接。如此,语音数据a先通过蓝牙耳机A和蓝牙芯片之间的语音通路a发送至蓝牙芯片,再通过蓝牙芯片和ADSP之间的语音通路a发送至ADSP。语音数据b先通过蓝牙耳机B和蓝牙芯片之间的语音通路b发送至蓝牙芯片,再通过蓝牙芯片和ADSP之间的语音通路b发送至ADSP。当ADSP同时接收到语音通路a和语音数据b时,ADSP对语音通路a和语音数据b进行混音,得到混音数据,并向调制解调器发送混音数据。调制解调器将混音数据从数字信号调制为中高频信号,并经过天线发送出去。
示例2
图18示出了本申请实施例提供的另一种混音场景的示意图。相应地,图19示出了与图18的手机2对应的架构图。
如图18所示,手机2与手机1建立通话链路,手机2与蓝牙耳机A建立语音通路a,手机2与蓝牙耳机B建立语音通路b。手机1的麦克风采集到用户1的语音后,将用户1的语音转换为远端语音数据,并通过通话链路向手机2发送远端语音数据。当蓝牙耳机A的麦克风采集到用户2的语音后,将用户2的语音转换为语音数据a,并通过语音通路a向手机2发送语音数据a。若手机2同时接收到远端语音数据和语音数据a,则对远端语音数据和语音数据a进行混音得到混音数据,并通过语音通路b向蓝牙耳机B发送混音数据。蓝牙耳机B接收混音数据,并根据混音数据播放声音,从而使用蓝牙耳机B的用户3可以听到用户1和用户2的声音。
如图19所示,手机2包括:应用层的通话应用,框架层的音频管理(AudioManager)模块,库层的音频策略(AudioPolicy)模块,硬件抽象层的蓝牙Hal,内核层的PCM虚拟设备,以及硬件层的调制解调器、ADSP和蓝牙芯片。
当用户操作手机2接听电话、拨打电话、接听视频通话、发起视频通话、接听语音通话或发起语音通话时,通话应用响应于用户操作,启动通话音频,通过音频管理(AudioManager)模块提供的API,向音频策略(AudioPolicy)模块发送配置指令。该配置指令用于指示为蓝牙耳机A和蓝牙耳机B配置语音通路。音频策略(AudioPolicy)模块响应于配置指令,通过蓝牙Hal,打开用于为两个蓝牙耳机服务的PCM虚拟设备。然后,该PCM虚拟设备为蓝牙耳机A配置语音通路a,为蓝牙耳机B配置语音通路b。蓝牙耳机A、蓝牙芯片和ADSP通过语音通路a建立连接,蓝牙耳机B、蓝牙芯片和ADSP通过语音通路b建立连接。如此,调制解调器对来自通话外设(如手机1)的远端语音数据进行解调,并将解调后的远端语音数据通过通话链路发送至ADSP。另外,语音数据a先通过蓝牙耳机A和蓝牙芯片之间的语音通路a发送至蓝牙芯片,再通过蓝牙芯片和ADSP之间的语音通路a发送至ADSP。当ADSP同时接收到远端语音数据和语音数据a时,ADSP对远端语音数据和语音数据a进行混音,得到混音数据,并通过ADSP和蓝牙芯片之间的语音通路b向蓝牙芯片发送混音数据。然后,蓝牙芯片通过与蓝牙耳机B之间的语音通路b,向蓝牙耳机B发送混音数据。
示例3
图20示出了本申请实施例提供的再一种混音场景的示意图。相应地,图21示出了与图20的手机2对应的架构图。
如图20所示,手机2与手机1建立通话链路,手机2与蓝牙耳机A建立语音通路a,手机2与蓝牙耳机B建立语音通路b。手机1的麦克风采集到用户1的语音后,将用户1的语音转换为远端语音数据,并通过通话链路向手机2发送远端语音数据。当蓝牙耳机B的麦克风采集到用户3的语音后,将用户3的语音转换为语音数据b,并通过语音通路b向手机2发送语音数据b。若手机2同时接收到远端语音数据和语音数据b,则对远端语音数据和语音数据b进行混音得到混音数据,并通过语音通路a向蓝牙耳机A发送混音数据。蓝牙耳机A接收混音数据,并根据混音数据播放声音,从而使用蓝牙耳机A的用户2可以听到用户1和用户3的声音。
如图21所示,手机2包括:应用层的通话应用,框架层的音频管理(AudioManager)模块,库层的音频策略(AudioPolicy)模块,硬件抽象层的蓝牙Hal,内核层的PCM虚拟设备,以及硬件层的调制解调器、ADSP和蓝牙芯片。
当用户操作手机2接听电话、拨打电话、接听视频通话、发起视频通话、接听语音通话或发起语音通话时,通话应用响应于用户操作,启动通话音频,通过音频管理(AudioManager)模块提供的API,向音频策略(AudioPolicy)模块发送配置指令。该配置指令用于指示为蓝牙耳机A和蓝牙耳机B配置语音通路。音频策略(AudioPolicy)模块响应于配置指令,通过蓝牙Hal,打开用于为两个蓝牙耳机服务的PCM虚拟设备。然后,该PCM虚拟设备为蓝牙耳机A配置语音通路a,为蓝牙耳机B配置语音通路b。蓝牙耳机A、蓝牙芯片和ADSP通过语音通路a建立连接,蓝牙耳机B、蓝牙芯片和ADSP通过语音通路b建立连接。如此,调制解调器对来自通话外设(如手机1)的远端语音数据进行解调,并将解调后的远端语音数据通过通话链路发送至ADSP。另外,语音数据b先通过蓝牙耳机B和蓝牙芯片之间的语音通路b发送至蓝牙芯片,再通过蓝牙芯片和ADSP之间的语音通路b发送至ADSP。当ADSP同时接收到远端语音数据和语音数据b时,ADSP对远端语音数据和语音数据b进行混音,得到混音数据,并通过ADSP和蓝牙芯片之间的语音通路a向蓝牙芯片发送混音数据。然后,蓝牙芯片通过与蓝牙耳机A之间的语音通路a,向蓝牙耳机A发送混音数据。
在上述示例1、示例2和示例3中介绍了ADSP。为了更清楚地示意ADSP,下面将结合图22对ADSP的硬件结构及工作原理进行详细说明。
在图22中,手机包括ADSP,蓝牙Hal,PCM虚拟设备,调制解调器,音频编解码器,及蓝牙芯片。其中,ADSP用于对来自各个设备的音频数据进行混音处理。蓝牙Hal和PCM虚拟设备用于配置双蓝牙耳机通路。调制解调器用于调制和解调音频数据。音频编解码器包括低功耗芯片间串行媒体总线(serial low-power inter-chip media bus,SLIMBUS)模块,用于连接基带/应用处理器(如ADSP)和通信芯片(如蓝牙芯片),SLIMBUS模块保证既能传送控制信息,又能传输数据信息。蓝牙芯片用于传输音频数据和控制指令。
在一些实施例中,ADSP包括编解码模块、音效模块、混音器、蓝牙拾音模块1和蓝牙拾音模块2。编解码器用于对语音数据进行编码和解码。蓝牙拾音模块1用于获取来自蓝牙耳机A的语音数据。蓝牙拾音模块2用于获取来自蓝牙耳机B的语音数据。音效模块用于对各个语音数据进行音效处理,比如音量调整、声音美化和音量量化等。混音器用于将多个语音数据整合至一个立体音轨或单音音轨中,即,对语音数据进行混音处理。
具体地,图22示出了6个通路。采用通路①,可以将蓝牙耳机A采集的上行语音数据a,依次经过蓝牙芯片、音频编解码器、蓝牙拾音模块1和音效模块,发送至混音器。采用通路②,可以将蓝牙耳机B采集的上行语音数据b,依次经过蓝牙芯片、音频编解码器、蓝牙拾音模块2和音效模块,发送至混音器。采用通路③,可以将调制解调器接收的远端语音数据,依次经过编解码模块和音效模块,发送至混音器。采用通路④,可以将上行语音数据a和上行语音数据b的混音数据,依次经过编解码模块和调制解调器发送至通话外设。采用通路⑤,可以将远端语音数据和上行语音数据b的混音数据,依次经过音频编解码器和蓝牙芯片发送至蓝牙耳机A。采用通路⑥,可以将远端语音数据和上行语音数据a的混音数据,依次经过音频编解码器和蓝牙芯片发送至蓝牙耳机B。
下面将详细介绍PCM虚拟设备。
在Linux系统中,所有的设备最终抽象成一个或者多个用户空间可以访问的设备文件,用户空间的进程通过这些设备文件的读写来达到控制硬件的目的。PCM虚拟设备属于设备文件,因此也称为PCM设备文件。PCM虚拟设备的工作流程包括:创建(create)PCM设备文件,打开(open)PCM设备文件,写入(write)/读取(read)PCM设备文件,关闭PCM设备文件。通常,内核层可以创建一个或多个PCM设备文件。每个PCM设备文件用于为一个或多个音频设备提供服务。由于不同的PCM设备文件用于服务不同的音频设备。因此,在通话过程中,用户可以根据实际使用需求选择音频设备,从而电子设备可以创建、打开与用户选择的音频设备对应的PCM设备文件。
当一个电子设备接收到来自其他设备的通话业务请求时,或者,当一个电子设备向其他电子设备发起通话业务请求时,该一个电子设备的音频Hal或蓝牙Hal通过对PCM设备文件的读写,实现多人通话。一种场景为,当音频策略(AudioPolicy)模块接收到为多个音频设备配置语音通路的配置指令时,若是已经创建多个PCM设备文件,则直接根据配置指令从多个PCM设备文件中,确定与多个音频设备对应的一个PCM设备文件,并打开该一个PCM设备文件。另一种场景为,当音频策略(AudioPolicy)模块接收到为多个音频设备配置语音通路的配置指令时,若是尚未创建与多个音频设备对应的PCM设备文件,则创建与多个音频设备对应的一个PCM设备文件,以及打开该一个PCM设备文件。在打开PCM设备文件后,电子设备可以读取PCM设备文件,为多个音频设备配置语音通路。在结束通话业务后,电子设备关闭PCM设备文件。
上述实施例均是以电子设备和音频设备通过蓝牙连接为例进行说明的。在本申请实施例中,手机和音频设备还可以通过有线连接。以有线耳机为例,当电子设备检测到有线耳机插入时,为有线耳机配置语音通路。
作为一种示例,图23示出了一种由PCM虚拟设备配置语音通路的架构图。如图23所示,在通话应用响应于用户操作,启动通话音频后,通过音频管理(AudioManager)模块提供的API,向音频策略(AudioPolicy)模块发送配置指令。该配置指令用于指示为有线耳机和蓝牙耳机配置语音通路。音频策略(AudioPolicy)模块响应于配置指令,通过音频Hal,打开用于为有线耳机和蓝牙耳机服务的PCM虚拟设备。然后,该PCM虚拟设备为有线耳机配置语音通路a,为蓝牙耳机配置语音通路b。蓝牙耳机、蓝牙芯片和ADSP通过语音通路b建立连接。有线耳机和ADSP通过语音通路a建立连接。如此,调制解调器对来自通话外设的远端语音数据进行解调,并将解调后的远端语音数据通过通话链路发送至ADSP。有线耳机采集的语音数据通过语音通路a传输至ADSP。蓝牙耳机采集的语音数据通过语音通路b传输至ADSP。然后,ADSP对各个语音数据进行混音。ADSP对各个语音数据进行混音的实现方式可以参照上述实施例的描述,此处不再赘述。
作为一种示例,图24示出了另一种由PCM虚拟设备配置语音通路的架构图。如图24所示,在通话应用响应于用户操作,启动通话音频后,通过音频管理(AudioManager)模块提供的API,向音频策略(AudioPolicy)模块发送配置指令。该配置指令用于指示为蓝牙耳机和蓝牙手表配置语音通路。音频策略(AudioPolicy)模块响应于配置指令,通过蓝牙Hal,打开用于为蓝牙耳机和蓝牙手表提供服务的PCM虚拟设备。然后,该PCM虚拟设备为蓝牙耳机配置语音通路a,为蓝牙手表配置语音通路b。蓝牙耳机、蓝牙芯片和ADSP通过语音通路a建立连接,蓝牙手表、蓝牙芯片和ADSP通过语音通路b建立连接。如此,调制解调器对来自通话外设的远端语音数据进行解调,并将解调后的远端语音数据通过通话链路发送至ADSP。蓝牙耳机采集的语音数据通过语音通路a传输至ADSP。蓝牙手表采集的语音数据通过语音通路b传输至ADSP。然后,ADSP对各个语音数据进行混音。ADSP对各个语音数据进行混音的实现方式可以参照上述实施例的描述,此处不再赘述。
上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行每一个功能相应的硬件结构或软件模块,或两者结合。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应每一个功能划分每一个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以采用对应每一个功能划分每一个功能模块为例进行说明。
图25为本申请实施例提供的通话装置的结构示意图。该通话装置可对应于执行本申请实施例中描述的方法。如图25所示,该通话装置可以包括控制模块501和通信模块502。
控制模块501,用于在与第二设备建立通话链路的情况下,与多个音频设备建立多个语音通路,一个音频设备对应一个语音通路。
通信模块502,用于通过通话链路接收来自第二设备的远端语音数据,并通过多个语音通路接收来自多个音频设备的多个语音数据。
通信模块502,还用于通过通话链路向第二设备发送第一混音数据,并通过多个语音通路中的目标语音通路向目标音频设备发送第二混音数据。
其中,第一混音数据为对多个语音数据进行混音后的语音数据。目标音频设备为多个音频设备中的任意一个设备。第二混音数据为对远端语音数据,以及多个语音数据中除目标语音数据外的语音数据进行混音后的语音数据。目标语音数据为来自目标音频设备的语音数据。
在一些实施例中,控制模块501,还用于在与多个音频设备建立多个语音通路之前,响应于用户对多个音频设备的选择操作,为多个音频设备中的每个音频设备分别配置一个语音通路。
在一些实施例中,控制模块501,还用于对多个语音数据进行混音,得到第一混音数据;对远端语音数据,以及多个语音数据中除目标语音数据外的语音数据进行混音,得到第二混音数据。
本申请实施例还提供了一种电子设备,包括处理器,处理器与存储器耦合,处理器用于执行存储器中存储的计算机程序或指令,以使得电子设备实现上述各实施例中的方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序。当该计算机可读存储介质在电子设备上运行时,使得电子设备执行如上所示的方法。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘或磁带),光介质或者半导体介质(例如固态硬盘(solid statedisk,SSD))等。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述各实施例中的方法。
本申请实施例还提供了一种芯片,该芯片与存储器耦合,该芯片用于读取并执行存储器中存储的计算机程序或指令,以执行上述各实施例中的方法。该芯片可以为通用处理器,也可以为专用处理器。
需要说明的是,该芯片可以使用下述电路或者器件来实现:一个或多个现场可编程门阵列(field programmable gate array,FPGA)、可编程逻辑器件(programmablelogic device,PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
上述本申请实施例提供的电子设备、通话装置、计算机可读存储介质、计算机程序产品以及芯片均用于执行上文所提供的方法,因此,其所能达到的有益效果可参考上文所提供的方法对应的有益效果,在此不再赘述。
应理解,上述只是为了帮助本领域技术人员更好地理解本申请实施例,而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例,显然可以进行各种等价的修改或变化,例如,上述检测方法的各个实施例中某些步骤可以是不必须的,或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。
还应理解,上文对本申请实施例的描述着重于强调各个实施例之间的不同之处,未提到的相同或相似之处可以互相参考,为了简洁,这里不再赘述。
还应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,本申请实施例中,“预先设定”、“预先定义”可以通过在设备(例如,包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
还应理解,本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便,不应构成特别的限定,各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
还应理解,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
最后应说明的是:以上描述内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种使用多个音频设备的通话方法,其特征在于,应用于第一设备,所述第一设备包括调制解调器、通信芯片、音频数字信号处理器ADSP和音频编解码器,所述ADSP包括编解码模块、拾音模块、音效模块和混音器,所述方法包括:
在向第二设备发起通话业务请求或接收到来自第二设备通话业务请求后,所述第一设备响应于用户对所述多个音频设备的选择操作,打开为所述多个音频设备提供服务的脉冲编码调制PCM虚拟设备,并通过所述PCM虚拟设备为所述多个音频设备中的每个音频设备分别配置语音通路,不同的PCM虚拟设备用于为不同的音频设备提供服务;
所述第一设备与所述第二设备建立通话链路,并与所述多个音频设备同时建立多个语音通路;
所述第一设备基于所述通话链路,通过所述调制解调器接收来自所述第二设备的第一语音数据;以及,基于为每个音频设备建立的语音通路,通过所述通信芯片同时接收来自所述多个音频设备的多个第二语音数据;
所述第一设备基于所述通话链路,依次通过所述调制解调器、所述编解码模块、所述音效模块向所述混音器发送经过解码和音效处理的所述第一语音数据;以及,基于为每个音频设备建立的语音通路,依次通过所述通信芯片、所述音频编解码器、与每个音频设备对应的所述拾音模块、所述音效模块分别向所述混音器发送经过解码和音效处理的所述第二语音数据;
所述第一设备通过所述混音器对所述多个第二语音数据进行混音,得到第一混音数据;以及,通过所述混音器对所述第一语音数据、所述多个第二语音数据中除目标语音数据外的语音数据进行混音,得到第二混音数据,其中,所述目标语音数据为来自目标音频设备的语音数据,所述目标音频设备为所述多个音频设备中的任意一个设备;
所述第一设备基于所述通话链路,依次通过所述混音器、所述编解码模块、所述调制解调器向所述第二设备发送经过编码的所述第一混音数据;以及,对于所述多个音频设备中的每个设备,所述第一设备均执行下述操作:基于为所述目标音频设备建立的语音通路,依次通过所述混音器、所述音频编解码器、所述通信芯片,向所述目标音频设备发送经过编码的所述第二混音数据。
2.根据权利要求1所述的方法,其特征在于,所述选择操作为用户对所述多个音频设备的标识的触发操作;
在接收用户对所述多个音频设备的标识的所述触发操作之前,所述方法还包括:
在向所述第二设备发起通话业务请求或接收到来自所述第二设备通话业务请求后,所述第一设备判断是否与音频设备建立连接;
若所述第一设备与M个音频设备建立通信连接,则所述第一设备在去电界面或来电界面显示设备选择控件;
所述第一设备响应于用户对所述设备选择控件的操作,显示所述M个音频设备的标识;
其中,所述M个音频设备的标识包括所述多个音频设备的标识。
3.根据权利要求2所述的方法,其特征在于,所述通信连接包括无线连接;或者,所述通信连接包括有线连接和无线连接。
4.根据权利要求1所述的方法,其特征在于,所述第一设备包括目标应用程序、音频管理模块和音频策略模块;
所述第一设备响应于用户对所述多个音频设备的选择操作,打开为所述多个音频设备提供服务的PCM虚拟设备,并通过所述PCM虚拟设备为所述多个音频设备中的每个音频设备分别配置语音通路,包括:
所述第一设备通过所述目标应用程序接收所述选择操作;
响应于所述选择操作,所述第一设备通过所述音频管理模块提供的应用程序编程接口,向所述音频策略模块发送配置指令,所述配置指令用于指示为所述多个音频设备配置语音通路;
所述第一设备通过所述音频策略模块响应于所述配置指令,打开为所述多个音频设备提供服务的所述PCM虚拟设备;
所述第一设备通过所述PCM虚拟设备为所述多个音频设备中的每个音频设备分别配置语音通路。
5.根据权利要求4所述的方法,其特征在于,所述第一设备通过所述音频策略模块响应于所述配置指令,打开为所述多个音频设备提供服务的所述PCM虚拟设备,包括:
所述第一设备通过所述音频策略模块响应于所述配置指令,创建为所述多个音频设备提供服务的所述PCM虚拟设备,以及打开所述PCM虚拟设备;或者,在所述第一设备创建的多个PCM虚拟设备中,确定为所述多个音频设备提供服务的PCM虚拟设备,以及打开为所述多个音频设备提供服务的PCM虚拟设备。
6.根据权利要求4所述的方法,其特征在于,所述第一设备还包括硬件抽象层模块,所述硬件抽象层模块为在所述音频策略模块和所述PCM虚拟设备之间的通信接口;
所述第一设备通过所述音频策略模块响应于所述配置指令,打开为所述多个音频设备提供服务的所述PCM虚拟设备,包括:
所述第一设备通过所述音频策略模块响应于所述配置指令,并通过所述硬件抽象层模块,打开为所述多个音频设备提供服务的所述PCM虚拟设备。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述第一设备基于所述通话链路,依次通过所述调制解调器、所述编解码模块、所述音效模块向所述混音器发送经过解码和音效处理的所述第一语音数据,包括:
所述第一设备基于所述通话链路依次进行下述操作:
将所述调制解调器接收的所述第一语音数据发送至所述编解码模块;
通过所述编解码模块对所述第一语音数据进行解码;
通过所述音效模块对解码后的所述第一语音数据进行音效处理;
将音效处理后的所述第一语音数据发送至所述混音器。
8.根据权利要求1至6中任一项所述的方法,其特征在于,基于为每个音频设备建立的语音通路,依次通过所述通信芯片、所述音频编解码器、与每个音频设备对应的所述拾音模块、所述音效模块分别向所述混音器发送经过解码和音效处理的所述第二语音数据,包括:
所述第一设备基于为每个音频设备建立的语音通路依次进行下述操作:
将所述通信芯片接收的来自每个音频设备的第二语音数据分别发送至所述音频编解码器;
通过所述音频编解码器对来自每个音频设备的第二语音数据进行解码;
通过与每个音频设备对应的所述拾音模块,将解码后的来自每个音频设备的第二语音数据发送至所述音效模块;
通过所述音效模块对解码后的来自每个音频设备的第二语音数据进行音效处理;
将音效处理后的来自每个音频设备的第二语音数据发送至所述混音器。
9.根据权利要求1至6中任一项所述的方法,其特征在于,所述第一设备基于所述通话链路,依次通过所述混音器、所述编解码模块、所述调制解调器向所述第二设备发送经过编码的所述第一混音数据,包括:
所述第一设备基于所述通话链路依次进行下述操作:
将通过所述混音器得到的所述第一混音数据发送至所述编解码模块;
通过所述编解码模块对所述第一混音数据进行编码;
将编码后的所述第一混音数据发送至所述调制解调器;
通过所述调制解调器向所述第二设备发送编码后的所述第一混音数据。
10.根据权利要求1至6中任一项所述的方法,其特征在于,基于为所述目标音频设备建立的语音通路,依次通过所述混音器、所述音频编解码器、所述通信芯片,向所述目标音频设备发送经过编码的所述第二混音数据,包括:
所述第一设备基于为所述目标音频设备建立的语音通路依次进行下述操作:
将通过所述混音器得到的所述第二混音数据发送至所述音频编解码器;
通过所述音频编解码器对所述第二混音数据进行编码;
通过所述通信芯片向所述第二设备发送编码后的所述第二混音数据。
11.一种电子设备,其特征在于,包括处理器,以及与所述处理器耦合的存储器和通信接口;其中,所以存储器用于存储计算机指令;所述通信接口用于与音频设备交互语音数据;所述处理器用于执行所述计算机指令,以实现如权利要求1至10中任一项所述的使用多个音频设备的通话方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序;其中,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至10中任一项所述的使用多个音频设备的通话方法。
CN202210682293.0A 2022-06-16 2022-06-16 使用多个音频设备的通话方法及电子设备 Active CN114785886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210682293.0A CN114785886B (zh) 2022-06-16 2022-06-16 使用多个音频设备的通话方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210682293.0A CN114785886B (zh) 2022-06-16 2022-06-16 使用多个音频设备的通话方法及电子设备

Publications (2)

Publication Number Publication Date
CN114785886A CN114785886A (zh) 2022-07-22
CN114785886B true CN114785886B (zh) 2023-05-12

Family

ID=82420413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210682293.0A Active CN114785886B (zh) 2022-06-16 2022-06-16 使用多个音频设备的通话方法及电子设备

Country Status (1)

Country Link
CN (1) CN114785886B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301544A (zh) * 2021-04-09 2021-08-24 荣耀终端有限公司 一种音频设备间语音互通的方法及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831680B2 (en) * 2008-01-31 2014-09-09 Qualcomm Incorporated Flexible audio control in mobile computing device
US20150288735A1 (en) * 2014-04-04 2015-10-08 ClearOne Inc. Virtual Audio Device System for Unified Communications Applications
CN105023593A (zh) * 2014-04-18 2015-11-04 联想移动通信科技有限公司 一种终端音频播放方法、装置及终端
CN105611402A (zh) * 2015-12-21 2016-05-25 中国电子科技集团公司第三十研究所 一种支持多路pcm音频播放的通道扩展方法
CN109040446B (zh) * 2018-07-31 2021-07-27 Oppo广东移动通信有限公司 通话处理方法及相关产品
CN109302576B (zh) * 2018-09-05 2020-08-25 视联动力信息技术股份有限公司 会议处理方法和装置
CN114513571A (zh) * 2022-02-17 2022-05-17 北京小米移动软件有限公司 设备连接方法、装置、电子设备及可读储存介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301544A (zh) * 2021-04-09 2021-08-24 荣耀终端有限公司 一种音频设备间语音互通的方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
康文静 ; 刘功亮 ; 李昆吉.虚拟式语音信号实时采集与识别平台.计算机测量与控制.(第008期),全文. *
徐珺.基于Ad-Hoc的多方语音通信系统设计与实现.《中国优秀硕士学位论文全文数据库-信息科技辑》.2017,(第03期),全文. *

Also Published As

Publication number Publication date
CN114785886A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US10674002B2 (en) Apparatus and method for controlling built-in microphone of portable terminal
KR101947297B1 (ko) 이어폰 작동 모드의 전환 방법 및 이어폰
CN112868244A (zh) 一种点对多点的数据传输方法及设备
CN109327613B (zh) 一种基于语音通话翻译能力的协商方法及电子设备
WO2020078330A1 (zh) 一种基于语音通话的翻译方法及电子设备
CN113691270B (zh) 一种sim模块的管理方法及电子设备
CN111556439A (zh) 一种终端的连接控制方法、终端及计算机存储介质
CN113301544B (zh) 一种音频设备间语音互通的方法及设备
CN110381215B (zh) 音频分流方法、装置、存储介质及计算机设备
CN114785886B (zh) 使用多个音频设备的通话方法及电子设备
TW201442484A (zh) 具自動點播模組之通訊裝置及其方法
CN113923305B (zh) 一种多屏协同的通话方法、系统、终端及存储介质
CN114885440B (zh) 多个音频设备间语音通话的方法、电子设备及存储介质
CN101815137A (zh) 一种双模会议电话
US7991428B2 (en) Dual-mode dual-standby portable communication apparatus and method for enabling communication by sensing thereof
CN116743924B (zh) 彩振铃声处理方法及电子设备
CN116743905B (zh) 通话音量控制方法及电子设备
CN114371823B (zh) 一种多媒体播放方法、装置、电子设备
CN116743904A (zh) 通话音量控制方法及电子设备
CN117729287A (zh) 音频共享方法及装置、存储介质
CN116743905A (zh) 通话音量控制方法及电子设备
CN116709084A (zh) 蓝牙耳机、音频输出方法及音频输出系统
RU2569338C2 (ru) Мобильное устройство и способ трехстороннего вызова
CN116319746A (zh) 音频传输方法、装置、通信设备和计算机可读存储介质
CN117915308A (zh) 一种去电方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant