CN114500716A - 协同通话方法、装置、设备、存储介质和程序产品 - Google Patents
协同通话方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN114500716A CN114500716A CN202210023658.9A CN202210023658A CN114500716A CN 114500716 A CN114500716 A CN 114500716A CN 202210023658 A CN202210023658 A CN 202210023658A CN 114500716 A CN114500716 A CN 114500716A
- Authority
- CN
- China
- Prior art keywords
- call
- audio
- cooperative
- equipment
- link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/247—Telephone sets including user guidance or feature selection means facilitating their use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M7/00—Arrangements for interconnection between switching centres
- H04M7/0024—Services and arrangements where telephone services are combined with data services
- H04M7/0027—Collaboration services where a computer is used for data transfer and the telephone is used for telephonic communication
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Telephone Function (AREA)
Abstract
本申请公开了一种协同通话方法、装置、设备、存储介质和程序产品,属于终端技术领域。包括:第一设备在与第二设备处于多屏协同状态时若接收到通话操作,则建立通话音频链路,且将通话音频链路的输入设备设为第一设备的音频采集硬件设备,将通话音频链路的输出设备设为第一设备的音频播放硬件设备。第一设备在接收到通话操作时,还检测协同通话功能的状态,若协同通话功能处于开启状态,则将通话音频链路的输入设备由音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由音频播放硬件设备切换为虚拟输出模块,以在协同通话时关闭第一设备的音频采集硬件设备和音频播放硬件设备,从而在满足协同通话需求的同时,降低了硬件功耗消耗。
Description
技术领域
本申请涉及终端技术领域,特别涉及一种协同通话方法、装置、设备、存储介质和程序产品。
背景技术
随着终端技术的快速发展,多屏协同技术得到广泛的应用。多屏协同是指在第一设备(如手机)与第二设备(如平板电脑)建立连接后,在第二设备的界面中镜像显示第一设备的屏幕画面。这种情况下,用户可以通过操作第二设备的界面中所显示的第一设备的屏幕画面,使第一设备执行相应的功能。
在多屏协同的场景下,若第一设备进行通话,则可以切换至第二设备进行通话语音的采集和播放,即可以进行协同通话。具体地,第一设备与第二设备进行协同通话时,第二设备的麦克风采集本端用户的通话语音并发送至第一设备,由第一设备将该通话语音发送至远端通话设备;远端通话设备将远端用户的通话语音发送至第一设备,第一设备将该通话语音发送至第二设备,由第二设备的扬声器进行播放。
然而,相关技术中,在第一设备与第二设备进行协同通话的过程中,第一设备仍会打开自身的麦克风、扬声器和听筒等硬件,从而会存在功耗消耗。
发明内容
本申请提供了一种协同通话方法、装置、设备、存储介质和程序产品,可以在协同通话时关闭麦克风、扬声器和听筒等硬件,以减少硬件功耗消耗。所述技术方案如下:
第一方面,提供了一种协同通话方法。在该方法中,第一设备接收通话操作,其中,第一设备与第二设备处于多屏协同状态。之后,第一设备响应于通话操作,建立通话音频链路,且将通话音频链路的输入设备设置为第一设备的音频采集硬件设备,将通话音频链路的输出设备设置为第一设备的音频播放硬件设备,并且,第一设备检测协同通话功能的状态,若检测到协同通话功能处于开启状态,则将通话音频链路的输入设备由音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由音频播放硬件设备切换为虚拟输出模块。
第一设备与第二设备处于多屏协同状态时,第一设备的屏幕画面显示于第二设备的界面。这种情况下,用户可以通过操作第二设备的界面中所显示的第一设备的屏幕画面,使第一设备执行相应的功能。
第一设备可以启动协同通话,以通过第二设备进行通话语音的采集和播放。比如,在该通话操作是用户通过第二设备所显示的第一设备的屏幕画面触发的情况下,第一设备在接收到该通话操作时开启协同通话功能。或者,第一设备在接收到该通话操作之前,在与第二设备进行多屏协同的过程中,可以在检测到一些特定模式开启时自动开启协同通话功能。
第一设备的音频采集硬件设备是用于采集音频的硬件,如该音频采集硬件设备可以为麦克风等。第一设备的音频播放硬件设备是用于播放音频的硬件,如该音频播放硬件设备可以为扬声器或听筒等。
在第一设备开启协同通话功能后,由于通话语音的采集和播放均在第二设备执行,所以第一设备已经没有通话语音的采集和播放需求,因而在本申请中,第一设备在检测到协同通话功能处于开启状态时,可以将通话语音的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话语音的输出设备由该音频播放硬件设备切换为虚拟输出模块,以在协同通话过程中关闭该音频采集硬件设备和该音频播放硬件设备,减少功耗消耗。
虚拟输入模块和虚拟输出模块均为虚拟的软件模块,不是硬件设备。虚拟输入模块不进行音频采集,如虚拟输入模块可以为IN_PROXY模块,虚拟输出模块不进行音频播放,如虚拟输出模块可以为OUT_PROXY模块。如此,第一设备将通话语音的输入设备切换为虚拟输入模块后,第一设备不再采集音频,第一设备将通话语音的输出设备切换为虚拟输出模块后,第一设备不再播放音频,从而在满足协同通话需求的同时,还降低了硬件功耗消耗。
值得注意的是,第一设备在接收到通话操作时,检测协同通话功能的状态,若检测到协同通话功能处于关闭状态,则不对通话音频链路的输入设备和输出设备进行切换,依旧保持通话音频链路的输入设备为第一设备的音频采集硬件设备,且保持通话音频链路的输出设备为第一设备的音频播放硬件设备。若协同通话功能处于关闭状态,说明需要由第一设备进行通话语音的采集和播放,因而需要保持通话音频链路的输入设备为第一设备的音频采集硬件设备,且保持通话音频链路的输出设备为第一设备的音频播放硬件设备,从而保证通话的正常进行。
比如,在该通话操作是用户在第一设备触发的情况下,第一设备在接收到该通话操作时关闭协同通话功能。或者,第一设备在接收到该通话操作之前,在与第二设备进行多屏协同的过程中,可以在检测到一些特定模式关闭时自动关闭协同通话功能。
在一种可能的情况中,第一设备在建立通话音频链路后,若检测到协同通话功能由开启状态切换为关闭状态,则将通话音频链路的输入设备由虚拟输入模块切换为音频采集硬件设备,将通话音频链路的输出设备由虚拟输出模块切换为音频播放硬件设备。
第一设备与第二设备进行协同通话后,还可以关闭协同通话,以由第一设备继续进行通话语音的采集和播放。比如,第一设备在建立通话音频链路后,若检测到用户关闭第一设备或第二设备显示的协同通话开关,则将协同通话功能由开启状态切换为关闭状态。
第一设备关闭协同通话后,即将通话语音的采集和播放切换回第一设备执行。这种情况下,第一设备存在通话语音的采集和播放需求,因而在本申请中,第一设备在检测到协同通话功能由开启状态切换为关闭状态时,可以将通话音频链路的输入设备由虚拟输入模块切换为该音频采集硬件设备,将通话音频链路的输出设备由虚拟输出模块切换为该音频播放硬件设备,以打开该音频采集硬件设备来进行音频采集,且打开该音频播放硬件设备来进行音频播放,从而保证通话的正常进行。
在一种可能的情况中,第一设备在建立通话音频链路后,若检测到协同通话功能由关闭状态切换为开启状态,则将通话音频链路的输入设备由音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由音频播放硬件设备切换为虚拟输出模块。
第一设备在关闭协同通话后,还可以又打开协同通话,以切换至第二设备进行通话语音的采集和播放。比如,第一设备在建立通话音频链路后,若检测到用户打开第一设备或第二设备显示的协同通话开关,则将协同通话功能由关闭状态切换为开启状态。
在第一设备与第二设备进行协同通话后,由于通话语音的采集和播放均在第二设备执行,所以第一设备已经没有通话语音的采集和播放需求,因而在本申请中,第一设备在检测到协同通话功能由关闭状态切换为开启状态时,可以将通话音频链路的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由该音频播放硬件设备切换为虚拟输出模块,以在协同通话过程中关闭该音频采集硬件设备和该音频播放硬件设备,减少功耗消耗。
值得注意的是,本申请中,第一设备在通话结束时,还可以关闭协同通话功能。示例地,第一设备接收通话结束操作,响应于通话结束操作,第一设备关闭协同通话功能,且将通话音频链路的输入设备设置为该音频采集硬件设备,将通话音频链路的输出设备设置为该音频播放硬件设备。
该通话结束操作是用于指示结束通话的操作,比如,该通话结束操作可以为挂断电话的操作。该通话结束操作可以是用户直接在第一设备中触发的,比如,可以是用户在第一设备中点击通话界面中的挂断按钮后触发的。或者,该通话结束操作可以是用户通过第二设备所显示的第一设备的屏幕画面触发的,比如,可以是用户在第二设备中点击第二设备所显示的第一设备的通话界面中的挂断按钮后触发的。
由以上描述可知,第一设备在进行通话的过程中若进行协同通话,则第一设备会关闭该音频播放硬件设备和该音频播放硬件设备。在此情况下,第一设备在建立通话音频链路后,在协同通话功能处于开启状态的情况下,接收第二设备发送的由第二设备采集的通话上行语音数据,将通话上行语音数据发送至远端通话设备,以及接收远端通话设备发送的通话下行语音数据,将通话下行语音数据发送至第二设备进行播放,以实现与第二设备之间的协同通话。
第一设备在进行通话的过程中若未进行协同通话,比如,第一设备在开始进行通话后一直未启动协同通话,或者第一设备在进行通话的过程中启动协同通话功能后又关闭了协同通话,则第一设备会打开该音频播放硬件设备和该音频播放硬件设备。在此情况下,第一设备在建立通话音频链路后,在协同通话功能处于关闭状态的情况下,通过音频采集硬件设备采集通话上行语音数据,将通话上行语音数据发送至远端通话设备,以及接收远端通话设备发送的通话下行语音数据,将通话下行语音数据通过音频播放硬件设备进行播放,以实现通话的正常进行。
第二方面,提供了一种协同通话装置,所述协同通话装置具有实现上述第一方面中协同通话方法行为的功能。所述协同通话装置包括至少一个模块,所述至少一个模块用于实现上述第一方面所提供的协同通话方法。
第三方面,提供了一种协同通话装置,所述协同通话装置的结构中包括处理器和存储器,所述存储器用于存储支持协同通话装置执行上述第一方面所提供的协同通话方法的程序,以及存储用于实现上述第一方面所述的协同通话方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述协同通话装置还可以包括通信总线,所述通信总线用于在所述处理器与所述存储器之间建立连接。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的协同通话方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的协同通话方法。
上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
图1是本申请实施例提供的一种终端的结构示意图;
图2是本申请实施例提供的一种终端的软件系统的框图;
图3是本申请实施例提供的一种非多屏协同场景下的通话数据流的示意图;
图4是本申请实施例提供的一种多屏协同场景下的通话数据流的示意图;
图5是本申请实施例提供的一种平板电脑的界面示意图;
图6是本申请实施例提供的一种手机的界面示意图;
图7是本申请实施例提供的另一种平板电脑的界面示意图;
图8是本申请实施例提供的另一种手机的界面示意图;
图9是本申请实施例提供的一种多屏协同场景下的界面示意图;
图10是本申请实施例提供的另一种多屏协同场景下的界面示意图;
图11是本申请实施例提供的一种多屏协同系统的示意图;
图12是本申请实施例提供的一种协同通话方法的流程图;
图13是本申请实施例提供的一种协同通话过程的流程图;
图14是本申请实施例提供的一种协同通话装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在本申请中描述的“一个实施例”或“一些实施例”等语句意味着在本申请的一个或多个实施例中包括该实施例描述的特定特征、结构或特点。由此,在本申请中的不同之处出现的“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等语句不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。此外,术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面对本申请实施例涉及的终端予以说明。
图1是本申请实施例提供的一种终端的结构示意图。参见图1,终端100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户识别模块(subscriber identity module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中,终端100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,比如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
终端100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
终端100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡,比如Micro SD卡,实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。比如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,来执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端100在使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
终端100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等实现音频功能,比如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和终端100的接触和分离。终端100可以支持1个或N个SIM卡接口,N为大于1的整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在终端100中,不能和终端100分离。
接下来对终端100的软件系统予以说明。
终端100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)系统为例,对终端100的软件系统进行示例性说明。
图2是本申请实施例提供的一种终端100的软件系统的框图。参见图2,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分从上至下分为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统层,扩展层,以及内核层。
应用程序层可以包括一系列应用程序包。如图2所示,应用程序包可以包括多屏协同,相机,图库,日历,通话,地图,导航,WLAN,蓝牙,短信息等应用程序。多屏协同应用程序用于开启多屏协同功能。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,应用程序框架层可以包括音频框架(Audio Framework),分布式移动感知平台(distributed mobile sensing development platform,DMSDP),窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
音频框架负责回放数据的输出、录音数据的采集以及音频事务的综合管理等。DMSDP用于为多屏协同过程提供功能支持,如可实现多屏协同过程中的协同通话。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问,这些数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,比如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序的显示界面,显示界面可以由一个或多个视图组成,比如,包括显示短信通知图标的视图,包括显示文字的视图,以及包括显示图片的视图。电话管理器用于提供终端100的通信功能,比如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如,通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在系统顶部状态栏的通知,比如后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知,比如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统层可以包括多个功能模块,比如:音频服务(Audio Services),表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(比如:OpenGL ES),2D图形引擎(比如:SGL)等。音频服务是音频策略的制定者,负责音频设备切换的策略抉择、音量调节策略等,且是音频策略的执行者,负责输入输出流设备的管理及音频流数据的处理传输。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,比如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。二维图形引擎是二维绘图的绘图引擎。
扩展层也可称为硬件抽象层(hardware abstracting layer,HAL),其可以实现对内核驱动程序的封装,向上提供接口,屏蔽低层的实现细节。扩展层向上衔接AndroidRuntime和Framework,向下衔接驱动程序。扩展层可以包括音频硬件抽象层(Audio HAL),负责与音频硬件设备的交互。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,脉冲编码调制(pulse code modulation,PCM)设备。
下面以手机和平板电脑进行多屏协同为例,对本申请实施例涉及的应用场景予以说明。
手机在拨打电话或接听来电的情况下,可以与远端通话设备进行通话。该通话可以包括语音通话、视频通话等,本申请实施例对此不作限定。比如,该通话可以是通过运营商服务建立的通话,如可以为2G通话、3G通话、4G通话、5G通话等。
在手机进行通话的情况下,涉及通话上行(uplink)语音数据的采集以及通话下行(downlink)语音数据的播放。
通话上行语音数据是指在手机进行通话的过程中,手机或与手机进行协同通话的平板电脑采集到的本端用户的通话语音数据,通话上行语音数据需要发送至远端通话设备。通话下行语音数据是指在手机进行通话的过程中,手机接收到的远端通话设备发送的远端用户的通话语音数据,通话下行语音数据需要在手机或与手机进行协同通话的平板电脑中播放。
在手机未与平板电脑进行多屏协同的情况下,若手机进行通话,则手机的麦克风(Mic)采集本端用户的通话语音,并将该通话语音发送至远端通话设备;远端通话设备将远端用户的通话语音发送至手机,手机将该通话语音通过自身的扬声器(Speaker)或听筒进行播放。
非多屏协同场景下的通话数据流如图3所示,通话上下行语音数据在手机的音频芯片和器件(麦克风、扬声器、听筒)之间流转,该音频芯片可以为ADSP(Audio DSP)等。具体地,手机的麦克风采集本端用户的通话语音,将该通话语音发送至手机的音频芯片,手机的音频芯片将该通话语音通过手机的调制解调处理器(modem processor)发送到远端通话设备。同时,手机的音频芯片通过手机的调制解调处理器接收远端通话设备发送的远端用户的通话语音,将该通话语音发送至手机的扬声器或听筒进行播放。
在手机与平板电脑进行多屏协同的情况下,手机可以切换至平板电脑进行通话语音的采集和播放,即可以进行协同通话。具体地,手机与平板电脑进行协同通话时,平板电脑的麦克风采集本端用户的通话语音并发送手机,由手机将该通话语音发送至远端通话设备;远端通话设备将远端用户的通话语音发送至手机,手机将该通话语音发送至平板电脑,由平板电脑的扬声器进行播放。
多屏协同场景下的通话数据流如图4所示,通话上下行语音数据在手机的音频芯片和Audio HAL之间流转。具体地,平板电脑的麦克风采集本端用户的通话语音,将该通话语音发送至手机。手机的Audio HAL接收到该通话语音后,将该通话语音发送至手机的音频芯片,手机的音频芯片将该通话语音通过手机的调制解调处理器发送到远端通话设备。同时,手机的音频芯片通过手机的调制解调处理器接收远端通话设备发送的远端用户的通话语音,将该通话语音发送至手机的Audio HAL,手机的Audio HAL将该通话语音发送至平板电脑,由平板电脑的扬声器进行播放。
如此,在手机与平板电脑进行协同通话的情况下,手机的麦克风不再拾音,手机的扬声器和听筒也不再出声。相关技术中,手机直接通过调用设备静音接口来将麦克风、扬声器和听筒静音,如此,手机的麦克风采集到的声音不会被传输,且手机的扬声器和听筒不会播放声音。然而,这种情况下,手机仍会打开自身的麦克风、扬声器和听筒等硬件,从而会存在功耗消耗。
为此,本申请实施例提供了一种协同通话方法,可以在手机与平板电脑进行协同通话的情况下,直接关闭手机的麦克风、扬声器和听筒等硬件,从而可以减少功耗消耗。
下面对多屏协同的几种可能的连接方式予以说明。
1.通过蓝牙建立连接。
示例地,若用户想要将手机与平板电脑进行协同工作,则可以先将手机和平板电脑中的蓝牙均开启。然后,用户手动在手机中开启多屏协同功能。比如,用户可以在手机的界面中通过“设置”-“更多连接”-“多屏协同”的路径找到“多屏协同”的开关,将该开关设为开启状态,就开启了手机的多屏协同功能。
参见图5所示的平板电脑的界面示意图,如图5中的(a)图所示,用户从平板电脑的状态栏下滑出通知面板,该通知面板中包括“多屏协同”选项51。用户点击“多屏协同”选项51,平板电脑响应于用户对“多屏协同”选项51的触发操作,展示第一提示窗口,第一提示窗口中包括用于指示用户如何操作以实现多屏协同的第一操作提示信息。例如,如图5中的(b)图所示,第一操作提示信息包括“1.将您的手机蓝牙开启并靠近本机,发现本机后点击“连接”。2.连接后,您可在平板电脑上操作手机,实现设备间数据共享。”的提示内容。如此,用户可以根据第一操作提示信息进行相应操作,如将手机靠近平板电脑。
在一个示例中,参见图6所示的手机的界面示意图,在手机靠近平板电脑的过程中,当手机发现平板电脑时,手机显示第二提示窗口,如图6中的(a)图所示,第二提示窗口中包括“是否与发现的设备建立协同连接”的提示内容,以及“连接”选项61和“取消”选项62。当用户点击“连接”选项61时,说明用户确认要建立协同连接,手机响应于用户对“连接”选项61的触发操作,通过蓝牙与平板电脑建立协同连接。当用户点击“取消”选项62时,说明用户不想要建立协同连接,手机响应于用户对“取消”选项62的触发操作,不执行建立协同连接的操作。在另一个示例中,在手机靠近平板电脑的过程中,当手机发现平板电脑时,也可以不显示第二提示窗口,而是自动通过蓝牙与平板电脑建立协同连接。
作为示例而非限定,在手机通过蓝牙与平板电脑建立协同连接的过程中,为了显示建立协同连接的进度,手机还可以显示用于指示正在连接的第三提示窗口,比如,可以显示如图6中的(b)图所示的第三提示窗口。可选地,第三提示窗口中包括“取消”选项,以便于用户在需要的情况下随时取消连接。
2.通过扫码的方式建立连接。
示例地,用户可以在平板电脑的界面中通过“我的手机”-“立即连接”-“扫码连接”路径找到“扫码连接”的按钮,用户点击该按钮,平板电脑响应于用户对该按钮的触发操作,显示用于建立协同连接的二维码,比如,可以显示如图7所示的二维码。可选地,平板电脑还可以显示用于提示用户如何操作以实现多屏协同的第二操作提示信息,比如,如图7所示,第二操作提示信息可以为“使用手机浏览器扫码连接”。
在一个示例中,参见图8所示的手机的界面示意图,用户可以在手机的浏览器(或智慧视觉)中进入显示有“扫一扫”选项的界面,比如,可以进入如图8中的(a)图所示的浏览器的界面,该界面中显示有“扫一扫”选项81。用户可以点击“扫一扫”选项81,手机响应于用户对“扫一扫”选项81的触发操作,启动摄像头,显示如图8中的(b)图所示的扫码界面,如此用户可将摄像头对准平板电脑显示的二维码进行扫码操作。
在一个示例中,手机扫码成功后,向平板电脑发送建立协同连接的请求。平板电脑接收到手机发送的该请求后,可以显示第四提示窗口,第四提示窗口中包括用于提示用户是否同意建立协同连接的提示信息,比如,该提示信息可以包括“xx设备请求与本端建立协同连接,是否同意建立协同连接?”的提示内容,以及“同意”选项和“拒绝”选项。当用户点击“同意”选项时,说明用户允许手机与平板电脑建立协同连接,平板电脑响应于用户对“同意”选项的触发操作,与手机建立协同连接。当用户点击“拒绝”选项时,说明用户不允许手机与平板电脑建立协同连接,平板电脑响应于用户对“拒绝”选项的触发操作,通知手机建立协同连接失败。
需要说明的是,上述仅是以用户在平板电脑中通过“我的手机”-“立即连接”-“扫码连接”的路径打开二维码为例进行说明。可选地,还可以通过其他路径打开二维码。比如,如图5中的(b)图所示,第一提示窗口中除了包括第一操作提示信息之外,还包括“发现不了本机?您也可扫码连接”的提示内容,其中“扫码连接”四个字是可触发的。用户可以点击第一提示窗口中的“扫码连接”内容,平板电脑响应于用户对“扫码连接”内容的触发操作,显示如图7所示的二维码。如此,用户可通过手机扫描平板电脑显示的二维码,从而通过扫码的方式建立协同连接。
3.通过碰一碰的方式建立连接。
用户可以在手机和平板电脑中均开启NFC和多屏协同功能。之后,用户将手机背部的NFC区域(通常位于手机背部摄像头周围)触碰平板电脑的NFC区域(通常位于平板电脑的右下角区域),手机和平板电脑响应于用户的触碰操作,通过NFC建立协同连接。可选地,在通过NFC建立协同连接之前,平板电脑和手机还可以提示用户是否同意建立协同连接,在用户同意建立协同连接后,手机和平板电脑执行建立协同连接的操作。在一个示例中,当手机与平板电脑成功建立协同连接时,手机还可以通过振动或响铃的方式对用户进行提醒。
需要说明的是,上述几种可能的连接方式均是以通过无线连接方式实现为例进行说明。在另一实施例中,还可以通过有线连接方式实现,比如可以通过Type-C转高清晰度多媒体接口(high definition multimedia interface,HDMI)的连接线实现,本申请实施例对此不作限定。
手机与平板电脑成功建立协同连接后,如图9所示,平板电脑会镜像显示手机的屏幕画面。如此,用户可根据需求在平板电脑中通过操作平板电脑所显示的手机的屏幕画面,使手机执行相应的功能。在一个示例中,手机和平板电脑同步显示如图9所示的手机的主界面,若用户想要拨打电话,则可以在平板电脑所显示的手机的主界面中点击拨打电话的图标,以打开手机的拨号界面,此时手机和平板电脑会同步显示手机的拨号界面。然后用户可以在平板电脑所显示的手机的拨号界面中进行拨号操作,以实现在手机中拨打电话。
在手机中拨打电话后,若手机开始进行通话,则如图10所示,手机和平板电脑会同步显示手机的通话界面。在手机进行通话时,可以选择切换至平板电脑进行通话语音的采集和播放,即可以进行协同通话。具体地,手机与平板电脑进行协同通话时,平板电脑的麦克风采集本端用户的通话语音并发送至手机,由手机将该通话语音发送至远端通话设备;远端通话设备将远端用户的通话语音发送至手机,手机将该通话语音发送至平板电脑,由平板电脑的扬声器进行播放。
例如,手机与平板电脑进行多屏协同后,若手机开始进行通话,则如图10所示,用户在平板电脑中下拉平板电脑的通知栏后,平板电脑的通知栏中可以显示“已协同至手机”的提示内容,该通知栏中还可以包括用于切换通话语音至平板电脑的开关,用户可以根据需求操作该开关,以指示是否切换通话语音至平板电脑,即是否进行协同通话。或者,用户也可以在手机中下拉手机的通知栏,手机的通知栏中可以显示“已协同至平板电脑”的提示内容,该通知栏中还可以包括用于切换通话语音至平板电脑的开关,用户可以根据需求操作该开关,以指示是否进行协同通话。若在手机进行通话的过程中,用户在平板电脑或手机上通过操作用于切换通话语音至平板电脑的开关,来指示将通话语音切换至平板电脑,即指示进行协同通话,则手机正在进行的通话的通话语音的采集和播放在平板电脑侧执行。若在手机进行通话的过程中,用户在平板电脑或手机上通过操作用于切换通话语音至平板电脑的开关,来指示不将通话语音切换至平板电脑,即指示不进行协同通话,则手机正在进行的通话的通话语音的采集和播放仍在手机侧执行。
值得注意的是,在一些实施例中,在多屏协同的场景下,手机也可以默认自动进行协同通话。也即,手机与平板电脑进行多屏协同后,若手机开始进行通话,则无需用户操作,可以自动进行协同通话,即自动将通话语音的采集和播放切换至平板电脑侧执行。这种情况下,若用户不想进行协同通话,则可以在平板电脑或手机上通过操作用于切换通话语音至平板电脑的开关,来指示不将通话语音切换至平板电脑,即指示关闭协同通话,将通话语音切换回手机,此时手机正在进行的通话的通话语音的采集和播放将切换回手机侧继续执行。
在手机与平板电脑进行协同通话时,通话语音切换至平板电脑侧,期望手机侧不再出声。为此,本申请实施例提供了一种协同通话方法,可以在协同通话过程中,关闭手机的麦克风、扬声器和听筒等硬件,从而可以减少功耗消耗。
本申请实施例提供的协同通话方法可以应用于多屏协同系统,下面对多屏协同系统予以说明。
图11是本申请实施例提供的一种多屏协同系统的示意图。参见图11,该多屏协同系统可以包括第一设备1101和第二设备1102。
第一设备1101与第二设备1102可以通过有线连接或无线连接进行通信。
第一设备1101和第二设备1102均可以为终端,该终端可以为上文图1-图2实施例所述的终端。比如,该终端可以为手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、个人计算机(personal computer,PC)、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、电视等,本申请实施例对此不作限定。
第一设备1101与第二设备1102可以进行多屏协同。第一设备1101与第二设备1102进行多屏协同后,第一设备1101的屏幕画面可以显示于第二设备1102的界面。
第一设备1101和第二设备1102可以为不同类型的终端,也可以为相同类型的终端,本申请实施例对此不作限定。比如,两者均可以为手机或平板电脑等终端。
在一种可能的实现方式中,第一设备1101的屏幕尺寸小于第二设备1102的屏幕尺寸,以在小屏与大屏进行多屏协同时,将小屏的屏幕画面作为一个窗口显示至大屏的界面,可供用户在大屏的界面中对小屏的屏幕画面进行操作,提高用户的操作体验。比如,第一设备1101为手机,第二设备1102为平板电脑或电视。或者,第一设备1101为平板电脑,第二设备1102为电视。当然,第一设备1101的屏幕尺寸也可以大于第二设备1102的屏幕尺寸。比如,第一设备1101为平板电脑,第二设备1102为手机。
在第一设备1101与第二设备1102进行多屏协同的情况下,若第一设备1101开始进行通话,则可以启动协同通话,以切换至第二设备1102进行通话语音的采集和播放。
本申请实施例提供的协同通话方法就应用于第一设备1101与第二设备1102进行多屏协同的场景下。这种情况下,第一设备1101通过执行本申请实施例提供的协同通话方法,可以在与第二设备1102进行多屏协同的情况下,在启动协同通话时关闭第一设备1101的麦克风、扬声器和听筒等硬件,以减少功耗消耗。
下面对本申请实施例提供的协同通话方法进行说明。
本申请实施例提供的协同通话方法应用于第一设备,第一设备与第二设备可进行多屏协同,多屏协同是指将第一设备的屏幕画面显示于第二设备的界面。
第一设备与第二设备进行多屏协同后,第一设备的屏幕画面显示于第二设备的界面。这种情况下,用户可以通过操作第二设备的界面中所显示的第一设备的屏幕画面,使第一设备执行相应的功能。第一设备与第二设备可以通过多种可能的方式实现多屏协同,比如,可以通过蓝牙、扫码、碰一碰等方式实现多屏协同,这几种方式已在上文进行详细说明,本申请实施例对此不再赘述。
第一设备为能够进行通话的设备。第一设备中可以安装有一张或多张SIM卡,第一设备可以使用该一张或多张SIM卡中的任意一张SIM卡进行通话。比如,在第一设备仅安装有一张SIM卡的情况下,第一设备可以直接使用这张SIM卡进行通话,如可以使用这张SIM卡拨打电话,或使用这张SIM卡接听来电。在第一设备安装有多张SIM卡的情况下,第一设备可以使用该多张SIM卡中的一张SIM卡进行通话,如可以使用这张SIM卡拨打电话,或使用这张SIM卡接听来电。
接下来对第一设备与第二设备进行多屏协同的情况下,涉及到的通话场景和通话语音切换场景进行说明。
通话场景:
在第一设备与第二设备进行多屏协同的情况下,用户可以直接在第一设备中进行操作以使第一设备开始进行通话,或者,用户可以在第二设备中进行操作以使第一设备开始进行通话。
示例地,以在第一设备中拨打电话来开始进行通话为例,对几种可能的操作方式进行说明。
第一种可能的操作方式中,若用户想要在第一设备中拨打电话,可以直接在第一设备执行操作来实现。
比如,用户可以在第一设备的主界面中点击拨打电话的图标,以打开第一设备的拨号界面,然后用户可以在第一设备的拨号界面中进行拨号操作,以在第一设备中拨打电话来开始进行通话。其中,在第一设备仅安装有一张SIM卡的情况下,用户可以在第一设备的拨号界面中直接进行拨号操作,如此是在第一设备中使用这张SIM卡来拨打电话;在第一设备安装有多张SIM卡的情况下,用户可以在第一设备的拨号界面中先选择一张SIM卡,再在第一设备的拨号界面进行拨号操作,如此是在第一设备中使用所选择的这张SIM卡来拨打电话。
第二种可能的操作方式中,若用户想要在第一设备中拨打电话,可以在与第一设备进行多屏协同的第二设备执行操作来实现。
比如,第一设备与第二设备进行多屏协同后,第一设备和第二设备同步显示第一设备的主界面,用户可以在第二设备所显示的第一设备的主界面中点击拨打电话的图标,以打开第一设备的拨号界面,此时第一设备和第二设备会同步显示第一设备的拨号界面,然后用户可以在第二设备所显示的第一设备的拨号界面中进行拨号操作,以实现在第一设备中拨打电话来开始进行通话。其中,在第一设备仅安装有一张SIM卡的情况下,用户可以在第二设备所显示的第一设备的拨号界面中直接进行拨号操作,如此可实现在第一设备中使用这张SIM卡来拨打电话;在第一设备安装有多张SIM卡的情况下,用户可以在第二设备所显示的第一设备的拨号界面中先选择一张SIM卡,再在第二设备所显示的第一设备的拨号界面进行拨号操作,如此可实现在第一设备中使用所选择的这张SIM卡来拨打电话。
第三种可能的操作方式中,若用户想要在第一设备中拨打电话,可以在第一设备和与第一设备进行多屏协同的第二设备均执行操作来实现。
比如,第一设备与第二设备进行多屏协同后,第一设备和第二设备同步显示第一设备的主界面,用户可以在第二设备所显示的第一设备的主界面中点击拨打电话的图标,以打开第一设备的拨号界面,此时第一设备和第二设备会同步显示第一设备的拨号界面,然后用户可以在第一设备的拨号界面中进行拨号操作,以在第一设备中拨打电话来开始进行通话。其中,在第一设备仅安装有一张SIM卡的情况下,用户可以在第一设备的拨号界面中直接进行拨号操作,如此是在第一设备中使用这张SIM卡来拨打电话;在第一设备安装有多张SIM卡的情况下,用户可以在第一设备的拨号界面中先选择一张SIM卡,再在第一设备的拨号界面进行拨号操作,如此是在第一设备中使用所选择的这张SIM卡来拨打电话。
又比如,第一设备与第二设备进行多屏协同后,第一设备和第二设备同步显示第一设备的主界面,用户可以在第一设备的主界面中点击拨打电话的图标,以打开第一设备的拨号界面,此时第一设备和第二设备会同步显示第一设备的拨号界面,然后用户可以在第二设备所显示的第一设备的拨号界面中进行拨号操作,以实现在第一设备中拨打电话来开始进行通话。其中,在第一设备仅安装有一张SIM卡的情况下,用户可以在第二设备所显示的第一设备的拨号界面中直接进行拨号操作,如此可实现在第一设备中使用这张SIM卡来拨打电话;在第一设备安装有多张SIM卡的情况下,用户可以在第二设备所显示的第一设备的拨号界面中先选择一张SIM卡,再在第二设备所显示的第一设备的拨号界面进行拨号操作,如此可实现在第一设备中使用所选择的这张SIM卡来拨打电话。
示例地,以在第一设备中接听来电来开始进行通话为例,对几种可能的操作方式进行说明。
第一种可能的操作方式,在第一设备存在来电时,若用户想要在第一设备中接听来电,可以直接在第一设备执行操作来实现。
比如,若第一设备存在来电,第一设备会显示来电界面,用户可以在第一设备的来电界面中点击接听按钮,以在第一设备中接听来电来开始进行通话。其中,在第一设备仅安装有一张SIM卡的情况下,第一设备中的来电是针对这张SIM卡的来电,如此是在第一设备中使用这张SIM卡来接听来电;在第一设备安装有多张SIM卡的情况下,第一设备中的来电是针对这多张SIM卡中的一张SIM卡的来电,如此是在第一设备中使用这张SIM卡来接听来电。
第二种可能的操作方式,在第一设备存在来电时,若用户想要在第一设备中接听来电,可以在与第一设备进行多屏协同的第二设备执行操作来实现。
比如,第一设备与第二设备进行多屏协同后,若第一设备存在来电,第一设备和第二设备会同步显示第一设备的来电界面,用户可以在第二设备所显示的第一设备的来电界面中点击接听按钮,以实现在第一设备中接听来电来开始进行通话。其中,在第一设备仅安装有一张SIM卡的情况下,第一设备中的来电是针对这张SIM卡的来电,如此是在第一设备中使用这张SIM卡来接听来电;在第一设备安装有多张SIM卡的情况下,第一设备中的来电是针对这多张SIM卡中的一张SIM卡的来电,如此是在第一设备中使用这张SIM卡来接听来电。
通话语音切换场景:
在第一设备与第二设备进行多屏协同的情况下,第一设备和第二设备中均包括有协同通话开关,协同通话开关用于指示在第一设备进行通话时是否由第二设备进行通话语音的采集和播放,即指示是否开启协同通话功能。示例地,第一设备的下拉通知栏和第二设备的下拉通知栏中均可以包括协同通话开关,以便用户可以在第一设备或第二设备中打开或关闭协同通话开关。当然,协同通话开关也可以设于第一设备和第二设备的其他界面中,本申请实施例对此不作限定。
在协同通话开关打开时,即开启了协同通话功能。这种情况下,若第一设备在与第二设备进行多屏协同的过程中进行通话,则在第一设备进行通话的过程中会进行协同通话,即在第一设备进行通话的过程中会通过第二设备进行通话语音的采集和播放。具体来讲,第一设备与第二设备进行协同通话时,第二设备的麦克风采集本端用户的通话语音并发送至第一设备,由第一设备将该通话语音发送至远端通话设备;远端通话设备将远端用户的通话语音发送至第一设备,第一设备将该通话语音发送至第二设备,由第二设备的扬声器进行播放。
在协同通话开关关闭时,即关闭了协同通话功能。这种情况下,若第一设备在与第二设备进行多屏协同的过程中进行通话,则在第一设备进行通话的过程中不会进行协同通话,即在第一设备进行通话的过程中仍旧由第一设备进行通话语音的采集和播放。具体来讲,第一设备的麦克风采集本端用户的通话语音并发送至远端通话设备;远端通话设备将远端用户的通话语音发送至第一设备,由第一设备的扬声器进行播放。
在一些实施例中,在第一设备与第二设备刚开始进行多屏协同时,默认会开启协同通话功能,也即,在第一设备与第二设备建立多屏协同连接时,会开启协同通话功能。在另一些实施例中,在第一设备与第二设备进行多屏协同的过程中,也可以由特定模式关联触发协同通话功能的开启,比如,若用户在第二设备中播放音频或视频,则第一设备可以开启协同通话功能。这种情况下,在开启协同通话功能时,第一设备和第二设备也可以同步打开协同通话开关,在关闭协同通话时,第一设备和第二设备也可以同步关闭协同通话开关。
作为一种示例,用户如果想要关闭协同通话功能,则可以在第一设备与第二设备进行多屏协同的过程中,直接在第一设备中关闭协同通话开关,或者直接在第二设备中关闭协同通话开关,以关闭协同通话功能。用户如果在关闭协同通话功能后又想要开启协同通话功能,则可以在第一设备与第二设备进行多屏协同的过程中,直接在第一设备中打开协同通话开关,或者直接在第二设备中打开协同通话开关,以开启协同通话功能。
比如,在第一设备与第二设备进行多屏协同的过程中已开启协同通话功能。若第一设备尚未开始进行通话,用户想要关闭协同通话功能,则可以直接在第一设备或第二设备中关闭协同通话开关。如此,若第一设备后续开始进行通话,则仍旧由第一设备进行通话语音的采集和播放。
或者,在第一设备与第二设备进行多屏协同的过程中已关闭协同通话功能。若第一设备尚未开始进行通话,用户想要打开协同通话功能,则可以直接在第一设备或第二设备中打开协同通话开关。如此,若第一设备后续开始进行通话,则由第二设备进行通话语音的采集和播放。
又比如,在第一设备与第二设备进行多屏协同的过程中已开启协同通话功能。若第一设备已开始进行通话,此时是由第二设备进行通话语音的采集和播放。而用户想要关闭协同通话功能,则可以直接在第一设备或第二设备中关闭协同通话开关。如此,第一设备正在进行的通话的通话语音会切换至第一设备进行采集和播放。
或者,在第一设备与第二设备进行多屏协同的过程中已关闭协同通话功能。若第一设备已开始进行通话,此时是由第一设备进行通话语音的采集和播放。而用户想要打开协同通话功能,则可以直接在第一设备或第二设备中打开协同通话开关。如此,第一设备正在进行的通话的通话语音会切换至第二设备进行采集和播放。
作为另一种示例,协同通话功能的开启和关闭也可以由用户的拨打电话行为或接听来电行为而决定。具体来讲,若在第一设备与第二设备进行多屏协同的过程中,用户直接在第一设备拨打电话或接听来电,则会关闭协同通话功能,即在第一设备进行通话的过程中由第一设备进行通话语音的采集和播放,此时第一设备和第二设备中的协同通话开关也会处于关闭状态。或者,若在第一设备与第二设备进行多屏协同的过程中,用户通过操作第二设备所显示的第一设备的屏幕画面,来实现在第一设备拨打电话或接听来电,则会开启协同通话功能,即在第一设备进行通话的过程中由第二设备进行通话语音的采集和播放,此时第一设备和第二设备中的协同通话开关也会处于打开状态。
由以上描述可知,用户可以通过两种方式来开启和关闭协同通话功能。
具体来讲,第一设备若在与第二设备进行多屏协同的过程中接收到用户触发的第一指令,则可以关闭协同通话功能。第一指令用于指示在第一设备进行通话时由第一设备进行通话语音的采集和播放。可选地,第一指令是用户在第一设备或第二设备中关闭协同通话开关时触发的;或者,第一指令是用户在第一设备拨打电话或接听来电时触发的。
第一设备若在与第二设备进行多屏协同的过程中接收到用户触发的第二指令,则可以开启协同通话功能。第二指令用于指示在第一设备进行运营通话时由第二设备进行通话语音的采集和播放。可选地,第二指令是用户在第一设备或第二设备中打开协同通话开关时触发的;或者,第二指令是用户通过操作第二设备所显示的第一设备的屏幕画面,以使第一设备拨打电话或接听来电时触发的。
此外,第一设备也可以自动开启协同通话功能。比如,第一设备在与第二设备建立多屏协同连接时,可以自动开启协同通话功能;或者,第一设备在与第二设备进行多屏协同的过程中,在检测到一些特定模式开启时,可以自动开启协同通话功能。
第一设备也可以自动关闭协同通话功能。比如,第一设备在与第二设备进行多屏协同的过程中,在检测到一些特定模式关闭时,可以自动关闭协同通话功能;或者,第一设备在通话结束时,即在挂断电话时,可以自动关闭协同通话功能。
接下来对本申请实施例提供的协同通话方法的整体流程进行说明。
图12是本申请实施例提供的一种协同通话方法的流程图。参见图12,该方法包括:
步骤1201:第一设备与第二设备进行多屏协同。
第一设备与第二设备进行多屏协同后,第一设备与第二设备处于多屏协同状态,第一设备的屏幕画面显示于第二设备的界面。这种情况下,用户可以通过操作第二设备的界面中所显示的第一设备的屏幕画面,使第一设备执行相应的功能。第一设备与第二设备可以通过多种可能的方式实现多屏协同,比如,可以通过蓝牙、扫码、碰一碰等方式实现多屏协同,这几种方式已在上文进行详细说明,本申请实施例对此不再赘述。
步骤1202:第一设备接收通话操作。
该通话操作是用于指示第一设备进行通话的操作,如该通话操作可以是拨打电话或接听来电的操作。该通话操作可以是用户直接在第一设备中触发的,或者,该通话操作可以是用户通过第二设备所显示的第一设备的屏幕画面触发的。该通话操作的多种可能的触发方式已在上文进行详细说明,本申请实施例对此不再赘述。
步骤1203:第一设备响应于该通话操作,建立通话音频链路,且将通话音频链路的输入设备设置为第一设备的音频采集硬件设备,将通话音频链路的输出设备设置为第一设备的音频播放硬件设备。
第一设备在接收到该通话操作后,确定自身需要进行通话,因而需要建立通话音频链路,且设置通话音频链路的输入设备和输出设备。通话音频链路的输入设备是用于采集通话上行语音数据的设备,通话音频链路的输出设备是用于播放通话下行语音数据的设备。第一设备在接收到该通话操作时,会将通话音频链路的输入设备设置为自身的音频采集硬件设备,以通过该音频采集硬件设备采集音频,且会将通话音频链路的输出设备设置为自身的音频播放硬件设备,以通过该音频播放硬件设备播放音频。
第一设备的音频采集硬件设备是用于采集音频的硬件,如该音频采集硬件设备可以为麦克风等。第一设备的音频播放硬件设备是用于播放音频的硬件,如该音频播放硬件设备可以为扬声器或听筒等。
步骤1204:第一设备检测协同通话功能的状态,若检测到协同通话功能处于开启状态,则将通话音频链路的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由该音频播放硬件设备切换为虚拟输出模块。
第一设备在接收到通话操作时,还可以检测协同通话功能的状态,以根据该协同通话功能的状态确定是否要对通话音频链路的输入设备和输出设备进行切换。
第一设备可以开启协同通话功能,以通过第二设备进行通话语音的采集和播放。第一设备可以通过多种可能的方式开启协同通话功能,这多种可能的方式已在上文进行详细说明,本申请实施例对此不再赘述。
比如,在该通话操作是用户通过第二设备所显示的第一设备的屏幕画面触发的情况下,第一设备在接收到该通话操作时开启协同通话功能。或者,第一设备在接收到该通话操作之前,在与第二设备进行多屏协同的过程中,可以在检测到一些特定模式开启时自动开启协同通话功能。
第一设备开启协同通话功能后,即将通话语音的采集和播放切换至第二设备执行。具体地,在第一设备与第二设备进行协同通话的过程中,第二设备采集本端用户的通话上行语音数据(如第二设备可以通过自身的麦克风采集通话上行语音数据),将该通话上行语音数据发送至第一设备,第一设备将该通话上行语音数据发送至远端通话设备。同时,远端通话设备采集远端用户的通话下行语音数据,将该通话下行语音数据发送至第一设备,第一设备将该通话下行语音数据发送至第二设备,由第二设备进行播放(如第二设备可以通过自身的扬声器播放通话下行语音数据)。
在第一设备与第二设备进行协同通话后,由于通话语音的采集和播放均在第二设备执行,所以第一设备已经没有通话语音的采集和播放需求,因而在本申请实施例中,第一设备在检测到协同通话功能处于开启状态时,可以将通话音频链路的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由该音频播放硬件设备切换为虚拟输出模块,以在协同通话过程中关闭该音频采集硬件设备和该音频播放硬件设备,减少功耗消耗。
虚拟输入模块和虚拟输出模块均为虚拟的软件模块,不是硬件设备。虚拟输入模块不进行音频采集,如虚拟输入模块可以为IN_PROXY模块,虚拟输出模块不进行音频播放,如虚拟输出模块可以为OUT_PROXY模块。如此,第一设备将通话音频链路的输入设备切换为虚拟输入模块后,第一设备不再采集音频,第一设备将通话音频链路的输出设备切换为虚拟输出模块后,第一设备不再播放音频,从而在满足协同通话需求的同时,还降低了硬件功耗消耗。
值得注意的是,第一设备在接收到通话操作时,检测协同通话功能的状态,若检测到协同通话功能处于关闭状态,则不对通话音频链路的输入设备和输出设备进行切换,依旧保持通话音频链路的输入设备为第一设备的音频采集硬件设备,且保持通话音频链路的输出设备为第一设备的音频播放硬件设备。若协同通话功能处于关闭状态,说明需要由第一设备进行通话语音的采集和播放,因而需要保持通话音频链路的输入设备为第一设备的音频采集硬件设备,且保持通话音频链路的输出设备为第一设备的音频播放硬件设备,从而保证通话的正常进行。
比如,在该通话操作是用户在第一设备触发的情况下,第一设备在接收到该通话操作时关闭协同通话功能。或者,第一设备在接收到该通话操作之前,在与第二设备进行多屏协同的过程中,可以在检测到一些特定模式关闭时自动关闭协同通话功能。
在一些实施例中,若第一设备在进行通话的过程中关闭协同通话功能,则可以继续执行如下步骤1205。
步骤1205:第一设备在建立通话音频链路后,若检测到协同通话功能由开启状态切换为关闭状态,则将通话音频链路的输入设备由虚拟输入模块切换为该音频采集硬件设备,将通话音频链路的输出设备由虚拟输出模块切换为该音频播放硬件设备。
第一设备与第二设备进行协同通话后,还可以关闭协同通话,以由第一设备继续进行通话语音的采集和播放。第一设备可以通过多种可能的方式关闭协同通话,这多种可能的方式已在上文进行详细说明,本申请实施例对此不再赘述。比如,第一设备在建立通话音频链路后,若检测到用户关闭第一设备或第二设备显示的协同通话开关,则将协同通话功能由开启状态切换为关闭状态。
第一设备关闭协同通话后,即将通话语音的采集和播放切换回第一设备执行。这种情况下,第一设备存在通话语音的采集和播放需求,因而在本申请实施例中,第一设备在检测到协同通话功能由开启状态切换为关闭状态时,可以将通话音频链路的输入设备由虚拟输入模块切换为该音频采集硬件设备,将通话音频链路的输出设备由虚拟输出模块切换为该音频播放硬件设备,以打开该音频采集硬件设备来进行音频采集,且打开该音频播放硬件设备来进行音频播放,从而保证通话的正常进行。
在一些实施例中,若第一设备在进行通话的过程中开启协同通话功能,则可以继续执行如下步骤1206。
步骤1206:第一设备在建立通话音频链路后,若检测到协同通话功能由关闭状态切换为开启状态,则将通话音频链路的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由该音频播放硬件设备切换为虚拟输出模块。
第一设备在关闭协同通话后,还可以又打开协同通话,以切换至第二设备进行通话语音的采集和播放。第一设备可以通过多种可能的方式打开协同通话,这多种可能的方式已在上文进行详细说明,本申请实施例对此不再赘述。比如,第一设备在建立通话音频链路后,若检测到用户打开第一设备或第二设备显示的协同通话开关,则将协同通话功能由关闭状态切换为开启状态。
在第一设备与第二设备进行协同通话后,由于通话语音的采集和播放均在第二设备执行,所以第一设备已经没有通话语音的采集和播放需求,因而在本申请实施例中,第一设备在检测到协同通话功能由关闭状态切换为开启状态时,可以将通话音频链路的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由该音频播放硬件设备切换为虚拟输出模块,以在协同通话过程中关闭该音频采集硬件设备和该音频播放硬件设备,减少功耗消耗。
值得注意的是,本申请实施例中,第一设备在通话结束时,还可以关闭协同通话功能。示例地,第一设备接收通话结束操作,响应于通话结束操作,第一设备关闭协同通话功能,且将通话音频链路的输入设备设置为该音频采集硬件设备,将通话音频链路的输出设备设置为该音频播放硬件设备。
该通话结束操作是用于指示结束通话的操作,比如,该通话结束操作可以为挂断电话的操作。该通话结束操作可以是用户直接在第一设备中触发的,比如,可以是用户在第一设备中点击通话界面中的挂断按钮后触发的。或者,该通话结束操作可以是用户通过第二设备所显示的第一设备的屏幕画面触发的,比如,可以是用户在第二设备中点击第二设备所显示的第一设备的通话界面中的挂断按钮后触发的。
若在接收到通话结束操作之前,第一设备未进行协同通话,即协同通话功能处于关闭状态,则第一设备在接收到通话结束操作时,保持协同通话功能处于关闭状态,且保持通话音频链路的输入设备为该音频采集硬件设备,保持通话音频链路的输出设备为该音频播放硬件设备。若在接收到通话结束操作之前,第一设备进行协同通话,即协同通话功能处于开启状态,则第一设备在接收到通话结束操作时,将协同通话功能由开启状态切换为关闭状态,且将通话音频链路的输入设备由虚拟输入设备切换为该音频采集硬件设备,将通话音频链路的输出设备由虚拟输出设备切换为该音频播放硬件设备。
由以上描述可知,第一设备在进行通话的过程中若进行协同通话,则第一设备会关闭该音频播放硬件设备和该音频播放硬件设备。在此情况下,第一设备在建立通话音频链路后,在协同通话功能处于开启状态的情况下,接收第二设备发送的由第二设备采集的通话上行语音数据,将通话上行语音数据发送至远端通话设备,以及接收远端通话设备发送的通话下行语音数据,将通话下行语音数据发送至第二设备进行播放,以实现与第二设备之间的协同通话。
第一设备在进行通话的过程中若未进行协同通话,比如,第一设备在开始进行通话后一直未启动协同通话,或者第一设备在进行通话的过程中启动协同通话功能后又关闭了协同通话,则第一设备会打开该音频播放硬件设备和该音频播放硬件设备。在此情况下,第一设备在建立通话音频链路后,在协同通话功能处于关闭状态的情况下,第一设备通过该音频采集硬件设备采集本端用户的通话上行语音数据,将该通话上行语音数据发送至远端通话设备。同时,远端通话设备采集远端用户的通话下行语音数据,将该通话下行语音数据发送至第一设备,第一设备接收到远端通话设备发送的通话下行语音数据后,将该通话下行语音数据通过该音频播放硬件设备进行播放,以实现通话的正常进行。
为了便于理解,下面结合图2所示的软件系统和图13所示的协同通话过程的流程图,来对上述协同通话方法进行举例说明。
参见图2,第一设备的软件系统可以包括应用程序层中的通话应用程序和多屏协同应用程序,以及应用程序框架层中的音频框架和DMSDP,以及系统层中的音频服务,以及扩展层中的Audio HAL,以及内核层中的PCM设备,示例地,该Audio HAL可以为PrimaryAudio HAL。此外,第一设备中还包括音频芯片,该音频芯片可以与远端通话设备进行通信,比如,该音频芯片可以通过调制解调处理器与远端通话设备进行通信,即通过调制解调处理器向远端通话设备发送通话上行语音数据,且通过调制解调处理器接收远端通话设备发送的通话下行语音数据。
参见图13,该协同通话过程可以包括如下步骤1301-步骤1311。
步骤1301:通话应用程序在通话界面检测到拨打电话或接听来电的操作,则通过音频框架指示音频服务调用Audio HAL建立通话音频链路。
通话应用程序在通话界面(即incall UI界面)检测到拨打电话或接听来电的操作,则确定第一设备需要进行通话,因而可以启动通话建立流程。此时通话应用程序可以通过音频框架指示音频服务来调用Audio HAL,以使Audio HAL启动语音通话(voice call)流程,实现通话建立,具体如步骤1302所述。
步骤1302:Audio HAL指示音频芯片建立通话音频链路,且将通话音频链路的输入设备设置为第一设备的麦克风,将通话音频链路的输出设备设置为第一设备的听筒。
Audio HAL启动voice call流程后,选择发声设备以及进行路由切换,以实现通话音频链路的建立。其中,选择发声设备是指示音频芯片将通话音频链路的输入设备设置为第一设备的麦克风,将通话音频链路的输出设备设置为第一设备的听筒。进行路由切换是指示音频芯片将第一设备的麦克风采集的通话上行语音数据发送至远端通话设备,且将接收到的远端通话设备发送的通话下行语音数据发送至第一设备的听筒进行播放。
步骤1302中将通话音频链路的输入设备设置为第一设备的麦克风,将通话音频链路的输出设备设置为第一设备的听筒的操作与上述步骤1203中将通话音频链路的输入设备设置为第一设备的音频采集硬件设备,将通话音频链路的输出设备设置为第一设备的音频播放硬件设备的操作相同,本申请实施例对此不再赘述。
步骤1303:多屏协同应用程序在第一设备与第二设备处于多屏协同状态时,监听通话状态,若监听到通话状态由空闲转为通话中,则判断协同通话功能是否已开启。
多屏协同应用程序在多屏协同过程中会持续监听第一设备的通话状态,若监听到通话状态由空闲(idle)转为通话中(offhook),则确定第一设备开始进行通话,此时多屏协同应用程序可以判断协同通话功能是否已开启。如果协同通话功能已开启,则需要在此通话过程中进行协同通话;如果协同通话开关功能已关闭,则不需要在此通话过程中进行协同通话。
协同通话功能处于开启状态时说明用户允许建立协同通话,协同通话功能处于关闭状态时说明用户不允许建立协同通话。
一种可能的方式中,用户可以手动开启或关闭协同通话功能。比如,用户可以点击协同通话开关来打开和关闭协同通话开关,以实现协同通话功能的开启和关闭。
另一种可能的方式中,协同通话功能的开启和关闭也可以由用户的拨打电话行为或接听来电行为而决定。具体来讲,若在第一设备与第二设备进行多屏协同的过程中,用户直接在第一设备拨打电话或接听来电,则第一设备会自动关闭协同通话功能。或者,若在第一设备与第二设备进行多屏协同的过程中,用户通过操作第二设备所显示的第一设备的屏幕画面,来实现在第一设备拨打电话或接听来电,则第一设备会自动开启协同通话功能。
步骤1304:多屏协同应用程序在协同通话功能已开启的情况下,向DMSDP发送第一切换指令,以指示DMSDP进行协同通话建立。
第一切换指令用于指示DMSDP建立协同通话,即指示将通话语音切换至第二设备,以由第二设备进行通话语音的采集和播放。
值得注意的是,上述步骤1303和步骤1304仅是以多屏协同应用程序监听到通话状态由空闲转为通话中,且协同通话功能已开启时向DMSDP发送第一切换指令为例进行说明。可选地,多屏协同应用程序也可以在其他情况下向DMSDP发送第一切换指令。比如,多屏协同应用程序可以在检测到协同通话功能由关闭状态切换为开启状态时,在监听到的第一设备的通话状态为通话中的情况下,也可以向DMSDP发送第一切换指令。
步骤1305:DMSDP接收到多屏协同应用程序发送的第一切换指令后,若确定自身监听到的通话状态为通话中,则调用Audio HAL进行协同通话建立。
DMSDP在协同通话过程中也会持续监听第一设备的通话状态。DMSDP接收到第一切换指令后,确定多屏协同应用程序指示需要建立协同通话。此时DMSDP会根据自身监听到的通话状态,来确定是否要建立协同通话。
具体地,DMSDP在确定自身监听到的通话状态为空闲的情况下,确定接收到的第一切换指令与自身监听到的通话状态不符,则不建立协同通话。DMSDP在确定自身监听到的通话状态为通话中的情况下,确定接收到的第一切换指令与自身监听到的通话状态相符,则调用Audio HAL进行协同通话建立,具体如步骤1306所述。
步骤1306:Audio HAL创建通话上行语音数据对应的Stream流,以打开用于获取通话上行语音数据的PCM设备和音频芯片中对应的通路,以及创建通话下行语音数据对应的Stream流,以打开用于获取通话下行语音数据的PCM设备和音频芯片中对应的通路,实现协同通话的建立。
这种情况下,在第一设备与第二设备进行协同通话的过程中,DMSDP接收第二设备发送的由第二设备采集的通话上行语音数据,DMSDP将该通话上行语音数据发送至AudioHAL,Audio HAL将该通话上行语音数据写入PCM设备,PCM设备将该通话上行语音数据发送至音频芯片,音频芯片通过对应的通路将该通话上行语音数据发送至远端通话设备。
同时,音频芯片通过对应的通路接收远端通话设备发送的通话下行语音数据,将该通话下行语音数据发送至PCM设备,Audio HAL从该PCM设备中读取该通话下行语音数据,将该通话下行语音数据发送至DMSDP,DMSDP将该通话下行语音数据发送至第二设备,由第二设备进行播放。
步骤1307:Audio HAL在建立协同通话后,指示音频芯片将通话音频链路的输入设备由麦克风切换为IN_PROXY模块,将通话音频链路的输出设备由听筒切换为OUT_PROXY模块。
在第一设备与第二设备进行协同通话后,由于通话语音的采集和播放均在第二设备执行,所以第一设备已经没有通话语音的采集和播放需求,因而在本申请实施例中,第一设备在启动协同通话后,可以将通话音频链路的输入设备由第一设备的麦克风切换为IN_PROXY模块,将通话音频链路的输出设备由第一设备的听筒切换为OUT_PROXY模块,以在协同通话过程中关闭第一设备的麦克风和听筒。如此,第一设备不再采集音频和播放音频,从而在满足协同通话需求的同时,降低了硬件功耗消耗。
步骤1307中将通话音频链路的输入设备由麦克风切换为IN_PROXY模块,将通话音频链路的输出设备由听筒切换为OUT_PROXY模块的操作与上述步骤1204中将通话音频链路的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由该音频播放硬件设备切换为虚拟输出模块的操作相同,本申请实施例对此不再赘述。
步骤1308:多屏协同应用程序在第一设备与第二设备处于多屏协同状态的情况下,若监听到通话状态由通话中转为空闲,或检测到协同通话功能由开启状态转为关闭状态,则向DMSDP发送第二切换指令,以指示关闭协同通话。
第二切换指令用于指示DMSDP关闭协同通话,即指示将通话语音切换回第一设备,以由第一设备进行通话语音的采集和播放。
若多屏协同应用程序监听到第一设备的通话状态由通话中转为空闲,说明第一设备已经结束通话,则此时可以指示关闭协同通话。比如,用户挂断电话后,第一设备的通话状态由通话中转为空闲,此时多屏协同应用程序监听到此通话状态的改变,就可以指示关闭协同通话。
若多屏协同应用程序检测到协同通话功能由开启状态转为关闭状态,说明用户想要在第一设备进行通话语音的采集和播放,则此时可以指示关闭协同通话。比如,用户可以手动点击协同通话开关来关闭协同通话功能,此时多屏协同应用程序检测到协同通话开关由打开切换为关闭后,就可以指示关闭协同通话。
步骤1309:DMSDP接收到多屏协同应用程序发送的第二切换指令后,调用AudioHAL关闭协同通话。
DMSDP接收到第二切换指令后,确定多屏协同应用程序指示需要结束协同通话。因而此时DMSDP可以调用Audio HAL关闭协同通话,具体如步骤1310所述。
步骤1310:Audio HAL关闭通话上行语音数据对应的Stream流,以关闭用于获取通话上行语音数据的PCM设备和音频芯片中对应的通路,以及关闭通话下行语音数据对应的Stream流,以关闭用于获取通话下行语音数据的PCM设备和音频芯片中对应的通路,实现协同通话的关闭。
协同通话关闭后,通话语音的采集和播放恢复原始状态,即切换回第一设备执行。这种情况下,若第一设备关闭协同通话后还在进行通话,则需要第一设备自身进行通话语音的采集和播放。
步骤1311:Audio HAL在关闭协同通话的同时,指示音频芯片将通话音频链路的输入设备由IN_PROXY模块切换为自身的麦克风,将通话音频链路的输出设备由OUT_PROXY模块切换为自身的听筒。
这种情况下,若第一设备还在进行通话,则第一设备的麦克风采集通话上行语音数据并发送至音频芯片,音频芯片将第一设备的麦克风采集的通话上行语音数据发送至远端通话设备。远端通话设备将通话下行语音数据发送至音频芯片,音频芯片将接收到的远端通话设备发送的通话下行语音数据发送至第一设备的听筒进行播放。
步骤1311中将通话音频链路的输入设备由IN_PROXY模块切换为自身的麦克风,将通话音频链路的输出设备由OUT_PROXY模块切换为自身的听的操作与上述步骤1205中将通话音频链路的输入设备由虚拟输入模块切换为该音频采集硬件设备,将通话音频链路的输出设备由虚拟输出模块切换为该音频播放硬件设备的操作相同,本申请实施例对此不再赘述。
在本申请实施例中,在第一设备与第二设备处于多屏协同状态的情况下,若第一设备接收到通话操作,则建立通话音频链路,且将通话音频链路的输入设备设置为第一设备的音频采集硬件设备,将通话音频链路的输出设备设置为第一设备的音频播放硬件设备。同时,第一设备在接收到该通话操作时,还可以检测协同通话功能的状态,若协同通话功能处于开启状态,则将通话音频链路的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由该音频播放硬件设备切换为虚拟输出模块,以在协同通话过程中关闭该音频采集硬件设备和该音频播放硬件设备,如此,第一设备不再采集音频,也不再播放音频,从而在满足协同通话需求的同时,降低了硬件功耗消耗。
图14是本申请实施例提供的一种协同通话装置的结构示意图,该装置可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部,该计算机设备可以为图1-图2实施例所示的终端。参见图14,该装置包括:接收模块1401、建立模块1402、切换模块1403。
接收模块1401,用于接收通话操作,其中,该装置与第二设备处于多屏协同状态;
建立模块1402,用于响应于通话操作,建立通话音频链路,且将通话音频链路的输入设备设置为该装置的音频采集硬件设备,将通话音频链路的输出设备设置为该装置的音频播放硬件设备;
切换模块1403,用于若检测到协同通话功能处于开启状态,则将通话音频链路的输入设备由音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由音频播放硬件设备切换为虚拟输出模块,协同通话功能用于指示由第二设备进行通话语音的采集和播放,虚拟输入模块不进行音频采集,虚拟输出模块不进行音频播放。
可选地,切换模块1403还用于:
在建立通话音频链路后,若检测到协同通话功能由开启状态切换为关闭状态,则将通话音频链路的输入设备由虚拟输入模块切换为音频采集硬件设备,将通话音频链路的输出设备由虚拟输出模块切换为音频播放硬件设备。
可选地,切换模块1403还用于:
在建立通话音频链路后,若检测到协同通话功能由关闭状态切换为开启状态,则将通话音频链路的输入设备由音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由音频播放硬件设备切换为虚拟输出模块。
可选地,该装置还包括:
第一通话模块,用于在建立通话音频链路后,在协同通话功能处于开启状态的情况下,接收第二设备发送的由第二设备采集的通话上行语音数据,将通话上行语音数据发送至远端通话设备,以及接收远端通话设备发送的通话下行语音数据,将通话下行语音数据发送至第二设备进行播放。
可选地,该装置还包括:
第二通话模块,用于在建立通话音频链路后,在协同通话功能处于关闭状态的情况下,通过音频采集硬件设备采集通话上行语音数据,将通话上行语音数据发送至远端通话设备,以及接收远端通话设备发送的通话下行语音数据,将通话下行语音数据通过音频播放硬件设备进行播放。
可选地,该装置还包括:
开启模块,用于若通话操作是用户通过第二设备所显示的该装置的屏幕画面触发的,则响应于通话操作,开启协同通话功能;
关闭模块,用于若通话操作是用户在该装置触发的,则响应于通话操作,关闭协同通话功能。
可选地,该装置还包括:
关闭模块,用于在建立通话音频链路后,若检测到用户关闭该装置或第二设备显示的协同通话开关,则将协同通话功能由开启状态切换为关闭状态;
开启模块,用于在建立通话音频链路后,若检测到用户打开该装置或第二设备显示的协同通话开关,则将协同通话功能由关闭状态切换为开启状态。
可选地,该装置还包括:
接收模块1401,还用于接收通话结束操作;
设置模块,用于响应于通话结束操作,关闭协同通话功能,且将通话音频链路的输入设备设置为音频采集硬件设备,将通话音频链路的输出设备设置为音频播放硬件设备。
可选地,音频采集硬件设备为麦克风,音频播放硬件设备为扬声器或听筒。
在本申请实施例中,在与第二设备处于多屏协同状态的情况下,若接收到通话操作,则建立通话音频链路,且将通话音频链路的输入设备设置为自身的音频采集硬件设备,将通话音频链路的输出设备设置为自身的音频播放硬件设备。同时,在接收到该通话操作时,还可以检测协同通话功能的状态,若协同通话功能处于开启状态,则将通话音频链路的输入设备由该音频采集硬件设备切换为虚拟输入模块,将通话音频链路的输出设备由该音频播放硬件设备切换为虚拟输出模块,以在协同通话过程中关闭该音频采集硬件设备和该音频播放硬件设备,如此,自身不再采集音频,也不再播放音频,从而在满足协同通话需求的同时,降低了硬件功耗消耗。
需要说明的是:上述实施例提供的协同通话装置在协同通话时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
上述实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请实施例的保护范围。
上述实施例提供的协同通话装置与协同通话方法实施例属于同一构思,上述实施例中单元、模块的具体工作过程及带来的技术效果,可参见方法实施例部分,此处不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,比如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(比如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如:软盘、硬盘、磁带)、光介质(比如:数字通用光盘(Digital Versatile Disc,DVD))或半导体介质(比如:固态硬盘(Solid State Disk,SSD))等。
以上所述为本申请提供的可选实施例,并不用以限制本申请,凡在本申请的揭露的技术范围之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种协同通话方法,其特征在于,所述方法包括:
第一设备接收通话操作,其中,所述第一设备与第二设备处于多屏协同状态;
响应于所述通话操作,所述第一设备建立通话音频链路,且将所述通话音频链路的输入设备设置为所述第一设备的音频采集硬件设备,将所述通话音频链路的输出设备设置为所述第一设备的音频播放硬件设备;
若所述第一设备检测到协同通话功能处于开启状态,则将所述通话音频链路的输入设备由所述音频采集硬件设备切换为虚拟输入模块,将所述通话音频链路的输出设备由所述音频播放硬件设备切换为虚拟输出模块,所述协同通话功能用于指示由所述第二设备进行通话语音的采集和播放,所述虚拟输入模块不进行音频采集,所述虚拟输出模块不进行音频播放。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一设备在建立所述通话音频链路后,若检测到所述协同通话功能由开启状态切换为关闭状态,则将所述通话音频链路的输入设备由所述虚拟输入模块切换为所述音频采集硬件设备,将所述通话音频链路的输出设备由所述虚拟输出模块切换为所述音频播放硬件设备。
3.如权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述第一设备在建立所述通话音频链路后,若检测到所述协同通话功能由关闭状态切换为开启状态,则将所述通话音频链路的输入设备由所述音频采集硬件设备切换为所述虚拟输入模块,将所述通话音频链路的输出设备由所述音频播放硬件设备切换为所述虚拟输出模块。
4.如权利要求1-3任一所述的方法,其特征在于,所述方法还包括:
所述第一设备在建立所述通话音频链路后,在所述协同通话功能处于开启状态的情况下,接收所述第二设备发送的由所述第二设备采集的通话上行语音数据,将所述通话上行语音数据发送至远端通话设备,以及接收所述远端通话设备发送的通话下行语音数据,将所述通话下行语音数据发送至所述第二设备进行播放。
5.如权利要求1-4任一所述的方法,其特征在于,所述方法还包括:
所述第一设备在建立所述通话音频链路后,在所述协同通话功能处于关闭状态的情况下,通过所述音频采集硬件设备采集通话上行语音数据,将所述通话上行语音数据发送至远端通话设备,以及接收所述远端通话设备发送的通话下行语音数据,将所述通话下行语音数据通过所述音频播放硬件设备进行播放。
6.如权利要求1-5任一所述的方法,其特征在于,所述方法还包括:
若所述通话操作是用户通过所述第二设备所显示的所述第一设备的屏幕画面触发的,则响应于所述通话操作,所述第一设备开启所述协同通话功能;
若所述通话操作是用户在所述第一设备触发的,则响应于所述通话操作,所述第一设备关闭所述协同通话功能。
7.如权利要求1-6任一所述的方法,其特征在于,所述方法还包括:
所述第一设备在建立所述通话音频链路后,若检测到用户关闭所述第一设备或所述第二设备显示的协同通话开关,则将所述协同通话功能由开启状态切换为关闭状态;
所述第一设备在建立所述通话音频链路后,若检测到用户打开所述第一设备或所述第二设备显示的所述协同通话开关,则将所述协同通话功能由关闭状态切换为开启状态。
8.如权利要求1-7任一所述的方法,其特征在于,所述方法还包括:
所述第一设备接收通话结束操作;
响应于所述通话结束操作,所述第一设备关闭所述协同通话功能,且将所述通话音频链路的输入设备设置为所述音频采集硬件设备,将所述通话音频链路的输出设备设置为所述音频播放硬件设备。
9.如权利要求1-8任一所述的方法,其特征在于,所述音频采集硬件设备为麦克风,所述音频播放硬件设备为扬声器或听筒。
10.一种协同通话装置,其特征在于,所述装置包括:
接收模块,用于接收通话操作,其中,所述装置与第二设备处于多屏协同状态;
建立模块,用于响应于所述通话操作,建立通话音频链路,且将所述通话音频链路的输入设备设置为所述装置的音频采集硬件设备,将所述通话音频链路的输出设备设置为所述装置的音频播放硬件设备;
切换模块,用于若检测到协同通话功能处于开启状态,则将所述通话音频链路的输入设备由所述音频采集硬件设备切换为虚拟输入模块,将所述通话音频链路的输出设备由所述音频播放硬件设备切换为虚拟输出模块,所述协同通话功能用于指示由所述第二设备进行通话语音的采集和播放,所述虚拟输入模块不进行音频采集,所述虚拟输出模块不进行音频播放。
11.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-9任意一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-9任意一项所述的方法。
13.一种包含指令的计算机程序产品,其特征在于,当其在计算机上运行时,使得计算机执行如权利要求1-9任意一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210023658.9A CN114500716A (zh) | 2022-01-10 | 2022-01-10 | 协同通话方法、装置、设备、存储介质和程序产品 |
PCT/CN2022/141752 WO2023130991A1 (zh) | 2022-01-10 | 2022-12-26 | 协同通话方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210023658.9A CN114500716A (zh) | 2022-01-10 | 2022-01-10 | 协同通话方法、装置、设备、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114500716A true CN114500716A (zh) | 2022-05-13 |
Family
ID=81509309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210023658.9A Pending CN114500716A (zh) | 2022-01-10 | 2022-01-10 | 协同通话方法、装置、设备、存储介质和程序产品 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114500716A (zh) |
WO (1) | WO2023130991A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134657A (zh) * | 2022-05-27 | 2022-09-30 | 北京达佳互联信息技术有限公司 | 一种多媒体数据直播方法、装置、电子设备及存储介质 |
WO2023130991A1 (zh) * | 2022-01-10 | 2023-07-13 | 荣耀终端有限公司 | 协同通话方法、装置、设备、存储介质和程序产品 |
CN116743904A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 通话音量控制方法及电子设备 |
CN116743924A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 彩振铃声处理方法及电子设备 |
CN116743905A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 通话音量控制方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050069101A1 (en) * | 2003-09-30 | 2005-03-31 | Microsoft Corporation | System and method for using telephony controls on a personal computer |
CN109862544A (zh) * | 2018-12-30 | 2019-06-07 | 薛晓东 | 语音交互方法、设备及存储装置 |
CN110769394A (zh) * | 2019-09-18 | 2020-02-07 | 华为技术有限公司 | 一种视频通话的方法及电子设备 |
US20210400091A1 (en) * | 2018-10-15 | 2021-12-23 | Huawei Technologies Co., Ltd. | Voice Call Method, Electronic Device, and System |
CN113873679A (zh) * | 2021-09-17 | 2021-12-31 | 荣耀终端有限公司 | 协同窗口处理方法、系统及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109995945A (zh) * | 2019-03-29 | 2019-07-09 | 联想(北京)有限公司 | 处理方法和电子设备 |
CN113890932A (zh) * | 2020-07-02 | 2022-01-04 | 华为技术有限公司 | 一种音频控制方法、系统及电子设备 |
CN113572731B (zh) * | 2021-06-18 | 2022-08-26 | 荣耀终端有限公司 | 语音通话方法、个人计算机、终端和计算机可读存储介质 |
CN114500716A (zh) * | 2022-01-10 | 2022-05-13 | 荣耀终端有限公司 | 协同通话方法、装置、设备、存储介质和程序产品 |
-
2022
- 2022-01-10 CN CN202210023658.9A patent/CN114500716A/zh active Pending
- 2022-12-26 WO PCT/CN2022/141752 patent/WO2023130991A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050069101A1 (en) * | 2003-09-30 | 2005-03-31 | Microsoft Corporation | System and method for using telephony controls on a personal computer |
US20210400091A1 (en) * | 2018-10-15 | 2021-12-23 | Huawei Technologies Co., Ltd. | Voice Call Method, Electronic Device, and System |
CN109862544A (zh) * | 2018-12-30 | 2019-06-07 | 薛晓东 | 语音交互方法、设备及存储装置 |
CN110769394A (zh) * | 2019-09-18 | 2020-02-07 | 华为技术有限公司 | 一种视频通话的方法及电子设备 |
CN113873679A (zh) * | 2021-09-17 | 2021-12-31 | 荣耀终端有限公司 | 协同窗口处理方法、系统及电子设备 |
Non-Patent Citations (1)
Title |
---|
科技咨询信息: "如何才不会漏接电话?多屏协同让PC也能接电话,静音也不怕!", 《搜狐网》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023130991A1 (zh) * | 2022-01-10 | 2023-07-13 | 荣耀终端有限公司 | 协同通话方法、装置、设备、存储介质和程序产品 |
CN115134657A (zh) * | 2022-05-27 | 2022-09-30 | 北京达佳互联信息技术有限公司 | 一种多媒体数据直播方法、装置、电子设备及存储介质 |
CN116743904A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 通话音量控制方法及电子设备 |
CN116743924A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 彩振铃声处理方法及电子设备 |
CN116743905A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 通话音量控制方法及电子设备 |
CN116743924B (zh) * | 2022-09-30 | 2024-04-12 | 荣耀终端有限公司 | 彩振铃声处理方法及电子设备 |
CN116743905B (zh) * | 2022-09-30 | 2024-04-26 | 荣耀终端有限公司 | 通话音量控制方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023130991A1 (zh) | 2023-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023130991A1 (zh) | 协同通话方法、装置、设备、存储介质和程序产品 | |
JP7268275B2 (ja) | 着信があるときに電子デバイス上に映像を提示するための方法、および電子デバイス | |
US11973895B2 (en) | Call method and apparatus | |
WO2023088209A1 (zh) | 一种跨设备音频数据传输的方法和电子设备 | |
WO2023184825A1 (zh) | 电子设备的录像控制方法、电子设备及可读介质 | |
CN114489529A (zh) | 电子设备的投屏方法及其介质和电子设备 | |
CN115242994B (zh) | 视频通话系统、方法和装置 | |
CN113923305B (zh) | 一种多屏协同的通话方法、系统、终端及存储介质 | |
CN114245060B (zh) | 通路处理方法、装置、设备和存储介质 | |
CN115002820B (zh) | 通话状态监听方法、装置、设备、存储介质 | |
CN115002821B (zh) | 通话状态监听方法、装置、设备、存储介质 | |
CN114173315B (zh) | 蓝牙回连方法及终端设备 | |
WO2024067170A1 (zh) | 设备管理方法及电子设备 | |
WO2023036001A1 (zh) | 一种呼叫方法及电子设备 | |
CN113543366B (zh) | 移动终端及其通话方法、通话服务器、通话系统 | |
CN113613230B (zh) | 一种扫描参数的确定方法及电子设备 | |
KR102668913B1 (ko) | 통화 방법 및 장치 | |
CN116301541A (zh) | 共享文件的方法、电子设备及计算机可读存储介质 | |
CN117956371A (zh) | 一种音频业务恢复处理方法、电子设备及计算机存储介质 | |
CN116700556A (zh) | 卡片生成方法及相关装置 | |
CN115942253A (zh) | 一种提示方法及相关装置 | |
CN113543366A (zh) | 移动终端及其通话方法、通话服务器、通话系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |