CN116346982B - 处理音频的方法、电子设备及可读存储介质 - Google Patents
处理音频的方法、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116346982B CN116346982B CN202310627083.6A CN202310627083A CN116346982B CN 116346982 B CN116346982 B CN 116346982B CN 202310627083 A CN202310627083 A CN 202310627083A CN 116346982 B CN116346982 B CN 116346982B
- Authority
- CN
- China
- Prior art keywords
- target
- spatial audio
- media stream
- audio algorithm
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 176
- 238000012545 processing Methods 0.000 title claims abstract description 131
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 589
- 230000004044 response Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 103
- 230000006870 function Effects 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 21
- 238000004891 communication Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 244000172730 Rubus fruticosus Species 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 235000021029 blackberry Nutrition 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009916 joint effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Environmental & Geological Engineering (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Telephone Function (AREA)
Abstract
本申请提供了一种处理音频的方法、电子设备及可读存储介质,该方法包括:检测到作用在电子设备上的用户操作,响应于用户操作,使用目标空间音频算法对第一媒体流进行处理,生成第二媒体流,目标空间音频算法是至少一个第一空间音频算法中的一个或者至少一个第二空间音频算法中的一个,用户操作请求启动目标应用,或者请求在目标应用启动后播放第一媒体流。本申请通过使用至少一个第一空间音频算法中的一个,或者至少一个第二空间音频算法中的一个对第一媒体流进行处理,使得第一媒体流要么被第一空间音频算法处理,要么被第二空间音频算法处理,能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题。
Description
技术领域
本申请涉及终端领域,尤其涉及一种处理音频的方法、电子设备及可读存储介质。
背景技术
随着科技的发展,越来越多的电子设备和一些应用程序(application ,APP)中都逐渐具备空间音频功能(即空间音频算法),经过空间音频算法处理过的媒体流可以为用户带来更好的听觉体验。
然而,对于某些电子设备,媒体流在播放之前可能会经过两次空间音频算法的处理,例如,在电子设备和电子设备中某个应用程序均具备空间音频算法的情况下,如果在电子设备的该应用程序中播放媒体流,此时,媒体流会经过电子设备中空间音频算法和应用程序中空间音频算法的处理,在这两次空间音频算法处理过程中,都对声场进行了处理,即对声场进行了叠加处理,在这种情况下,会导致电子设备的音质变差。
发明内容
本申请提供一种处理音频的方法、电子设备及可读存储介质。该方法通过使第一媒体流仅被第一空间音频算法或者第二空间音频算法中的一种算法处理,能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供了一种处理音频的方法,应用于电子设备,电子设备中配置有至少一个第一空间音频算法,电子设备中安装有目标应用,目标应用具备媒体流播放功能且配置有至少一个第二空间音频算法。
该方法包括:检测到作用在电子设备上的用户操作,响应于用户操作,使用目标空间音频算法对第一媒体流进行处理,生成第二媒体流,目标空间音频算法是至少一个第一空间音频算法中的一个或者至少一个第二空间音频算法中的一个,用户操作请求启动目标应用,或者请求在目标应用启动后播放第一媒体流。
基于上述技术方案,在检测到作用在电子设备上的请求启动目标应用的用户操作,或者请求在目标应用启动后播放第一媒体流的用户操作的情况下,从至少一个第一空间音频算法选出一个算法或者从至少一个第二空间音频算法中选出一个算法作为处理第一媒体流的目标音频算法,从而使得第一媒体流要么被第一空间音频算法处理,要么被第二空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题。
一些可能的实现方式中,目标空间音频算法与当前的音频播放模式相匹配,该方法还包括:
响应于用户操作,获取电子设备当前的音频播放模式。
本实施例中,响应于用户操作,获取电子设备当前的音频播放模式,便于后续使用与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,从而能够进一步提升电子设备的音质效果。
一些可能的实现方式中,该方法还包括:
确定至少一个第一空间音频算法中是否包括目标空间音频算法;
使用目标空间音频算法对第一媒体流进行处理,包括:
在至少一个第一空间音频算法中包括目标空间音频算法的情况下,使用目标空间音频算法对第一媒体流进行处理;
在至少一个第一空间音频算法中不包括目标空间音频算法的情况下,若至少一个第二空间音频算法中包括目标空间音频算法,则使用目标空间音频算法对第一媒体流进行处理。
本实施例中,通过上述两种情况下的技术方案,优先使用至少一个第一空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,如果至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,则使用至少一个第二空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,使得在对第一媒体流进行处理的过程中,第一媒体流要么被至少一个第一空间音频算法中包括的目标空间音频算法处理,要么被至少一个第二空间音频算法中包括的目标空间音频算法处理,即:仅通过一次目标空间音频算法对声场进行处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
一些可能的实现方式中,该方法还包括:确定至少一个第二空间音频算法中是否包括目标空间音频算法;
使用目标空间音频算法对第一媒体流进行处理,包括:
在至少一个第二空间音频算法中包括目标空间音频算法的情况下,使用目标空间音频算法对第一媒体流进行处理;
在至少一个第二空间音频算法中不包括目标空间音频算法的情况下,若至少一个第一空间音频算法中包括目标空间音频算法,则使用目标空间音频算法对第一媒体流进行处理。
本实施例中,通过上述两种情况下的技术方案,优先使用至少一个第二空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,如果至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,则使用至少一个第一空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,使得在对第一媒体流进行处理的过程中,第一媒体流要么被至少一个第二空间音频算法中包括的目标空间音频算法处理,要么被至少一个第一空间音频算法中包括的目标空间音频算法处理,即:仅通过一次目标空间音频算法对声场进行处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
一些可能的实现方式中,至少一个第一空间音频算法配置在电子设备的目标层中,目标层包括应用程序框架层和驱动层中的至少一个;
使用目标空间音频算法对第一媒体流进行处理,包括:
在至少一个第一空间音频算法中包括目标空间音频算法的情况下,在第一媒体流到达目标应用后,目标应用向目标层发送第一媒体流;
在第一媒体流到达目标层后,目标层使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流;或者,
在至少一个第一空间音频算法中不包括目标空间音频算法的情况下,若至少一个第二空间音频算法中包括目标空间音频算法,在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流;
在第二媒体流到达目标层后,目标层输出第二媒体流。
本实施例中,在至少一个第一空间音频算法配置在电子设备的目标层中的情况下,通过目标应用和目标层的联合作用,优先由目标层使用与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,如果目标层中不包括与当前的音频播放模式相匹配的目标空间音频算法,则由目标应用使用与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,使得在对第一媒体流进行处理的过程中,第一媒体流要么被目标层中包括的目标空间音频算法处理,要么被目标应用中包括的目标空间音频算法处理,即:仅通过一次目标空间音频算法对声场进行处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
一些可能的实现方式中,至少一个第一空间音频算法配置在电子设备的目标层中,目标层包括应用程序框架层和驱动层中的至少一个;
使用目标空间音频算法对第一媒体流进行处理,包括:
在至少一个第二空间音频算法中包括目标空间音频算法的情况下,在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流,并向目标层指示:在第二媒体流到达后,不使用至少一个第一空间音频算法对第二媒体流进行处理;
在第二媒体流到达目标层后,目标层输出第二媒体流;或者,
在至少一个第二空间音频算法中不包括目标空间音频算法的情况下,若至少一个第一空间音频算法中包括目标空间音频算法,在第一媒体流到达目标应用后,目标应用向目标层发送第一媒体流,并向目标层指示:在第一媒体流到达后,使用目标空间音频算法对第一媒体流进行处理;
在第一媒体流到达目标层后,目标层使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。
本实施例中,在至少一个第一空间音频算法配置在电子设备的目标层中的情况下,通过目标应用和目标层的联合作用,优先由目标应用使用与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,如果目标应用中不包括与当前的音频播放模式相匹配的目标空间音频算法,则由目标层使用与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,使得在对第一媒体流进行处理的过程中,第一媒体流要么被目标应用中包括的目标空间音频算法处理,要么被目标层中包括的目标空间音频算法处理,即:仅通过一次目标空间音频算法对声场进行处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
一些可能的实现方式中,在目标应用向目标层发送第一媒体流之后,该方法还包括:
目标应用向目标层指示:在第一媒体流到达目标层后,使用目标空间音频算法对第一媒体流进行处理。
一些可能的实现方式中,在目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流之后,该方法还包括:
目标应用向目标层指示:在第二媒体流到达目标层后,输出第二媒体流。
一些可能的实现方式中,确定至少一个第一空间音频算法中是否包括目标空间音频算法,包括:
目标应用通过预设接口向目标层发送请求消息,请求消息请求目标层确定至少一个第一空间音频算法中是否包括目标空间音频算法;
根据来自目标层的响应消息,确定至少一个第一空间音频算法中是否包括目标空间音频算法,响应消息指示至少一个第一空间音频算法中是否包括目标空间音频算法;或者,
目标应用通过预设函数确定至少一个第一空间音频算法中是否包括目标空间音频算法。
本实施例中,目标应用通过预设接口或者预设函数确定至少一个第一空间音频算法中是否包括目标空间音频算法,简单、快速且高效。
第二方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时执行第一方面或第一方面中任一种方法中进行处理的步骤。
第三方面,提供了一种处理音频的装置,该装置包含在电子设备中,该装置具有实现第一方面或第一方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,检测模块或单元、处理模块或单元等。
第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,使处理器执行第一方面或第一方面中任一种方法中进行处理的步骤。
第五方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序代码,当计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或第一方面中任一种方法中进行处理的步骤。
其中,第二方面至第五方面的有益效果可以参照第一方面,在此不做赘述。
附图说明
图1是本申请实施例提供的一种电子设备的硬件结构示意图;
图2是本申请实施例提供的一种处理音频的方法的流程示意图;
图3是本申请实施例提供的一种电子设备的屏幕显示系统显示的第一界面内容;
图4是本申请实施例提供的一种电子设备的屏幕显示系统显示的第二界面内容;
图5是本申请实施例提供的一种电子设备的软件结构示意图;
图6是本申请实施例提供的另一种处理音频的方法的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
空间音频功能是一种远超立体声和环绕声的音频技术,该功能主要是通过空间音频算法实现,当电子设备具备空间音频功能时,通过该电子设备播放音频,能够给用户带来更加沉浸式和更具空间感的体验,实现“用户置身于歌曲内”的听歌感受。本申请实施例提供了一种处理音频的方法,能够解决在电子设备和电子设备中某个具备音频播放功能的应用程序均具备空间音频算法的情况下,如果在电子设备的该应用程序中播放媒体流,媒体流会经过两次空间音频算法的声场叠加,导致音质变差以及听觉效果较差的问题。
为了便于区分,将电子设备具备的空间音频算法称为第一空间音频算法,将具备音频播放功能的应用程序具备的空间音频算法称为第二空间音频算法。
本申请实施例提供的处理音频的方法可以应用于手机(mobile phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备,虚拟现实(virtual reality,VR)设备、增强现实 (augmented reality,AR)设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、智慧家庭(smart home)等可以实现音频播放功能的电子设备上,本申请实施例对电子设备的具体类型不作任何限制。
下面介绍实现上述方法的电子设备100的硬件结构示意图,示例性的,图1示出了电子设备100的一种硬件结构示意图。该电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
作为举例,当电子设备100为手机或平板电脑时,可以包括图示中的全部部件,也可以仅包括图示中的部分部件。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC ,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system ,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的操作系统可以包括但不限于塞班(Symbian)、安卓(Andriod)、窗口(Windows)、苹果(MacOS、iOS)、黑莓(Blackberry)、鸿蒙(HarmonyOS)等操作系统。本申请不对电子设备的操作系统作任何限定。
下面以具有图1所示结构的电子设备为例,对本申请实施例提供的处理音频的方法进行详细介绍。
图2示出了一种处理音频的方法的流程示意图。
参考图2,处理音频的方法包括:
S201,检测到作用在电子设备上的用户操作,响应于用户操作,获取电子设备当前的音频播放模式。
示例性的,用户操作可以是请求启动电子设备上的一个应用(即,目标应用)的操作,该目标应用具备音频播放功能,并且配置有至少一个第二空间音频算法。
例如,图3为电子设备(以手机为例)在解锁模式下,其屏幕显示系统所显示的第一界面内容301,该第一界面内容301为电子设备的主界面。参考图3,该第一界面内容301显示了多款应用程序,例如时钟、日历、图库、备忘录、相机、音乐等应用程序。其中,音乐应用具备音频播放功能,并且配置有至少一个第二空间音频算法。应理解,第一界面内容301还可以包括其他更多应用程序的图标,本申请对此不作限定。
假设用户点击了第一界面内容301中的音乐应用的图标10,响应于用户的点击操作,电子设备中安装的目标应用获取电子设备当前的音频播放模式。在获取音频播放模式后,便于后续电子设备使用与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,能够进一步提升电子设备的音质效果。其中,目标应用具备媒体流播放功能且配置有至少一个第二空间音频算法。
或者,用户操作可以是在目标应用启动后,请求播放第一媒体流的操作,例如,图4为电子设备(以手机为例)的屏幕显示系统显示的第二界面内容401,该第二界面内容401为电子设备中“XX宁夏”(即,第一媒体流)暂停播放时所显示的界面。该第二界面内容401中包括播放按钮20,应理解,图4中包括的菜单区域、文字、按键或者控件等仅用于示例性说明,不用于对其进行限定。
假设用户点击播放按钮20,响应于用户的点击操作,电子设备中安装的目标应用获取电子设备当前的音频播放模式。
需要说明的是,图3和图4中示出的点击操作仅用于对用户操作进行示例性说明,不用于对其限定,可以理解的是,用户操作还可以为其它能够请求在目标应用启动后播放第一媒体流的形式,例如,电子设备的屏幕显示包含多首歌曲的歌单,用户通过双击或者单击某首歌曲,即可请求播放该歌曲。
具体的,音频播放模式可以包括耳机播放模式和外放播放模式。目标应用可以通过接口函数获取电子设备当前是否接入耳机,若接入耳机,则当前的音频播放模式为耳机播放模式;若未接入耳机,则当前的音频播放模式为外放播放模式,还可以通过其它方式获取电子设备当前的音频播放模式,此处不作限定。
示例性的,若用户未切换音频播放模式,则当前的音频播放模式为切换前的音频播放模式;若用户在播放第一媒体流的过程中切换了音频播放模式,则当前的音频播放模式为切换后的音频播放模式。
可选的,用户可以在启动目标应用前切换音频播放模式,也可以在启动目标应用后切换音频播放模式,还可以在播放第一媒体流过程中切换音频播放模式,此处不做具体限定。
下面对切换音频播放模式的情况进行说明。
在一种实现方式中,用户可以将耳机播放模式切换为外放播放模式。
在另一种实现方式中,用户可以将外放播放模式切换为耳机播放模式。
具体的,若当前音频播放模式为耳机播放模式,则用户能够将耳机播放模式切换为外放播放模式,例如,将耳机拔出;若当前音频播放模式为外放播放模式,则用户能够将外放播放模式切换为耳机播放模式,例如,将耳机接入电子设备。
S202,确定至少一个第一空间音频算法中是否包括目标空间音频算法。
若是,执行S203;若否,执行S204。
其中,预设接口可以为预先定义的接口,也可视具体情况而定,此处不作限定。预设函数可以为获取函数,也可视具体情况而定,此处不作限定。目标空间音频算法与当前的音频播放模式相匹配。至少一个第一空间音频算法配置在电子设备中,其可以为与耳机播放模式对应的空间音频算法,也可以为与外放播放模式对应的空间音频算法,还可以为与耳机播放模式对应的空间音频算法和与外放播放模式对应的空间音频算法,此处不作限定。
具体的,目标应用可以通过预设接口或者预设函数确定电子设备中配置的至少一个第一空间音频算法中是否包括与当前的音频播放模式相匹配的目标空间音频算法。
S203,使用目标空间音频算法对第一媒体流进行处理,生成第二媒体流。
其中,第一媒体流可以为用户在目标应用启动后,请求目标应用播放的媒体流,例如XX音乐,XX音频文件等。
若目标应用确定至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,则说明电子设备中配置有与当前的音频播放模式相匹配的目标空间音频算法,此时,直接使用该目标空间音频算法对第一媒体流进行处理,生成第二媒体流。
S203执行之后,执行S206。
S204,确定至少一个第二空间音频算法中是否包括目标空间音频算法。
若是,执行S205;若否,执行S207。
其中,至少一个第二空间音频算法配置在目标应用中,其可以为与耳机播放模式对应的空间音频算法,也可以为与外放播放模式对应的空间音频算法,还可以为与耳机播放模式对应的空间音频算法和与外放播放模式对应的空间音频算法,此处不作限定。第一空间音频算法与第二空间音频算法可以为相同的空间音频算法,也可以为不同的空间音频算法,此处不作限定。
具体的,由于在目标应用的开发过程中,已经配置好至少一个第二空间音频算法,因此,在至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,目标应用可确定目标应用中配置的至少一个第二空间音频算法中是否包括与当前的音频播放模式相匹配的目标空间音频算法。
S205,使用目标空间音频算法对第一媒体流进行处理,生成第二媒体流。
在至少一个第一空间音频算法中不包括目标空间音频算法的情况下,若至少一个第二空间音频算法中包括目标空间音频算法,说明电子设备中未配置与当前的音频播放模式相匹配的目标空间音频算法,目标应用中配置有与当前的音频播放模式相匹配的目标空间音频算法,此时使用目标应用中配置的与当前的音频播放模式相匹配的目标空间音频算法目标空间音频算法对第一媒体流进行处理,生成第二媒体流。
S205执行之后,执行S206。
S206,播放第二媒体流。
在执行S203或者S205之后,电子设备播放第二媒体流。
S207,播放第一媒体流。
在至少一个第一空间音频算法中不包括目标空间音频算法的情况下,若至少一个第二空间音频算法中不包括目标空间音频算法,说明电子设备中和目标应用中均未配置与当前的音频播放模式相匹配的目标空间音频算法,此时无需对第一媒体流进行处理,电子设备直接播放第一媒体流。
本实施例中,在检测到作用在电子设备上的用户操作的情况下,获取电子设备当前的音频播放模式,确定至少一个第一空间音频算法中是否包括与当前的音频播放模式相匹配的目标空间音频算法;在至少一个第一空间音频算法中包括目标空间音频算法的情况下,使用该目标空间音频算法对第一媒体流进行处理,生成第二媒体流,并播放第二媒体流;在至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,确定至少一个第二空间音频算法中是否包括与当前的音频播放模式相匹配的目标空间音频算法,若至少一个第二空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,则使用该目标空间音频算法对所述第一媒体流进行处理,生成第二媒体流,并播放第二媒体流;在至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,若至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,则播放第一媒体流。
通过上述技术方案,优先使用至少一个第一空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,如果至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,则使用至少一个第二空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,使得在对第一媒体流进行处理的过程中,第一媒体流要么被至少一个第一空间音频算法中包括的目标空间音频算法处理,要么被至少一个第二空间音频算法中包括的目标空间音频算法处理,即:仅通过一次目标空间音频算法对声场进行处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
结合上述实施例和图5,下面以至少一个第一空间音频算法配置在电子设备的目标层中,目标层包括应用程序框架层和驱动层中的至少一个为例,对S203中使用目标空间音频算法对第一媒体流进行处理的实现过程进行说明。
图5是本申请实施例提供的一种电子设备的软件结构示意图。作为示例,电子设备100的操作系统可以是Andriod,其软件结构可以参照图5。
其中,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,驱动层,以及内核层。
应用程序层可以包括一系列应用程序包,如图5所示,应用程序包可以包括相机,图库,WLAN,地图,音乐等应用程序,其中,音乐可以为具备媒体流播放功能且配置有至少一个第二空间音频算法的应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图5所示,应用程序框架层可以包括音频系统(audio system),音频策略服务(audio policy service),至少一个第一空间音频算法等。
其中,音频系统用于与应用层中具备音频播放功能的音乐应用进行通信。
音频策略服务即音频策略制定者,用于根据音频系统发送的指示或者音乐应用发送的指示等确定音频决策,即确定是否使用至少一个第一空间音频算法对到达应用程序框架层的媒体流进行处理。
驱动层,即驱动抽象层,用于对接各种设备的驱动。
内核层,即Android内核层,用于基础操作系统(operating system,OS)工作。
在一种实现方式中,S203中使用目标空间音频算法对第一媒体流进行处理,包括:
在至少一个第一空间音频算法中包括目标空间音频算法的情况下,在第一媒体流到达目标应用后,目标应用向目标层发送第一媒体流;
在第一媒体流到达目标层后,目标层使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。
结合图5,至少一个第一空间音频算法配置在应用程序框架层中,则应用程序框架层即为目标层。音乐应用(即,目标应用)为具备媒体流播放功能且配置有至少一个第二空间音频算法的应用程序。音乐应用通过预设接口或者预设函数确定目标层(即:应用程序框架层)中配置的至少一个第一空间音频算法中是否包括与当前的音频播放模式相匹配的目标空间音频算法。若至少一个第一空间音频算法中包括目标空间音频算法,说明应用程序框架层中配置有与当前的音频播放模式相匹配的目标空间音频算法,则在第一媒体流到达目标应用后,目标应用向应用程序框架层发送第一媒体流,此时目标应用不使用至少一个第二空间音频算法对第一媒体流进行处理,在第一媒体流到达应用程序框架层后,由于应用程序框架层中至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,因此应用程序框架层中的音频策略服务直接使用该目标空间音频算法,使得第一媒体流能够被目标空间音频算法处理,处理完之后,应用程序框架层输出第二媒体流。
参考图5,音频流的流向为:音乐应用—至少一个第一空间音频算法—驱动层—内核层。
上述过程中,第一媒体流先经过目标应用,再经过应用程序框架层中的目标空间音频算法处理之后输出第二媒体流,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
在另一种实现方式中,至少一个第一空间音频算法配置在驱动层中,则目标层为:驱动层,相应的,若至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,说明驱动层中配置有与当前的音频播放模式相匹配的目标空间音频算法,则在第一媒体流到达目标应用后,目标应用向应用程序框架层发送第一媒体流,此时目标应用不使用至少一个第二空间音频算法对第一媒体流进行处理。在第一媒体流到达应用程序框架层后,由于应用程序框架层中未配置第一空间音频算法,则应用程序框架层输出第一媒体流。目标应用通过应用程序框架层向驱动层发送第一媒体流,在第一媒体流到达驱动层后,由于驱动层中至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空音频算法,因此驱动层使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。
上述过程中,第一媒体流先经过目标应用,再经过应用程序框架层,最后经过驱动层中的目标空间音频算法处理之后输出第二媒体流,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
在又一种实现方式中,若第一空间音频算法包括两种算法,简称算法1和算法2,这两种算法可以一种配置在应用程序框架层,另一种配置在驱动层,则目标层为:应用程序框架层和驱动层。例如算法1配置在应用程序框架层,算法2配置在驱动层,或者,算法2配置在应用程序框架层,算法1配置在驱动层,此处不作限定。以下以算法1配置在应用程序框架层,算法2配置在驱动层为例,对S203中使用目标空间音频算法对第一媒体流进行处理的过程进行说明:
在至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法的情况下(假设算法1为目标空间音频算法),说明应用程序框架层中配置有目标空间音频算法,则在第一媒体流到达目标应用后,目标应用向应用程序框架层发送第一媒体流,在第一媒体流到达应用程序框架层后,由于应用程序框架层中包括与当前的音频播放模式相匹配的目标空间音频算法,因此应用程序框架层中的音频策略服务直接使用该目标空间音频算法,使得第一媒体流能够被目标空间音频算法处理,处理完之后,应用程序框架层输出第二媒体流。在第二媒体流到达驱动层后,驱动层中未配置有目标空间音频算法,因此,驱动层直接输出第二媒体流。
上述过程中,第一媒体流先经过目标应用,再经过应用程序框架层中的目标空间音频算法处理之后输出第二媒体流,最后经过驱动层,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
结合上述实施例和图5,下面以至少一个第一空间音频算法配置在电子设备的目标层中,目标层包括应用程序框架层和驱动层中的至少一个为例,对S205中使用目标空间音频算法对第一媒体流进行处理的实现过程进行说明。
在一种实现方式中,S205中使用目标空间音频算法对第一媒体流进行处理,包括:
在至少一个第一空间音频算法中不包括目标空间音频算法的情况下,若至少一个第二空间音频算法中包括目标空间音频算法,在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流;
在第二媒体流到达目标层后,目标层输出第二媒体流。
结合图5,若至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,说明应用程序框架层(即,目标层)中未配置与当前的音频播放模式相匹配的目标空间音频算法,若至少一个第二空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,说明目标应用中配置有与当前的音频播放模式相匹配的目标空间音频算法,则在第一媒体流到达目标应用后,目标应用使用与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。在第二媒体流到达应用程序框架层后,由于应用程序框架层中至少一个第一空间音频算法中不包括目标空间音频算法,因此应用程序框架层透传第二媒体流,使得第二媒体流不被处理,即:应用程序框架层能够直接输出第二媒体流。
上述过程中,第一媒体流经过目标应用中的目标空间音频算法处理后,目标应用输出第二媒体流,第二媒体流再经过应用程序框架层,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
在另一种实现方式中,至少一个第一空间音频算法配置在驱动层中,则目标层为:驱动层,相应的,若至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,说明驱动层中未配置与当前的音频播放模式相匹配的目标空间音频算法,若至少一个第二空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,说明目标应用中配置有与当前的音频播放模式相匹配的目标空间音频算法,则在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流,在第二媒体流到达应用程序框架层后,由于应用程序框架层中未配置至少一个第一空间音频算法,因此应用程序框架层透传第二媒体流,使得第二媒体流不被处理,即:应用程序框架层能够直接输出第二媒体流。在第二媒体流到达驱动层后,由于驱动层中不包括与当前的音频播放模式相匹配的目标空间音频算法,因此驱动层能够直接输出第二媒体流。
上述过程中,第一媒体流经过目标应用中的目标空间音频算法处理后,目标应用输出第二媒体流,第二媒体流再经过应用程序框架层,最后经过驱动层,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
在又一种实现方式中,若第一空间音频算法包括两种算法,简称算法1和算法2,这两种算法可以一种配置在应用程序框架层,另一种配置在驱动层,则目标层为:应用程序框架层和驱动层。例如算法1配置在应用程序框架层,算法2配置在驱动层,或者,算法2配置在应用程序框架层,算法1配置在驱动层,此处不作限定。以下以算法1配置在应用程序框架层,算法2配置在驱动层为例,对使用目标空间音频算法对第一媒体流进行处理的过程进行说明:
在至少一个第一空间音频算法中不包括目标空间音频算法的情况下,说明应用程序框架层和驱动层中均未配置目标空间音频算法,若至少一个第二空间音频算法中包括目标空间音频算法,说明目标应用中配置有目标空间音频算法,则在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。在第二媒体流到达应用程序框架层后,由于应用程序框架层中不包括目标空间音频算法,因此应用程序框架层透传第二媒体流,使得第二媒体流不被处理,即:应用程序框架层能够直接输出第二媒体流。在第二媒体流到达驱动层后,驱动层中未配置有目标空间音频算法,因此,驱动层直接输出第二媒体流。
上述过程中,第一媒体流经过目标应用中的目标空间音频算法处理后,目标应用输出第二媒体流,第二媒体流再经过应用程序框架层,最后经过驱动层,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
结合上述实施例,下面具体对确定至少一个第一空间音频算法中是否包括目标空间音频算法(即S202)的实现过程进行说明。
在一种实现方式中,目标应用通过预设接口向目标层发送请求消息,请求消息请求目标层确定至少一个第一空间音频算法中是否包括目标空间音频算法;
根据来自目标层的响应消息,确定至少一个第一空间音频算法中是否包括目标空间音频算法,响应消息指示至少一个第一空间音频算法中是否包括目标空间音频算法。
其中,响应消息可以为至少一个第一空间音频算法中包括目标空间音频算法,也可以为至少一个第一空间音频算法中不包括目标空间音频算法,此处不作限定。目标层包括应用程序框架层和驱动层中的至少一个。
具体的,目标应用通过预设接口向目标层发送请求消息,目标层接收目标应用发送的请求消息后,确定至少一个第一空间音频算法中是否包括目标空间音频算法,并生成响应消息,目标层将响应消息发送至目标应用。相应的,目标应用接收目标层发送的响应消息后,通过响应消息中的具体内容能够给确定至少一个第一空间音频算法中是否包括目标空间音频算法。
在另一种实现方式中,目标应用通过预设函数确定至少一个第一空间音频算法中是否包括目标空间音频算法。
目标应用通过预设函数能够直接确定至少一个第一空间音频算法中是否包括目标空间音频算法。
本实施例中,目标应用通过预设接口或者预设函数确定至少一个第一空间音频算法中是否包括目标空间音频算法,简单、快速且高效。
结合上述实施例,下面具体对在目标应用向目标层发送第一媒体流之后的过程进行说明。
在一种实现方式中,在目标应用向目标层发送第一媒体流之后,目标应用向目标层指示:在第一媒体流到达目标层后,使用目标空间音频算法对第一媒体流进行处理。
其中,目标层包括应用程序框架层和驱动层中的至少一个。
示例性的,若目标层为应用程序框架层,在目标应用向目标层发送第一媒体流之后,由于目标应用未使用至少一个第二空间音频算法对第一媒体流进行处理,因此,目标应用可以向目标层的音频系统指示:在第一媒体流到达后,目标层使用目标空间音频算法对第一媒体流进行处理,然后音频系统向音频策略服务指示:使用该目标空间音频算法。
示例性的,若目标层为驱动层,在目标应用向目标层发送第一媒体流之后,由于目标应用未使用至少一个第二空间音频算法对第一媒体流进行处理,因此,目标应用可以向驱动层指示:在第一媒体流到达后,使用目标空间音频算法对第一媒体流进行处理。
本实施例中,目标应用向目标层指示:在第一媒体流到达目标层后,使用目标空间音频算法对第一媒体流进行处理,能够进一步提醒目标层需要对第一媒体流进行处理。
结合上述实施例,下面具体对在目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流之后的过程进行说明。
在一种实现方式中,在目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流之后,目标应用向目标层指示:在第二媒体流到达目标层后,输出第二媒体流。
示例性的,若目标层为应用程序框架层,在目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流之后,由于目标应用已经使用目标空间音频算法对第一媒体流进行处理,说明目标层无需对第二媒体流进行处理,因此,目标应用可以向目标层的音频系统指示:在第二媒体流到达目标层后,直接输出第二媒体流,然后音频系统向音频策略服务指示:透传第二媒体流。
示例性的,若目标层为驱动层,在目标应用向目标层发送第一媒体流之后,由于目标应用已经使用目标空间音频算法对第一媒体流进行处理,因此,目标应用可以向驱动层指示:在第二媒体流到达后,直接输出第二媒体流。
本实施例中,目标应用向目标层指示:在第二媒体流到达目标层后,输出第二媒体流,能够进一步提醒目标层无需对第二媒体流进行处理,避免目标层对第二媒体流进行处理。
图6示出了另一种处理音频的方法的流程示意图。
参考图6,处理音频的方法包括:
S601,检测到作用在电子设备上的用户操作,响应于用户操作,获取电子设备当前的音频播放模式。
参见S201的解释,为了避免重复,此处不再赘述。
S602,确定至少一个第二空间音频算法中是否包括目标空间音频算法。
参见S204的解释,为了避免重复,此处不再赘述。
若是,执行S603;若否,执行S604。
S603,使用目标空间音频算法对第一媒体流进行处理,生成第二媒体流。
若至少一个第二空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,则说明目标应用中配置有与当前的音频播放模式相匹配的目标空间音频算法,此时,直接使用该目标空间音频算法对第一媒体流进行处理,生成第二媒体流。
S603执行之后,执行S606。
S604,确定至少一个第一空间音频算法中是否包括目标空间音频算法。
若至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,则确定至少一个第一空间音频算法中是否包括目标空间音频算法。具体确定过程参见S202的解释,为了避免重复,此处不再赘述。
若是,执行S605;若否,执行S607。
S605,使用目标空间音频算法对第一媒体流进行处理,生成第二媒体流。
在至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,若至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,说明目标应用中未配置与当前的音频播放模式相匹配的目标空间音频算法,电子设备中配置有与当前的音频播放模式相匹配的目标空间音频算法,则使用至少一个第一空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,生成第二媒体流。
S605执行之后,执行S606。
S606,播放第二媒体流。
在执行S603或者S605之后,电子设备播放第二媒体流。
S607,播放第一媒体流。
在至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,若至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,则说明目标应用和电子设备中均未配置与当前的音频播放模式相匹配的目标空间音频算法,此时无需对第一媒体流进行处理,电子设备直接播放第一媒体流。
本实施例中,在检测到作用在电子设备上的用户操作的情况下,获取电子设备当前的音频播放模式;确定至少一个第二空间音频算法中是否包括与当前的音频播放模式相匹配的目标空间音频算法;在至少一个第二空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,使用该目标空间音频算法对第一媒体流进行处理,生成第二媒体流,并播放第二媒体流;在至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,确定至少一个第一空间音频算法中是否包括与当前的音频播放模式相匹配的目标空间音频算法;若至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,则使用该目标空间音频算法对第一媒体流进行处理,生成第二媒体流,并播放第二媒体流;在至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,若至少一个第一空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,则播放第一媒体流。
通过上述技术方案,优先使用至少一个第二空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,如果至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,则使用至少一个第一空间音频算法中包括的与当前的音频播放模式相匹配的目标空间音频算法对第一媒体流进行处理,使得在对第一媒体流进行处理的过程中,第一媒体流要么被至少一个第二空间音频算法中包括的目标空间音频算法处理,要么被至少一个第一空间音频算法中包括的目标空间音频算法处理,即:仅通过一次目标空间音频算法对声场进行处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
下面以至少一个第一空间音频算法配置在电子设备的目标层中,目标层包括应用程序框架层和驱动层中的至少一个为例,对S603中使用目标空间音频算法对第一媒体流进行处理的实现过程进行说明。
在一种实现方式中,S603中使用目标空间音频算法对第一媒体流进行处理,包括:
在至少一个第二空间音频算法中包括目标空间音频算法的情况下,在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流,并向目标层指示:在第二媒体流到达后,不使用至少一个第一空间音频算法对第二媒体流进行处理;
在第二媒体流到达目标层后,目标层输出第二媒体流。
结合图5,至少一个第一空间音频算法配置在应用程序框架层中,则应用程序框架层即为目标层。音乐应用(即,目标应用)确定目标应用中配置的至少一个第二空间音频算法中是否包括与当前的音频播放模式相匹配的目标空间音频算法。若至少一个第二空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,则说明目标应用中配置有与当前的音频播放模式相匹配的目标空间音频算法,此时,在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流,并向应用程序框架层指示:在第二媒体流到达后,不使用至少一个第一空间音频算法对第二媒体流进行处理,该指示可由目标应用通过set parameter接口,或者其它接口发送至应用程序框架层的音频系统。在第二媒体流到达应用程序框架层后,应用程序框架层的音频系统向应用程序框架层的音频策略服务指示:在第二媒体流到达后,不使用至少一个第一空间音频算法对第二媒体流进行处理,因此,应用程序框架层透传第二媒体流,使得第二媒体流不被处理,即:应用程序框架层能够直接输出第二媒体流。
参考图5,消息控制流的流向为:音乐应用—音频系统—音频策略服务—至少一个第一空间音频算法。
上述过程中,第一媒体流经过目标应用中的目标空间音频算法处理后,目标应用输出第二媒体流,第二媒体流再经过应用程序框架层,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
在另一种实现方式中,至少一个第一空间音频算法配置在驱动层中,则目标层为:驱动层,若至少一个第二空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。目标应用向应用程序框架层指示:在第二媒体流到达后,不使用至少一个第一空间音频算法对第二媒体流进行处理,以及目标应用通过应用程序框架层向驱动层指示:在第二媒体流到达后,不使用至少一个第一空间音频算法对第二媒体流进行处理。在第二媒体流到达应用程序框架层后,应用程序框架层直接输出第二媒体流,以及在第二媒体流到达驱动层后,驱动层直接输出第二媒体流。
上述过程中,第一媒体流经过目标应用中的目标空间音频算法处理后,目标应用输出第二媒体流,第二媒体流再经过应用程序框架层,最后经过驱动层,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
在又一种实现方式中,若第一空间音频算法包括两种算法,简称算法1和算法2,这两种算法可以一种配置在应用程序框架层,另一种配置在驱动层,则目标层为:应用程序框架层和驱动层。例如算法1配置在应用程序框架层,算法2配置在驱动层,或者,算法2配置在应用程序框架层,算法1配置在驱动层,此处不作限定。以下以算法1配置在应用程序框架层,算法2配置在驱动层为例,对使用目标空间音频算法对第一媒体流进行处理的过程进行说明:
在至少一个第二空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法的情况下,在第一媒体流到达目标应用后,目标应用使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流,并向应用程序框架层指示:在第二媒体流到达后,不使用算法1对第二媒体流进行处理,以及通过应用程序框架层向驱动层指示:在第二媒体流到达后,不使用算法2对第二媒体流进行处理。在第二媒体流到达应用程序框架层后,应用程序框架层不使用算法1对第二媒体流进行处理,直接输出第二媒体流。在第二媒体流到达驱动层后,驱动层不使用算法2对第二媒体流进行处理,直接输出第二媒体流。
上述过程中,第一媒体流经过目标应用中的目标空间音频算法处理后,目标应用输出第二媒体流,第二媒体流再经过应用程序框架层,最后经过驱动层,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
结合上述实施例和图5,下面以至少一个第一空间音频算法配置在电子设备的目标层中,目标层包括应用程序框架层和驱动层中的至少一个为例,对S605中使用目标空间音频算法对第一媒体流进行处理的实现过程进行说明。
在一种实现方式中,S605中使用目标空间音频算法对第一媒体流进行处理,包括:
在至少一个第二空间音频算法中不包括目标空间音频算法的情况下,若至少一个第一空间音频算法中包括目标空间音频算法,在第一媒体流到达目标应用后,目标应用向目标层发送第一媒体流,并向目标层指示:在第一媒体流到达后,使用目标空间音频算法对第一媒体流进行处理;
在第一媒体流到达目标层后,目标层使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。
结合图5,至少一个第一空间音频算法配置在应用程序框架层中,则应用程序框架层即为目标层。若至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,说明目标应用中未配置与当前的音频播放模式相匹配的目标空间音频算法,若至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,说明应用程序框架层中配置有与当前的音频播放模式相匹配的目标空间音频算法,则在第一媒体流到达目标应用后,目标应用向应用程序框架层发送第一媒体流,并向应用程序框架层指示:在第一媒体流到达后,使用目标空间音频算法对第一媒体流进行处理,该指示同样可由目标应用通过set parameter接口,或者其它接口向应用程序框架层的音频系统发送,此时目标应用不使用至少一个第二空间音频算法对第一媒体流进行处理。在第一媒体流到达应用程序框架层后,应用程序框架层的音频系统向应用程序框架层的音频策略服务指示:在第一媒体流到达后,使用目标空间音频算法对第一媒体流进行处理,因此,音频策略服务直接使用该至少一个第一空间音频算法中包括的目标空间音频算法,使得第一媒体流能够被应用程序框架层处理,处理完之后,应用程序框架层输出第二媒体流。
上述过程中,第一媒体流先经过目标应用,再经过应用程序框架层中的目标空间音频算法处理之后输出第二媒体流,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
在另一种实现方式中,至少一个第一空间音频算法配置在驱动层中,则目标层为:驱动层,相应的,若至少一个第二空间音频算法中不包括与当前的音频播放模式相匹配的目标空间音频算法,说明目标应用中未配置与当前的音频播放模式相匹配的目标空间音频算法,若至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空间音频算法,说明驱动层中配置有与当前的音频播放模式相匹配的目标空间音频算法,则在第一媒体流到达目标应用后,目标应用向应用程序框架层发送第一媒体流,并向应用程序框架层指示:在第一媒体流到达后,输出第一媒体流。在第一媒体流到达应用程序框架层后,由于应用程序框架层中未配置第一空间音频算法,则应用程序框架层直接输出第一媒体流。目标应用通过应用程序框架层向驱动层指示:在第一媒体流到达后,使用目标空间音频算法对第一媒体流进行处理。在第一媒体流到达驱动层后,由于驱动层中至少一个第一空间音频算法中包括与当前的音频播放模式相匹配的目标空音频算法,因此驱动层使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。
上述过程中,第一媒体流先经过目标应用,再经过应用程序框架层,最后经过驱动层中的目标空间音频算法处理之后输出第二媒体流,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
在又一种实现方式中,若第一空间音频算法包括两种算法,简称算法1和算法2,这两种算法可以一种配置在应用程序框架层,另一种配置在驱动层,则目标层为:应用程序框架层和驱动层。例如算法1配置在应用程序框架层,算法2配置在驱动层,或者,算法2配置在应用程序框架层,算法1配置在驱动层,此处不作限定。以下以算法1配置在应用程序框架层,算法2配置在驱动层为例,对S605中使用目标空间音频算法对第一媒体流进行处理的过程进行说明:
在至少一个第二空间音频算法中不包括目标空间音频算法的情况下,若至少一个第一空间音频算法中包括目标空间音频算法(假设算法1为目标空间音频算法),在第一媒体流到达目标应用后,目标应用向应用程序框架层发送第一媒体流,并向应用程序框架指示:在第一媒体流到达后,使用目标空间音频算法对第一媒体流进行处理,以及通过应用程序框架层向驱动层指示:在第二媒体流到达后,不使用算法2对第二媒体流进行处理。在第一媒体流到达应用程序框架层后,应用程序框架层使用目标空间音频算法对第一媒体流进行处理,并输出第二媒体流。在第二媒体流到达驱动层后,驱动层不使用算法2对第二媒体流进行处理,直接输出第二媒体流。
上述过程中,第一媒体流先经过目标应用,再经过应用程序框架层中的目标空间音频算法处理之后输出第二媒体流,最后经过驱动层,从第一媒体流到第二媒体流的过程中,只经过一次目标空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题,此外,由于目标空间音频算法是与当前的音频播放模式相匹配的,因此,该方法能够在避免对声场进行叠加处理的同时,进一步提升电子设备的音质效果。
本申请实施例还提供一种处理音频的方法,该方法包括:检测到作用在电子设备上的用户操作,响应于用户操作,在不获取电子设备当前的音频播放模式的情况下,电子设备执行如下操作:
电子设备使用至少一个第一空间音频算法中的一个(即,目标空间音频算法)对第一媒体流进行处理,或者使用至少一个第二空间音频算法中的一个(即,目标空间音频算法)对第一媒体流进行处理,从而生成第二媒体流,并播放第二媒体流,使得用户能够具有更加沉浸式、更具空间感的音质体验和听觉体验,进一步提升用户的使用体验。
基于上述技术方案,在检测到作用在电子设备上的请求启动目标应用的用户操作,或者请求在目标应用启动后播放第一媒体流的用户操作的情况下,从至少一个第一空间音频算法选出一个算法或者从至少一个第二空间音频算法中选出一个算法作为处理第一媒体流的目标音频算法,从而使得第一媒体流要么被第一空间音频算法处理,要么被第二空间音频算法处理,相对于既使用电子设备中的第一空间音频算法对第一媒体流处理,又使用目标应用中第二空间音频算法对第一媒体流处理,该方法能够避免对声场进行叠加处理,从而避免导致电子设备的音质效果变差,进而影响用户听觉体验的问题。
应理解,上述举例说明是为了帮助本领域技术人员理解本申请实施例,而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明,显然可以进行各种等价的修改或变化,这样的修改或变化也落入本申请实施例的范围内。
本申请实施例还提供一种处理音频的装置,该装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的处理音频的方法。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令;当所述计算机可读存储介质在处理音频的装置上运行时,使得该处理音频的装置执行如前述所示的方法。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本申请实施例还提供了一种包含计算机指令的计算机程序产品,当其在处理音频的装置上运行时,使得处理音频的装置可以执行前述所示的技术方案。
上述本申请实施例提供的电子设备、处理音频的装置、计算机可读存储介质、计算机程序产品均用于执行上文所提供的方法,因此,其所能达到的有益效果可参考上文所提供的方法对应的有益效果,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和电子设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,本申请说明书和所附权利要求书中提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种处理音频的方法,其特征在于,应用于电子设备,所述电子设备中配置有至少一个第一空间音频算法,所述电子设备中安装有目标应用,所述目标应用具备媒体流播放功能且配置有至少一个第二空间音频算法,所述方法包括:
检测到作用在所述电子设备上的用户操作,响应于所述用户操作,获取所述电子设备当前的音频播放模式,所述用户操作请求启动所述目标应用,或者请求在所述目标应用启动后播放第一媒体流,所述电子设备当前的音频播放模式包括耳机播放模式或者外放播放模式;
确定所述至少一个第一空间音频算法中是否包括目标空间音频算法,所述目标空间音频算法与所述电子设备当前的音频播放模式相匹配;
在所述至少一个第一空间音频算法中包括所述目标空间音频算法的情况下,使用所述目标空间音频算法对所述第一媒体流进行处理,生成第二媒体流;
在所述至少一个第一空间音频算法中不包括所述目标空间音频算法的情况下,若所述至少一个第二空间音频算法中包括所述目标空间音频算法,则使用所述目标空间音频算法对所述第一媒体流进行处理,生成第二媒体流;
或者,
确定所述至少一个第二空间音频算法中是否包括目标空间音频算法,所述目标空间音频算法与所述电子设备当前的音频播放模式相匹配;
在所述至少一个第二空间音频算法中包括所述目标空间音频算法的情况下,使用所述目标空间音频算法对所述第一媒体流进行处理,生成第二媒体流;
在所述至少一个第二空间音频算法中不包括所述目标空间音频算法的情况下,若所述至少一个第一空间音频算法中包括所述目标空间音频算法,则使用所述目标空间音频算法对所述第一媒体流进行处理,生成第二媒体流。
2.根据权利要求1所述的方法,其特征在于,所述至少一个第一空间音频算法配置在所述电子设备的目标层中,所述目标层包括应用程序框架层和驱动层中的至少一个;
所述使用所述目标空间音频算法对所述第一媒体流进行处理,包括:
在所述至少一个第一空间音频算法中包括所述目标空间音频算法的情况下,在所述第一媒体流到达所述目标应用后,所述目标应用向所述目标层发送所述第一媒体流;
在所述第一媒体流到达所述目标层后,所述目标层使用所述目标空间音频算法对所述第一媒体流进行处理,并输出所述第二媒体流;或者,
在所述至少一个第一空间音频算法中不包括所述目标空间音频算法的情况下,若所述至少一个第二空间音频算法中包括所述目标空间音频算法,在所述第一媒体流到达所述目标应用后,所述目标应用使用所述目标空间音频算法对所述第一媒体流进行处理,并输出所述第二媒体流;
在所述第二媒体流到达所述目标层后,所述目标层输出所述第二媒体流。
3.根据权利要求1所述的方法,其特征在于,所述至少一个第一空间音频算法配置在所述电子设备的目标层中,所述目标层包括应用程序框架层和驱动层中的至少一个;
所述使用所述目标空间音频算法对所述第一媒体流进行处理,包括:
在所述至少一个第二空间音频算法中包括所述目标空间音频算法的情况下,在所述第一媒体流到达所述目标应用后,所述目标应用使用所述目标空间音频算法对所述第一媒体流进行处理,并输出所述第二媒体流,并向所述目标层指示:在所述第二媒体流到达后,不使用所述至少一个第一空间音频算法对所述第二媒体流进行处理;
在所述第二媒体流到达所述目标层后,所述目标层输出所述第二媒体流;或者,
在所述至少一个第二空间音频算法中不包括所述目标空间音频算法的情况下,若所述至少一个第一空间音频算法中包括所述目标空间音频算法,在所述第一媒体流到达所述目标应用后,所述目标应用向所述目标层发送所述第一媒体流,并向所述目标层指示:在所述第一媒体流到达后,使用所述目标空间音频算法对所述第一媒体流进行处理;
在所述第一媒体流到达所述目标层后,所述目标层使用所述目标空间音频算法对所述第一媒体流进行处理,并输出所述第二媒体流。
4.根据权利要求2所述的方法,其特征在于,在所述目标应用向所述目标层发送所述第一媒体流之后,所述方法还包括:
所述目标应用向所述目标层指示:在所述第一媒体流到达所述目标层后,使用所述目标空间音频算法对所述第一媒体流进行处理。
5.根据权利要求2所述的方法,其特征在于,在所述目标应用使用所述目标空间音频算法对所述第一媒体流进行处理,并输出所述第二媒体流之后,所述方法还包括:
所述目标应用向所述目标层指示:在所述第二媒体流到达所述目标层后,输出所述第二媒体流。
6.根据权利要求2所述的方法,其特征在于,所述确定所述至少一个第一空间音频算法中是否包括所述目标空间音频算法,包括:
所述目标应用通过预设接口向所述目标层发送请求消息,所述请求消息请求所述目标层确定所述至少一个第一空间音频算法中是否包括所述目标空间音频算法;
根据来自目标层的响应消息,确定所述至少一个第一空间音频算法中是否包括所述目标空间音频算法,所述响应消息指示所述至少一个第一空间音频算法中是否包括所述目标空间音频算法;或者,
所述目标应用通过预设函数确定所述至少一个第一空间音频算法中是否包括所述目标空间音频算法。
7.一种电子设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,使所述处理器执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310627083.6A CN116346982B (zh) | 2023-05-31 | 2023-05-31 | 处理音频的方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310627083.6A CN116346982B (zh) | 2023-05-31 | 2023-05-31 | 处理音频的方法、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116346982A CN116346982A (zh) | 2023-06-27 |
CN116346982B true CN116346982B (zh) | 2023-09-15 |
Family
ID=86880864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310627083.6A Active CN116346982B (zh) | 2023-05-31 | 2023-05-31 | 处理音频的方法、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116346982B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927146A (zh) * | 2014-04-30 | 2014-07-16 | 深圳市中兴移动通信有限公司 | 音效自适应方法和装置 |
CN104090766A (zh) * | 2014-07-17 | 2014-10-08 | 广东欧珀移动通信有限公司 | 一种移动终端的音效切换方法及系统 |
CN106126172A (zh) * | 2016-06-16 | 2016-11-16 | 广东欧珀移动通信有限公司 | 一种音效处理方法及移动终端 |
CN110933220A (zh) * | 2018-09-20 | 2020-03-27 | 中兴通讯股份有限公司 | 音效处理方法、系统、终端及计算机可读存储介质 |
-
2023
- 2023-05-31 CN CN202310627083.6A patent/CN116346982B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927146A (zh) * | 2014-04-30 | 2014-07-16 | 深圳市中兴移动通信有限公司 | 音效自适应方法和装置 |
CN104090766A (zh) * | 2014-07-17 | 2014-10-08 | 广东欧珀移动通信有限公司 | 一种移动终端的音效切换方法及系统 |
CN106126172A (zh) * | 2016-06-16 | 2016-11-16 | 广东欧珀移动通信有限公司 | 一种音效处理方法及移动终端 |
CN110933220A (zh) * | 2018-09-20 | 2020-03-27 | 中兴通讯股份有限公司 | 音效处理方法、系统、终端及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116346982A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113905179B (zh) | 一种终端切换摄像头的方法及终端 | |
CN111030990B (zh) | 一种建立通信连接的方法及客户端、服务端 | |
CN114079893B (zh) | 蓝牙通信方法、终端设备及计算机可读存储介质 | |
CN111602108B (zh) | 一种应用图标的显示方法及终端 | |
CN117014859A (zh) | 基于通讯录的设备发现方法、音视频通信方法及电子设备 | |
CN113973398B (zh) | 无线网络连接方法、电子设备及芯片系统 | |
CN111492678B (zh) | 一种文件传输方法及电子设备 | |
CN115665632B (zh) | 音频电路、相关装置和控制方法 | |
CN116055859B (zh) | 图像处理方法和电子设备 | |
CN114554012B (zh) | 来电接听方法、电子设备及存储介质 | |
WO2021254294A1 (zh) | 一种切换音频输出通道的方法、装置和电子设备 | |
CN116346982B (zh) | 处理音频的方法、电子设备及可读存储介质 | |
CN115706916A (zh) | 一种基于位置信息的Wi-Fi连接方法及装置 | |
CN113467821A (zh) | 应用程序的修复方法、装置、设备及可读存储介质 | |
CN114338642A (zh) | 一种文件传输方法和电子设备 | |
CN110737916A (zh) | 通信终端及处理方法 | |
CN116320880B (zh) | 音频处理方法和装置 | |
CN114205318B (zh) | 头像显示方法及电子设备 | |
CN115460445B (zh) | 电子设备的投屏方法和电子设备 | |
CN116719376B (zh) | 电压控制方法、装置、设备和存储介质 | |
CN116709018B (zh) | 一种变焦条分割方法及电子设备 | |
CN117062039B (zh) | 一种蓝牙连接方法、电子设备和计算机可读存储介质 | |
CN114329595B (zh) | 应用程序的检测方法、设备、存储介质和程序产品 | |
CN115993592B (zh) | 蓝牙测距方法、电子设备及存储介质 | |
CN114520870B (zh) | 一种显示方法及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |