CN116939474A - 一种音频信号处理方法及电子设备 - Google Patents
一种音频信号处理方法及电子设备 Download PDFInfo
- Publication number
- CN116939474A CN116939474A CN202210380751.5A CN202210380751A CN116939474A CN 116939474 A CN116939474 A CN 116939474A CN 202210380751 A CN202210380751 A CN 202210380751A CN 116939474 A CN116939474 A CN 116939474A
- Authority
- CN
- China
- Prior art keywords
- head
- room
- audio signal
- impulse response
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 155
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000004044 response Effects 0.000 claims abstract description 210
- 238000012546 transfer Methods 0.000 claims abstract description 119
- 238000009877 rendering Methods 0.000 claims abstract description 112
- 230000006870 function Effects 0.000 claims description 134
- 238000000034 method Methods 0.000 claims description 55
- 230000002194 synthesizing effect Effects 0.000 claims description 15
- 238000009792 diffusion process Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007654 immersion Methods 0.000 abstract description 11
- 230000015572 biosynthetic process Effects 0.000 abstract description 6
- 238000003786 synthesis reaction Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 18
- 238000010295 mobile communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 230000035939 shock Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001746 atrial effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
本申请公开了一种音频信号处理方法及电子设备,涉及音频领域,解决了立体声音频信号直接通过耳机输入给用户,无法准确还原音频内容原有的表现力和沉浸感的问题。具体方案为:从音频信号中分离出直达部分和扩散部分。根据当前场景从预先设置的房间冲击响应数据库中获取对应的房间冲击响应。根据头相关传输函数和该房间冲击响应合成得到用于方位感渲染的双耳房间冲击响应以及用于空间感渲染的双耳房间冲击响应。然后可根据用于方位感渲染的双耳房间冲击响应,对音频信号分离出的直达部分和扩散部分进行方位感渲染,根据用于空间感渲染的双耳房间冲击响应,对音频信号分离出的扩散部分进行空间感渲染。最后可以将渲染完成的音频信号输入到耳机。
Description
技术领域
本申请涉及音频领域,尤其涉及一种音频信号处理方法及电子设备。
背景技术
随着手机、平板电脑、笔记本电脑等各种电子设备的普及,人们使用这些电子设备进行音视频娱乐的需求越来越高。例如,人们通过手机玩游戏、看视频或者听音乐等。通常为了不打扰别人,以及得到更好的听音体验,在使用电子设备玩游戏、看视频或者听音乐时越来越多的人开始佩戴耳机。
然而,耳机输出的音频信号为双耳信号,分别通过左右两个耳机传入人耳。目前各音视频平台的节目(电视剧、音乐、电影等)音频流大多数以立体声为主,虽然在音频制作阶段加入了各种渲染效果,但也主要以满足音频节目内容的效果为主,无法兼顾扬声器和耳机两类重放设备。因此,将此种立体声音频信号直接通过耳机输入给用户,无法准确还原音频内容原有的表现力和沉浸感,例如内容中各声像的方位、距离、空间感和环绕感均无法被准确还原。
发明内容
本申请提供一种音频信号处理方法及电子设备,解决了立体声音频信号直接通过耳机输入给用户,无法准确还原音频内容原有的表现力和沉浸感的问题。
为了达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种音频信号处理方法,该方法可应用于音频系统中的电子设备,该音频系统包括通信连接的电子设备和耳机,该方法包括:将音频信号分离为直达部分和扩散部分;根据当前场景从预设的房间冲击响应数据库中获取对应的房间冲击响应,房间冲击响应数据库中包括与各场景对应的房间冲击响应,当前场景为电子设备当前所处的场景;根据房间冲击响应和头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应以及用于空间感渲染的第二双耳房间冲击响应;根据第一双耳房间冲击响应对音频信号的直达部分和音频信号的扩散部分进行渲染处理,得到方位感渲染音频信号;根据第二双耳房间冲击响应对音频信号的扩散部分进行渲染,得到空间感渲染音频信号;合成方位感渲染音频信号和空间感渲染音频信号并向耳机输入。
采用上述技术方案,由于房间冲击响应的测量相对简便,一个房间只需测量一次。因此包括不同场景的房间冲击响应的数据库存储的数据量相对较小,便于存储。而根据当前场景,可以方便的根据对应的房间冲击响应和头相关传输函数,得到当前场景下分别用于方位感渲染和空间感渲染的双耳房间冲击响应,以便对音频信号进行方位渲染和空间渲染。如此,使得电子设备能够根据不同的场景来渲染音频信号,以通过耳机为用户更加准确的还原出音频信号中的音频内容在当前场景下原有的表现力和沉浸感。
在一种可能的实现方式中,根据房间冲击响应和头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应以及用于空间感渲染的第二双耳房间冲击响应,包括:将房间冲击响应分解为房间冲击响应直达部分、房间冲击响应早期反射部分以及房间冲击响应晚期混响部分;根据房间冲击响应直达部分、房间冲击响应早期反射部分以及头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应;根据房间冲击响应早期反射部分、房间冲击响应晚期混响部分以及预设方位上的头相关传输函数,合成得到用于空间感渲染的第二双耳房间冲击响应。
由于方向感渲染主要为了准确还原空间声场中声像的位置,因此需要合成含有方位信息的第一双耳房间冲击响应来对相应声像进行渲染处理,同时上混后得到的音频信号的直达部分主要以对白和人声为主,因此合成的第一双耳房间冲击响应不能含有混响成分,这样会造成人声类信号的严重染色。因此,可根据房间冲击响应直达部分、房间冲击响应早期反射部分以及头相关传输函数来合成第一双耳房间冲击响应,从而避免造成人声类信号的严重染色。又由于空间感渲染主要为了实现重放声场的空间感和环绕感,同时使得音频渲染效果匹配当前用户所处环境,从而达到沉浸的体验感。空间感的渲染主要基于音频信号的扩散部分(如左声道的扩散部分和右声道的扩散部分),这部分音频信号以雨声、风声、鸟叫声等环境声为主,此类信号方向性弱。因此,相应生成的第二双耳房间冲击响应不能包含太多的方位信息(在方向感渲染处理时已经包含了一部分方位信息的音频信号)。所以,可根据房间冲击响应早期反射部分、房间冲击响应晚期混响部分以及指定方位的头相关传输函数,来合成第二双耳房间冲击响应以避免进行方位感渲染后方位过于清晰。
在另一种可能的实现方式中,头相关传输函数为根据耳机发送的头部跟踪信息匹配调整后的头相关传输函数。
如此,能够使最终渲染出来的音频信号中各声像的方位,不随用户的头部旋转而在空间中旋转,即声像能够在空间中保持固定。
在另一种可能的实现方式中,预设方位上的头相关传输函数包括:用户头部正前方的头相关传输函数、用户头部正后方的头相关传输函数、用户头部左边的头相关传输函数、用户头部右边的头相关传输函数、用户头部上方的头相关传输函数以及用户头部下方的头相关传输函数。
如此,能够为空间感渲染提供相对均匀的环绕效果。
在另一种可能的实现方式中,音频信号的扩散部分包括左声道扩散部分和右声道扩散部分。
在另一种可能的实现方式中,当前场景为用户选择的场景。
如此,可以使用户根据自身需求自主的对当前场景进行选择,以满足用户对音频信号渲染后效果的需求。
在另一种可能的实现方式中,当前场景为电子设备识别出的场景。
如此,通过电子设备识别当前场景,能够使用户在变换场景时不用主动切换场景,而电子设备可以自适应切换,提升用户体验。
在另一种可能的实现方式中,当前场景包括商场、影院、会议室、音乐厅、办公室、厨房、客厅中的任一个。
在另一种可能的实现方式中,预设的房间冲击响应数据库中包括用户自行测量的房间冲击响应。
如此,用户可以通过自行测量房间冲击响应,来扩充可作为当前场景的可选场景的数量,并且能够使房间冲击响应数据库中的房间冲击响应相对于用户实际所处的场景更加准确。
在另一种可能的实现方式中,预设的房间冲击响应数据库存储在云服务器中。
如此,能够避免房间冲击响应数据库对电子设备本地存储空间的占用。
第二方面,本申请提供一种音频信号处理装置,该装置可以应用于电子设备,用于实现上述第一方面中的方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,例如,房间冲击响应数据库、头相关传输函数容器(HRTF容器)、头相关传输函数选择匹配模块、上混器模块、分解器模块、第一双耳房间冲击响应生成模块、第二双耳房间冲击响应生成模块、方位感渲染模块、空间感渲染模块、合成模块等。
其中,上混器模块,可用于将音频信号分离为直达部分和扩散部分;分解器模块,可用于根据当前场景从预设的房间冲击响应数据库中获取对应的房间冲击响应,房间冲击响应数据库中包括与各场景对应的房间冲击响应,当前场景为电子设备当前所处的场景;第一双耳房间冲击响应生成模块和第二双耳房间冲击响应生成模块,可分别用于根据房间冲击响应和头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应以及用于空间感渲染的第二双耳房间冲击响应;方位感渲染模块,可用于根据第一双耳房间冲击响应对音频信号的直达部分和音频信号的扩散部分进行渲染处理,得到方位感渲染音频信号;空间感渲染模块,可用于根据第二双耳房间冲击响应对音频信号的扩散部分进行渲染,得到空间感渲染音频信号;合成模块,可用于合成方位感渲染音频信号和空间感渲染音频信号并向耳机输入。
在一种可能的实现方式中,分解器模块,还可以用于将房间冲击响应分解为房间冲击响应直达部分、房间冲击响应早期反射部分以及房间冲击响应晚期混响部分;第一双耳房间冲击响应生成模块,具体用于根据房间冲击响应直达部分、房间冲击响应早期反射部分以及头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应;第二房间冲击响应生成模块,具体用于根据房间冲击响应早期反射部分、房间冲击响应晚期混响部分以及预设方位上的头相关传输函数,合成得到用于空间感渲染的第二双耳房间冲击响应。
在另一种可能的实现方式中,头相关传输函数为根据耳机发送的头部跟踪信息匹配调整后的头相关传输函数。
在另一种可能的实现方式中,预设方位上的头相关传输函数包括:用户头部正前方的头相关传输函数、用户头部正后方的头相关传输函数、用户头部左边的头相关传输函数、用户头部右边的头相关传输函数、用户头部上方的头相关传输函数以及用户头部下方的头相关传输函数。
在另一种可能的实现方式中,音频信号的扩散部分包括左声道扩散部分和右声道扩散部分。
在另一种可能的实现方式中,当前场景为用户选择的场景。
在另一种可能的实现方式中,当前场景为电子设备识别出的场景。
在另一种可能的实现方式中,当前场景包括商场、影院、会议室、音乐厅、办公室、厨房、客厅中的任一个。
在另一种可能的实现方式中,预设的房间冲击响应数据库中包括用户自行测量的房间冲击响应。
在另一种可能的实现方式中,预设的房间冲击响应数据库存储在云服务器中。
第三方面,本申请实施例提供一种电子设备,包括:处理器,用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时,使得该电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的音频信号处理方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序指令。当计算机程序指令被电子设备执行时,使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的音频信号处理方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机可读代码,当所述计算机可读代码在电子设备中运行时,使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的音频信号处理方法。
应当理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1为相关技术提供的一种音频处理方法的流程示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3为本申请实施例提供的一种音频处理方法的流程示意图;
图4为本申请实施例提供的一种测量房间冲击响应的场景示意图;
图5a和图5b为本申请实施例提供的一种用户选择当前场景时电子设备的界面示意图;
图6为本申请实施例提供的一种房间冲击响应的示意图;
图7a和图7b为本申请实施例提供的一种用户感知声像的方位的场景示意图;
图8a和图8b为本申请实施例提供的另一种用户感知声像的方位的场景示意图;
图9为本申请实施例提供的另一种音频处理方法的流程示意图。
具体实施方式
随着手机、平板电脑、笔记本电脑等各种电子设备的普及,人们使用这些电子设备进行音视频娱乐的需求越来越高。例如,人们通过手机玩游戏、看视频或者听音乐等。通常为了不打扰别人,以及得到更好的听音体验,在使用电子设备玩游戏、看视频或者听音乐时越来越多的人开始佩戴耳机。
然而,耳机输出的音频信号为双耳信号,分别通过左右两个耳机传入人耳。目前各音视频平台的节目(电视剧、音乐、电影等)音频流大多数以立体声为主,虽然在音频制作阶段加入了各种渲染效果,但也主要以满足音频节目内容的效果为主,无法兼顾扬声器和耳机两类重放设备。因此,将此种立体声音频信号直接通过耳机输入给用户,无法准确还原音频内容原有的表现力和沉浸感,例如内容中各声像的方位、距离、空间感和环绕感均无法被准确还原。
在相关技术中,如图1所示,通常是将立体声音频流通过头相关传输函数(headrelated transfer functions,HRTF)进行方位感渲染(其中用于渲染的头相关传输函数,可以是根据耳机发送的头部跟踪信息从头相关传输函数容器中选择匹配得到),以及通过预设的双耳房间冲击响应或人工混响参数进行空间感渲染之后,将两种渲染得到的音频信号进行合成再向耳机输入。
而该技术中,由于空间渲染采用的参数为固定参数,因此无法针对不同的房间场景来对音频信号进行不同的渲染。所以,渲染的准确性不高,且无法适应不同的房间场景。
为解决上述问题,本申请实施例提供了一种音频信号处理方法,该方法可以应用于具有向耳机输入音频信号的功能的电子设备。例如,电子设备可以是手机,当用户将耳机与手机连接后,通过耳机收听手机上播放的音乐时,手机则可以采用该方法来对播放的音乐对应的音频进行处理并输入到耳机,从而使手机能够通过耳机向用户更加准确的还原出其播放的音乐原有的表现力和沉浸感。
通常,音频信号(如视频、游戏或音乐中的音频信号)可以分为直达部分和扩散部分。其中,直达部分包括声源产生的声波直接到达听音者位置的信号和一些初次或初几次反射到达听音者位置的信号。直达部分主要影响声场中声源的位置信息,如,声源的方位、距离等。扩散部分则包括声源中期或者后期反射到达听音者位置的信号。扩散部分主要影响声场的环绕感和空间感。
基于音频信号的上述特征,该音频信号处理方法,可以是当电子设备向耳机输入音频信号时,手机对音频信号进行上混处理,以从音频信号中分离出直达部分和扩散部分。以及根据当前场景从预先设置的房间冲击响应(room impulse response,RIR)数据库中获取对应的房间冲击响应。根据头相关传输函数和该房间冲击响应合成得到用于方位感渲染的双耳房间冲击响应(binaural room impulse reesponse,BRIR)以及用于空间感渲染的双耳房间冲击响应。然后可根据用于方位感渲染的双耳房间冲击响应,对音频信号分离出的直达部分和扩散部分进行方位感渲染,根据用于空间感渲染的双耳房间冲击响应,对音频信号分离出的扩散部分进行空间感渲染。最后可以将渲染完成的音频信号输入到耳机。
头相关传输函数,可以用于描述声波从声源到双耳的传输过程,是一种声音定位算法。当声音向我们传输而来时,头相关传输函数将对应于我们头部的相位与频率响应。从而可以通过头相关传输函数对头部对应方位上的声像进行处理,使用户感知到该声像的对应方位。
房间冲击响应,是指测量房间的声场中接收位置收到的由脉冲声源辐射的信号序列。能够体现出对应房间的声场特性。双耳房间冲击响应,描述了从声源到声接收位置听者双耳处的声传输过程,综合了房间及听者对声波的影响,能够体现出听者在对应房间所感知到的声场特性。
其中,当前场景是指用户选择的或者智能识别出的电子设备向耳机输入音频信号时所处的房间场景。例如,商场、影院、会议室、音乐厅、办公室、厨房、客厅等。
示例地,根据佩戴方式的不同,本申请实施例中的耳机可以是头戴式耳机、入耳式耳机、挂耳式耳机等。根据连接方式的不同,本申请实施例中的耳机可以是蓝牙耳机、有线耳机、真无线立体声(true wireless stereo,TWS)耳机等。
由于房间冲击响应的测量相对简便,一个房间只需测量一次。因此包括不同场景的房间冲击响应的数据库存储的数据量相对较小,便于存储。而根据当前场景,可以方便的根据对应的房间冲击响应和头相关传输函数,得到当前场景下分别用于方位感渲染和空间感渲染的双耳房间冲击响应,以便对音频信号进行方位渲染和空间渲染。如此,使得电子设备能够根据不同的场景来渲染音频信号,以通过耳机为用户更加准确的还原出音频信号中的音频内容在当前场景下原有的表现力和沉浸感。
以下,将结合附图对本申请实施例提供的音频信号处理方法进行说明。
在本申请实施例中,电子设备具有向耳机输入音频信号的功能,可以是手机、平板电脑、手持计算机,PC,蜂窝电话,个人数字助理(personal digital assistant,PDA),可穿戴式设备(如:智能手表、智能手环),智能家居设备(如:电视机),车机(如:车载电脑),智慧屏,投影仪,游戏机,相机,以及增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备等。本申请实施例对于电子设备的具体设备形态不作特殊限制。
示例地,以电子设备为手机为例,图2示出了本申请实施例提供的一种电子设备的结构示意图。也即,示例性的,图2所示的电子设备可以是手机。
如图2所示,电子设备可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口295等。其中,传感器模块280可以包括压力传感器280A,陀螺仪传感器280B,气压传感器280C,磁传感器280D,加速度传感器280E,距离传感器280F,接近光传感器280G,指纹传感器280H,温度传感器280J,触摸传感器280K,环境光传感器280L,骨传导传感器280M等。
可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块250可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块250可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中,移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
无线通信模块260可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏294,N为大于1的正整数。
电子设备可以通过ISP,摄像头293(即镜头,通常包括感光传感器和镜头组),视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。在一些实施例中,电子设备可以包括1个或N个摄像头293,N为大于1的正整数。示例地,在本申请实施例中,电子设备可以包括三个摄像头,其中一个为主摄镜头,一个为长焦镜头,一个为超广角镜头,电子设备也可以只包括一个主摄镜头。可选地,电子设备还可以包括深度摄像头或深度传感器以在拍摄时对取景画面进行深度检测。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行电子设备的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
当然,可以理解的,上述图2所示仅仅为电子设备的形态为手机时的示例性说明。若电子设备是平板电脑,手持计算机,PC,PDA,可穿戴式设备(如:智能手表、智能手环),智能家居设备(如:电视机),车机(如:车载电脑),智慧屏,游戏机,投影仪,以及AR/VR设备等其他设备形态时,电子设备的结构中可以包括比图2中所示更少的结构,也可以包括比图2中所示更多的结构,在此不作限制。
以下实施例中的方法均可以在具有上述硬件结构的电子设备中实现。
以电子设备为手机为例,图3示出了本申请实施例提供的一种音频信号处理方法的流程示意图。如图3所示,该音频信号处理方法包括以下S301-S307。
S301、将音频信号分离为直达部分和扩散部分。
通常,电子设备根据视频、游戏或音乐的音频数据生成的音频信号为立体声音频信号(通常包括左声道部分和右声道部分),以满足双扬声器或耳机播放的需求。即电子设备生成的音频信号一般为经过深度下混,基于双通道将不同方位的声像进行分解或合并得到的音频信号。因此,如果直接采用电子设备生成的音频信号进行渲染,则渲染后的音频信号的声场会不清晰,各声像的方位会不准确。因此,可以对电子设备生成的音频信号进行上混处理,以将音频信号分离成音频信号的直达部分和音频信号的扩散部分。
音频信号的直达部分通常包括声源产生声波直接到达听音者位置的信号和一些初次或初几次反射到达听音者位置的信号,主要影响声场中声源的位置信息。扩散部分包括声源中期或者后期反射到达听音者位置的信号,主要影响声场的环绕感和空间感。
可选地,音频信号的扩散部分可以包括左声道扩散部分(L_diffuse)和右声道扩散部分(R_diffuse)。
示例地,可以通过上混算法,如上混矩阵法、主成分分析法、最小均方误差分解法等,来对音频信号进行分离以得到音频信号的直达部分和音频信号的扩散部分。
例如,以采用上混矩阵法分离电子设备生成的音频信号为例,可根据如下公式来分离得到音频信号的直达部分和音频信号的扩散部分:
其中,L_diffuse为音频信号的左声道扩散部分,R_diffuse为音频信号的右声道扩散部分,C_direct为音频信号的直达部分。L为电子设备生成的音频信号的左声道部分,R为电子设备生成的音频信号的右声道部分。
S302、根据当前场景从预先设置的房间冲击响应数据库中获取对应的房间冲击响应,并将该房间冲击响应分解为房间冲击响应直达部分(RIR_direct_part)、房间冲击响应早期反射部分(RIR_early_reflection)以及房间冲击响应晚期混响部分(RIR_later_reverberation)。
其中,预先设置的房间冲击响应数据库可以是,根据预先测量不同房间场景得到的各房间场景对应的房间冲击响应建立的数据库。可选地,针对办公室、客厅、厨房、卧室等私人房间场景,用户还可以自行测量相应房间场景的房间冲击响应以添加到该数据库中。例如,如图4所示,用户可以在需要测量的房间中将相互通信连接的手机401和耳机402间隔一定距离放置。然后通过手机401的扬声器播放用于测量的特定音频,而通过耳机402的麦克风接收该特定音频并传输给手机401。从而手机401可以根据耳机402的麦克风接收到的音频信号处理得到相应房间的房间冲击响应。
可选地,房间冲击响应数据库中各房间场景的房间冲击响应还可以均由用户自行测量存储,此处不做限制。
该房间冲击响应数据库可以存储在云端(即云服务器),由电子设备从云端下载获取当前场景对应的房间冲击响应。可选地,该数据库还可以存储在电子设备本地,此处不做限制。示例地,还可以将用户自行测量的私人房间场景的房间冲击响应存储在电子设备本地,而将其他公共房间场景的房间冲击响应存储在云端。即房间冲击响应数据库包括私有库(用户自行测量的房间冲击响应组成的数据库)和公有库(预先测量存储的公共房间场景的房间冲击响应组成的数据库),其中私有库存储在本地,公有库存储在云端。
可选地,当前场景为电子设备当前所处的房间场景。例如,商场、影院、会议室、音乐厅、办公室、厨房、客厅等。
需要说明的是当前场景可以是用户选择也可以是电子设备智能识别的。
例如,如图5a所示,电子设备的设置列表中可以包括用于设置当前场景的功能选项“听音场景”。当用户点击该功能选项时,如图5b所示,响应于用户的点击操作,电子设备可以显示可选地的房间场景。如,商场、影院、会议室、音乐厅、办公室、厨房、客厅等。用户可以通过点击选择相应的房间场景为当前场景。
又例如,电子设备可以根据当前所处的环境智能识别当前场景。如电子设备检测到当前接入了办公室局域网时,则确定当前场景为办公室。又如,电子设备检测到当前定位的位置为用户居所的位置时,则确定当前场景为客厅。在本申请实施例中对于电子设备如何智能识别当前场景不做限制。
示例地,房间冲击响应数据库中可以包括各种房间冲击响应以及对应的房间场景标记,从而电子设备可以当前场景从数据库中根据房间场景标记匹配出对应的房间冲击响应。
需要说明的是,如图6所示,音频信号在房间中从音源传播到接收方时,会有一部分信号直接到达接收方(即房间冲击响应直达部分),还会有一部分信号会经房间墙壁反射后到达接收方(即房间冲击响应早期反射部分),另一部分信号则会经房间墙壁反射扩散之后才到达接收方(即房间冲击响应晚期混响部分)。其中,直接到达接收方的部分由于传播路径最短通常最先到达,且能量最大。经墙壁反射扩散后到达接收方的部分,则由于经历了反射和不断扩散,其到达时间最晚,且能量最小。房间冲击响应直达部分主要影响声场中声源的位置信息,而房间冲击响应晚期混响部分则主要影响声场的环绕感和空间感。
因此,在本申请实施例中,可以基于图6所示的房间冲击响应特性来对房间冲击响应进行分解,以得到房间冲击响应直达部分、房间冲击响应早期反射部分以及房间冲击响应晚期混响部分。例如,可以根据时间、能量大小以及能量密度来分解,此处不做限制。
S303、根据房间冲击响应直达部分、房间冲击响应早期反射部分以及头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应。
需要说明的是,方向感渲染主要为了准确还原空间声场中声像的位置,因此需要合成含有方位信息的第一双耳房间冲击响应来对相应声像进行渲染处理,同时上混后得到的音频信号的直达部分主要以对白和人声为主,因此合成的第一双耳房间冲击响应不能含有混响成分,这样会造成人声类信号的严重染色。因此,可根据房间冲击响应直达部分、房间冲击响应早期反射部分以及头相关传输函数来合成第一双耳房间冲击响应。
其中,头相关传输函数可以采用预设的头相关传输函数数据库中与用户头部各个方位对应的头相关传输函数。
可选地,头相关传输函数还可以是根据耳机对用户进行头部跟踪得到的头部跟踪信息,对预设的头相关传输函数数据库中的头相关传输函数进行匹配调整后的头相关传输函数。从而使最终渲染出来的音频信号中各声像的方位,能够不随用户的头部旋转而在空间中旋转。例如,如图7a所示,音频信号中有一个声像(如吉他声)A的方位在用户头部正前方,则如图7b所示,当用户头部向右旋转90度时,通过根据头部跟踪信息调整后的头相关传输函数对音频信号进行处理,用户感知到的该声像A的方位便会变为用户头部的左边。即能够实现音频信号中各声像的方位在空间中保持固定,以使各声像的方位随着用户头部的旋转,与用户的头部会产生相对位移,从而在用户听音时向用户提供类似音响听音的沉浸感。
示例地,耳机中可以设置惯性传感器(如,加速度传感器,陀螺仪传感器等)来对用户进行头部跟踪,以检测用户的头部旋转得到头部跟踪信息。从而在用户头部旋转时,耳机便可以将检测到的头部跟踪信息发送给电子设备。电子设备便可以根据头部跟踪信息来对预设的头相关传输函数数据库中的头相关传输函数进行匹配调整。
需要说明的是,头相关传输函数是与头部各方位对应的。即,用户头部各方位上会对应一个头相关传输函数,从而使音频信号中的声像通过用户头部相应方位上的头相关传输函数处理后,能够被用户感知到该声像的方位为对应方位。如,某个声像通过用户头部正前方对应的头相关传输函数处理,则用户可感知到该声像的方位在头部的正前方。所以,为了能够使用户感知到对应方位上的声像,用户头部的各方位上对应的头相关传输函数是固定的。
通常头相关传输函数标记有对应的方位,且标记的方位与该头相关传输函数所对应的头部的方位一致。如,头部正前方对应的头相关传输函数标记的方位为正前方,头部左边对应的头相关传输函数标记的方位为左方等。从而在对音频信号中各方位的声像进行处理时,对相应的声像可采用标记的方位与该声像的方位相对应的头相关传输函数来处理。进而在用户头部处于默认状态(通常默认状态为用户头部正前方朝向电子设备)时,使得用户感知到的相应的声像的方位能够与该声像的方位一致。但当用户头部转动之后,由于对各声像进行处理的头相关传输函数没有变,所以用户感知到的方位会随用户的头部转动而转动,对于用户而言,感知到的声像的方位在空间中不是保持固定的。
因此在用户头部转动时,可以通过调整各头相关传输函数标记的方位,来改变处理相应方位的声像所采用的头相关传输函数。进而改变用户对声像的方位的感知,以使用户头部转动后,感知的声像的方位能够与用户头部发生相对位移,实现用户头部转动时用户感知到的声像的方位在空间中保持固定。
示例地,根据头部跟踪信息对预设的头相关传输函数数据库中的头相关传输函数进行匹配调整的方式可以是:根据头部跟踪信息确定用户头部转动的角度之后,按照用户头部转动的角度,将用户头部各方位上的头相关传输函数标记的方位进行重新标记。例如,根据用户头部的转动角度,将各头相关传输函数标记的方位分别调整为转动对应角度后的方位。从而使音频信号中的声像能够根据重新标记了方位的头相关传输函数进行处理,以实现声像的方位随用户头部的转动而相对位移,但在空间中方位保持固定。
例如,如图8a所示,当用户头部的正前方朝向电子设备时(即用户头部处于默认状态时),用户感知到声像A的方位位于用户头部的正前方,用户感知到声像B的方位位于用户头部的右边,用户感知到声像C的方位位于用户头部的正后方,用户感知到声像D的方位位于用户头部的左边。当用户头部向右旋转90度时,如图8b所示,若保持声像A、声像B、声像C以及声像D在空间中的方位不变,则用户此时感知到的声像B的方位应该为用户头部的正前方,感知到的声像C的方位应该为用户头部的右边,感知到的声像D的方位应该为用户头部的正后方,感知到的声像A的方位应该为用户头部的左边。所以,此时,应该采用用户头部正前方对应的头相关传输函数来处理声像B,因此需要将用户头部正前方对应的头相关传输函数标记的方位,从对应于声像A的方位(即正前方)调整为对应于声像B的方位(即右边)。同样,此时应该采用用户头部右边对应的头相关传输函数来处理声像C,因此需要将用户头部右边对应的头相关传输函数标记的方位从对应于声像B的方位(即右边)调整为对应于声像C的方位(即正后方)。此时应该采用用户头部正后方对应的头相关传输函数来处理声像D,因此需要将用户头部正后方对应的头相关传输函数标记的方位从对应于声像C的方位(即正后方)调整为对应于声像D的方位(即左边)。此时还应该采用用户头部左边对应的头相关传输函数来处理声像A,因此需要将用户头部左边对应的头相关传输函数标记的方位从对应于声像D的方位(即左边)调整为对应于声像A的方位(即正前方)。
即,如图8a和图8b所示的示例中,当用户将头部向右旋转90度时,可以将用户头部正前方、右边、正后方、左边等用户头部各个方向上的头相关传输函数的标记的方位分别调整为向右转动90度后的方位。如,将用户正前方上的头相关传输函数的标记方位从正前方调整为右边、将用户右边方位上对应的头相关传输函数的标记方位从右边调整为正后方、将用户正后方上对应的头相关传输函数的标记方位从正后方调整为左边、将用户左边方位上对应的头相关传输函数的标记方位从左边调整为正前方等。
可选地,第一双耳房间冲击响应可以是通过将各方向的头相关传输函数分别与房间冲击响应直达部分、房间冲击响应早期反射部分卷积合成,得到的用于渲染不同方位的声像的双耳房间冲击响应。从而便于后续根据第一双耳房间冲击响应对相应方位的声像进行渲染处理。
S304、根据第一双耳房间冲击响应对音频信号的直达部分和音频信号的扩散部分进行渲染处理,得到方位感渲染音频信号。
示例地,可以通过将音频信号的直达部分和音频信号的扩散部分,分别按照预设的比例系数与第一双耳房间冲击响应卷积的方式来进行渲染处理。从而通过第一双耳房间冲击响应中的房间冲击响应直达部分、早期反射部分以及对应方位的头相关传输函数,来对音频信号中各方位的声像进行处理,以渲染出音频信号中各声像的方位。
通常,通过第一双耳房间冲击响应渲染处理后得到的方位感渲染音频信号为双声道音频信号(如包括方位感渲染音频信号的左声道信号和右声道信号),从而便于向耳机进行双声道输入。
S305、根据房间冲击响应早期反射部分、房间冲击响应晚期混响部分以及指定方位的头相关传输函数,合成得到用于空间感渲染的第二双耳房间冲击响应。
需要说明的是,空间感渲染主要为了实现重放声场的空间感和环绕感,同时使得音频渲染效果匹配当前用户所处环境,从而达到沉浸的体验感。空间感的渲染主要基于音频信号的扩散部分(如左声道的扩散部分和右声道的扩散部分),这部分音频信号以雨声、风声、鸟叫声等环境声为主,此类信号方向性弱。因此,相应生成的第二双耳房间冲击响应不能包含太多的方位信息(在方向感渲染处理时已经包含了一部分方位信息的音频信号)。所以,可根据房间冲击响应早期反射部分、房间冲击响应晚期混响部分以及指定方位的头相关传输函数,来合成第二双耳房间冲击响应。
其中,指定方位的头相关传输函数(即预设方位上的头相关传输函数),可以是预设的环绕用户头部对应方位的几个特定方位上的头相关传输函数。例如,可以是用户头部正前方对应的头相关传输函数、用户头部正后方对应的头相关传输函数、用户头部左边对应的头相关传输函数、用户头部右边对应的头相关传输函数、用户头部上方对应的头相关传输函数以及用户头部下方对应的头相关传输函数。
可选地,第二双耳房间冲击响应,可以是通过房间冲击响应早期反射部分、房间冲击响应晚期混响部分以及指定方位的头相关传输函数卷积合成得到的。
S306、根据第二双耳房间冲击响应对音频信号的扩散部分进行渲染,得到空间感渲染音频信号。
示例地,可以通过将音频信号的扩散部分(如左声道扩散部分和右声道扩散部分)与第二双耳房间冲击响应卷积的方式来进行渲染处理。从而渲染出音频信号中声场的环绕感和空间感。
通常,通过第二双耳房间冲击响应渲染处理后得到的空间感渲染音频信号为双声道音频信号(如包括空间感渲染音频信号的左声道信号和右声道信号),从而便于向耳机进行双声道输入。
S307、合成方位感渲染音频信号和空间感渲染音频信号并向耳机输入。
示例地,将方位感渲染音频信号的左声道信号与空间感渲染音频信号的左声道信号进行叠加,以得到渲染信号的左声道信号。将方位感渲染音频信号的右声道信号与空间感渲染音频信号的右声道信号进行叠加,以得到渲染信号的右声道信号。从而,将最终得到的渲染信号的左声道信号和渲染信号的右声道信号输入到耳机,以通过耳机进行播放。
需要说明的是,在如图3所示的方法中,对于S301和S302的先后顺序不做限制。并且,对于S303和S305的先后顺序也不做限制。且,S304只要在S304之后,S306只要在S305之后即可,此处不做限制。
在本申请实施例中,基于如图3所示的方法,如图9所示,电子设备可以包括房间冲击响应数据库、头相关传输函数容器(HRTF容器)、头相关传输函数选择匹配模块、上混器模块、分解器模块、第一双耳房间冲击响应生成模块、第二双耳房间冲击响应生成模块、方位感渲染模块、空间感渲染模块、合成模块等。
在电子设备生成立体声音频信号时,上混器模块可以将该立体声音频信号上混分离为直达部分、左声道扩散部分以及右声道扩散部分。分解器模块可以根据当前场景从房间冲击响应数据库中获取当前场景对应的房间冲击响应,并将该房间冲击响应分集为房间冲击响应直达部分、房间冲击响应早期反射部分以及房间冲击响应晚期混响部分。从而第一双耳房间冲击响应生成模块可以根据房间冲击响应直达部分、房间冲击响应早期反射部分以及头相关传输函数(该头相关传输函数可以是头相关传输函数选择匹配模块,根据耳机发送头部跟踪信息从头相关传输函数容器中选择匹配得到的,具体可参见S303),合成第一双耳房间冲击响应。方位感渲染模块便可根据第一双耳房间冲击响应对音频信号的直达部分、左声道扩散部分以及右声道扩散部分进行渲染,得到方位感渲染音频信号。第二双耳房间冲击响应生成模块可以根据房间冲击响应早期反射部分、房间冲击响应晚期混响部分以及指定方位的头相关传输函数,合成第二双耳房间冲击响应。空间感渲染模块便可以根据第二双耳房间冲击响应对音频信号的左声道扩散部分以及右声道扩散部分进行渲染,得到空间感渲染音频信号。最后,合成模块可以将方位感渲染音频信号和空间感渲染音频信号进行合成并向耳机输入。
采用上述实施例中的方法,由于房间冲击响应的测量相对简便,一个房间只需测量一次。因此包括不同场景的房间冲击响应的数据库存储的数据量相对较小,便于存储。而根据当前场景,可以方便的根据对应的房间冲击响应和头相关传输函数,得到当前场景下分别用于方位感渲染和空间感渲染的双耳房间冲击响应,以便对音频信号进行方位渲染和空间渲染。如此,使得电子设备能够根据不同的场景来渲染音频信号,以通过耳机为用户更加准确的还原出音频信号中的音频内容在当前场景下原有的表现力和沉浸感。
对应于前述实施例中的方法,本申请实施例还提供一种音频信号处理装置。该装置可以应用于上述的电子设备用于实现前述实施例中的方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。例如,该装置包括:房间冲击响应数据库、头相关传输函数容器(HRTF容器)、头相关传输函数选择匹配模块、上混器模块、分解器模块、第一双耳房间冲击响应生成模块、第二双耳房间冲击响应生成模块、方位感渲染模块、空间感渲染模块、合成模块等。通过上述模块相互配合可以实现上述实施例中相关的方法,具体可参考图9及其相关描述,此处不做赘述。
应理解以上装置中单元或模块(以下均称为单元)的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元以硬件的形式实现。
例如,各个单元可以为单独设立的处理元件,也可以集成在装置的某一个芯片中实现,此外,也可以以程序的形式存储于存储器中,由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件又可以称为处理器,可以是一种具有信号的处理能力的集成电路。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。
在一个例子中,以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或这些集成电路形式中至少两种的组合。
再如,当装置中的单元可以通过处理元件调度程序的形式实现时,该处理元件可以是通用处理器,例如CPU或其它可以调用程序的处理器。再如,这些单元可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
在一种实现中,以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如,该装置可以包括处理元件和存储元件,处理元件调用存储元件存储的程序,以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件,即片内存储元件。
在另一种实现中,用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件,即片外存储元件。此时,处理元件从片外存储元件调用或加载程序于片内存储元件上,以调用并执行以上方法实施例所述的方法。
例如,本申请实施例还可以提供一种装置,如:电子设备,可以包括:处理器,用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时,使得该电子设备实现如前述实施例中电子设备实施的音频信号处理方法。该存储器可以位于该电子设备之内,也可以位于该电子设备之外。且该处理器包括一个或多个。
在又一种实现中,该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件,这些处理元件可以设置于对应上述的电子设备上,这里的处理元件可以为集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或者这些类集成电路的组合。这些集成电路可以集成在一起,构成芯片。
例如,本申请实施例还提供一种芯片系统,该芯片系统可以应用于上述电子设备。芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;处理器通过接口电路从电子设备的存储器接收并执行计算机指令,以实现以上方法实施例中电子设备相关的方法。
本申请实施例还提供一种计算机程序产品,包括电子设备,如上述电子设备,运行的计算机指令。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,如:程序。该软件产品存储在一个程序产品,如计算机可读存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
例如,本申请实施例还可以提供一种计算机可读存储介质,其上存储有计算机程序指令。当计算机程序指令被电子设备执行时,使得电子设备实现如前述方法实施例中所述的音频信号处理方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种音频信号处理方法,其特征在于,应用于音频系统中的电子设备,所述音频系统包括通信连接的电子设备和耳机,所述方法包括:
将音频信号分离为直达部分和扩散部分;
根据当前场景从预设的房间冲击响应数据库中获取对应的房间冲击响应,所述房间冲击响应数据库中包括与各场景对应的房间冲击响应,所述当前场景为所述电子设备当前所处的场景;
根据所述房间冲击响应和头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应以及用于空间感渲染的第二双耳房间冲击响应;
根据所述第一双耳房间冲击响应对所述音频信号的直达部分和所述音频信号的扩散部分进行渲染处理,得到方位感渲染音频信号;
根据所述第二双耳房间冲击响应对所述音频信号的扩散部分进行渲染,得到空间感渲染音频信号;
合成所述方位感渲染音频信号和所述空间感渲染音频信号并向所述耳机输入。
2.根据权利要求1所述的方法,其特征在于,所述根据所述房间冲击响应和头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应以及用于空间感渲染的第二双耳房间冲击响应,包括:
将所述房间冲击响应分解为房间冲击响应直达部分、房间冲击响应早期反射部分以及房间冲击响应晚期混响部分;
根据所述房间冲击响应直达部分、所述房间冲击响应早期反射部分以及头相关传输函数,合成得到用于方位感渲染的第一双耳房间冲击响应;
根据所述房间冲击响应早期反射部分、所述房间冲击响应晚期混响部分以及预设方位上的头相关传输函数,合成得到用于空间感渲染的第二双耳房间冲击响应。
3.根据权利要求2所述的方法,其特征在于,所述头相关传输函数为根据所述耳机发送的头部跟踪信息匹配调整后的头相关传输函数。
4.根据权利要求2或3所述的方法,其特征在于,所述预设方位上的头相关传输函数包括:用户头部正前方的头相关传输函数、用户头部正后方的头相关传输函数、用户头部左边的头相关传输函数、用户头部右边的头相关传输函数、用户头部上方的头相关传输函数以及用户头部下方的头相关传输函数。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述音频信号的扩散部分包括左声道扩散部分和右声道扩散部分。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述当前场景为用户选择的场景。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述当前场景为所述电子设备识别出的场景。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述当前场景包括商场、影院、会议室、音乐厅、办公室、厨房、客厅中的任一个。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述预设的房间冲击响应数据库中包括用户自行测量的房间冲击响应。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述预设的房间冲击响应数据库存储在云服务器中。
11.一种电子设备,其特征在于,包括:处理器,用于存储所述处理器可执行指令的存储器,所述处理器被配置为执行所述指令时,使得所述电子设备实现如权利要求1至10任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序指令;其特征在于,当所述计算机程序指令被电子设备执行时,使得电子设备实现如权利要求1至10任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210380751.5A CN116939474A (zh) | 2022-04-12 | 2022-04-12 | 一种音频信号处理方法及电子设备 |
EP22893948.4A EP4284027A4 (en) | 2022-04-12 | 2022-12-12 | AUDIO SIGNAL PROCESSING METHOD AND ELECTRONIC DEVICE |
PCT/CN2022/138456 WO2023197646A1 (zh) | 2022-04-12 | 2022-12-12 | 一种音频信号处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210380751.5A CN116939474A (zh) | 2022-04-12 | 2022-04-12 | 一种音频信号处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116939474A true CN116939474A (zh) | 2023-10-24 |
Family
ID=87060572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210380751.5A Pending CN116939474A (zh) | 2022-04-12 | 2022-04-12 | 一种音频信号处理方法及电子设备 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4284027A4 (zh) |
CN (1) | CN116939474A (zh) |
WO (1) | WO2023197646A1 (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104919820B (zh) * | 2013-01-17 | 2017-04-26 | 皇家飞利浦有限公司 | 双耳音频处理 |
US9319819B2 (en) * | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
US10805757B2 (en) * | 2015-12-31 | 2020-10-13 | Creative Technology Ltd | Method for generating a customized/personalized head related transfer function |
US10327090B2 (en) * | 2016-09-13 | 2019-06-18 | Lg Electronics Inc. | Distance rendering method for audio signal and apparatus for outputting audio signal using same |
US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
US11200906B2 (en) * | 2017-09-15 | 2021-12-14 | Lg Electronics, Inc. | Audio encoding method, to which BRIR/RIR parameterization is applied, and method and device for reproducing audio by using parameterized BRIR/RIR information |
GB2593170A (en) * | 2020-03-16 | 2021-09-22 | Nokia Technologies Oy | Rendering reverberation |
WO2022108494A1 (en) * | 2020-11-17 | 2022-05-27 | Dirac Research Ab | Improved modeling and/or determination of binaural room impulse responses for audio applications |
-
2022
- 2022-04-12 CN CN202210380751.5A patent/CN116939474A/zh active Pending
- 2022-12-12 WO PCT/CN2022/138456 patent/WO2023197646A1/zh active Application Filing
- 2022-12-12 EP EP22893948.4A patent/EP4284027A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023197646A1 (zh) | 2023-10-19 |
EP4284027A4 (en) | 2024-05-15 |
EP4284027A1 (en) | 2023-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10397722B2 (en) | Distributed audio capture and mixing | |
US10200788B2 (en) | Spatial audio apparatus | |
US20180357038A1 (en) | Audio metadata modification at rendering device | |
US20110316967A1 (en) | Facilitating communications using a portable communication device and directed sound output | |
US20230396926A1 (en) | Systems and methods for ultra-wideband applications | |
US10542368B2 (en) | Audio content modification for playback audio | |
CN114727212B (zh) | 音频的处理方法及电子设备 | |
WO2022242405A1 (zh) | 语音通话方法和装置、电子设备及计算机可读存储介质 | |
US11272304B2 (en) | Method and terminal for playing audio data, and storage medium thereof | |
US9832587B1 (en) | Assisted near-distance communication using binaural cues | |
CN114710739A (zh) | 一种头部相关函数hrtf的确定方法、电子设备及存储介质 | |
CN114390426A (zh) | 一种音量校准方法及装置 | |
CN116668892B (zh) | 音频信号的处理方法、电子设备及可读存储介质 | |
CN114598984B (zh) | 立体声合成方法和系统 | |
WO2023197646A1 (zh) | 一种音频信号处理方法及电子设备 | |
CN114667744B (zh) | 实时通信方法、装置和系统 | |
CN115967887A (zh) | 一种处理声像方位的方法和终端 | |
WO2022197856A1 (en) | Systems and methods for ultra-wideband applications | |
CN116055983B (zh) | 一种音频信号处理方法及电子设备 | |
WO2023212880A1 (zh) | 音频处理方法、装置及存储介质 | |
WO2024046182A1 (zh) | 一种音频播放方法、系统及相关装置 | |
CN117676002A (zh) | 音频处理方法及电子设备 | |
CN116781817A (zh) | 双耳拾音方法和装置 | |
CN116048241A (zh) | 一种提示方法、扩展现实设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |