CN110856095A - 音频处理方法和装置 - Google Patents

音频处理方法和装置 Download PDF

Info

Publication number
CN110856095A
CN110856095A CN201810950090.9A CN201810950090A CN110856095A CN 110856095 A CN110856095 A CN 110856095A CN 201810950090 A CN201810950090 A CN 201810950090A CN 110856095 A CN110856095 A CN 110856095A
Authority
CN
China
Prior art keywords
target
hrtf
hrtfs
correction factor
sum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810950090.9A
Other languages
English (en)
Other versions
CN110856095B (zh
Inventor
加文·科尔尼
卡尔·阿姆斯特朗
王宾
刘泽新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202111355571.3A priority Critical patent/CN114205730A/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810950090.9A priority patent/CN110856095B/zh
Priority to EP19851651.0A priority patent/EP3833056A4/en
Priority to KR1020217007802A priority patent/KR102502551B1/ko
Priority to BR112021003158-8A priority patent/BR112021003158A2/pt
Priority to PCT/CN2019/078780 priority patent/WO2020037983A1/zh
Priority to KR1020237005716A priority patent/KR20230027335A/ko
Publication of CN110856095A publication Critical patent/CN110856095A/zh
Priority to US17/179,619 priority patent/US11451921B2/en
Application granted granted Critical
Publication of CN110856095B publication Critical patent/CN110856095B/zh
Priority to US17/879,114 priority patent/US11863964B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Abstract

本申请实施例提供一种音频处理方法和装置,该方法包括:获取待处理音频信号经M个虚拟扬声器处理后的M个音频信号;获取M个第一HRTF和M个第二HRTF,M个第一HRTF为M个音频信号从M个虚拟扬声器至左耳位置对应的HRTF,M个第二HRTF为M个音频信号从M个虚拟扬声器至右耳位置对应的HRTF;修正a个第一HRTF的高频段脉冲响应,以得到a个第一目标HRTF,以及修正b个第二HRTF的高频段脉冲响应,以得到b个第二目标HRTF;根据a个第一目标HRTF、c个第一HRTF和M个音频信号,获取左耳位置对应的第一目标音频信号,根据d个第二HRTF、b个第二目标HRTF和M个音频信号,获取右耳位置对应的第二目标音频信号,a+c=M,b+d=M。本申请实施例降低了第一目标音频信号和第二目标音频信号之间的串扰。

Description

音频处理方法和装置
技术领域
本申请涉及声音处理技术,尤其涉及一种音频处理方法和装置。
背景技术
随着高性能计算机和信号处理技术的飞速发展,虚拟现实技术受到越来越多的关注。一个具有沉浸感的虚拟现实系统,不仅需要震撼的视觉效果,还需要逼真的听觉效果,视听的融合能大大提高虚拟现实的体验感。虚拟现实音频的核心是三维音频技术,目前实现三维音频有多种重放方法(例如基于多通道的方法和基于对象的方法),但在现有虚拟现实设备中最常用的还是基于多通道耳机的双耳重放。
现有技术中渲染出的立体声信号中包括的左声道信号(相对于左耳位置的音频信号)和右声道信号(相对于右耳位置的音频信号),左声道信号和右声道信号都是通过各个方位对应的HRTF卷积每个相应方位的虚拟扬声器处理后的音频信号,得到多个卷积音频信号,然后叠加多个卷积音频信号得到的;该种方法得到的左声道信号和右声道信号之间存在串扰。
发明内容
本申请实施例提供一种音频处理方法和装置,降低了音频信号接收端输出的左声道信号和右声道信号之间串扰。
第一方面,本申请实施例提供一种音频处理方法,包括:
获取待处理音频信号经M个虚拟扬声器处理后的M个第一音频信号;M为正整数;所述M个虚拟扬声器与所述M个第一音频信号一一对应;
获取M个第一头相关传输函数HRTF和M个第二HRTF,所述M个第一HRTF为所述M个第一音频信号从所述M个虚拟扬声器至左耳位置所对应的HRTF,所述M个第二HRTF为所述M个第一音频信号从所述M个虚拟扬声器至右耳位置所对应的HRTF;所述M个第一HRTF为M个虚拟扬声器一一对应,所述M个第二HRTF为M个虚拟扬声器一一对应;
修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,以及修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF;其中,1≤a≤M,1≤b≤M,且a和b均为整数;
根据所述a个第一目标HRTF、c个第一HRTF和所述M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,以及根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取当前右耳位置对应的第二目标音频信号;其中,所述c个第一HRTF为所述M个第一HRTF中除所述a个第一HRTF之外的HRTF,所述d个第二HRTF为所述M个第二HRTF中除所述b个第二HRTF之外的HRTF,a+c=M,b+d=M。
该方案中,由于第一目标音频信号和第二目标音频信号之间的串扰主要是两者信号的高频段引起的,因此,修正a个第一HRTF的高频段的脉冲响应,可以降低得到的第一目标音频信号对第二目标音频信号的干扰;同理,修正b个第二HRTF的高频段的脉冲响应,可以降低第二目标音频信号对第一目标音频信号的干扰,从而使得左耳位置对应的第一目标音频信号和右耳位置对应的第二目标音频信号之间的串扰降低。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第一HRTF,包括:获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;根据所述M个第一位置以及所述对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF。
通过该设计,得到了M个第一HRTF。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第二HRTF,包括:获取所述M个第二虚拟扬声器相对于当前右耳位置的M个第二位置;根据所述M个第二位置以及所述对应关系,确定所述M个第二位置所对应的M个HRTF为所述M个第二HRTF。
通过该设计,得到了M个第二HRTF。
在一种可能的设计中,根据所述a个第一目标HRTF、c个第一HRTF和所述M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,包括:将所述M个第一音频信号分别与所述a个第一目标HRTF和所述c个第一HRTF中对应的HRTF卷积,以得到M个第一卷积音频信号;根据所述M个第一卷积音频信号,以得到所述第一目标音频信号。
通过该设计,得到了当前左耳位置对应的第一目标音频信号,也就是左声道信号。
在一种可能的设计中,所述根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取当前右耳位置对应的第二目标音频信号,包括:将所述M个第一音频信号分别与d个第二HRTF和所述b个第二目标HRTF中对应的HRTF卷积,以得到M个第二卷积音频信号;根据所述M个第二卷积音频信号,以得到所述第二目标音频信号。
通过该设计,得到了当前右耳位置对应的第二目标音频信号,也就是右声道信号。
在一种可能的设计中,所述a个第一HRTF为位于目标中心的第一侧的a个虚拟扬声器对应的a个第一HRTF,第一侧为目标中心远离当前左耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
在该可能的设计中,所述修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,具有如下可能的实施方式;
第一种实施方式:将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第一目标HRTF,所述第一修正因子大于0且小于1。
本实施方式中,对远离当前左耳位置的虚拟扬声器对应的第一HRTF的高频段的脉冲响应采用第一修正因子进行了修正,第一修正因子小于1,相当于削弱了远离当前左耳位置(靠近当前右耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第二目标音频信号的影响,从而可以降低第一目标音频信号和第二目标音频信号之间的串扰。
第二种实施方式:将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;将所述a个第三目标HRTF包括的所有脉冲响应乘以第三修正因子,以得到a个第一目标HRTF;所述第三修正因子为大于1的数值。
本实施方式中,不仅可以降低第一目标音频信号和第二目标音频信号之间的串扰,还可以尽量保证第一目标音频信号的能量的数量级与根据M个第一HRTF和M个第一音频信号得到的第三目标音频信号的能量的数量级相同。
第三种实施方式:将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第一目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和。
本实施方式中,不仅可以降低第一目标音频信号和第二目标音频信号之间的串扰,还可以保证第一目标音频信号的能量的数量级与根据M个第一HRTF和M个第一音频信号得到的第三目标音频信号的能量的数量级相同。
在一种可能的设计中,所述b个第二HRTF为位于目标中心的第二侧的b个虚拟扬声器对应的b个第二HRTF,第二侧为目标中心远离当前右耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
在该可能的设计中,所述修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF,可能包括如下几种可能的实施方式:
第一种实施方式:将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第二目标HRTF;所述第二修正因子为大于0且小于1的数值。
本实施方式中,对远离当前右耳位置的虚拟扬声器对应的第二HRTF的高频段的脉冲响应采用第二修正因子进行了修正,第二修正因子小于1,相当于削弱了远离当前右耳位置(靠当前左耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第一目标音频信号的影响,从而可以降低第一目标音频信号和第二目标音频信号之间的串扰
第二种实施方式:将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF;所述第二修正因子为大于0且小于1的数值;
将所述b个第四目标HRTF包括的所有脉冲响应乘以第四修正因子,以得到b个第二目标HRTF,所述第四修正因子为大于1的数值。
本实施方式中,不仅可以降低第一目标音频信号和第二目标音频信号之间的串扰,还可以尽量保证第二目标音频信号的能量的数量级与根据M个第二HRTF和M个第一音频信号得到的第四目标音频信号的能量的数量级相同。
第三种实施方式:将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF;所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第二目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和。
本实施方式中,不仅可以降低第一目标音频信号和第二目标音频信号之间的串扰,还可以保证第二目标音频信号的能量的数量级与根据M个第二HRTF和M个第一音频信号得到的第四目标音频信号的能量的数量级相同。
在一种可能的设计中,所述a=a1+a2,所述a1个第一HRTF为位于目标中心的第一侧的a1个虚拟扬声器对应的a1个第一HRTF,所述a2个第一HRTF为位于所述目标中心的第二侧的a2个虚拟扬声器对应的a2个第一HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
在该可能的设计中,所述修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,具有如下可能的实施方式:
第一种可能的实施方式:将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;所述a个第一目标HRTF包括所述a1个第三目标HRTF和a2个第五目标HRTF;
其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值。
本实施方式中,不仅对远离当前左耳位置的虚拟扬声器对应的第一HRTF的高频段的脉冲响应采用第一修正因子进行了修正,还对靠近当前左耳位置的虚拟扬声器对应的第一HRTF的高频段的脉冲响应采用第五修正因子进行了修正,且使用的修正因子成反比,相当于削弱了远离当前左耳位置(靠近当前右耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第二目标音频信号的影响,加强了靠近当前左耳位置(远离当前右耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第一目标音频信号的影响,从而可以进一步地降低第一目标音频信号和第二目标音频信号之间的串扰。
第二种可能的实施方式:将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值。
将a1个第三目标HRTF的包括的所有脉冲响应乘以第三修正因子,以得到a1个第六目标HRTF,将a2个第五目标HRTF的包括的所有脉冲响应乘以第六修正因子,以得到a1个第七目标HRTF;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF;其中,所述第三修正因子为大于1的数值,所述第六修正因子为大于0且小于1的数值。
本实施方式中,不仅可以进一步降低第一目标音频信号和第二目标音频信号之间的串扰,还可以尽量保证第一目标音频信号的能量的数量级与根据M个第一HRTF和M个第一音频信号得到的第三目标音频信号的能量的数量级相同。
第三种可能的实施方式:将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第六目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和;对于一个第五目标HRTF,将所述一个第五目标HRTF包括的所有脉冲响应乘以第三值,以得到所述一个第五目标HRTF对应的第七目标HRTF,所述第三值为第五平方和与第六平方和的比值,所述第五平方和为所述一个第五目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第六平方和为所述一个第五目标HRTF包括的所有脉冲响应的平方和;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF。
本实施方式中,不仅可以进一步降低第一目标音频信号和第二目标音频信号之间的串扰,还可以保证第一目标音频信号的能量的数量级与根据M个第一HRTF和M个第一音频信号得到的第三目标音频信号的能量的数量级相同。
在一种可能的设计中,所述b=b1+b2,所述b1个第二HRTF为位于目标中心的第二侧的b1个虚拟扬声器对应的b1个第二HRTF,所述b2个第二HRTF为位于所述目标中心的第一侧的b2个虚拟扬声器对应的b2个第二HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
在该可能的设计中,所述修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF,具有如下几种可能的实施方式:
第一种实施方式:将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;所述b个第二目标HRTF包括b1个第四目标HRTF和b2个第八目标HRTF;
其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值。
本实施方式中,不仅对远离右耳的虚拟扬声器对应的第二HRTF的高频段的脉冲响应采用第二修正因子进行了修正,还对靠近右耳的虚拟扬声器对应的第二HRTF的高频段的脉冲响应采用第七修正因子进行了修正,且使用的修正因子成反比,相当于削弱了远离当前右耳位置(靠近当前左耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第二目标音频信号的影响,加强了靠近当前右耳位置(远离当前左耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第二目标音频信号的影响,从而可以进一步地降低第一目标音频信号和第二目标音频信号之间的串扰。
第二种实施方式:将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值。
将b1个第四目标HRTF的包括的所有脉冲响应乘以第四修正因子,以得到b1个第九目标HRTF,将b2个第八目标HRTF的包括的所有脉冲响应乘以第八修正因子,以得到b1个第十目标HRTF,所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF;其中,所述第四修正因子为大于1的数值,所述第八修正因子为大于0且小于1的数值。
本实施方式中,不仅可以进一步降低第一目标音频信号和第二目标音频信号之间的串扰,还可以尽量保证第二目标音频信号的能量的数量级与根据M个第二HRTF和M个第一音频信号得到的第四目标音频信号的能量的数量级相同。
第三种实施方式:将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第九目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和;对于一个第八目标HRTF,将所述一个第八目标HRTF包括的所有脉冲响应乘以第四值,以得到所述一个第八目标HRTF对应的第十目标HRTF,所述第四值为第七平方和与第八平方和的比值,所述第七平方和为所述一个第八目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第八平方和为所述一个第八目标HRTF包括的所有脉冲响应的平方和;所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF。
本实施方式中,不仅可以进一步降低第一目标音频信号和第二目标音频信号之间的串扰,还可以保证第二目标音频信号的能量的数量级与根据M个第二HRTF和M个第一音频信号得到的第四目标音频信号的能量的数量级相同。
在一种可能的设计中,还包括:调整所述第一目标音频信号的能量的数量级为第一数量级,所述第一数量级为所述第三目标音频信号的能量的数量级;所述第三目标音频信号为根据所述M个第一HRTF和所述M个第一音频信号得到的音频信号;
调整所述第二目标音频的能量为第二数量级,所述第二数量级为所述第四目标音频信号的能量的数量级;所述第四目标音频信号为根据所述M个第二HRTF和所述M个第一音频信号得到的音频信号。
该设计,使得所述第一目标音频信号的能量的数量级与所述第三目标音频信号的能量的数量级相同,所述第二目标音频信号的能量的数量级与所述第四目标音频信号的能量的数量级相同。
第二方面,本申请实施例提供一种音频处理装置,包括:
处理模块,用于获取待处理音频信号经M个虚拟扬声器处理后的M个第一音频信号;M为正整数;所述M个虚拟扬声器与所述M个第一音频信号一一对应;
获取模块,用于获取M个第一头相关传输函数HRTF和M个第二HRTF,所述M个第一HRTF为所述M个第一音频信号从所述M个虚拟扬声器至左耳位置所对应的HRTF,所述M个第二HRTF为所述M个第一音频信号从所述M个虚拟扬声器至右耳位置所对应的HRTF;所述M个第一HRTF为M个虚拟扬声器一一对应,所述M个第二HRTF为M个虚拟扬声器一一对应;
修正模块,用于修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,以及修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF;其中,1≤a≤M,1≤b≤M,且a和b均为整数;
所述获取模块,还用于根据所述a个第一目标HRTF、c个第一HRTF和所述M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,以及根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取当前右耳位置对应的第二目标音频信号;其中,所述c个第一HRTF为所述M个第一HRTF中除所述a个第一HRTF之外的HRTF,所述d个第二HRTF为所述M个第二HRTF中除所述b个第二HRTF之外的HRTF,a+c=M,b+d=M。
在一种可能的设计中,所述获取模块,具体用于:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF,该对应关系是预先存储有多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,所述获取模块,具体用于:
获取所述M个第二虚拟扬声器相对于当前右耳位置的M个第二位置;
根据所述M个第二位置以及所述对应关系,确定所述M个第二位置所对应的M个HRTF为所述M个第二HRTF,该对应关系是预先存储有多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,所述获取模块,具体用于:
将所述M个第一音频信号分别与所述a个第一目标HRTF和所述c个第一HRTF中对应的HRTF卷积,以得到M个第一卷积音频信号;
根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
在一种可能的设计中,所述获取模块,具体用于:
将所述M个第一音频信号分别与d个第二HRTF和所述b个第二目标HRTF中对应的HRTF卷积,以得到M个第二卷积音频信号;
根据所述M个第二卷积音频信号,得到所述第二目标音频信号。
在一种可能的设计中,所述a个第一HRTF为位于目标中心的第一侧的a个虚拟扬声器对应的a个第一HRTF,第一侧为目标中心远离当前左耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
在一种可能的设计中,所述修正模块,具体用于:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第一目标HRTF,所述第一修正因子大于0且小于1。
在一种可能的设计中,所述修正模块,具体用于:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
将所述a个第三目标HRTF包括的所有脉冲响应乘以第三修正因子,以得到a个第一目标HRTF,所述第三修正因子为大于1的数值。
或者,
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第一目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和。
在一种可能的设计中,所述b个第二HRTF为位于目标中心的第二侧的b个虚拟扬声器对应的b个第二HRTF,第二侧为目标中心远离当前右耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
在一种可能的设计中,所述修正模块,具体用于:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第二目标HRTF;所述第二修正因子为大于0且小于1的数值。
在一种可能的设计中,所所述修正模块,具体用于:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF;所述第二修正因子为大于0且小于1的数值;
将所述b个第四目标HRTF包括的所有脉冲响应乘以第四修正因子,以得到b个第二目标HRTF,所述第四修正因子为大于1的数值。
或者,
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF;所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第二目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和。
在一种可能的设计中,所述a=a1+a2,所述a1个第一HRTF为位于目标中心的第一侧的a1个虚拟扬声器对应的a1个第一HRTF,所述a2个第一HRTF为位于所述目标中心的第二侧的a2个虚拟扬声器对应的a2个第一HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
在一种可能的设计中,所述修正模块,具体用于:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;所述a个第一目标HRTF包括所述a1个第三目标HRTF和a2个第五目标HRTF;
其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值。
在一种可能的设计中,所所述修正模块,具体用于:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
将a1个第三目标HRTF的包括的所有脉冲响应乘以第三修正因子,以得到a1个第六目标HRTF,将a2个第五目标HRTF的包括的所有脉冲响应乘以第六修正因子,以得到a1个第七目标HRTF;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF;其中,所述第三修正因子为大于1的数值,所述第六修正因子为大于0且小于1的数值;
或者,
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第六目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和;对于一个第五目标HRTF,将所述一个第五目标HRTF包括的所有脉冲响应乘以第三值,以得到所述一个第五目标HRTF对应的第七目标HRTF,所述第三值为第五平方和与第六平方和的比值,所述第五平方和为所述一个第五目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第六平方和为所述一个第五目标HRTF包括的所有脉冲响应的平方和;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF。
在一种可能的设计中,所述b=b1+b2,所述b1个第二HRTF为位于目标中心的第二侧的b1个虚拟扬声器对应的b1个第二HRTF,所述b2个第二HRTF为位于所述目标中心的第一侧的b2个虚拟扬声器对应的b2个第二HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
在一种可能的设计中,所述修正模块,具体用于:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;所述b个第二目标HRTF包括b1个第四目标HRTF和b2个第八目标HRTF;
其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值。
在一种可能的设计中,所述修正模块,具体用于:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
将b1个第四目标HRTF的包括的所有脉冲响应乘以第四修正因子,以得到b1个第九目标HRTF,将b2个第八目标HRTF的包括的所有脉冲响应乘以第八修正因子,以得到b1个第十目标HRTF,所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF;其中,所述第四修正因子为大于1的数值,所述第八修正因子为大于0且小于1的数值;
或者,
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第九目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和;对于一个第八目标HRTF,将所述一个第八目标HRTF包括的所有脉冲响应乘以第四值,以得到所述一个第八目标HRTF对应的第十目标HRTF,所述第四值为第七平方和与第八平方和的比值,所述第七平方和为所述一个第八目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第八平方和为所述一个第八目标HRTF包括的所有脉冲响应的平方和;所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF。
在一种可能的设计中,还包括:调整模块,用于:
调整所述第一目标音频信号的能量的数量级为第一数量级,所述第一数量级为所述第三目标音频信号的能量的数量级;所述第三目标音频信号为根据所述M个第一HRTF和所述M个第一音频信号得到的音频信号;以及,
调整所述第二目标音频的能量为第二数量级,所述第二数量级为所述第四目标音频信号的能量的数量级;所述第四目标音频信号为根据所述M个第二HRTF和所述M个第一音频信号得到的音频信号。
第三方面,本申请实施例提供一种音频处理装置,包括处理器;
所述处理器用于与存储器耦合,读取并执行所述存储器中的指令,以实现如第一方面任一所述的方法。
在一种可能的设计中,还包括所述存储器。
第四方面,本申请实施例提供一种可读存储介质,所述可读存储介质上存储有计算机程序;所述计算机程序被执行时,实现如第一方面任一所述的方法。
第四方面,本申请实施例提供一种计算机程序产品,所述计算机程序被执行时,实现如第一方面任一所述的方法。
本申请中,通过修正a个第一HRTF的高频段的脉冲响应,可以降低得到的第一目标音频信号对第二目标音频信号的干扰,通过修正b个第二HRTF的高频段的脉冲响应,可以降低第二目标音频信号对第一目标音频信号的干扰;从而使得左耳位置对应的第一目标音频信号和右耳位置对应的第二目标音频信号之间的串扰降低。
附图说明
图1为本申请实施例提供的音频信号系统的结构示意图;
图2为本申请实施例提供的系统架构图;
图3为本申请实施例提供音频信号接收装置的结构框图;
图4为本申请实施例提供的音频处理方法的流程图一;
图5为本申请实施例提供的以头中心为测量HRTF的中心的测量场景图;
图6为本申请实施例提供的M个虚拟扬声器分布示意图;
图7为本申请实施例提供的音频处理方法的流程图二;
图8为本申请实施例提供的音频处理方法的流程图三;
图9为本申请实施例提供的音频处理方法的流程图四;
图10为本申请实施例提供的音频处理方法的流程图五;
图11为本申请实施例提供的音频处理方法的流程图六;
图12为本申请实施例提供的音频处理方法的流程图七;
图13为本申请实施例提供的音频处理方法的流程图八;
图14为本申请实施例提供的音频处理方法的流程图九;
图15为本申请实施例提供的音频处理方法的流程图十;
图16为本申请实施例提供的音频处理方法的流程图十一;
图17为本申请实施例提供音频处理装置的结构示意图一;
图18为本申请实施例提供音频处理装置的结构示意图二。
具体实施方式
首先对本申请涉及的相关技术名词进行解释。
头相关传输函数(Head Related Transfer Function,简称HRTF):声源发出的声波经头部、耳廓、躯干等散射后到达双耳,其中的物理过程可视为一个线性时不变的声滤波系统,其特性可由HRTF描述,也就是说HRTF描述了声波从声源到双耳的传输过程。更形象的解释为:若声源发出的音频信号为X,该音频信号为X传输到预定位置后对应的音频信号为Y,则X*Z=Y(X卷积Z等于Y),其中,Z即为HRTF。
本实施例中的多个预设位置与多个HRTF的对应关系中的预设位置可以是相对于左耳位置的位置,此时多个HRTF为多个以左耳位置为中心的HRTF;本实施例中的多个预设位置与多个HRTF的对应关系中的预设位置还可以是相对于右耳位置的位置,此时多个HRTF为多个以右耳位置为中心的HRTF;本实施例中的多个预设位置与多个HRTF的对应关系中的预设位置还可以是相对于头中心位置的位置,此时多个HRTF为多个以头中心为中心的HRTF。
图1为本申请实施例提供的音频信号系统的结构示意图,该音频信号系统包括音频信号发送端11和音频信号接收端12。
音频信号发送端11用于对声源发出的信号采集并进行进行编码,得到音频信号编码码流。音频信号接收端12获取到音频信号编码码流后,对音频信号编码码流进行解码以及渲染,得到渲染后的音频信号。
可选地,音频信号发送端11与音频信号接收端12可以通过有线或无线的方式相连。
图2为本申请实施例提供的系统架构图。如图2所示,该系统架构包括移动终端130和移动终端140;移动终端130可为音频信号发送端,移动终端140可为音频信号接收端。
其中,移动终端130与移动终端140可为相互独立的具有音频信号处理能力的电子设备,例如可以是手机,可穿戴设备,虚拟现实(virtual reality,VR)设备,或增强现实(augmented reality,AR)设备等等,且移动终端130与移动终端140之间通过无线或有线网络连接。
可选地,移动终端130可以包括采集组件131、编码组件110和信道编码组件132,其中,采集组件131与编码组件110相连,编码组件110与编码组件132相连。
可选地,移动终端140可以包括音频播放组件141、解码渲染组件120和信道解码组件142,其中,音频播放组件141与解码组件120相连,解码渲染组件120与信道解码组件142相连。
移动终端130通过采集组件131采集到音频信号后,通过编码组件110对该音频信号进行编码,得到音频信号编码码流;然后,通过信道编码组件132对音频信号编码码流进行编码,得到传输信号。
移动终端130通过无线或有线网络将该传输信号发送至移动终端140。
移动终端140接收到该传输信号后,通过信道解码组件142对传输信号进行解码得到音频信号编码码流;通过解码渲染组件120对音频信号编码码流进行解码,得到待处理音频信号,以及渲染待处理音频信号得到渲染后的音频信号;通过音频播放组件播放该渲染后的音频信号。可以理解的是,移动终端130也可以包括移动终端140所包括的组件,移动终端140也可以包括移动终端130所包括的组件。
此外,移动终端140还可包括音频播放组件、解码组件,渲染组件和信道解码组件,其中,信道解码组件与解码组件相连,解码组件与渲染组件相连,渲染组件与音频播放组件相连。此时,移动终端140接收到该传输信号后,通过信道解码组件对传输信号进行解码得到音频信号编码码流;通过解码组件对音频信号编码码流进行解码,得到待处理音频信号,渲染组件对待处理音频信号渲染后得到渲染后的音频信号;通过音频播放组件播放该渲染后的音频信号。
图3为本申请实施例提供音频信号接收装置的结构框图;参见图3,本申请实施例的音频信号接收装置20可包括:至少一个处理器21,存储器22,至少一个通信总线23、接收器24和发送器25。其中,通信总线203用于实现处理器21、存储器22、接收器24和发送器25之间的连接通信,处理器21可以包括信号解码组件、解码组件和渲染组件。
具体地,存储器22可以是以下的任一种或任一种组合:固态硬盘(Solid StateDrives,SSD)、机械硬盘、磁盘、磁盘整列等存储介质,可向处理器21提供指令和数据。
存储器22用于存储以下数据中中的至少一种:多个预设位置与多个HRTF的对应关系:(1)多个相对于左耳位置的位置,以及每个相对于左耳位置的位置对应的以左耳位置为中心的HRTF;(2)多个相对于右耳位置的位置,以及每个相对于右耳位置的位置对应的以右耳位置为中心的HRTF;(3)多个相对于头中心的位置,以及每个相对于头中心的位置对应的以头中心为中心的HRTF。
可选的,存储器22还用于存储如下的元素:操作系统和应用程序模块。
其中,操作系统,可包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。应用程序模块,可包含各种应用程序,用于实现各种应用业务。
处理器21可以是中央处理器(CPU),通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC),现场可编程门阵列(FPGA)或者其他可编程逻辑器件、晶体管逻辑器件,硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
接收器24用于从音频信号发送装置接收音频信号发送装置的音频信号。
处理器可通过调用存储器22存储的程序或指令以及数据,用于执行如下步骤:将接收到的音频信号进行信道解码得到音频信号编码码流(该步骤可由处理器的信道解码组件实现),接着对该音频信号编码码流进行进一步解码(该步骤可由处理器的解码组件实现),得到待处理音频信号。
在得到待处理信号后,处理器21用于:获取待处理音频信号经M个虚拟扬声器处理后的M个第一音频信号,所述M个虚拟扬声器与所述M个第一音频信号一一对应;M为正整数;
获取M个第一头相关传输函数HRTF和M个第二HRTF,所述M个第一HRTF为所述M个第一音频信号从所述M个虚拟扬声器至左耳位置所对应的HRTF,所述M个第二HRTF为所述M个第一音频信号从所述M个虚拟扬声器至右耳位置所对应的HRTF;所述M个第一HRTF为M个虚拟扬声器一一对应,所述M个第二HRTF为M个虚拟扬声器一一对应;
修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,以及修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF;其中,1≤a≤M,1≤b≤M,且a和b均为整数;
根据所述a个第一目标HRTF、c个第一HRTF和所述M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,以及根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取当前右耳位置对应的第二目标音频信号;其中,所述c个第一HRTF为所述M个第一HRTF中除所述a个第一HRTF之外的HRTF,所述d个第二HRTF为所述M个第二HRTF中除所述b个第二HRTF之外的HRTF,a+c=M,b+d=M。
处理器21具体用于:获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;根据所述M个第一位置以及存储器22中存储的对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF。
处理器21具体用于:获取所述M个第二虚拟扬声器相对于当前右耳位置的M个第二位置;根据所述M个第二位置以及存储器22中存储的对应关系,确定所述M个第二位置所对应的M个HRTF为所述M个第二HRTF。
处理器21还具体用于:将所述M个第一音频信号分别与所述a个第一目标HRTF和所述c个第一HRTF中对应的HRTF卷积,以得到M个第一卷积音频信号;根据所述M个第一卷积音频信号,以得到所述第一目标音频信号。
处理器21还具体用于:将所述M个第一音频信号分别与d个第二HRTF和所述b个第二目标HRTF中对应的HRTF卷积,以得到M个第二卷积音频信号;
根据所述M个第二卷积音频信号,以得到所述第二目标音频信号。
在所述a个第一HRTF为位于目标中心的第一侧的a个虚拟扬声器对应的a个第一HRTF,第一侧为目标中心远离当前左耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心时:
处理器21还具体用于:将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第一目标HRTF,所述第一修正因子大于0且小于1。
处理器21还具体用于:将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
将所述a个第三目标HRTF包括的所有脉冲响应乘以第三修正因子,以得到a个第一目标HRTF,所述第一修正因子为大于1的数值。
处理器21还具体用于:将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第一目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和。
当所述b个第二HRTF为位于目标中心的第二侧的b个虚拟扬声器对应的b个第二HRTF,第二侧为目标中心远离当前右耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心时:
处理器21还具体用于:将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第二目标HRTF;所述第二修正因子为大于0且小于1的数值。
处理器21还具体用于:将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF;所述第二修正因子为大于0且小于1的数值;
将所述b个第四目标HRTF包括的所有脉冲响应乘以第四修正因子,以得到b个第二目标HRTF,所述第四修正因子为大于1的数值;
处理器21还具体用于:将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF;所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第二目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和。
当所述a=a1+a2,所述a1个第一HRTF为位于目标中心的第一侧的a1个虚拟扬声器对应的a1个第一HRTF,所述a2个第一HRTF为位于所述目标中心的第二侧的a2个虚拟扬声器对应的a2个第一HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心时:
处理器21还具体用于:将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;所述a个第一目标HRTF包括所述a1个第三目标HRTF和a2个第五目标HRTF;
其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值。
处理器21还具体用于:将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
将a1个第三目标HRTF的包括的所有脉冲响应乘以第三修正因子,以得到a1个第六目标HRTF,将a2个第五目标HRTF的包括的所有脉冲响应乘以第六修正因子,以得到a1个第七目标HRTF;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF;其中,所述第三修正因子为大于1的数值,所述第六修正因子为大于0且小于1的数值。
处理器21还具体用于:将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第六目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和;对于一个第五目标HRTF,将所述一个第五目标HRTF包括的所有脉冲响应乘以第三值,以得到所述一个第五目标HRTF对应的第七目标HRTF,所述第三值为第五平方和与第六平方和的比值,所述第五平方和为所述一个第五目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第六平方和为所述一个第五目标HRTF包括的所有脉冲响应的平方和;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF。
当所述b=b1+b2,所述b1个第二HRTF为位于目标中心的第二侧的b1个虚拟扬声器对应的b1个第二HRTF,所述b2个第二HRTF为位于所述目标中心的第一侧的b2个虚拟扬声器对应的b2个第二HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心时:
处理器21还具体用于:将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;所述b个第二目标HRTF包括b1个第四目标HRTF和b2个第八目标HRTF;
其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值。
处理器21还具体用于:将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
将b1个第四目标HRTF的包括的所有脉冲响应乘以第四修正因子,以得到b1个第九目标HRTF,将b2个第八目标HRTF的包括的所有脉冲响应乘以第八修正因子,以得到b1个第十目标HRTF,所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF;其中,所述第四修正因子为大于1的数值,所述第八修正因子为大于0且小于1的数值;
处理器21还具体用于:将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第九目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和;对于一个第八目标HRTF,将所述一个第八目标HRTF包括的所有脉冲响应乘以第四值,以得到所述一个第八目标HRTF对应的第十目标HRTF,所述第四值为第七平方和与第八平方和的比值,所述第七平方和为所述一个第八目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第八平方和为所述一个第八目标HRTF包括的所有脉冲响应的平方和;所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF。
处理器21还用于:调整所述第一目标音频信号的能量的数量级为第一数量级,所述第一数量级为所述第三目标音频信号的能量的数量级;所述第三目标音频信号为根据所述M个第一HRTF和所述M个第一音频信号得到的音频信号;以及,
调整所述第二目标音频的能量为第二数量级,所述第二数量级为所述第四目标音频信号的能量的数量级;所述第四目标音频信号为根据所述M个第二HRTF和所述M个第一音频信号得到的音频信号。
可以理解的是,在处理器21得到待处理信号后的各方法可由处理器中的渲染组件执行。
本实施例的音频信号接收装置,通过修正a个第一HRTF的高频段的脉冲响应,可以降低得到的第一目标音频信号对第二目标音频信号的干扰,通过修正b个第二HRTF的高频段的脉冲响应,可以降低第二目标音频信号对第一目标音频信号的干扰;从而使得左耳位置对应的第一目标音频信号和右耳位置对应的第二目标音频信号之间的串扰降低。
下面采用具体的实施例,对本申请涉及的音频处理方法进行说明。以下各实施例的执行主体均为音频信号接收端,比如图2中所示的移动终端140。
图4为本申请实施例提供的音频处理方法的流程图一,参见图3,本实施例的方法包括:
步骤S101、获取待处理音频信号经M个虚拟扬声器处理后的M个第一音频信号,M个虚拟扬声器与M个第一音频信号一一对应,M为正整数;
步骤S102、获取M个HRTF和M个第二HRTF,M个第一HRTF为M个第一音频信号从M个虚拟扬声器至左耳位置所对应的HRTF,M个第二HRTF为M个第一音频信号从M个虚拟扬声器至右耳位置所对应的HRTF;M个第一HRTF为M个虚拟扬声器一一对应,M个第二HRTF为M个虚拟扬声器一一对应;
步骤S103、修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,以及修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF;其中,1≤a≤M,1≤b≤M,且a和b均为整数;
步骤S104、根据a个第一目标HRTF、c个第一HRTF和M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,以及根据d个第二HRTF、b个第二目标HRTF和M个第一音频信号,获取当前右耳位置对应的第二目标音频信号;其中,c个第一HRTF为M个第一HRTF中除a个第一HRTF之外的HRTF,d个第二HRTF为M个第二HRTF中除b个第二HRTF之外的HRTF,a+c=M,b+d=M。
具体地,本申请实施例的方法为音频信号接收端执行的方法。音频信号发送端采集声源发出的立体声信号,音频信号发送端的编码组件对声源发出的立体声信号进行编码后,得到编码信号,编码信号无线或有线网络传输至音频信号接收端,音频信号接收端对编码信号进行解码,解码得到的信号即为本实施例中的待处理音频信号。即本实施例中的待处理音频信号可以为处理器中的解码组件解码得到的信号,或者图2中的移动终端140中的解码渲染组件120或者解码组件得到的信号。
可以理解的是,若处理音频信号时采用的标准为Ambisonic,则音频信号发送端得到的编码信号为标准的Ambisonic信号。相对应地,音频信号接收端解码得到的信号也为Ambisonic信号,比如Ambisonic的B格式信号。其中,Ambisonic信号包括一阶Ambisonic(Firs-Order Ambisonics,简称FOA),高阶Ambisonic(High-Order Ambisonics)。
本实施例中的当前左耳位置为当前收听者的左耳位置,本实施例中的当前右耳位置为当前收听者的右耳位置。本实施例中的第一目标音频信号为左声道信号,第二目标音频信号为右声道信号。
下面以音频信号接收端解码得到的待处理音频信号为Ambisonic的B格式信号为例,对本实施例进行说明。
对于步骤S101、获取待处理音频信号经M个虚拟扬声器处理后的M个第一音频信号;M≥1且为整数;
可选地,M可为4、8、16等中的任一。
虚拟扬声器可通过如下公式一将待处理音频信号处理成第一音频信号:
Figure BDA0001771269230000161
其中,1≤m≤M;P1m为待处理音频信号经第m个虚拟扬声器处理后的第m个第一音频信号,W为声源所在的环境包括的所有声音对应的分量,称为环境分量,X为声源所在的环境包括的所有声音在X轴的分量,称为X坐标分量,Y为声源所在的环境包括的所有声音在Y轴的分量,称为Y坐标分量,Z为声源所在的环境包括的所有声音在Z轴的分量,称为Z坐标分量;此处的X轴、Y轴、Z轴分别为声源对应的三维坐标系(也就是音频信号发送端对应的三维坐标系)的X轴、Y轴、Z轴,L为能量调整系数;φ1m为第m个虚拟扬声器相对于音频信号接收端对应的三维坐标系的坐标原点的俯仰角,θ1m第m个虚拟扬声器相对于该坐标原点的方位角。
对于步骤S102,在步骤S102之前,需要事先获取多个预设位置与多个HRTF的对应关系,根据该对应关系确定M个虚拟扬声器对应的M个第一HRTF和M个第二HRTF。
下面对获取多个预设位置与多个HRTF的对应关系的一种方式进行介绍,获取多个预设位置与多个HRTF的对应关系并不限于下述的方式。
图5为本申请实施例提供的以头中心为测量HRTF的中心的测量场景图。参见图5,图5中示意出了几个相对于头中心62的位置61。可以理解是,以头中心为中心的HRTF具有多个,不同位置61处的第一声源发送的音频信号传输至头中心对应不同的以头中心为中心HRTF。其中,测量以头中心为中心的HRTF时的头中心可为当前收听者的头中心,也可为其它收听者的头中心,还可为虚拟收听者的头中心。
这样在相对于头中心62的不同预设位置设置第一声源,便能得到多个预设位置对应的HRTF;即若第一声源1相对于头中心62的位置为位置c,此时测量得到的第一声源1发出的信号传输至头中心62的HRTF1,即与位置c对应的且以头中心为中心的HRTF1;第一声源2相对于头中心62的位置为位置d,此时测量得到的第一声源2发出的信号传输至头中心62的HRTF2,即为与位置d对应的且以头中心为中心的HRTF2,等等;其中,位置c包括方位角1、俯仰角1和距离1,方位角1为第一声源1相对于头中心62的方位角,俯仰角1为第一声源1相对于头中心62的俯仰角,距离1为第一声源1与头中心62之间的距离;同理位置d包括方位角2、俯仰角2和距离2,方位角2为第一声源2相对于头中心62的方位角,俯仰角2为第一声源2相对于头中心62的俯仰角,距离2为第一声源2与头中心62之间的距离。
其中,在设置第一声源相对于头中心62的位置时,在距离和俯仰角不变时,相邻的第一声源的方位角可间隔第一预设角度,在距离和方位角不变时,相邻的第一声源的俯仰角可间隔第二预设角度,在俯仰角和方位角不变时,相邻的第一声源的距离可间隔第一预设距离;其中,第一预设角度可为3°~10°中的任一,比如为5°;第二预设角度可为3°~10°中的任一,比如为5°;第一距离可为0.05m~0.2m中的任一,比如为0.1m。
比如,位置c(100°,50°,1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为100°、俯仰角为50°,距离为1m处设置第一声源1,测量第一声源1发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF1,测量方法为现有的方法,此处不再赘述;
又比如,位置d(100°,45°,1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为100°、俯仰角为45°,距离为1m处设置第一声源2,测量第一声源2发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF2;
又比如,位置e(95°,45°,1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为95°、俯仰角为45°,距离为1m处设置第一声源3,测量第一声源3发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF3;
又比如,位置f(95°,50°,1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为95°、俯仰角为50°,距离为1m处设置第一声源4,测量第一声源4发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF4。
又比如,位置g(100°,50°,1.1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为95°、俯仰角为50°,距离为1m处设置第一声源5,测量第一声源5发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF5。
值得说明的是,后续出现的位置(x,x,x)中,第一个x均为方位角,第二个x均为俯仰角,第三个x均为距离。
通过上述方法,可测量得到多个位置与多个以头中心为中心的HRTF的对应关系。可以理解的是,上述测量以头中心为中心的HRTF时放置第一声源的多个位置可称为预设位置,因此,通过上述方法,可测量得到多个预设位置与多个以头中心为中心的HRTF的对应关系,在本实施例中该对应关系称为第一对应关系;此时的预设位置为相对于头中心的位置。
还可以采用上述类似的方法,以左耳位置为测量HRTF中心,得到多个预设位置与多个以左耳位置为中心的HRTF的对应关系,在本实施例中该对应关系称为第二对应关系;此时的预设位置为相对于左耳位置的位置。其中,测量以左耳位置为中心的HRTF时的左耳位置可为当前收听者的当前左耳位置,也可为其它收听者的头中心,还可为虚拟收听者的左耳位置。
还可以采用上述类似的方法,以右耳位置为测量HRTF中心,得到多个预设位置与多个以右耳位置为中心的HRTF的对应关系,在本实施例中该对应关系称为第三对应关系;此时的预设位置为相对于右耳位置的位置。其中,测量以右耳位置为中心的HRTF时的左耳位置可为当前收听者的当前右耳位置,也可为其它收听者的头中心,还可为虚拟收听者的右位置。
可以理解的是,可以根据上述任一对应关系,获取M个第一HRTF,以及M个第二HRTF。图3中的存储器可存储有第一对应关系、第二对应关系和第三对应关系中的至少一种。
则获取M个第一HRTF,包括:获取M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;根据M个第一位置以及对应关系,确定M个第一位置所对应的M个HRTF为M个第一HRTF,该对应关系为预先存储的多个预设位置与多个HRTF的对应关系,该对应关系为第一对应关系、第二对应关系中的任一。
具体地,下面以该对应关系为第一对应关系为例,说明获取M个第一HRTF的过程。
获取每个虚拟扬声器相对于当前左耳位置的第一位置,若具有M个虚拟扬声器,则会获取M个第一位置。其中,每个第一位置包括对应的虚拟扬声器相对于当前左耳位置的第一方位角和第一俯仰角,以及当前左耳位置与该虚拟扬声器之间的第一距离。
其中,根据M个第一位置以及第一对应关系,确定M个第一位置所对应的M个HRTF为M个第一HRTF,包括:确定M个第一位置所关联的M个第一预设位置;M个第一预设位置为第一对应关系中包括的预设位置;在第一对应关系中,确定M个第一预设位置对应的M个HRTF为M个第一HRTF。
具体地,第一位置所关联的第一预设位置可能为第一位置本身;或者,
第一预设位置包括的俯仰角为与第一位置包括的第一俯仰角距离最近的目标俯仰角,第一预设位置包括的方位角为与第一位置包括的第一方位角距离最近的目标方位角,第一预设位置包括的距离为与第一位置包括的第一距离的距离最近的目标距离;其中,目标方位角为测量以头中心为中心的HRTF时对应的预设位置包括的方位角,也就是测量以头中心为中心的HRTF时放置的第一声源相对于头中心的方位角,目标俯仰角为测量以头中心为中心的HRTF时对应的预设位置中的俯仰角,也就是测量以头中心为中心的HRTF时放置的第一声源相对于头中心的俯仰角,目标距离为测量以头中心为中心的HRTF时对应的预设位置中的距离,也就是测量以头中心为中心的HRTF时放置的第一声源相对于头中心的距离。即第一预设位置均为测量多个以头中心为中心的HRTF时放置第一声源的位置,也就是事先已经测量了每个第一预设位置对应的以头中心为中心的HRTF。
可以理解的是,若第一位置包括的第一方位角位于两个目标方位角的中间,选择两个目标方位角的哪一个作为第一预设位置包括的方位角可按照预设的规则确定,比如预设规则为:若第一位置包括的第一方位角位于两个目标方位角的中间,则确定两个目标方位角中较小的那个目标方位角作为第一预设位置包括的方位角。若第一位置包括的第一俯仰角位于两个目标俯仰角的中间,选择两个目标俯仰角的哪一个作为第一预设位置包括的俯仰角可按照预设的规则确定,比如预设规则为:若第一位置包括的第一俯仰角位于两个目标俯仰角的中间,则确定两个目标俯仰角中较小的那个目标俯仰角作为第一预设位置包括的俯仰角。若第一位置包括的第一距离位于两个目标距离的中间,选择两个目标距离的哪一个作为第一预设位置包括的距离可按照预设的规则确定,比如预设规则为:若第一位置包括的第一距离位于两个目标距离的中间,则确定两个目标距离中较小的那个目标距离作为第一预设位置包括的距离。
示例性地,若步骤S102中测量得到的第m个虚拟扬声器相对于当前左耳位置的第一位置包括的第一方位角为88°,第一俯仰角为46°,第一距离为1.02m,第一对应关系中包括(90°,45°,1m)对应的HRTF、(85°,45°,1m)对应的HRTF,(90°,50°,1m)对应的HRTF、(85°,50°,1m)对应的HRTF、(90°,45°,1.1m)对应的HRTF、(85°,45°,1.1m)对应的HRTF,(90°,50°,1.1m)对应的HRTF、(85°,50°,1.1m)对应的HRTF;由于88°处于85°和90°之间,但更靠近90°,46°处于45°和50°之间,但更靠近45°,1.02m处于1m和1.1m之间,但更靠近1m,因此,确定(90°,45°,1m)为第m个虚拟扬声器相对于当前左耳位置的第一位置关联的第一预设位置m,则第一对应关系中(90°,45°,1m)对应的HRTF即为第m个虚拟扬声器对应的第一HRTF,即M个第一HRTF中的一个HRTF。
也就是在确定M个第一位置所关联的M个第一预设位置后,在第一对应关系中,M个第一预设位置对应的M个HRTF即为M个第一HRTF。
接着,获M个第二HRTF,包括:获取所M个第二虚拟扬声器相对于当前右耳位置的M个第二位置;根据M个第二位置以及对应关系,确定M个第二位置所对应的M个HRTF为M个第二HRTF,该对应关系为预先存储有多个预设位置与多个HRTF的对应关系,该对应关系可为第一对应关系和第三对应关系中的任一。
下面以该对应关系为第一对应关系为例,说明获取M个第一HRTF的过程。
获取每个虚拟扬声器相对于当前右耳位置的第二位置,若具有M个虚拟扬声器,则会获取M个第二位置。其中,每个第二位置包括对应的虚拟扬声器相对于当前右耳位置的第二方位角和第二俯仰角,以及当前右耳位置与该虚拟扬声器之间的第二距离。
其中,根据M个第二位置以及第一对应关系,确定M个第二位置所对应的M个HRTF为M个第二HRTF,包括:确定M个第二位置所关联的M个第二预设位置;M个第二预设位置为第一对应关系中包括的预设位置;在第一对应关系中,确定M个第二预设位置对应的M个HRTF为M个第二HRTF。
具体地,第二位置所关联的第二预设位置参照第一位置所关联的第一预设位置的阐述,此处不再赘述。在确定M个第二位置所关联的M个第二预设位置后,在第一对应关系中,M个第二预设位置对应的M个HRTF即为M个第二HRTF。
对于步骤S103,修正a个第一HRTF的高频段对应的脉冲响应,得到a个第一目标HRTF,以及修正b个第二HRTF的高频段对应的脉冲响应,得到b个第二目标HRTF;其中,1≤a≤M,1≤b≤M。
具体地,修正a个第一HRTF的高频段对应的脉冲响应,1≤a≤M,即为至少修正一个第一HRTF的高频段对应的脉冲响应,也就是可以修正1个第一HRTF的高频段对应的脉冲响应,也可修正M个第一HRTF的高频段对应的脉冲响应。
同理,修正b个第二HRTF的高频段对应的脉冲响应,1≤b≤M,即为至少修正一个第二HRTF的高频段对应的脉冲响应,也就是可以修正1个第二HRTF的高频段对应的脉冲响应,也可修正M个第二HRTF的高频段对应的脉冲响应。
可以理解的是,a和b可以不相同,也可以相同。
对于进行修正的a个第一HRTF:在一种方式中,a个第一HRTF为位于目标中心的第一侧的a个虚拟扬声器对应的a个第一HRTF,第一侧为目标中心远离当前左耳位置的一侧,目标中心为M个虚拟扬声器对应的三维空间的中心。
在另一种方式中,a个第一HRTF为位于上述目标中心的第二侧的a个虚拟扬声器对应的a个第一HRTF,第二侧为上述目标中心远离当前右耳位置的一侧。
在另一种方式中,a=a1+a2,即a个第一HRTF包括a1个第一HRTF和a2个第一HRTF,其中,a1个第一HRTF为位于上述目标中心的上述第一侧的a1个虚拟扬声器对应的a1个第一HRTF,a2个第一HRTF为位于上述目标中心的上述第二侧的a2个虚拟扬声器对应的a2个第一HRTF。
对于进行修正的b个第二HRTF:在一种方式中,b个第二HRTF为位于上述目标中心的上述第二侧的b个虚拟扬声器对应的b个第二HRTF。
在另一种方式中,b个第二HRTF为位于上述目标中心的上述第一侧的b个虚拟扬声器对应的b个第二HRTF。
在另一种方式中,b=b1+b2,b1个第二HRTF为位于上述目标中心的上述第二侧的b1个虚拟扬声器对应的b1个第二HRTF,b2个第二HRTF为位于上述目标中心的上述第一侧的b2个虚拟扬声器对应的b2个第二HRTF。
下面结合具体的示例对进行修正的a个第一HRTF和b个第二HRTF进行说明。
M个虚拟扬声器对应的三维空间可为正多面体,若该空间为正方体,则在正方体的八个角上均可映射有一个虚拟扬声器,此时,M=8。相应地,正方体的中心即为目标中心。
图6为本申请实施例提供的M个虚拟扬声器分布示意图。参见图6,图中的511~518为映射得到的虚拟扬声器,共有8个,53为8个虚拟扬声器对应的三维空间,52为8个虚拟扬声器对应的三维空间的目标中心。其中,该目标中心的第一侧为该目标中心远离当前左耳位置的一侧,该目标中心的第二侧为该目标中心远离当前右耳位置的一侧。
参见图6,在“a个第一HRTF为位于目标中心的第一侧的a个虚拟扬声器对应的a个第一HRTF,b个第二HRTF为位于上述目标中心的上述第二侧的b个虚拟扬声器对应的b个第二HRTF”的方式中:
若当前收听者的脸的大体上朝向正方体空间的第一面(图5中前面的面)54且,则a个第一HRTF与虚拟扬声器511~514中的a个虚拟扬声器对应,b个第二HRTF与虚拟扬声器515~518中的b个虚拟扬声器对应;若该收听者的脸大体上朝向正方体空间的第二面(图5中后面的面)55,则a个第一HRTF与虚拟扬声器515~518中的a虚拟扬声器对应,b个第二HRTF与虚拟扬声器511~514中的b个虚拟扬声器对应;若该收听者的脸大体上朝向正方体空间的第三面56,则a个第一HRTF与虚拟扬声器512、514、516、518中的a个虚拟扬声器对应,b个第二HRTF与虚拟扬声器511、513、515、517中的b个虚拟扬声器对应,若该收听者的脸大体上朝向正方体空间的第四面57,则a个第一HRTF与虚拟扬声器511、513、515、517中的a个虚拟扬声器对应,b个第二HRTF与虚拟扬声器512、514、516、518中的b个虚拟扬声器对应。
可选地,本实施例中高频段包括的频率均大于预设频率,预设频率可为10K。
对于步骤S104、具体地,左耳位置对应的第一目标音频信号和右耳位置对应的第二目标音频信号均是渲染后的音频信号。
由于第一目标音频信号和第二目标音频信号之间的串扰主要是两者信号的高频段引起的,因此,步骤S103中修正a个第一HRTF的高频段的脉冲响应,可以降低得到的第一目标音频信号对第二目标音频信号的干扰;同理,修正b个第二HRTF的高频段的脉冲响应,可以降低第二目标音频信号对第一目标音频信号的干扰。从而使得左耳位置对应的第一目标音频信号和右耳位置对应的第二目标音频信号之间的串扰降低。
具体地,根据a个第一目标HRTF、c个第一HRTF和M个第一音频信号,获取左耳位置对应的第一目标音频信号,包括:将M个第一音频信号分别与a个第一目标HRTF和c个第一HRTF中对应的HRTF卷积,以得到M个第一卷积音频信号;根据M个第一卷积音频信号,以得到该第一目标音频信号。
即:第m个虚拟扬声器输出的第m个第一音频信号与第m个虚拟扬声器对应的第一HRTF或者第一目标HRTF卷积,便得到第m个第一卷积音频信号,在虚拟扬声器具有M个的情况下,会得到M个第一卷积音频信号;M个第一卷积音频信号叠加后的信号,即为第一目标音频信号。
可以理解的是,若第m个虚拟扬声器对应的第一HRTF进行了修正,变成了第一目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第一目标HRTF卷积,得到第m个第一卷积音频信号;若第m个虚拟扬声器对应的第一HRTF没有修正,则该第m个虚拟扬声器输出的第m个第一音频信号与该第一HRTF卷积,得到第m个第一卷积音频信号。
可以理解的是,若M个第一HRTF均进行了修正,则c=0。
具体地,根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取所述右耳位置对应的第二目标音频信号,包括:将M个第一音频信号分别与d个第二HRTF和b个第二目标HRTF中对应的HRTF卷积,以得到M个第二卷积音频信号;根据M个第二卷积音频信号,以得到第二目标音频信号。
即:第m个虚拟扬声器输出的第m个第一音频信号与第m个虚拟扬声器对应的第二HRTF或者第二目标HRTF卷积,便得到第m个卷积音频信号,在虚拟扬声器具有M个的情况下,会得到M个第二卷积音频信号;M个第二卷积音频信号叠加后的信号,即为第二目标音频信号。
可以理解的是,若第m个虚拟扬声器对应的第二HRTF进行了修正,变成了第二目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第二目标HRTF卷积,得到第m个第二卷积音频信号;若第m个虚拟扬声器对应的第二HRTF没有修正,则该第m个虚拟扬声器输出的第m个第一音频信号与该第二HRTF卷积,得到第m个第二卷积音频信号。
可以理解的是,若M个第二HRTF均进行了修正,则d=0。
本实施例中通过修正a个第一HRTF的高频段对应的脉冲响应,以及修正b个第二HRTF的高频段对应的脉冲响应,使得第一目标音频信号与第二目标音频信号之间的串扰降低。
下面采用具体的实施例对图4所示的实施例中的步骤S103进行详细的阐述。
首先,对a个第一HRTF为位于上述目标中心的上述第一侧的a个虚拟扬声器对应的a个第一HRTF时,修正a个第一HRTF的高频段对应的脉冲响应,得到a个第一目标HRTF的方法进行说明。
图7为本申请实施例提供的音频处理方法的流程图二,参见图7,本实施例的方法包括:
步骤S201、将a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第一目标HRTF,该第一修正因子为大于0且小于1的数值。
具体地,对于步骤S201,对于a个第一HRTF中的每个第一HRTF,将该第一HRTF包括的大于预设频率的各频率对应的脉冲响应各自乘以第一修正因子,得到修正后的第一HRTF,即为该第一HRTF对应的第一目标HRTF,从而得到a个第一目标HRTF。
其中,第一修正因子可为0.94或0.95或0.96或0.97或0.98,还可为其它的值。其中,第一修正因子的取值与虚拟扬声器与收听者的距离相关,虚拟扬声器与收听者的距离越小,第一修正因子越接近1。
本实施例中,对远离当前左耳位置的虚拟扬声器对应的第一HRTF的高频段的脉冲响应采用第一修正因子进行了修正,第一修正因子小于1,相当于削弱了远离当前左耳位置(靠近当前右耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第二目标音频信号的影响,从而可以降低第一目标音频信号和第二目标音频信号之间的串扰。
为了尽量保证或者保证第一目标音频信号和根据M个第一HRTF和M个第一音频信号得到的第三目标音频信号的能量的数量级相同,本实施例在上一实施例的基础上作了进一步的改进。图8为本申请实施例提供的音频处理方法的流程图二,参见图8,本实施例的方法包括:
步骤S301、将a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF;该第一修正因子为大于0且小于1的数值;
步骤S302、根据a个第三目标HRTF,获取a个第一目标HRTF;
具体地,对于步骤S301,参照上一实施例中步骤S201的阐述。
对于步骤S302、根据a个第三目标HRTF,获取a个第一目标HRTF,可由以下几种可以实现的实施方式实现:
第一种实施方式:将a个第三目标HRTF包括的所有脉冲响应乘以第三修正因子,得到a个第一目标HRTF;
具体地,对于a个第三目标HRTF中的每个第三目标HRTF,该第三目标HRTF包括的各脉冲响应各自乘以第三修正因子,得到第三目标HRTF对应的第一目标HRTF,从而得到a个第一目标HRTF。
由于HRTF可包括频率上的脉冲响应,还可以包括时域上的脉冲响应,频率上的脉冲响应和时域上的脉冲响应可以相互转换;因此,本实施例中第三目标HRTF包括的各脉冲响应乘以第三修正因子可以为第三目标HRTF包括的各时域上的脉冲响应乘以第三修正因子,还可以为第三目标HRTF包括的各频域上的脉冲响应乘以第三修正因子。后续实施例类同。
可选地,第三修正因子可为一大于1的预设值,比如1.2。
将a个第三目标HRTF包括的所有脉冲响应乘以第三修正因子,得到a个第一目标HRTF的目的为尽量保证根据a个第一目标HRTF、c个第一HRTF和M个第一音频信号得到的第一目标音频信号的能量的数量级与根据M个第一HRTF和M个第一音频信号得到的第三目标音频信号的能量的数量级相同。
第二种实施方式:对于一个第三目标HRTF,将该一个第三目标HRTF包括的所有脉冲响应乘以第一值,得到该一个第三目标HRTF对应的第一目标HRTF,第一值为第一平方和与第二平方和的比值,第一平方和为该一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,第二平方和为该一个第三目标HRTF包括的所有脉冲响应的平方和。
具体地,对于一个第三目标HRTF,获取该一个第三目标HRTF包括的所有脉冲响应的第二平方和Q2,获取该一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的第一平方和Q1;接着,采用Q1/Q2得到第一值;将该一个第三目标HRTF包括的各脉冲响应各自乘以该第一值,得到该一个第三目标HRTF对应的第一目标HRTF;从而得到a个第一目标HRTF。
其中,第三目标HRTF对应的第一HRTF是指:该第一HRTF修正后得到第三目标HRTF。比如,第m个虚拟扬声器对应的第一HRTF为第一HRTF1,修正第一HRTF1的高频段的脉冲响应后,得到第三目标HRTF1,则第一HRTF1为第三目标HRTF1对应的第一HRTF。
对于每个第三目标HRTF,将该第三目标HRTF包括的所有脉冲响应乘以第一值,得到第三目标HRTF对应的第一目标HRTF,可以保证上述的第一目标音频信号和上述的第三目标音频信号的能量的数量级相同。
本实施例的方法,可以在降低第一目标音频信号和第二目标音频信号之间的串扰的基础上,尽量保证或者保证上述的第一目标音频信号和上述的第三目标音频信号的能量的数量级相同。
对于,对a个第一HRTF为位于上述目标中心的上述第二侧的a个虚拟扬声器对应的a个第一HRTF时,修正a个第一HRTF的高频段对应的脉冲响应,得到a个第一目标HRTF的方法参照图7和图8所示的实施例,不同的是,修正a个第一HRTF的高频段对应的脉冲响应时,所乘的修正因子可以小于1。
其次,对b个第二HRTF为位于上述目标中心的上述第二侧的b个虚拟扬声器对应的b个第二HRTF,修正b个第二HRTF的高频段对应的脉冲响应,得到b个第二目标HRTF的一种可能的方法进行详细说明。
图9为本申请实施例提供的音频处理方法的流程图四,参见图9,本实施例的方法包括:
步骤S401、将b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到b个第二目标HRTF,第二修正因子为大于0且小于1的数值。
具体地,对于步骤S401、对于b个第二HRTF中的每个第二HRTF,将该第二HRTF包括的大于预设频率的各频率对应的脉冲响应各自乘以第二修正因子,得到修正后的第二HRTF,即为该第二HRTF对应的第二目标HRTF。
其中,第二修正因子可为0.94或0.95或0.96或0.97或0.98,还可为其它的值。其中,第二修正因子的取值与虚拟扬声器与收听者的距离相关,比如虚拟扬声器与收听者的距离越小,第二修正因子越接近1。
可选地,上述的第一修正因子与第二修正因子相同。
可选地,上述的第一修正因子与第二修正因子不相同。
可以理解的是,b个第二HRTF的高频段与a个第一HRTF的高频段的含义相同。
本实施例中,对远离右耳的虚拟扬声器对应的第二HRTF的高频段的脉冲响应采用第二修正因子进行了修正,第二修正因子小于1,相当于削弱了远离当前右耳位置(靠近当前左耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第一目标音频信号的影响,从而可以降低第一目标音频信号和第二目标音频信号之间的串扰。
为了尽量保证或者保证第二目标音频信号和根据M个第二HRTF和M个第一音频信号得到的第四目标音频信号的能量的数量级相同,本实施例在上一实施例的基础上作了进一步的改进。图10为本申请实施例提供的音频处理方法的流程图五,参见图10,本实施例的方法包括:
步骤S501、将b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,得到b个第四目标HRTF;第二修正因子为大于0且小于1的数值;
步骤S502、根据b个第四目标HRTF,获取b个第二目标HRTF。
具体地,对于步骤S501、参照上一实施例中的步骤S401。
对于步骤S502、根据b个第四目标HRTF,获取b个第二目标HRTF,可由以下几种可以实现的实施方式实现:
第一种实施方式:将b个第四目标HRTF包括的所有脉冲响应乘以第四修正因子,得到b个第二目标HRTF;
对于b个第四目标HRTF中的每个第四目标HRTF,该第四目标HRTF包括的各脉冲响应各自乘以第四修正因子,得到第四目标HRTF对应的第二目标HRTF,从而得到b个第二目标HRTF。
可选地,第四修正因子可为一大于1的预设值。上述的第三修正因子与第四修正因子,可相同可不同。
将b个第四目标HRTF包括的所有脉冲响应乘以第四修正因子,得到b个第二目标HRTF的目的为尽量保证根据b个第二目标HRTF、d个第二HRTF和M个第一音频信号得到的第二目标音频信号的能量的数量级与根据M个第二HRTF和M个第一音频信号得到的第四目标音频信号的能量的数量级相同。
第二种实施方式:对于一个第四目标HRTF,将该一个第四目标HRTF包括的所有脉冲响应乘以第二值,得到该一个第四目标HRTF对应的第二目标HRTF,第二值为第三平方和与第四平方和的比值,该第三平方和为该一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,该第四平方和为该一个第四目标HRTF包括的所有脉冲响应的平方和。
具体地,对于一个第四目标HRTF,获取该一个第四目标HRTF包括的所有脉冲响应的第四平方和Q4,获取该一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的第三平方和Q3;接着,采用Q3/Q4得到第二值;将该一个第四目标HRTF包括的各脉冲响应各自乘以该第二值,得到该一个第四目标HRTF对应的的第二目标HRTF,从而得到b个第二目标HRTF。
其中,第四目标HRTF对应的第二HRTF是指:该第二HRTF修正后得到第四目标HRTF。比如,第m个虚拟扬声器对应的第二HRTF为第二HRTF1,修正第二HRTF1的高频段的脉冲响应后,得到第四目标HRTF1,则第二HRTF1为第四目标HRTF1对应的第二HRTF。
对于每个第四目标HRTF,将该第四目标HRTF包括的所有脉冲响应乘以第二值,得到第四目标HRTF对应的第二目标HRTF,可以保证上述的第二目标音频信号和上述的第四目标音频信号的能量的数量级相同。
本实施例的方法,在可以降低第一目标音频信号和第二目标音频信号之间的串扰的基础上,还可以尽量保证或者保证上述的第二目标音频信号和上述的第四目标音频信号的能量的数量级相同。
对b个第二HRTF为位于上述目标中心的上述第一侧的b个虚拟扬声器对应的b个第二HRTF,修正b个第二HRTF的高频段对应的脉冲响应参照图9和图10所示的实施例,不同的是,修正b个第二HRTF的高频段对应的脉冲响应时,所乘的修正因子可以小于1。
接着对,在“a=a1+a2,即a个第一HRTF包括a1个第一HRTF和a2个第一HRTF,其中,a1个第一HRTF为位于上述目标中心的上述第一侧的a1个虚拟扬声器对应的a1个第一HRTF,a2个第一HRTF为位于上述目标中心的上述第二侧的a2个虚拟扬声器对应的a2个第一HRTF”的场景下,修正a个第一HRTF的高频段对应的脉冲响应,得到a个第一目标HRTF的方法进行说明。
图11为本申请实施例提供的音频处理方法的流程图六,参见图11,本实施例的方法包括:
步骤S601、将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;a个第一目标HRTF包括a1个第三目标HRTF和a2个第五目标HRTF;其中,第一修正因子和第五修正因子的乘积为1,第一修正因子为大于0且小于1的数值。
具体地,对于步骤S601、对于a1个第一HRTF中的每个第一HRTF,将该第一HRTF包括的大于预设频率的各频率对应的脉冲响应各自乘以第一修正因子,得到修正后的第一HRTF,即为该第一HRTF对应的第三目标HRTF,从而得到a1个第三目标HRTF。
对于a2个第一HRTF中的每个第一HRTF,将该第一HRTF包括的大于预设频率的各频率对应的脉冲响应各自乘以第五修正因子,得到修正后的第一HRTF,即为该第一HRTF对应的第五目标HRTF,从而得到a2个第五目标HRTF。
其中,第一修正因子与图7所示的实施例中的含义相同,此处不再赘述。第五修正因子与第一修正因子的乘积为1,也就是说第五修正因子与第一修正因子成反比。
可以理解的是,若第m个虚拟扬声器对应的第一HRTF进行了修正,变成了第三目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第三目标HRTF卷积,得到第m个第一卷积音频信号;若第m个虚拟扬声器对应的第一HRTF进行了修正,变成了第五目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第五目标HRTF卷积,若得到第m个第一卷积音频信号若第m个虚拟扬声器对应的第一HRTF没有修正,则该第m个虚拟扬声器输出的第m个第一音频信号与该第一HRTF卷积,得到第m个第一卷积音频信号。
本实施例中,不仅对远离当前左耳位置的虚拟扬声器对应的第一HRTF的高频段的脉冲响应采用第一修正因子进行了修正,还对靠近当前左耳位置的虚拟扬声器对应的第一HRTF的高频段的脉冲响应采用第五修正因子进行了修正,且使用的修正因子成反比,相当于削弱了远离当前左耳位置(靠近当前右耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第二目标音频信号的影响,加强了靠近当前左耳位置(远离当前右耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第一目标音频信号的影响,从而可以进一步地降低第一目标音频信号和第二目标音频信号之间的串扰。
为了尽量保证或者保证第一目标音频信号和根据M个第一HRTF和M个第一音频信号得到的第三目标音频信号的能量的数量级相同,本实施例在上一实施例的基础上作了进一步的改进。图12为本申请实施例提供的音频处理方法的流程图七,参见图12,本实施例的方法包括:
步骤S701、将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;a个第一目标HRTF包括a1个第三目标HRTF和a2个第五目标HRTF;其中,第一修正因子和第五修正因子的乘积为1,第一修正因子为大于0且小于1的数值。
步骤S702、根据a1个第三目标HRTF和a2个第五目标HRTF,获取a个第一目标HRTF;
具体地,对于步骤S701、参照上一实施例中步骤S601的阐述。
对于步骤S702、根据a1个第三目标HRTF和a2个第五目标HRTF,获取a个第一目标HRTF,可由如下的二种实施方式实现:
第一种实施方式:将a1个第三目标HRTF的包括的所有脉冲响应乘以第三修正因子,得到a1个第六目标HRTF,将a2个第五目标HRTF的包括的所有脉冲响应乘以第六修正因子,得到a1个第七目标HRTF,a个第一目标HRTF包括a1个第六目标HRTF和a2个第七目标HRTF;
具体地,对于a1个第三目标HRTF中的每个第三目标HRTF,该第三目标HRTF包括的各脉冲响应各自乘以第三修正因子,得到第三目标HRTF对应的第六目标HRTF,从而得到a1个第六目标HRTF。
可选地,第三修正因子可为一大于1的预设值。
对于a2个第五目标HRTF中的每个第五目标HRTF,该第五目标HRTF包括的各脉冲响应各自乘以第六修正因子,得到第五目标HRTF对应的第七目标HRTF,从而得到a2个第七目标HRTF。
可选地,第六修正因子可为一小于1的预设值。
此时,a个第一目标HRTF便包括a1个第六目标HRTF和a2个第七目标HRTF。
可以理解的是,若第m个虚拟扬声器对应的第一HRTF进行了修正,变成了第六目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第六目标HRTF卷积,得到第m个第一卷积音频信号;若第m个虚拟扬声器对应的第一HRTF进行了修正,变成了第七目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第七目标HRTF卷积,若得到第m个第一卷积音频信号若第m个虚拟扬声器对应的第一HRTF没有修正,则该第m个虚拟扬声器输出的第m个第一音频信号与该第一HRTF卷积,得到第m个第一卷积音频信号。
该实施方式的目的为尽量保证根据a个第一目标HRTF、c个第一HRTF和M个第一音频信号得到的第一目标音频信号的能量的数量级与根据M个第一HRTF和M个第一音频信号得到的第三目标音频信号的能量的数量级相同。
第二种实施方式:对于一个第三目标HRTF,将该一个第三目标HRTF包括的所有脉冲响应乘以第一值,得到该一个第三目标HRTF对应的第六目标HRTF,第一值为第一平方和与第二平方和的比值,第一平方和为该一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,第二平方和为该一个第三目标HRTF包括的所有脉冲响应的平方和;对于一个第五目标HRTF,将该一个第五目标HRTF包括的所有脉冲响应乘以第三值,得到该一个第五目标HRTF对应的第七目标HRTF,第三值为第五平方和与第六平方和的比值,该第五平方和为该一个第五目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,该第六平方和为该一个第五目标HRTF包括的所有脉冲响应的平方和;a个第一目标HRTF包括a1个第六目标HRTF和a2个第七目标HRTF。
具体地,对于一个第三目标HRTF,获取该一个第三目标HRTF包括的所有脉冲响应的第二平方和Q2,获取该一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的第一平方和Q1;接着,采用Q1/Q2得到第一值;将该一个第三目标HRTF包括的各脉冲响应各自乘以该第一值,得到该一个第三目标HRTF对应的的第六目标HRTF;从而得到a1个第六目标HRTF。
其中,第三目标HRTF对应的第一HRTF同图8所示的实施例中的阐述,此处不再赘述。
对于一个第五目标HRTF,获取该一个第五目标HRTF包括的所有脉冲响应的第五平方和Q5,获取该一个第五目标HRTF对应的第一HRTF包括的所有脉冲响应的第六平方和Q6;接着,采用Q5/Q6得到第三值;将该一个第五目标HRTF包括的各脉冲响应各自乘以该第三值,得到该一个第五目标HRTF对应的第七目标HRTF;从而得到a2个第七目标HRTF。
此时,a个第一目标HRTF便包括a1个第六目标HRTF和a2个第七目标HRTF。
其中,第五目标HRTF对应的第一HRTF参照第三目标HRTF对应的第一HRTF的阐述,此处不再赘述。
该实施方式,可以保证上述的第一目标音频信号和上述的第三目标音频信号的能量的数量级相同。
本实施例的方法,不仅可以进一步降低第一目标音频信号和第二目标音频信号之间的串扰,还可以尽量保证或者保证上述的第一目标音频信号和上述的第三目标音频信号的能量的数量级相同。
接着对,在“b=b1+b2,b1个第二HRTF为位于上述目标中心的上述第二侧的b1个虚拟扬声器对应的b1个第二HRTF,b2个第二HRTF为位于上述目标中心的上述第一侧的b2个虚拟扬声器对应的b2个第二HRTF”的场景下,修正b个第二HRTF的高频段对应的脉冲响应,得到b个第二目标HRTF的方法进行说明。
图13为本申请实施例提供的音频处理方法的流程图八,参见图13,本实施例的方法包括:
步骤S801、将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;b个第二目标HRTF包括b1个第四目标HRTF和b2个第八目标HRTF;其中,第二修正因子和第七修正因子的乘积为1,第二修正因子为大于0且小于1的数值。
具体地,对于步骤S801、对于b1个第二HRTF中的每个第二HRTF,将该第二HRTF包括的大于预设频率的各频率对应的脉冲响应各自乘以第二修正因子,得到修正后的第二HRTF,即为该第二HRTF对应的第四目标HRTF,从而得到b1个第四目标HRTF。
对于b2个第二HRTF中的每个第二HRTF,将该第二HRTF包括的大于预设频率的各频率对应的脉冲响应各自乘以第七修正因子,得到修正后的第二HRTF,即为该第二HRTF对应的第八目标HRTF,从而得到b2个第八目标HRTF。
其中,第二修正因子与图9所示的实施例中的含义相同,此处不再赘述。第七修正因子与第二修正因子的乘积为1,也就是说第七修正因子与第二修正因子成反比。
可以理解的是,若第m个虚拟扬声器对应的第二HRTF进行了修正,变成了第四目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第四目标HRTF卷积,得到第m个第二卷积音频信号;若第m个虚拟扬声器对应的第二HRTF进行了修正,变成了第八目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第八目标HRTF卷积,若得到第m个第二卷积音频信号若第m个虚拟扬声器对应的第二HRTF没有修正,则该第m个虚拟扬声器输出的第m个第一音频信号与该第二HRTF卷积,得到第m个第二卷积音频信号。
本实施例中,不仅对远离右耳的虚拟扬声器对应的第二HRTF的高频段的脉冲响应采用第二修正因子进行了修正,还对靠近右耳的虚拟扬声器对应的第二HRTF的高频段的脉冲响应采用第七修正因子进行了修正,且使用的修正因子成反比,相当于削弱了远离当前右耳位置(靠近当前左耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第二目标音频信号的影响,加强了靠近当前右耳位置(远离当前左耳位置)的虚拟扬声器输出的第一音频信号中的高频段信号对第二目标音频信号的影响,从而可以进一步地降低第一目标音频信号和第二目标音频信号之间的串扰。
为了尽量保证或者保证第二目标音频信号和根据M个第二HRTF和M个第一音频信号得到的第四目标音频信号的能量的数量级相同,本实施例在上一实施例的基础上作了进一步的改进。图14为本申请实施例提供的音频处理方法的流程图九,参见图14,本实施例的方法包括:
步骤S901、将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;b个第二目标HRTF包括b1个第四目标HRTF和b2个第八目标HRTF;其中,第二修正因子和第七修正因子的乘积为1,第二修正因子为大于0且小于1的数值;
步骤S902、根据b1个第四目标HRTF和b2个第八目标HRTF,获取b个第二目标HRTF;
具体地,对于步骤S901,参照上一实施例中对步骤S801的阐述。
对于步骤S902、根据b1个第四目标HRTF和b2个第八目标HRTF,获取b个第二目标HRTF,可由如下的二种实施方式实现:
第一种实施方式:将b1个第四目标HRTF的包括的所有脉冲响应乘以第四修正因子,得到b1个第九目标HRTF,将b2个第八目标HRTF的包括的所有脉冲响应乘以第八修正因子,得到b1个第十目标HRTF,b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF;
具体地,对于b1个第四目标HRTF中的每个第四目标HRTF,该第四目标HRTF包括的各脉冲响应各自乘以第四修正因子,得到第四目标HRTF对应的第九目标HRTF,从而得到b1个第九目标HRTF。
可选地,第四修正因子可为一大于1的预设值。
对于b2个第八目标HRTF中的每个第八目标HRTF,该第八目标HRTF包括的各脉冲响应各自乘以第八修正因子,得到第八目标HRTF对应的第十目标HRTF,从而得到b2个第十目标HRTF。
可选地,第八修正因子可为一小于1大于0的预设值。
此时,b个第二目标HRTF便包括b1个第九目标HRTF和b2个第十目标HRTF。
可以理解的是,若第m个虚拟扬声器对应的第二HRTF进行了修正,变成了第九目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第九目标HRTF卷积,得到第m个第二卷积音频信号;若第m个虚拟扬声器对应的第二HRTF进行了修正,变成了第十目标HRTF,则该第m个虚拟扬声器输出的第m个第一音频信号与该第十目标HRTF卷积,若得到第m个第二卷积音频信号;若第m个虚拟扬声器对应的第二HRTF没有修正,则该第m个虚拟扬声器输出的第m个第一音频信号与该第二HRTF卷积,得到第m个第二卷积音频信号。
该实施方式的目的为尽量保证根据b个第二目标HRTF、d个第二HRTF和M个第一音频信号得到的第二目标音频信号的能量的数量级与根据M个第二HRTF和M个第一音频信号得到的第四目标音频信号的能量的数量级相同。
第二种实施方式:对于一个第四目标HRTF,将该一个第四目标HRTF包括的所有脉冲响应乘以第二值,得到该一个第四目标HRTF对应的第九目标HRTF,该第二值为第三平方和与第四平方和的比值,第三平方和为该一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,该第四平方和为该一个第四目标HRTF包括的所有脉冲响应的平方和;对于一个第八目标HRTF,将该一个第八目标HRTF包括的所有脉冲响应乘以第四值,得到该一个第八目标HRTF对应的第十目标HRTF,该第四值为第七平方和与第八平方和的比值,该第七平方和为该一个第八目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,该第八平方和为该一个第八目标HRTF包括的所有脉冲响应的平方和;b个第二目标HRTF包括b1个第九目标HRTF和b2个第十目标HRTF。
具体地,对于一个第四目标HRTF,获取该一个第四目标HRTF包括的所有脉冲响应的第四平方和Q4,获取该一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的第三平方和Q3;接着,采用Q3/Q4得到第二值;将该一个第四目标HRTF包括的各脉冲响应各自乘以该第二值,得到该一个第四目标HRTF对应的第九目标HRTF;从而得到b1个第九目标HRTF。
其中,第四目标HRTF对应的第二HRTF同图6所示的实施例中的阐述,此处不再赘述。
对于一个第八目标HRTF,获取该一个第八目标HRTF包括的所有脉冲响应的第七平方和Q7,获取该一个第八目标HRTF对应的第二HRTF包括的所有脉冲响应的第八平方和Q8;接着,采用Q7/Q8得到第四值;将该一个第八目标HRTF包括的各脉冲响应各自乘以该第四值,得到该一个第八目标HRTF对应的第十目标HRTF;从而得到b2个第十目标HRTF。
此时,b个第二目标HRTF便包括b1个第九目标HRTF和b2个第十目标HRTF。
其中,第八目标HRTF对应的第二HRTF参照第四目标HRTF对应的第二HRTF的阐述,此处不再赘述。
该实施方式,可以保证上述的第二目标音频信号和上述的第四目标音频信号的能量的数量级相同。
本实施例的方法,不仅可以进一步降低第一目标音频信号和第二目标音频信号之间的串扰,还可以尽量保证或者保证上述的第二目标音频信号和上述的第四目标音频信号的能量的数量级相同。
可以理解的是,图7、图8任一所示的实施例可以和图9、图10、图13、图14任一所示的实施例组合,图11、图12任一所示的实施例可以和图9、图10、图13、图14任一所示的实施例组合。
上述图8、图10、图12、图14所示的各实施例中存在通过修正HRTF来尽量保证第二目标音频信号的能量的数量级与第四目标音频信号的能量的数量级相同,第一目标音频信号的能量的数量级与第三目标音频信号的能量的数量级相同的实施例,此外还可以通过调整第一目标音频信号,来保证第二目标音频信号的能量的数量级与第四目标音频信号的能量的数量级相同,第一目标音频信号的能量的数量级与第三目标音频信号的能量的数量级相同。图15为本申请实施例提供的音频处理方法的流程图十,参见图15,本实施例的方法包括:
步骤S1001、获取第一目标音频信号的幅度的第九平方和;
步骤S1002、获取第三目标音频信号的幅度的第十平方和;第三目标音频信号为根据M个第一HRTF和M个第一音频信号得到的音频信号;
步骤S1003、获取第十平方和与第九平方和的第一比值;
步骤S1004、将第一目标音频信号的各幅度各自乘以第一比值,得到调整后的第一目标音频信号。
具体地,步骤S1001~步骤S1004为“调整第一目标音频信号的能量的数量级为第一数量级,第一数量级为第三目标音频信号的能量的数量级;第三目标音频信号为根据M个第一HRTF和M个第一音频信号得到的音频信号”。
进一步地,为了提高渲染效率,还可以在得到第一目标音频信号,调整第一目标音频信号的能量的数量级至预设数量级,这样就不用获取第三目标音频信号了。
本实施例保证了调整后的第一目标音频信号的能量的数量级与第三目标音频信号的能量的数量级相同。
图16为本申请实施例提供的音频处理方法的流程图十一,参见图16,本实施例的方法包括:
步骤S1101、获取第二目标音频信号的幅度的第十一平方和;
步骤S1102、获取第四目标音频信号的幅度的第十二平方和;第四目标音频信号为根据M个第二HRTF和M个第一音频信号得到的音频信号;
步骤S1103、获取第十二平方和与第十一平方和的第二比值;
步骤S1104、将第二目标音频信号的各幅度各自乘以第二比值,得到调整后的第二目标音频信号。
具体地,步骤S1101~步骤S1104为“调整第二目标音频的能量为第二数量级,第二数量级为第四目标音频信号的能量的数量级;第四目标音频信号为根据M个第二HRTF和M个第一音频信号得到的音频信号”的具体实现。
进一步地,为了提高渲染效率,还可以在得到第二目标音频信号,调整第二目标音频信号的能量的数量级至预设数量级,这样就不用获取第四目标音频信号了。
本实施例保证了第二目标音频信号的能量的数量级与第四目标音频信号的能量的数量级相同。
图7、图11所示的实施例中的任一实施例可以与图15所示的实施例组合,图9、图13所示的实施例中的任一实施例可以与图16所示的实施例组合。
上述针对音频信号接收端所实现的功能,对本申请实施例提供的方案进行了介绍。可以理解的是,音频信号接收端为了实现上述功能,其包含了执行各个功能对应的硬件结构和/或软件模块。结合本申请中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的技术方案的范围。
本申请实施例可以根据上述方法示例对音频信号接收端中进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图17为本申请实施例提供音频处理装置的结构示意图一,参见图17,本实施例的装置包括:处理模块31,获取模块32和修正模块33。
处理模块31,用于获取待处理音频信号经M个虚拟扬声器处理后的M个第一音频信号;M为正整数;所述M个虚拟扬声器与所述M个第一音频信号一一对应;
获取模块32,用于获取M个第一头相关传输函数HRTF和M个第二HRTF,所述M个第一HRTF为所述M个第一音频信号从所述M个虚拟扬声器至左耳位置所对应的HRTF,所述M个第二HRTF为所述M个第一音频信号从所述M个虚拟扬声器至右耳位置所对应的HRTF;所述M个第一HRTF为M个虚拟扬声器一一对应,所述M个第二HRTF为M个虚拟扬声器一一对应;
修正模块33,用于修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,以及修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF;其中,1≤a≤M,1≤b≤M,且a和b均为整数;
所述获取模块32,还用于根据所述a个第一目标HRTF、c个第一HRTF和所述M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,以及根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取当前右耳位置对应的第二目标音频信号;其中,所述c个第一HRTF为所述M个第一HRTF中除所述a个第一HRTF之外的HRTF,所述d个第二HRTF为所述M个第二HRTF中除所述b个第二HRTF之外的HRTF,a+c=M,b+d=M。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在一种可能的设计中,所述获取模块32,具体用于:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF,该对应关系为预先存储有多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,所述获取模块32,具体用于:
获取所述M个第二虚拟扬声器相对于当前右耳位置的M个第二位置;
根据所述M个第二位置以及所述对应关系,确定所述M个第二位置所对应的M个HRTF为所述M个第二HRTF,该对应关系为预先存储有多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,所述获取模块32,具体用于:
将所述M个第一音频信号分别与所述a个第一目标HRTF和所述c个第一HRTF中对应的HRTF卷积,以得到M个第一卷积音频信号;
根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
在一种可能的设计中,所述获取模块32,具体用于:
将所述M个第一音频信号分别与d个第二HRTF和所述b个第二目标HRTF中对应的HRTF卷积,得到M个第二卷积音频信号;
根据所述M个第二卷积音频信号,以得到所述第二目标音频信号。
在一种可能的设计中,所述a个第一HRTF为位于目标中心的第一侧的a个虚拟扬声器对应的a个第一HRTF,第一侧为目标中心远离当前左耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
在该可能的设计中,所述修正模块33,具体用于:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第一目标HRTF,所述第一修正因子大于0且小于1。
或者,
在该可能的设计中,所述修正模块33,具体用于:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
将所述a个第三目标HRTF包括的所有脉冲响应乘以第三修正因子,以得到a个第一目标HRTF,所述第三修正因子为大于1的数值;
或者,
在该可能的设计中,所述修正模块33,具体用于:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第一目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和。
在一种可能的设计中,所述b个第二HRTF为位于目标中心的第二侧的b个虚拟扬声器对应的b个第二HRTF,第二侧为目标中心远离当前右耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
在该可能的设计中,所述修正模块33,具体用于:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第二目标HRTF;所述第二修正因子为大于0且小于1的数值。
或者,
在该可能的设计中,所所述修正模块,具体用于:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF;所述第二修正因子为大于0且小于1的数值;
将所述b个第四目标HRTF包括的所有脉冲响应乘以第四修正因子,以得到b个第二目标HRTF,所述第四修正因子为大于1的数值;
或者,
在该可能的设计中,所所述修正模块,具体用于:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF;所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第二目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和。
在一种可能的设计中,所述a=a1+a2,所述a1个第一HRTF为位于目标中心的第一侧的a1个虚拟扬声器对应的a1个第一HRTF,所述a2个第一HRTF为位于所述目标中心的第二侧的a2个虚拟扬声器对应的a2个第一HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
在该可能的设计中,所述修正模块33,具体用于:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;所述a个第一目标HRTF包括所述a1个第三目标HRTF和a2个第五目标HRTF;
其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值。
或者,
在该可能的设计中,所述修正模块33,具体用于:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
将a1个第三目标HRTF的包括的所有脉冲响应乘以第三修正因子,以得到a1个第六目标HRTF,将a2个第五目标HRTF的包括的所有脉冲响应乘以第六修正因子,以得到a1个第七目标HRTF;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF;其中,所述第三修正因子为大于1的数值,所述第六修正因子为大于0且小于1的数值;
或者,
在该可能的设计中,所述修正模块33,具体用于:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第六目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和;对于一个第五目标HRTF,将所述一个第五目标HRTF包括的所有脉冲响应乘以第三值,以得到所述一个第五目标HRTF对应的第七目标HRTF,所述第三值为第五平方和与第六平方和的比值,所述第五平方和为所述一个第五目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第六平方和为所述一个第五目标HRTF包括的所有脉冲响应的平方和;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF。
在一种可能的设计中,所述b=b1+b2,所述b1个第二HRTF为位于目标中心的第二侧的b1个虚拟扬声器对应的b1个第二HRTF,所述b2个第二HRTF为位于所述目标中心的第一侧的b2个虚拟扬声器对应的b2个第二HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
在该可能的设计中,所述修正模块33,具体用于:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;所述b个第二目标HRTF包括b1个第四目标HRTF和b2个第八目标HRTF;
其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值。
或者,
在该可能的设计中,所述修正模块33,具体用于:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
将b1个第四目标HRTF的包括的所有脉冲响应乘以第四修正因子,以得到b1个第九目标HRTF,将b2个第八目标HRTF的包括的所有脉冲响应乘以第八修正因子,以得到b1个第十目标HRTF,所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF;其中,所述第四修正因子为大于1的数值,所述第八修正因子为大于0且小于1的数值。
或者,
在该可能的设计中,所述修正模块33,具体用于:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第九目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和;对于一个第八目标HRTF,将所述一个第八目标HRTF包括的所有脉冲响应乘以第四值,以得到所述一个第八目标HRTF对应的第十目标HRTF,所述第四值为第七平方和与第八平方和的比值,所述第七平方和为所述一个第八目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第八平方和为所述一个第八目标HRTF包括的所有脉冲响应的平方和;所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图18为本申请实施例提供音频处理装置的结构示意图二,参见图18,本实施例的装置在图17所示的装置的基础上,还包括:调整模块34;
调整模块34,用于调整所述第一目标音频信号的能量的数量级为第一数量级,所述第一数量级为所述第三目标音频信号的能量的数量级;所述第三目标音频信号为根据所述M个第一HRTF和所述M个第一音频信号得到的音频信号;以及,
调整所述第二目标音频的能量为第二数量级,所述第二数量级为所述第四目标音频信号的能量的数量级;所述第四目标音频信号为根据所述M个第二HRTF和所述M个第一音频信号得到的音频信号。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,使得计算机执行如本申请上述方法实施例中的方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

Claims (39)

1.一种音频处理方法,其特征在于,包括:
获取待处理音频信号经M个虚拟扬声器处理后的M个第一音频信号;M为正整数;所述M个虚拟扬声器与所述M个第一音频信号一一对应;
获取M个第一头相关传输函数HRTF和M个第二HRTF,所述M个第一HRTF为所述M个第一音频信号从所述M个虚拟扬声器至左耳位置所对应的HRTF,所述M个第二HRTF为所述M个第一音频信号从所述M个虚拟扬声器至右耳位置所对应的HRTF;所述M个第一HRTF为M个虚拟扬声器一一对应,所述M个第二HRTF为M个虚拟扬声器一一对应;
修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,以及修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF;其中,1≤a≤M,1≤b≤M,且a和b均为整数;
根据所述a个第一目标HRTF、c个第一HRTF和所述M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,以及根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取当前右耳位置对应的第二目标音频信号;其中,所述c个第一HRTF为所述M个第一HRTF中除所述a个第一HRTF之外的HRTF,所述d个第二HRTF为所述M个第二HRTF中除所述b个第二HRTF之外的HRTF,a+c=M,b+d=M。
2.根据权利要求1所述的方法,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第一HRTF,包括:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及所述对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF。
3.根据权利要求1或2所述的方法,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第二HRTF,包括:
获取所述M个第二虚拟扬声器相对于当前右耳位置的M个第二位置;
根据所述M个第二位置以及所述对应关系,确定所述M个第二位置所对应的M个HRTF为所述M个第二HRTF。
4.根据权利要求1~3任一项所述的方法,其特征在于,根据所述a个第一目标HRTF、c个第一HRTF和所述M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,包括:
将所述M个第一音频信号分别与所述a个第一目标HRTF和所述c个第一HRTF中对应的HRTF卷积,以得到M个第一卷积音频信号;
根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取当前右耳位置对应的第二目标音频信号,包括:
将所述M个第一音频信号分别与所述d个第二HRTF和所述b个第二目标HRTF中对应的HRTF卷积,以得到M个第二卷积音频信号;
根据所述M个第二卷积音频信号,得到所述第二目标音频信号。
6.根据权利要求1~5任一项所述的方法,其特征在于,所述a个第一HRTF为位于目标中心的第一侧的a个虚拟扬声器对应的a个第一HRTF,第一侧为目标中心远离当前左耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
7.根据权利要求6所述的方法,其特征在于,所述修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,包括:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第一目标HRTF,所述第一修正因子大于0且小于1。
8.根据权利要求6所述的方法,其特征在于,所述修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,包括:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
将所述a个第三目标HRTF包括的所有脉冲响应乘以第三修正因子,以得到a个第一目标HRTF,所述第三修正因子为大于1的数值;
或者,
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的一个第一目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和。
9.根据权利要求1~8任一项所述的方法,其特征在于,所述b个第二HRTF为位于目标中心的第二侧的b个虚拟扬声器对应的b个第二HRTF,第二侧为目标中心远离当前右耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
10.根据权利要求9所述的方法,其特征在于,所述修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF,包括:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第二目标HRTF,所述第二修正因子为大于0且小于1的数值。
11.根据权利要求9所述的方法,其特征在于,所述修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF,包括:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF,所述第二修正因子为大于0且小于1的数值;
将所述b个第四目标HRTF包括的所有脉冲响应乘以第四修正因子,以得到b个第二目标HRTF,所述第四修正因子为大于1的数值;
或者,
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF,所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第二目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和。
12.根据权利要求1~5任一项所述的方法,其特征在于,所述a=a1+a2,所述a1个第一HRTF为位于目标中心的第一侧的a1个虚拟扬声器对应的a1个第一HRTF,所述a2个第一HRTF为位于所述目标中心的第二侧的a2个虚拟扬声器对应的a2个第一HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
13.根据权利要求12所述的方法,其特征在于,所述修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,包括:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;所述a个第一目标HRTF包括所述a1个第三目标HRTF和a2个第五目标HRTF;
其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值。
14.根据权利要求12所述的方法,其特征在于,所述修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,包括:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
将a1个第三目标HRTF的包括的所有脉冲响应乘以第三修正因子,以得到a1个第六目标HRTF,将a2个第五目标HRTF的包括的所有脉冲响应乘以第六修正因子,以得到a2个第七目标HRTF;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF;其中,所述第三修正因子为大于1的数值,所述第六修正因子为大于0且小于1的数值;
或者,
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第六目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和;对于一个第五目标HRTF,将所述一个第五目标HRTF包括的所有脉冲响应乘以第三值,以得到所述一个第五目标HRTF对应的第七目标HRTF,所述第三值为第五平方和与第六平方和的比值,所述第五平方和为所述一个第五目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第六平方和为所述一个第五目标HRTF包括的所有脉冲响应的平方和;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF。
15.根据权利要求1~8和12~14任一项所述的方法,其特征在于,所述b=b1+b2,所述b1个第二HRTF为位于目标中心的第二侧的b1个虚拟扬声器对应的b1个第二HRTF,所述b2个第二HRTF为位于所述目标中心的第一侧的b2个虚拟扬声器对应的b2个第二HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
16.根据权利要求15所述的方法,其特征在于,所述修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF,包括:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;所述b个第二目标HRTF包括b1个第四目标HRTF和b2个第八目标HRTF;
其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值。
17.根据权利要求15所述的方法,其特征在于,所述修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF,包括:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
将b1个第四目标HRTF的包括的所有脉冲响应乘以第四修正因子,以得到b1个第九目标HRTF,将b2个第八目标HRTF的包括的所有脉冲响应乘以第八修正因子,以得到b2个第十目标HRTF,所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF;其中,所述第四修正因子为大于1的数值,所述第八修正因子为大于0且小于1的数值;
或者,
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第九目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和;对于一个第八目标HRTF,将所述一个第八目标HRTF包括的所有脉冲响应乘以第四值,以得到所述一个第八目标HRTF对应的第十目标HRTF,所述第四值为第七平方和与第八平方和的比值,所述第七平方和为所述一个第八目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第八平方和为所述一个第八目标HRTF包括的所有脉冲响应的平方和;所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF。
18.根据权利要求1~7任一项所述的方法,其特征在于,还包括:
调整所述第一目标音频信号的能量的数量级为第一数量级,所述第一数量级为所述第三目标音频信号的能量的数量级;所述第三目标音频信号为根据所述M个第一HRTF和所述M个第一音频信号得到的音频信号;
调整所述第二目标音频的能量为第二数量级,所述第二数量级为所述第四目标音频信号的能量的数量级;所述第四目标音频信号为根据所述M个第二HRTF和所述M个第一音频信号得到的音频信号。
19.一种音频处理装置,其特征在于,包括:
处理模块,用于获取待处理音频信号经M个虚拟扬声器处理后的M个第一音频信号;M为正整数;所述M个虚拟扬声器与所述M个第一音频信号一一对应;
获取模块,用于获取M个第一头相关传输函数HRTF和M个第二HRTF,所述M个第一HRTF为所述M个第一音频信号从所述M个虚拟扬声器至左耳位置所对应的HRTF,所述M个第二HRTF为所述M个第一音频信号从所述M个虚拟扬声器至右耳位置所对应的HRTF;所述M个第一HRTF为M个虚拟扬声器一一对应,所述M个第二HRTF为M个虚拟扬声器一一对应;
修正模块,用于修正a个第一HRTF的高频段对应的脉冲响应,以得到a个第一目标HRTF,以及修正b个第二HRTF的高频段对应的脉冲响应,以得到b个第二目标HRTF;其中,1≤a≤M,1≤b≤M,且a和b均为整数;
所述获取模块,还用于根据所述a个第一目标HRTF、c个第一HRTF和所述M个第一音频信号,获取当前左耳位置对应的第一目标音频信号,以及根据d个第二HRTF、b个第二目标HRTF和所述M个第一音频信号,获取当前右耳位置对应的第二目标音频信号;其中,所述c个第一HRTF为所述M个第一HRTF中除所述a个第一HRTF之外的HRTF,所述d个第二HRTF为所述M个第二HRTF中除所述b个第二HRTF之外的HRTF,a+c=M,b+d=M。
20.根据权利要求19所述的装置,其特征在于,所述获取模块,具体用于:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF;该对应关系是预先存储有多个预设位置与多个HRTF的对应关系。
21.根据权利要求19或20所述的装置,其特征在于,所述获取模块,具体用于:
获取所述M个第二虚拟扬声器相对于当前右耳位置的M个第二位置;
根据所述M个第二位置以及对应关系,确定所述M个第二位置所对应的M个HRTF为所述M个第二HRTF;该对应关系是预先存储有多个预设位置与多个HRTF的对应关系。
22.根据权利要求19~21任一项所述的装置,其特征在于,所述获取模块,具体用于:
将所述M个第一音频信号分别与所述a个第一目标HRTF和所述c个第一HRTF中对应的HRTF卷积,以得到M个第一卷积音频信号;
根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
23.根据权利要求19~22任一项所述的装置,其特征在于,所述获取模块,具体用于:
将所述M个第一音频信号分别与d个第二HRTF和所述b个第二目标HRTF中对应的HRTF卷积,以得到M个第二卷积音频信号;
根据所述M个第二卷积音频信号,得到所述第二目标音频信号。
24.根据权利要求19~23任一项所述的装置,其特征在于,所述a个第一HRTF为位于目标中心的第一侧的a个虚拟扬声器对应的a个第一HRTF,第一侧为目标中心远离当前左耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
25.根据权利要求24所述的装置,其特征在于,所述修正模块,具体用于:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第一目标HRTF,所述第一修正因子大于0且小于1。
26.根据权利要求24所述的装置,其特征在于,所述修正模块,具体用于:
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
将所述a个第三目标HRTF包括的所有脉冲响应乘以第三修正因子,以得到a个第一目标HRTF,所述第三修正因子为大于1的数值;
或者,
将所述a个第一HRTF包括的高频段对应的脉冲响应乘以第一修正因子,以得到a个第三目标HRTF,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第一目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和。
27.根据权利要求19~26任一项所述的装置,其特征在于,所述b个第二HRTF为位于目标中心的第二侧的b个虚拟扬声器对应的b个第二HRTF,第二侧为目标中心远离当前右耳位置的一侧,所述目标中心为所述M个虚拟扬声器对应的三维空间的中心。
28.根据权利要求27所述的装置,其特征在于,所述修正模块,具体用于:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第二目标HRTF,所述第二修正因子为大于0且小于1的数值。
29.根据权利要求27所述的装置,其特征在于,所所述修正模块,具体用于:
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF,所述第二修正因子为大于0且小于1的数值;
将所述b个第四目标HRTF包括的所有脉冲响应乘以第四修正因子,以得到b个第二目标HRTF,所述第四修正因子为大于1的数值;
或者,
将所述b个第二HRTF包括的高频段对应的脉冲响应乘以第二修正因子,以得到所述b个第四目标HRTF,所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第二目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和。
30.根据权利要求19~23任一项所述的装置,其特征在于,所述a=a1+a2,所述a1个第一HRTF为位于目标中心的第一侧的a1个虚拟扬声器对应的a1个第一HRTF,所述a2个第一HRTF为位于所述目标中心的第二侧的a2个虚拟扬声器对应的a2个第一HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
31.根据权利要求30所述的装置,其特征在于,所述修正模块,具体用于:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;所述a个第一目标HRTF包括所述a1个第三目标HRTF和a2个第五目标HRTF;
其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值。
32.根据权利要求30所述的装置,其特征在于,所所述修正模块,具体用于:
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
将a1个第三目标HRTF的包括的所有脉冲响应乘以第三修正因子,以得到a1个第六目标HRTF,将a2个第五目标HRTF的包括的所有脉冲响应乘以第六修正因子,以得到a1个第七目标HRTF;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF;所述第三修正因子为大于1的数值,所述第六修正因子为大于0且小于1的数值;
或者,
将a1个第一HRTF的高频段对应的脉冲响应乘以第一修正因子,以得到a1个第三目标HRTF,将a2个第一HRTF的高频段对应的脉冲响应乘以第五修正因子,以得到a2个第五目标HRTF;其中,所述第一修正因子和所述第五修正因子的乘积为1,所述第一修正因子为大于0且小于1的数值;
对于一个第三目标HRTF,将所述一个第三目标HRTF包括的所有脉冲响应乘以第一值,以得到所述一个第三目标HRTF对应的第六目标HRTF,所述第一值为第一平方和与第二平方和的比值,所述第一平方和为所述一个第三目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第二平方和为所述一个第三目标HRTF包括的所有脉冲响应的平方和;对于一个第五目标HRTF,将所述一个第五目标HRTF包括的所有脉冲响应乘以第三值,以得到所述一个第五目标HRTF对应的第七目标HRTF,所述第三值为第五平方和与第六平方和的比值,所述第五平方和为所述一个第五目标HRTF对应的第一HRTF包括的所有脉冲响应的平方和,所述第六平方和为所述一个第五目标HRTF包括的所有脉冲响应的平方和;所述a个第一目标HRTF包括所述a1个第六目标HRTF和a2个第七目标HRTF。
33.根据权利要求19~26和30~32任一项所述的装置,其特征在于,所述b=b1+b2,所述b1个第二HRTF为位于目标中心的第二侧的b1个虚拟扬声器对应的b1个第二HRTF,所述b2个第二HRTF为位于所述目标中心的第一侧的b2个虚拟扬声器对应的b2个第二HRTF,第一侧为所述目标中心远离当前左耳位置的一侧,第二侧为所述目标中心远离当前右耳位置的一侧,所述目标中心为M个虚拟扬声器对应的三维空间的中心。
34.根据权利要求33所述的装置,其特征在于,所述修正模块,具体用于:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;所述b个第二目标HRTF包括b1个第四目标HRTF和b2个第八目标HRTF;
其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值。
35.根据权利要求33所述的装置,其特征在于,所述修正模块,具体用于:
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
将b1个第四目标HRTF的包括的所有脉冲响应乘以第四修正因子,以得到b1个第九目标HRTF,将b2个第八目标HRTF的包括的所有脉冲响应乘以第八修正因子,以得到b1个第十目标HRTF,所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF;其中,所述第四修正因子为大于1的数值,所述第八修正因子为大于0且小于1的数值;
或者,
将b1个第二HRTF的高频段对应的脉冲响应乘以第二修正因子,以得到b1个第四目标HRTF,将b2个第二HRTF的高频段对应的脉冲响应乘以第七修正因子,以得到b2个第八目标HRTF;其中,所述第二修正因子和所述第七修正因子的乘积为1,所述第二修正因子为大于0且小于1的数值;
对于一个第四目标HRTF,将所述一个第四目标HRTF包括的所有脉冲响应乘以第二值,以得到所述一个第四目标HRTF对应的第九目标HRTF,所述第二值为第三平方和与第四平方和的比值,所述第三平方和为所述一个第四目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第四平方和为所述一个第四目标HRTF包括的所有脉冲响应的平方和;对于一个第八目标HRTF,将所述一个第八目标HRTF包括的所有脉冲响应乘以第四值,以得到所述一个第八目标HRTF对应的第十目标HRTF,所述第四值为第七平方和与第八平方和的比值,所述第七平方和为所述一个第八目标HRTF对应的第二HRTF包括的所有脉冲响应的平方和,所述第八平方和为所述一个第八目标HRTF包括的所有脉冲响应的平方和;所述b个第二目标HRTF包括所述b1个第九目标HRTF和b2个第十目标HRTF。
36.根据权利要求19~25任一项所述的装置,其特征在于,还包括:调整模块;
所述调整模块,用于调整所述第一目标音频信号的能量的数量级为第一数量级,所述第一数量级为所述第三目标音频信号的能量的数量级;所述第三目标音频信号为根据所述M个第一HRTF和所述M个第一音频信号得到的音频信号;以及,
调整所述第二目标音频的能量为第二数量级,所述第二数量级为所述第四目标音频信号的能量的数量级;所述第四目标音频信号为根据所述M个第二HRTF和所述M个第一音频信号得到的音频信号。
37.一种音频处理装置,其特征在于,包括处理器;
所述处理器用于与存储器耦合,读取并执行所述存储器中的指令,以实现如权利要求1-18任一所述的方法。
38.根据权利要求37所述的装置,其特征在于,还包括所述存储器。
39.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序;所述计算机程序被执行时,实现如权利要求1-18任一项所述的方法。
CN201810950090.9A 2018-08-20 2018-08-20 音频处理方法和装置 Active CN110856095B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201810950090.9A CN110856095B (zh) 2018-08-20 2018-08-20 音频处理方法和装置
CN202111355571.3A CN114205730A (zh) 2018-08-20 2018-08-20 音频处理方法和装置
KR1020217007802A KR102502551B1 (ko) 2018-08-20 2019-03-19 오디오 처리 방법 및 장치
BR112021003158-8A BR112021003158A2 (pt) 2018-08-20 2019-03-19 aparelho e método de processamento de áudio
EP19851651.0A EP3833056A4 (en) 2018-08-20 2019-03-19 AUDIO PROCESSING PROCESS AND APPARATUS
PCT/CN2019/078780 WO2020037983A1 (zh) 2018-08-20 2019-03-19 音频处理方法和装置
KR1020237005716A KR20230027335A (ko) 2018-08-20 2019-03-19 오디오 처리 방법 및 장치
US17/179,619 US11451921B2 (en) 2018-08-20 2021-02-19 Audio processing method and apparatus
US17/879,114 US11863964B2 (en) 2018-08-20 2022-08-02 Audio processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810950090.9A CN110856095B (zh) 2018-08-20 2018-08-20 音频处理方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111355571.3A Division CN114205730A (zh) 2018-08-20 2018-08-20 音频处理方法和装置

Publications (2)

Publication Number Publication Date
CN110856095A true CN110856095A (zh) 2020-02-28
CN110856095B CN110856095B (zh) 2021-11-19

Family

ID=69592413

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111355571.3A Pending CN114205730A (zh) 2018-08-20 2018-08-20 音频处理方法和装置
CN201810950090.9A Active CN110856095B (zh) 2018-08-20 2018-08-20 音频处理方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111355571.3A Pending CN114205730A (zh) 2018-08-20 2018-08-20 音频处理方法和装置

Country Status (6)

Country Link
US (2) US11451921B2 (zh)
EP (1) EP3833056A4 (zh)
KR (2) KR102502551B1 (zh)
CN (2) CN114205730A (zh)
BR (1) BR112021003158A2 (zh)
WO (1) WO2020037983A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111916094B (zh) * 2020-07-10 2024-02-23 瑞声新能源发展(常州)有限公司科教城分公司 音频信号处理方法、装置、设备及可读介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
US20050047618A1 (en) * 1999-07-09 2005-03-03 Creative Technology, Ltd. Dynamic decorrelator for audio signals
US20050100171A1 (en) * 2003-11-12 2005-05-12 Reilly Andrew P. Audio signal processing system and method
CN1728890A (zh) * 2004-07-29 2006-02-01 新日本无线株式会社 声信号处理方法与装置
CN1860826A (zh) * 2004-06-04 2006-11-08 三星电子株式会社 再现宽立体声的设备和方法
CN101529930A (zh) * 2006-10-19 2009-09-09 松下电器产业株式会社 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
CN104581610A (zh) * 2013-10-24 2015-04-29 华为技术有限公司 一种虚拟立体声合成方法及装置
US20160012816A1 (en) * 2013-03-12 2016-01-14 Yamaha Corporation Signal processing device, headphone, and signal processing method
CN105933835A (zh) * 2016-04-21 2016-09-07 音曼(北京)科技有限公司 基于线性扬声器阵列的自适应3d声场重现方法及系统
CN106664499A (zh) * 2014-08-13 2017-05-10 华为技术有限公司 音频信号处理装置
CN107182021A (zh) * 2017-05-11 2017-09-19 广州创声科技有限责任公司 Vr电视中的动态空间虚拟声处理系统及处理方法
CN107258090A (zh) * 2015-02-18 2017-10-17 华为技术有限公司 音频信号处理装置和音频信号滤波方法
CN107786936A (zh) * 2016-08-25 2018-03-09 中兴通讯股份有限公司 一种声音信号的处理方法及终端
CN107925814A (zh) * 2015-10-14 2018-04-17 华为技术有限公司 生成提升声音印象的方法和设备
CN108156575A (zh) * 2017-12-26 2018-06-12 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN108370485A (zh) * 2015-12-07 2018-08-03 华为技术有限公司 音频信号处理装置和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147261A1 (en) * 2003-12-30 2005-07-07 Chiang Yeh Head relational transfer function virtualizer
KR100644617B1 (ko) * 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
WO2012068174A2 (en) * 2010-11-15 2012-05-24 The Regents Of The University Of California Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound
WO2012128535A2 (en) * 2011-03-21 2012-09-27 Lg Electronics Inc. Apparatus for controlling depth/distance of sound and method thereof
US9271102B2 (en) * 2012-08-16 2016-02-23 Turtle Beach Corporation Multi-dimensional parametric audio system and method
KR102148217B1 (ko) * 2013-04-27 2020-08-26 인텔렉추얼디스커버리 주식회사 위치기반 오디오 신호처리 방법
JP2015211418A (ja) * 2014-04-30 2015-11-24 ソニー株式会社 音響信号処理装置、音響信号処理方法、および、プログラム
CN107113524B (zh) 2014-12-04 2020-01-03 高迪音频实验室公司 反映个人特性的双耳音频信号处理方法和设备
KR20170125660A (ko) 2016-05-04 2017-11-15 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
CN107105384B (zh) * 2017-05-17 2018-11-02 华南理工大学 一种中垂面上近场虚拟声像的合成方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
US20050047618A1 (en) * 1999-07-09 2005-03-03 Creative Technology, Ltd. Dynamic decorrelator for audio signals
US20050100171A1 (en) * 2003-11-12 2005-05-12 Reilly Andrew P. Audio signal processing system and method
CN1860826A (zh) * 2004-06-04 2006-11-08 三星电子株式会社 再现宽立体声的设备和方法
CN1728890A (zh) * 2004-07-29 2006-02-01 新日本无线株式会社 声信号处理方法与装置
CN101529930A (zh) * 2006-10-19 2009-09-09 松下电器产业株式会社 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
US20160012816A1 (en) * 2013-03-12 2016-01-14 Yamaha Corporation Signal processing device, headphone, and signal processing method
CN104581610A (zh) * 2013-10-24 2015-04-29 华为技术有限公司 一种虚拟立体声合成方法及装置
CN106664499A (zh) * 2014-08-13 2017-05-10 华为技术有限公司 音频信号处理装置
CN107258090A (zh) * 2015-02-18 2017-10-17 华为技术有限公司 音频信号处理装置和音频信号滤波方法
CN107925814A (zh) * 2015-10-14 2018-04-17 华为技术有限公司 生成提升声音印象的方法和设备
CN108370485A (zh) * 2015-12-07 2018-08-03 华为技术有限公司 音频信号处理装置和方法
CN105933835A (zh) * 2016-04-21 2016-09-07 音曼(北京)科技有限公司 基于线性扬声器阵列的自适应3d声场重现方法及系统
CN107786936A (zh) * 2016-08-25 2018-03-09 中兴通讯股份有限公司 一种声音信号的处理方法及终端
CN107182021A (zh) * 2017-05-11 2017-09-19 广州创声科技有限责任公司 Vr电视中的动态空间虚拟声处理系统及处理方法
CN108156575A (zh) * 2017-12-26 2018-06-12 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢菠荪: "一种简化的虚拟3D声方法", 《电声技术》 *

Also Published As

Publication number Publication date
WO2020037983A8 (zh) 2020-10-22
KR20210043660A (ko) 2021-04-21
EP3833056A1 (en) 2021-06-09
US11863964B2 (en) 2024-01-02
KR20230027335A (ko) 2023-02-27
EP3833056A4 (en) 2021-10-13
CN110856095B (zh) 2021-11-19
WO2020037983A1 (zh) 2020-02-27
US20220386064A1 (en) 2022-12-01
KR102502551B1 (ko) 2023-02-23
CN114205730A (zh) 2022-03-18
BR112021003158A2 (pt) 2021-05-11
US20210176583A1 (en) 2021-06-10
US11451921B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
CN107852563B (zh) 双耳音频再现
KR102149214B1 (ko) 위상응답 특성을 이용하는 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
JP7038725B2 (ja) オーディオ信号処理方法及び装置
US11611841B2 (en) Audio processing method and apparatus
AU2008362920A1 (en) Method of rendering binaural stereo in a hearing aid system and a hearing aid system
CN114067810A (zh) 音频信号渲染方法和装置
Arteaga Introduction to ambisonics
CN111385728B (zh) 一种音频信号处理方法及装置
CN110856095B (zh) 音频处理方法和装置
US11924619B2 (en) Rendering binaural audio over multiple near field transducers
US20230011591A1 (en) System and method for virtual sound effect with invisible loudspeaker(s)
TWI775457B (zh) 音訊渲染方法、裝置及電腦可讀存儲介質
US10659902B2 (en) Method and system of broadcasting a 360° audio signal
Devallez et al. Method and system of broadcasting a 360 audio signal
KR20050029749A (ko) 재생부의 배열이나 청취자의 움직임에 관계없이 넓은 효과 영역의 제공과 계산량 저감을 실현한 상대 음상 정의 전달 함수법을 이용한 가상 서라운드, 입체음향의 구현

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant