CN110856094A - 音频处理方法和装置 - Google Patents
音频处理方法和装置 Download PDFInfo
- Publication number
- CN110856094A CN110856094A CN201810950088.1A CN201810950088A CN110856094A CN 110856094 A CN110856094 A CN 110856094A CN 201810950088 A CN201810950088 A CN 201810950088A CN 110856094 A CN110856094 A CN 110856094A
- Authority
- CN
- China
- Prior art keywords
- positions
- hrtfs
- virtual
- audio signals
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 230000005236 sound signal Effects 0.000 claims abstract description 389
- 238000000034 method Methods 0.000 claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims description 23
- 238000012546 transfer Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 5
- 210000003128 head Anatomy 0.000 description 41
- 238000013461 design Methods 0.000 description 27
- 238000009877 rendering Methods 0.000 description 27
- 238000001228 spectrum Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请实施例提一种音频处理方法和装置,该方法包括:获取待处理音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号和待处理音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号;获取M个第一HRTF和N个第二HRTF,M个第一HRTF均为以左耳位置为中心的HRTF,N个第二HRTF均为以右耳位置为中心的HRTF;M个第一HRTF与M个第一虚拟扬声器一一对应,N个第二HRTF与N个第二虚拟扬声器一一对应;根据M个第一音频信号和M个第一HRTF,获取第一目标音频信号;根据N个第二音频信号和N个第二HRTF,获取第二目标音频信号。本申请实施例的方法,提高了音频信号接收端输出的音频信号的质量。
Description
技术领域
本申请涉及声音处理技术,尤其涉及一种音频处理方法和装置
背景技术
随着高性能计算机和信号处理技术的飞速发展,虚拟现实技术受到越来越多的关注。一个具有沉浸感的虚拟现实系统,不仅需要震撼的视觉效果,还需要逼真的听觉效果,视听的融合能大大提高虚拟现实的体验感。虚拟现实音频的核心是三维音频技术,目前实现三维音频有多种重放方法(例如基于多通道的方法和基于对象的方法),但在现有虚拟现实设备中最常用的还是基于多通道耳机的双耳重放。
基于多通道耳机的双耳重放主要借助头部相关传输函数(Head RelatedTransfer Function,简称HRTF)来实现,HRTF表征了声源所产生的声波传播到耳道时,受到的头部、躯干、耳廓等器官散射、反射及折射的影响。当假定声源在某一位置,音频信号接收端选择从此位置到收听者头中心位置所对应的HRTF与该声源发出的音频信号进行卷积处理,得到处理后的音频信号的甜点位置为收听者的头中心位置,即处理后的音频信号传输到收听者头中心位置的声音信号为最优的音频信号。
然而,收听者的双耳位置并不是收听者的头中心位置,因此,上述得到处理后的音频信号传输到收听者双耳的声音信号并不是最优的音频信号,即频信号接收端输出的音频信号质量不高。
发明内容
本申请实施例提供一种音频处理方法和装置,提高了音频信号接收端输出的音频信号的质量。
第一方面,本申请实施例提供一种音频处理方法,包括:
获取待处理音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号和所述待处理音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号;所述M个第一虚拟扬声器与所述M个第一音频信号一一对应,所述N个第二虚拟扬声器与所述N个第二音频信号一一对应;M、N为正整数;
获取M个第一头相关传输函数HRTF和N个第二HRTF,所述M个第一HRTF均为以左耳位置为中心的HRTF,所述N个第二HRTF均为以右耳位置为中心的HRTF;所述M个第一HRTF与所述M个第一虚拟扬声器一一对应,所述N个第二HRTF与所述N个第二虚拟扬声器一一对应;
根据所述M个第一音频信号和所述M个第一HRTF,获取第一目标音频信号;根据所述N个第二音频信号和所述N个第二HRTF,获取第二目标音频信号。
在方案中,通过根据M个第一音频信号和M个以左耳位置为中心的第一HRTF,得到传输至左耳的第一目标音频信号,使得传输到左耳位置的信号最优,以及通过N个第二音频信号和N个以右耳位置为中心的第二HRTF,得到传输至右耳的第二目标音频信号,使得传输到右耳位置的信号最优,因此,提高了音频信号接收端输出的音频信号的质量。
其中,可选地,上述方案中的“所述根据M个第一音频信号和所述M个第一HRTF,获取第一目标音频信号”,包括:将所述M个第一音频信号分别与对应的第一HRTF进行卷积处理,以得到M个第一卷积音频信号;根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
可选地,上述方案中的“所述根据N个第二音频信号和所述N个第二HRTF,获取第二目标音频信号”,包括:将所述N个第二音频信号分别与对应的第二HRTF卷积,以得到N个第二卷积音频信号;根据所述N个第二卷积音频信号,得到所述第二目标音频信号。
具体地,“获取M个第一HRTF”具有以下几种实施方式:
在一种实施方式中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第一HRTF,包括:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及所述对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF。
本实施方式中获取的M个虚拟扬声器对应的M个第一HRTF是实际测量得到的M个以左耳位置为中心的M个HRTF,该M个第一HRTF最能代表M个第一音频信号传输至当前左耳位置所对应的HRTF,使得传输到左耳位置的信号最优。
在另一种实施方式中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取N个第二HRTF,包括:
获取所述N个第二虚拟扬声器相对于当前右耳位置的N个第二位置;
根据所述N个第二位置以及所述对应关系,确定所述N个第二位置所对应的N个HRTF为所述N个第二HRTF。
本实施方式中M个第一HRTF是通过以头中心的HRTF转化得到的,获取第一HRTF的效率较高。
在另一种实施方式中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第一HRTF,包括:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第四位置,所述M个第三位置与所述M个第四位置一一对应,一个第四位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第四位置包括的方位角与第一值之差为所述对应的第三位置所包括的第一方位角,所述第一值为第一夹角和第二夹角的差值,所述第一夹角为第一直线与第一面之间的第一夹角,所述第二夹角为第二直线与所述第一面之间的夹角,所述第一直线为过当前左耳和三维坐标系的坐标原点的直线,所述第二直线为过所述当前头中心和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述M个第四位置和所述对应关系,确定所述M个第四位置所对应的M个HRTF为所述M个第一HRTF。
本实施例中M个第一HRTF是通过以头中心的HRTF转化得到的,且在获取上述的第四位置时,不考虑当前收听者的头的大小,进一步提高了获取第一HRTF的效率。
具体地,“获取N个第二HRTF”具有以下几种实施方式:
在另一种实施方式中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取N个第二HRTF包括:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第六位置,所述N个第五位置与所述N个第六位置一一对应,一个第六位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第六位置包括的方位角与第二值之和为所述对应的第五位置所包括的第二方位角,所述第二值为第三夹角和第二夹角的差值,所述第二夹角为第二直线与第一面之间的夹角,所述第三夹角为第三直线与所述第一面之间的夹角,所述第二直线为过所述当前头中心和坐标原点的直线,所述第三直线为过当前右耳和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述N个第六位置和所述对应关系,确定所述N个第六位置所对应的N个HRTF为所述N个第二HRTF。
本实施方式中N个第二HRTF是实际测量得到的N个以右耳位置为中心的N个HRTF,获取的N个第二HRTF最能代表N个第二音频信号传输至收听者的当前右耳位置所对应的HRTF,使得传输到右耳位置的信号最优。
在另一种实施方式中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第一HRTF,包括
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第七位置,所述M个第三位置与所述M个第七位置一一对应,一个第七位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第七位置包括的方位角与第一预设值之差为所述对应的第三位置所包括的第一方位角;
根据所述M个第七位置和所述对应关系,确定所述M个第七位置所对应的M个HRTF为所述M个第一HRTF。
本实施方式中N个第二HRTF是通过以头中心的HRTF转化得到的,获取第二HRTF的效率较高。
在另一种实施方式中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取N个第二HRTF,包括:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第八位置,所述N个第五位置与所述N个第八位置一一对应,一个第八位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第八位置包括的方位角与第一预设值之和为所述对应的第五位置所包括的第二方位角;
根据所述N个第八位置和所述对应关系,确定所述N个第八位置所对应的N个HRTF为所述N个第二HRTF。
本实施方式中N个第二HRTF是通过以头中心的HRTF转化得到的,且在获取上述的第八位置时,不考虑当前收听者的头的大小,进一步提高了获取第二HRTF的效率。
在一种可能的设计中,在所述获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号之前,还包括:
获取目标虚拟扬声器组,所述目标虚拟扬声器组包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述M个第一虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述M个第一虚拟扬声器相对于坐标原点的M个第十位置;其中,所述M个第九位置与所述M个第十位置一一对应,一个第十位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十位置包括的方位角与第二预设值之差为所述对应的第九位置所包括的方位角;
所述获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号,包括:
根据所述M个第十位置对所述待处理音频信号进行处理,得到所述M个第一音频信号。
本实施方式中虚拟映射一个目标虚拟扬声器组,根据目标虚拟扬声器组转化得到M个与左耳对应的第一虚拟扬声器,映射虚拟扬声器的整体效率高。
在一种可能的设计中,M=N,在所述待处理的音频信号N个第二虚拟扬声器处理后的N个第二音频信号之前,还包括:
获取目标虚拟扬声器组,所述目标虚拟扬声器组中包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述N个第二虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述N个第二虚拟扬声器相对于坐标原点的N个第十一位置;其中,所述M个第九位置与所述N个第十一位置一一对应,一个第十一位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十一位置包括的方位角与第二预设值之和为所述对应的第九位置所包括的方位角;
所述获取所述待处理的音频信号经N个第二虚拟扬声器处理后的N个第二音频信号,包括:
根据所述N个第十一位置对所述待处理音频信号进行处理,得到所述N个第二音频信号。
本实施方式中映射一个目标虚拟扬声器组,根据目标虚拟扬声器组转化得到N个与右耳对应的第二虚拟扬声器,映射虚拟扬声器的整体效率高。
在一种可能的设计中,所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为独立的两个扬声器组;或者,
所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为同一个扬声器组,M=N。
第二方面,本申请实施例提供一种音频处理装置,包括:
处理模块,用于获取待处理音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号和所述待处理音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号;所述M个第一虚拟扬声器与所述M个第一音频信号一一对应,所述N个第二虚拟扬声器与所述N个第二音频信号一一对应;M、N为正整数;
获取模块,用于获取M个第一头相关传输函数HRTF和N个第二HRTF,所述M个第一HRTF均为以左耳位置为中心的HRTF,所述N个第二HRTF均为以右耳位置为中心的HRTF;所述M个第一HRTF与所述M个第一虚拟扬声器一一对应,所述N个第二HRTF与所述N个第二虚拟扬声器一一对应;
所述获取模块,还用于根据所述M个第一音频信号和所述M个第一HRTF,获取第一目标音频信号;根据所述N个第二音频信号和所述N个第二HRTF,获取第二目标音频信号。
在一种可能的设计中,所述获取模块,具体用于:
将所述M个第一音频信号分别与对应的第一HRTF进行卷积处理,以得到M个第一卷积音频信号;
根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
在一种可能的设计中,所述获取模块,具体用于:
将所述N个第二音频信号分别与对应的第二HRTF卷积,以得到N个第二卷积音频信号;
根据所述N个第二卷积音频信号,得到所述第二目标音频信号。
在一种可能的设计中,所述获取模块,具体用于:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,所述获取模块,具体用于:
获取所述N个第二虚拟扬声器相对于当前右耳位置的N个第二位置;
根据所述N个第二位置以及对应关系,确定所述N个第二位置所对应的N个HRTF为所述N个第二HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,所述获取模块,具体用于:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第四位置,所述M个第三位置与所述M个第四位置一一对应,一个第四位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第四位置包括的方位角与第一值之差为所述对应的第三位置所包括的第一方位角,所述第一值为第一夹角和第二夹角的差值,所述第一夹角为第一直线与第一面之间的第一夹角,所述第二夹角为第二直线与所述第一面之间的夹角,所述第一直线为过当前左耳和三维坐标系的坐标原点的直线,所述第二直线为过所述当前头中心和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述M个第四位置和对应关系,确定所述M个第四位置所对应的M个HRTF为所述M个第一HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块,具体用于:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第六位置,所述N个第五位置与所述N个第六位置一一对应,一个第六位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第六位置包括的方位角与第二值之和为所述对应的第五位置所包括的第二方位角,所述第二值为第三夹角和第二夹角的差值,所述第二夹角为第二直线与第一面之间的夹角,所述第三夹角为第三直线与所述第一面之间的夹角,所述第二直线为过所述当前头中心和坐标原点的直线,所述第三直线为过当前右耳和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述N个第六位置和对应关系,确定所述N个第六位置所对应的N个HRTF为所述N个第二HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块,具体用于:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第七位置,所述M个第三位置与所述M个第七位置一一对应,一个第七位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第七位置包括的方位角与第一预设值之差为所述对应的第三位置所包括的第一方位角;
根据所述M个第七位置和对应关系,确定所述M个第七位置所对应的M个HRTF为所述M个第一HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块,具体用于:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第八位置,所述N个第五位置与所述N个第八位置一一对应,一个第八位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第八位置包括的方位角与第一预设值之和为所述对应的第五位置所包括的第二方位角;
根据所述N个第八位置和对应关系,确定所述N个第八位置所对应的N个HRTF为所述N个第二HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
在一种可能的设计中,所述获取模块,还用于:在所述获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号之前,
获取目标虚拟扬声器组,所述目标虚拟扬声器组包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述M个第一虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述M个第一虚拟扬声器相对于坐标原点的M个第十位置;其中,所述M个第九位置与所述M个第十位置一一对应,一个第十位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十位置包括的方位角与第二预设值之差为所述对应的第九位置所包括的方位角;
则所述处理模块,具体用于:根据所述M个第十位置对所述待处理音频信号进行处理,得到所述M个第一音频信号。
在一种可能的设计中,M=N,所述获取模块,还用于:在所述待处理的音频信号N个第二虚拟扬声器处理后的N个第二音频信号之前:
获取目标虚拟扬声器组,所述目标虚拟扬声器组中包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述N个第二虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述N个第二虚拟扬声器相对于坐标原点的N个第十一位置;其中,所述M个第九位置与所述N个第十一位置一一对应,一个第十一位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十一位置包括的方位角与第二预设值之和为所述对应的第九位置所包括的方位角;
则所述处理模块,具体用于:根据所述N个第十一位置对所述待处理音频信号进行处理,得到所述N个第二音频信号。
在一种可能的设计中,所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为独立的两个扬声器组;或者,
所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为同一个扬声器组,M=N。
第三方面,本申请实施例提供一种音频处理装置,其包括处理器;
所述处理器用于与存储器耦合,读取并执行所述存储器中的指令,以实现如第一方面任一项所述的方法。
在一种可能的设计中,还包括所述存储器。
第四方面,本申请实施例提供一种可读存储介质所述可读存储介质上存储有计算机程序;所述计算机程序被执行时,实现如第一方面任一项所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序被执行时,实现如第一方面任一项所述的方法。
本申请通过根据M个第一音频信号和M个以左耳位置为中心的第一HRTF,得到传输至左耳的第一目标音频信号,使得传输到左耳位置的信号最优,以及通过N个第二音频信号和N个以右耳位置为中心的第二HRTF,得到传输至右耳的第二目标音频信号,使得传输到右耳位置的信号最优,因此,提高了音频信号接收端输出的音频信号的质量。
附图说明
图1为本申请实施例提供的音频信号系统的结构示意图;
图2为本申请实施例提供的系统架构图;
图3为本申请实施例提供音频信号接收装置的结构框图;
图4为本申请实施例提供的音频处理方法的流程图一;
图5为本申请实施例提供的以头中心为测量HRTF的中心的测量场景图;
图6为本申请实施例提供的音频处理方法的流程图二;
图7本申请实施例提供的以左耳位置中心为测量HRTF的中心的测量场景图;
图8为本申请实施例提供的音频处理方法的流程图三;
图9为本申请实施例提供的音频处理方法的流程图四;
图10为本申请实施例提供的音频处理方法的流程图五;
图11本申请实施例提供的以右耳位置中心为测量HRTF的中心的测量场景图;
图12为本申请实施例提供的音频处理方法的流程图六;
图13为本申请实施例提供的音频处理方法的流程图七;
图14为本申请实施例提供的音频处理方法的流程图八;
图15为本申请实施例提供的音频处理方法的流程图九;
图16为现有技术中左耳位置对应的渲染信号的渲染频谱与左耳位置对应的理论频谱的差异谱图;
图17为现有技术中右耳位置对应的渲染信号的渲染频谱与右耳位置对应的理论频谱的差异谱图;
图18为本申请实施提供的方法中左耳位置对应的渲染信号的渲染频谱与左耳位置对应的理论频谱的差异谱图;
图19为本申请实施提供的方法中右耳位置对应的渲染信号的渲染频谱与右耳位置对应的理论频谱的差异谱图;
图20为本申请实施例提供的音频处理装置的结构示意图。
具体实施方式
首先对本申请涉及的相关技术名词进行解释。
头相关传输函数(Head Related Transfer Function,简称HRTF):声源发出的声波经头部、耳廓、躯干等散射后到达双耳,其中的物理过程可视为一个线性时不变的声滤波系统,其特性可由HRTF描述,也就是说HRTF描述了声波从声源到双耳的传输过程。更形象的解释为:若声源发出的音频信号为X,该音频信号为X传输到预定位置后对应的音频信号为Y,则X*Z=Y(X卷积Z等于Y),其中,Z即为HRTF。
本实施例中的多个预设位置与多个HRTF的对应关系中的预设位置可以是相对于左耳位置的位置,此时多个HRTF为多个以左耳位置为中心的HRTF;本实施例中的多个预设位置与多个HRTF的对应关系中的预设位置还可以是相对于右耳位置的位置,此时多个HRTF为多个以右耳位置为中心的HRTF;本实施例中的多个预设位置与多个HRTF的对应关系中的预设位置还可以是相对于头中心位置的位置,此时多个HRTF为多个以头中心为中心的HRTF。
图1为本申请实施例提供的音频信号系统的结构示意图,该音频信号系统包括音频信号发送端11和音频信号接收端12。
音频信号发送端11用于对声源发出的信号采集并进行编码,得到音频信号编码码流。音频信号接收端12获取到音频信号编码码流后,对音频信号编码码流进行解码以及渲染,得到渲染后的音频信号。
可选地,音频信号发送端11与音频信号接收端12可以通过有线或无线的方式相连。
图2为本申请实施例提供的系统架构图。如图2所示,该系统架构包括移动终端130和移动终端140;移动终端130可为音频信号发送端,移动终端140可为音频信号接收端。
其中,移动终端130与移动终端140可为相互独立的具有音频信号处理能力的电子设备,例如可以是手机,可穿戴设备,虚拟现实(virtual reality,VR)设备,或增强现实(augmented reality,AR)设备等等,且移动终端130与移动终端140之间通过无线或有线网络连接。
可选地,移动终端130可以包括采集组件131、编码组件110和信道编码组件132,其中,采集组件131与编码组件110相连,编码组件110与编码组件132相连。
可选地,移动终端140可以包括音频播放组件141、解码渲染组件120和信道解码组件142,其中,音频播放组件141与解码渲染组件120相连,解码渲染组件120与信道解码组件142相连。
移动终端130通过采集组件131采集到音频信号后,通过编码组件110对该音频信号进行编码,得到音频信号编码码流;然后,通过信道编码组件132对音频信号编码码流进行编码,得到传输信号。
移动终端130通过无线或有线网络将该传输信号发送至移动终端140。
移动终端140接收到该传输信号后,通过信道解码组件142对传输信号进行信道解码得到音频信号编码码流;通过解码渲染组件120对音频信号编码码流进行解码,得到待处理音频信号,以及渲染待处理音频信号得到渲染后的音频信号;通过音频播放组件播放该渲染后的音频信号。可以理解的是,移动终端130也可以包括移动终端140所包括的组件,移动终端140也可以包括移动终端130所包括的组件。
此外,移动终端140还可包括音频播放组件、解码组件,渲染组件和信道解码组件,其中,信道解码组件与解码组件相连,解码组件与渲染组件相连,渲染组件与音频播放组件相连。此时,移动终端140接收到该传输信号后,通过信道解码组件对传输信号进行解码得到音频信号编码码流;通过解码组件对音频信号编码码流进行解码,得到待处理音频信号,渲染组件对待处理音频信号渲染后得到渲染后的音频信号;通过音频播放组件播放该渲染后的音频信号。
图3为本申请实施例提供音频信号接收装置的结构框图;参见图3本申请实施例的音频信号接收装置20可包括:至少一个处理器21,存储器22,至少一个通信总线23、接收器24和发送器25。其中,通信总线203用于实现处理器21、存储器22、接收器24和发送器25之间的连接通信,处理器21可以包括信号解码组件211、解码组件212和渲染组件213。
具体地,存储器22可以是以下的任一种或任一种组合:固态硬盘(Solid StateDrives,SSD)、机械硬盘、磁盘、磁盘整列等存储介质,可向处理器201提供指令和数据。
存储器22用于存储以下数据:多个预设位置与多个HRTF的对应关系:(1)多个相对于左耳位置的位置,以及每个相对于左耳位置的位置对应的以左耳位置为中心的HRTF;(2)多个相对于右耳位置的位置,以及每个相对于右耳位置的位置对应的以右耳位置为中心的HRTF;(3)多个相对于头中心的位置,以及每个相对于头中心的位置对应的以头中心为中心的HRTF。
可选的,存储器22还用于存储如下的元素:操作系统和应用程序模块。
其中,操作系统,可包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。应用程序模块,可包含各种应用程序,用于实现各种应用业务。
处理器21可以是中央处理器(CPU),通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC),现场可编程门阵列(FPGA)或者其他可编程逻辑器件、晶体管逻辑器件,硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
接收器24用于从音频信号发送装置接收音频信号发送装置的音频信号。
处理器可通过调用存储器22存储的程序或指令以及数据,用于执行如下步骤:将接收到的音频信号进行信道解码得到音频信号编码码流(该步骤可由处理器的信道解码组件实现),接着对该音频信号编码码流进行进一步解码(该步骤可由处理器的解码组件实现),得到待处理音频信号。
在得到待处理信号后,处理器21用于:获取待处理音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号和所述待处理音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号;所述M个第一虚拟扬声器与所述M个第一音频信号一一对应,所述N个第二虚拟扬声器与所述N个第二音频信号一一对应;M、N为正整数;
获取M个第一头相关传输函数HRTF和N个第二HRTF,所述M个第一HRTF均为以左耳位置为中心的HRTF,所述N个第二HRTF均为以右耳位置为中心的HRTF;所述M个第一HRTF与所述M个第一虚拟扬声器一一对应,所述N个第二HRTF与所述N个第二虚拟扬声器一一对应;
根据所述M个第一音频信号和所述M个第一HRTF,获取第一目标音频信号;根据所述N个第二音频信号和所述N个第二HRTF,获取第二目标音频信号。
其中,所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为独立的两个扬声器组;或者,所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为同一个扬声器组,M=N。
处理器21具体用于:将所述M个第一音频信号分别与对应的第一HRTF进行卷积处理,以得到M个第一卷积音频信号;根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
处理器21,还具体用于:将所述N个第二音频信号分别与对应的第二HRTF卷积,以得到N个第二卷积音频信号;根据所述N个第二卷积音频信号,得到所述第二目标音频信号。
处理器21,还具体用于:获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;根据所述M个第一位置以及存储器22存储的第一对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF;第一对应关系包括:多个相对于左耳位置的位置,以及每个相对于左耳位置的位置对应的以左耳位置为中心的HRTF。
处理器21,还具体用于:获取所述N个第二虚拟扬声器相对于当前右耳位置的N个第二位置;根据所述N个第二位置以及存储器22存储的第二对应关系,确定所述N个第二位置所对应的N个HRTF为所述N个第二HRTF;第二对应关系包括:多个相对于右耳位置的位置,以及每个相对于右耳位置的位置对应的以右耳位置为中心的HRTF。
处理器21,还具体用于:获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第四位置,所述M个第三位置与所述M个第四位置一一对应,一个第四位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第四位置包括的方位角与第一值之差为所述对应的第三位置所包括的第一方位角,所述第一值为第一夹角和第二夹角的差值,所述第一夹角为第一直线与第一面之间的第一夹角,所述第二夹角为第二直线与所述第一面之间的夹角,所述第一直线为过当前左耳和三维坐标系的坐标原点的直线,所述第二直线为过所述当前头中心和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述M个第四位置和存储器22存储的第三对应关系,确定所述M个第四位置所对应的M个HRTF为所述M个第一HRTF;第三对应关系包括:多个相对于头中心的位置,以及每个相对于头中心的位置对应的以头中心为中心的HRTF。
处理器21,还具体用于:获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第六位置,所述N个第五位置与所述N个第六位置一一对应,一个第六位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第六位置包括的方位角与第二值之和为所述对应的第五位置所包括的第二方位角,所述第二值为第三夹角和第二夹角的差值,所述第二夹角为第二直线与第一面之间的夹角,所述第三夹角为第三直线与所述第一面之间的夹角,所述第二直线为过所述当前头中心和坐标原点的直线,所述第三直线为过当前右耳和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述N个第六位置和上述第三对应关系,确定所述N个第六位置所对应的N个HRTF为所述N个第二HRTF。
处理器21,还具体用于:获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第七位置,所述M个第三位置与所述M个第七位置一一对应,一个第七位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第七位置包括的方位角与第一预设值之差为所述对应的第三位置所包括的第一方位角;
根据所述M个第七位置和上述第三对应关系,确定所述M个第七位置所对应的M个HRTF为所述M个第一HRTF。
处理器21,还具体用于:获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第八位置,所述N个第五位置与所述N个第八位置一一对应,一个第八位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第八位置包括的方位角与第一预设值之和为所述对应的第五位置所包括的第二方位角;
根据所述N个第八位置和上述第三对应关系,确定所述N个第八位置所对应的N个HRTF为所述N个第二HRTF。
处理器21,还用于:在所述获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号之前,获取目标虚拟扬声器组,所述目标虚拟扬声器组包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述M个第一虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述M个第一虚拟扬声器相对于坐标原点的M个第十位置;其中,所述M个第九位置与所述M个第十位置一一对应,一个第十位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十位置包括的方位角与第二预设值之差为所述对应的第九位置所包括的方位角;
则处理器21,具体用于:根据所述M个第十位置对所述待处理音频信号进行处理,得到所述M个第一音频信号。
处理器21,还用于:在所述待处理的音频信号N个第二虚拟扬声器处理后的N个第二音频信号之前,获取目标虚拟扬声器组,所述目标虚拟扬声器组中包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述N个第二虚拟扬声器一一对应;M=N,
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述N个第二虚拟扬声器相对于坐标原点的N个第十一位置;其中,所述M个第九位置与所述N个第十一位置一一对应,一个第十一位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十一位置包括的方位角与第二预设值之和为所述对应的第九位置所包括的方位角;
则处理器21,具体用于:根据所述N个第十一位置对所述待处理音频信号进行处理,得到所述N个第二音频信号。
可以理解的是,在处理器21得到待处理信号后的各方法可由处理器中的渲染组件执行。
本实施例的音频信号接收装置,通过根据M个第一音频信号和M个以左耳位置为中心的第一HRTF,得到传输至左耳的第一目标音频信号,使得传输到左耳位置的信号最优,以及通过N个第二音频信号和N个以右耳位置为中心的第二HRTF,得到传输至右耳的第二目标音频信号,使得传输到右耳位置的信号最优,因此,提高了音频信号接收端输出的得到的音频信号的质量。
下面采用具体的实施例,对本申请涉及的音频处理方法进行说明。以下各实施例的执行主体均为音频信号接收端,比如图2中所示的移动终端140。
图4为本申请实施例提供的音频处理方法的流程图一;参见图4,本实施例的方法包括:
步骤S101、获取待处理音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号和待处理音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号;M个第一虚拟扬声器与M个第一音频信号一一对应,N个第二虚拟扬声器与N个第二音频信号一一对应;M、N为正整数;
步骤S102、获取M个第一HRTF和N个第二HRTF,M个第一HRTF均为以左耳位置为中心的HRTF,N个第二HRTF均为以右耳位置为中心的HRTF;M个第一HRTF与M个第一虚拟扬声器一一对应,N个第二HRTF与N个第二虚拟扬声器一一对应;
步骤S103、根据M个第一音频信号和M个第一HRTF,获取第一目标音频信号;根据N个第二音频信号和N个第二HRTF,获取第二目标音频信号。
具体地,本申请实施例的方法可为上述移动终端140执行的方法。编码端采集声源发出的立体声信号,编码端的编码组件对声源发出的立体声信号进行编码后,得到编码信号,编码信号无线或有线网络传输至音频信号接收端,音频信号接收端对编码信号进行解码,解码得到的信号即为本实施例中的待处理音频信号。即本实施例中的待处理音频信号可以为处理器中的解码组件解码得到的信号,或者图2中的移动终端140中的解码渲染组件120或者解码组件得到的信号。
可以理解的是,若处理音频信号时采用的标准为Ambisonic,则编码端得到的编码信号为标准的Ambisonic信号。相对应地,音频信号接收端解码得到的信号也为Ambisonic信号,比如Ambisonic的B格式信号。其中,Ambisonic信号包括一阶Ambisonic(Firs-OrderAmbisonics,简称FOA),高阶Ambisonic(High-Order Ambisonics)。
下面以音频信号接收端解码得到的待处理音频信号为Ambisonic的B格式信号为例,对本实施例进行说明。
对于步骤S101、具体地,M个第一虚拟扬声器可以组成第一虚拟扬声器组,N个第二虚拟扬声器可以组成第二虚拟扬声器组,第一虚拟扬声器组和第二虚拟扬声器组可以为同一个虚拟扬声器组,也可以为不同的虚拟扬声器组。若第一虚拟扬声器组和第二虚拟扬声器组为同一个虚拟扬声器组,则M=N,第一虚拟扬声器与第二虚拟扬声器相同。
可选地,M可为4、8、16等中的任一,N可为4、8、16等中的任一。
第一虚拟扬声器可通过如下公式一将待处理音频信号处理成第一音频信号,M个第一虚拟扬声器与M个第一音频信号一一对应:
其中,1≤m≤M;P1m为待处理音频信号经第m个第一虚拟扬声器处理后的第m个第一音频信号,W为声源所在的环境包括的所有声音对应的分量,称为环境分量,X为声源所在的环境包括的所有声音在X轴的分量,称为X坐标分量,Y为声源所在的环境包括的所有声音在Y轴的分量,称为Y坐标分量,Z为声源所在的环境包括的所有声音在Z轴的分量,称为Z坐标分量;此处的X轴、Y轴、Z轴分别为声源对应的三维坐标系(也就是音频信号发送端对应的三维坐标系)的X轴、Y轴、Z轴,L为能量调整系数;φ1m为第m个第一虚拟扬声器相对于音频信号接收端对应的三维坐标系的坐标原点的俯仰角,θ1m第m个第一虚拟扬声器相对于该坐标原点的方位角。
其中,第一音频信号可为多声道信号,也可为单声道信号。
第二虚拟扬声器可通过如下公式二将待处理音频信号处理成第二音频信号,N个第二虚拟扬声器与N个第二音频信号一一对应:
其中,1≤n≤N;P1n为待处理音频信号经第n个第一虚拟扬声器处理后的第n个第一音频信号,W为声源所在的环境包括的所有声音对应的分量,称为环境分量,X为声源所在的环境包括的所有声音在X轴的分量,称为X坐标分量,Y为声源所在的环境包括的所有声音在Y轴的分量,称为Y坐标分量,Z为声源所在的环境包括的所有声音在Z轴的分量,称为Z坐标分量;此处的X轴、Y轴、Z轴分别为声源所在的环境的三维坐标系的X轴、Y轴、Z轴,L为能量调整系数;φ1n为第n个第一虚拟扬声器相对于音频信号接收端对应的三维坐标系的坐标原点的俯仰角,θ1n第n个第一虚拟扬声器相对于该坐标原点的方位角。
其中,第二音频信号可为多声道信号,也可为单声道信号。
对于步骤S102、具体地,M个第一HRTF可称为M个第一虚拟扬声器对应的M个第一HRTF,每个第一虚拟扬声器对应一个第一HRTF,即M个第一HRTF与M个第一虚拟扬声器一一对应;N个第二HRTF可称为N个第二虚拟扬声器对应的N个第二HRTF,每个第二虚拟扬声器对应一个第二HRTF,即N个第二HRTF与N个第二虚拟扬声器一一对应。
现有技术中,第一HRTF为以头中心为中心的HRTF,第二HRTF也为以头中心为中心的HRTF。
其中,本实施例中的以头中心为中心,指的是以头中心为测量HRTF的中心。
图5为本申请实施例提供的以头中心为测量HRTF的中心的测量场景图。参见图5,图5中示意出了几个相对于头中心62的位置61。可以理解是,以头中心为中心的HRTF具有多个,不同位置61处的第一声源发送的音频信号传输至头中心对应不同的以头中心为中心HRTF。其中,测量以头中心为中心的HRTF时的头中心可为当前收听者的头中心,也可为其它收听者的头中心,还可为虚拟收听者的头中心。
这样在相对于头中心62的不同预设位置设置第一声源,便能得到多个预设位置对应的HRTF;即若第一声源1相对于头中心62的位置为位置c,此时测量得到的第一声源1发出的信号传输至头中心62的HRTF1,即与位置c对应的且以头中心为中心的HRTF1;第一声源2相对于头中心62的位置为位置d,此时测量得到的第一声源2发出的信号传输至头中心62的HRTF2,即为与位置d对应的且以头中心为中心的HRTF2,等等;其中,位置c包括方位角1、俯仰角1和距离1,方位角1为第一声源1相对于头中心62的方位角,俯仰角1为第一声源1相对于头中心62的俯仰角,距离1为第一声源1与头中心62之间的距离;同理位置d包括方位角2、俯仰角2和距离2,方位角2为第一声源2相对于头中心62的方位角,俯仰角2为第一声源2相对于头中心62的俯仰角,距离2为第一声源2与头中心62之间的距离。
其中,在设置第一声源相对于头中心62的位置时,在距离和俯仰角不变时,相邻的第一声源的方位角可间隔第一预设角度,在距离和方位角不变时,相邻的第一声源的俯仰角可间隔第二预设角度,在俯仰角和方位角不变时,相邻的第一声源的距离可间隔第一预设距离;其中,第一预设角度可为3°~10°中的任一,比如为5°;第二预设角度可为3°~10°中的任一,比如为5°;第一距离可为0.05m~0.2m中的任一,比如为0.1m。
比如,位置c(100°,50°,1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为100°、俯仰角为50°,距离为1m处设置第一声源1,测量第一声源1发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF1,测量方法为现有的方法,此处不再赘述;
又比如,位置d(100°,45°,1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为100°、俯仰角为45°,距离为1m处设置第一声源2,测量第一声源2发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF2;
又比如,位置e(95°,45°,1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为95°、俯仰角为45°,距离为1m处设置第一声源3,测量第一声源3发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF3;
又比如,位置f(95°,50°,1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为95°、俯仰角为50°,距离为1m处设置第一声源4,测量第一声源4发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF4。
又比如,位置g(100°,50°,1.1m)对应的以头中心为中心的HRTF1的获取过程如下:在相对于头中心的方位角为95°、俯仰角为50°,距离为1m处设置第一声源5,测量第一声源5发出的音频信号传输至头中心62所对应的HRTF,得到以头中心为中心的HRTF5。
值得说明的是,后续出现的位置(x,x,x)中,第一个x均为方位角,第二个x均为俯仰角,第三个x均为距离。
通过上述方法,可测量得到多个位置与多个以头中心为中心的HRTF的对应关系。可以理解的是,上述测量以头中心为中心的HRTF时放置第一声源的多个位置可称为预设位置,因此,通过上述方法,可测量得到多个预设位置与多个以头中心为中心的HRTF的对应关系,该对应关系可以称为第二对应关系,第二对应关系可以存储在涂3所示的存储器22中。
上述现有技术在实际的应用中,获取第一虚拟扬声器相对于当前左耳位置的位置a,位置a对应的上述测量得到的头中心为中心的HRTF即为该第一虚拟扬声器对应的HRTF;获取第二虚拟扬声器相对于当前右耳位置的位置b,位置b对应的上述测量得到的以头中心为中心的HRTF即为该第二虚拟扬声器对应的HRTF。可知,位置a并不是第一虚拟扬声器相对于头中心的位置,而是相对于该左耳位置的位置,若仍然以位置a对应的以头中心为中心的HRTF作为该第一虚拟扬声器对应的HRTF,则最终得到的传输到左耳的信号并不是最优的信号,最优的信号在头中心位置处。同理,位置b并不是第二虚拟扬声器相对于头中心的位置,而是相对于该右耳位置的位置,若仍然以位置b对应的以头中心为中心的HRTF作为该第二虚拟扬声器对应的HRTF,则最终得到的传输到右耳的信号并不是最优的信号,最优的信号在头中心位置处。
而本实施例中获取的第一虚拟扬声器对应的第一HRTF为以左耳位置为中心的HRTF;第二虚拟扬声器对应的第二HRTF为以右耳位置为中心的HRTF。
本实施例中的以左耳位置为中心指的是以左耳位置为测量HRTF的中心,以右耳位置为中心指的是以右耳位置为测量HRTF的中心。
其中,以左耳位置为中心的HRTF可以是实际测量得到的,即采集在相对于左耳位置的位置a处的声源发出的音频信号a,以及采集音频信号a传输至左耳位置的音频信号b,根据音频信号a以及音频信号b得到;以左耳位置为中心的HRTF还可以为通过以头中心为中心的HRTF转化而来的;该这两种获取方式将在后续实施例中详细讲述。
同理,以右耳位置为中心的HRTF可以是实际测量得到的,即采集在相对于右耳位置的位置b处的声源发出的音频信号c,以及采集音频信号c传输至右耳位置的音频信号d,根据音频信号c以及音频信号d得到;以右耳位置为中心的HRTF还可以为通过以头中心为中心的HRTF转化而来的;该这两种获取方式将在后续实施例中详细讲述。
对于步骤S103、根据M个第一音频信号和M个第一HRTF,获取第一目标音频信号,根据N个第二音频信号和N个第二HRTF,获取第二目标音频信号。
具体地,根据M个第一音频信号和M个第一HRTF,获取第一目标音频信号,包括:
将M个第一音频信号分别与对应的第一HRTF进行卷积处理,以得到M个第一卷积音频信号;
根据M个第一卷积音频信号,得到第一目标音频信号。
即:第m个第一虚拟扬声器输出的第m个第一音频信号与第m个第一虚拟扬声器对应的第一HRTF卷积,便得到第m个卷积音频信号,在第一虚拟扬声器具有M个的情况下,会得到M个第一卷积音频信号。
M个第一卷积音频信号叠加后的信号,即为第一目标音频信号,也就是传输至左耳位置的音频信号,或者说渲染得到的左耳位置对应的音频信号。
由于第m个第一虚拟扬声器输出的第m个第一音频信号与第m个第一虚拟扬声器对应的第一HRTF卷积,第m个第一虚拟扬声器对应的第一HRTF是第m个第一音频信号为以左耳位置为中心的HRTF,则得到的第一目标音频信号传输到左耳位置的信号就是最优的信号。
根据N个第二音频信号和N个第二HRTF,获取第二目标音频信号;
将N个第二音频信号分别与对应的第二HRTF卷积,以得到N个第二卷积音频信号;
根据N个第二卷积音频信号,得到第二目标音频信号。
即:第n个第二虚拟扬声器输出的第n个第二音频信号与第n个第二虚拟扬声器对应的第二HRTF卷积,便得到第n个卷积音频信号,在第一虚拟扬声器具有N个的情况下,会得到N个第二卷积音频信号。
N个第二卷积音频信号叠加后的信号,即为第二目标音频信号,也就是传输至右耳位置的音频信号,或者说渲染得到的右耳位置对应的音频信号。
由于第n个第二虚拟扬声器输出的第n个第二音频信号与第n个第二虚拟扬声器对应的第二HRTF卷积,第n个第二虚拟扬声器对应的第二HRTF是以右耳位置为中心的HRTF,则得到的第二目标音频信号传输到右耳位置的信号就是最优的信号。
可以理解的是,此处的第一目标音频信号和第二目标音频信号即为渲染后的音频信号,第一目标音频信号和第二目标音频信号组成了音频信号接收端最终输出的立体声信号。
本实施例中,通过根据M个第一音频信号和M个以左耳位置为中心的第一HRTF,得到传输至左耳的第一目标音频信号,使得传输到左耳位置的信号最优,以及通过N个第二音频信号和N个以右耳位置为中心的第二HRTF,得到传输至右耳的第二目标音频信号,使得传输到右耳位置的信号最优,因此,提高了音频信号接收端输出的音频信号的质量。
下面采用图6~图15所示的实施例对图4所示的实施例进行详细的说明。图6~图15所示的实施例中所涉及的与图4所示的实施例中相同名称的词语的含义一致。
首先,对图4所示的实施例中步骤S102中的M个第一HRTF的第一种获取方法进行说明。图6为本申请实施例提供的音频处理方法的流程图二,参见图6,本实施例中的方法包括:
步骤S201、获取M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
步骤S202、根据M个第一位置以及第一对应关系,确述M个第一位置所对应的M个HRTF为M个第一HRTF;其中,该第一对应关系为预先存储的多个预设位置与多个以左耳位置为中心的HRTF的对应关系。
具体地,对于步骤S201、获取每个第一虚拟扬声器相对于当前左耳位置的第一位置,若具有M个第一虚拟扬声器,则会获取M个第一位置。
其中,每个第一位置包括相应的第一虚拟扬声器相对于当前左耳位置的第三俯仰角和第三方位角,以及该第一虚拟扬声器与当前左耳位置之间的第三距离。当前左耳位置为当前收听者的左耳。
对于步骤S202,在步骤S202之前,需要事先获取多个预设位置与多个以左耳位置为中心的HRTF;
图7本申请实施例提供的以左耳位置中心为测量HRTF的中心的测量场景图。参见图7,图7中示意出了几个相对于左耳位置82的位置81。可以理解是,以左耳位置为中心的HRTF具有多个,不同位置81处的第二声源发送的音频信号传输至左耳位置对应不同的HRTF,也就是在步骤S202之前,需要事先测量多个位置81对应的以左耳位置为中心的HRTF。其中,测量以左耳位置为中心的HRTF时的左耳位置可为当前收听者的当前左耳位置,也可为其它收听者的左耳位置,还可为虚拟收听者的左耳位置。
在相对于左耳位置82的不同位置处设置第二声源,以得到多个位置81对应的以左耳位置为中心的HRTF;即若第二声源1相对于左耳位置82的位置为位置c,此时测量得到的第二声源1发出的信号传输至左耳位置82的HRTF,即与位置c对应的且以左耳位置为中心的HRTF1;第二声源2相对于左耳位置82的位置为位置d,此时会测量得到的第二声源2发出的信号传输至左耳位置82的HRTF,即为与位置d对应的且以左耳位置为中心的HRTF2等;其中,位置c包括方位角1、俯仰角1和距离1,方位角1为第二声源1相对于左耳位置82的方位角,俯仰角1为第二声源1相对于左耳位置82的俯仰角,距离1为第二声源1与左耳位置82的距离;同理位置d包括方位角2、俯仰角2和距离2,方位角2为第二声源2相对于左耳位置82的方位角,俯仰角2为第二声源2相对于左耳位置82的俯仰角,距离2为第二声源2与左耳位置82的距离。
可以理解的是,在设置第二声源相对于左耳位置82的位置时,在距离和俯仰角不变时,相邻的第二声源的方位角可间隔第一角度,在距离和方位角不变时,相邻的第二声源的俯仰角可间隔第二角度,在俯仰角和方位角不变时,相邻的第二声源的距离可间隔第一距离。其中,第一角度可为3°~10°中的任一,比如为5°;第二角度可为3°~10°中的任一,比如为5°;第一距离可为0.05m~0.2m中的任一,比如为0.1m。
比如,位置c(100°,50°,1m)对应的以左耳位置为中心的HRTF1的获取过程如下:在相对于左耳位置82的方位角为100°、俯仰角为50°,距离为1m处设置第二声源1,测量第二声源1发出的音频信号传输至左耳位置所对应的HRTF,得到以左耳位置为中心的HRTF1;
又比如,位置d(100°,45°,1m)对应的以左耳位置为中心的HRTF2的获取过程如下:在相对于左耳位置82的方位角为100°、俯仰角为45°,距离为1m处设置第二声源2,测量第二声源2发出的音频信号传输至左耳位置所对应的HRTF,得到以左耳位置为中心的HRTF2;
又比如,位置e(95°,50°,1m)对应的以左耳位置为中心的HRTF3的获取过程如下:在相对于左耳位置82的方位角为95°、俯仰角为50°,距离为1m处设置第二声源3,测量第二声源3发出的音频信号传输至左耳位置所对应的HRTF,得到以左耳位置为中心的HRTF3,等等。
又比如,位置f(95°,45°,1m)对应的以左耳位置为中心的HRTF4的获取过程如下:在相对于左耳位置82的方位角为95°、俯仰角为40°,距离为1m处设置第二声源4,测量第二声源4发出的音频信号传输至左耳位置所对应的HRTF,得到以左耳位置为中心的HRTF4。
又比如,位置g(100°,50°,1.2m)对应的以左耳位置为中心的HRTF5的获取过程如下:在相对于左耳位置82的方位角为100°、俯仰角为50°,距离为1.2m处设置第二声源5,测量第二声源5发出的音频信号传输至左耳位置所对应的HRTF,得到以左耳位置为中心的HRTF5;
又比如,位置h(95°,50°,1.1m)对应的以左耳位置为中心的HRTF5的获取过程如下:在相对于左耳位置82的方位角为95°、俯仰角为50°,距离为1.1m处设置第二声源6,测量第二声源6发出的音频信号传输至左耳位置所对应的HRTF,得到以左耳位置为中心的HRTF6。
可以理解的是,由于方位角的范围为(-180°到180°),俯仰角的范围为(-90°到90°),若第一角度为5°;第二角度为5°;第一距离可为0.05m,总距离为2m,比如为0.1m,则可以得到72×36×21个位置对应的以左耳位置为中心的HRTF。
通过上述方法,可测量得到多个位置与多个以左耳位置为中心的HRTF的对应关系。可以理解的是,上述测量以左耳位置为中心的HRTF时放置第二声源的多个位置可称为预设位置,因此,通过上述方法,可测量得到多个预设位置与多个以左耳位置为中心的HRTF的对应关系,该对应关系可以称为第一对应关系,第一对应关系可以存储在涂3所示的存储器22中。
接着,根据M个第一位置以及第一对应关系,确定M个第一位置所对应的M个HRTF为所述M个第一HRTF,该第一对应关系包括多个预设位置与多个以左耳位置为中心的HRTF的对应关系,包括:
确定M个第一位置所关联的M个第一预设位置;M个第一预设位置为第一对应关系中的预设位置;
根据第一对应关系,确定M个第一预设位置所对应的M个以左耳位置为中心的HRTF为M个第一HRTF;该M个以左耳位置为中心的HRTF实际上为M个第一预设位置处的声源发出的音频信号传输至左耳位置82所对应的,以左耳位置82为中心的M个HRTF。
其中,第一位置所关联的第一预设位置可能为第一位置本身;或者,
第一预设位置包括的俯仰角为与第一位置包括的第三俯仰角距离最近的目标俯仰角,第一预设位置包括的方位角为与第一位置包括的第三方位角距离最近的目标方位角,第一预设位置包括的距离为与第一位置包括的第三距离的距离最近的目标距离;其中,目标方位角为测量以左耳位置为中心的HRTF时对应的预设位置包括的方位角,也就是测量以左耳位置为中心的HRTF时放置的第二声源相对于左耳位置的方位角,目标俯仰角为测量以左耳位置为中心的HRTF时对应的预设位置中的俯仰角,也就是测量以左耳位置为中心的HRTF时放置的第二声源相对于左耳位置的俯仰角,目标距离为测量以左耳位置为中心的HRTF时对应的预设位置中的距离,也就是测量以左耳位置为中心的HRTF时放置的第二声源相对于左耳位置的距离。即第一预设位置均为测量多个以左耳位置为中心的HRTF时放置第二声源的位置,也就是事先已经测量了每个第一预设位置对应的以左耳位置为中心的HRTF。
可以理解的是,若第一位置包括的第三方位角位于两个目标方位角的中间,选择两个目标方位角的哪一个作为第一预设位置包括的方位角可按照预设的规则确定,比如预设规则为:若第一位置包括的第三方位角位于两个目标方位角的中间,则确定两个目标方位角中较小的那个目标方位角作为第一预设位置包括的方位角。若第一位置包括的第三俯仰角位于两个目标俯仰角的中间,选择两个目标俯仰角的哪一个作为第一预设位置包括的俯仰角可按照预设的规则确定,比如预设规则为:若第一位置包括的第三俯仰角位于两个目标俯仰角的中间,则确定两个目标俯仰角中较小的那个目标俯仰角作为第一预设位置包括的俯仰角。若第一位置包括的第三距离位于两个目标距离的中间,选择两个目标距离的哪一个作为第一预设位置包括的距离可按照预设的规则确定,比如预设规则为:若第一位置包括的第三距离位于两个目标距离的中间,则确定两个目标距离中较小的那个目标距离作为第一预设位置包括的距离。
示例性地,若步骤S201中测量得到的第m个第一虚拟扬声器相对于左耳位置的第一位置包括的第三方位角为88°,第三俯仰角为46°,第三距离为1.02m,事先测量的多个预设位置与多个以左耳位置为中心的HRTF的对应关系中包括(90°,45°,1m)对应的以左耳位置为中心的HRTF、(85°,45°,1m)对应的以左耳位置为中心的HRTF,(90°,50°,1m)对应的以左耳位置为中心的HRTF、(85°,50°,1m)对应的以左耳位置为中心的HRTF、(90°,45°,1.1m)对应的以左耳位置为中心的HRTF、(85°,45°,1.1m)对应的以左耳位置为中心的HRTF,(90°,50°,1.1m)对应的以左耳位置为中心的HRTF、(85°,50°,1.1m)对应的以左耳位置为中心的HRTF;由于88°处于85°和90°之间,但更靠近90°,46°处于45°和50°之间,但更靠近45°,1.02m处于1m和1.1m之间,但更靠近1m,因此,确定(90°,45°,1m)为第m个第一虚拟扬声器相对于左耳位置的第一位置关联的第一预设位置m。
在确定M个第一位置所关联的M个第一预设位置后,M个第一预设位置对应的M个以左耳位置为中心的HRTF为M个第一HRTF。比如,上述举例中,在第一对应关系中,第一预设位置m(90°,45°,1m)对应的以左耳位置为中心的HRTF即为第m个第一虚拟扬声器相对于当前左耳位置的第一位置对应的HRTF,也就是说在第一对应关系中,第一预设位置m(90°,45°,1m)对应的以左耳位置为中心的HRTF为第m个第一HRTF或者说为M个第一HRTF中的一个第一HRTF。
本实施例中获取的M个虚拟扬声器对应的M个第一HRTF是实际测量得到的M个以左耳位置为中心的M个HRTF,该M个第一HRTF最能代表M个第一音频信号传输至当前左耳位置所对应的HRTF,使得传输到左耳位置的信号最优。
接着,对图4所示的实施例中步骤S102中的M个第一HRTF的第二种获取方法进行说明。图8为本申请实施例提供的音频处理方法的流程图三,参见图8,本实施例中的方法包括:
步骤S301、获取M个第一虚拟扬声器相对于当前头中心的M个第三位置;第三位置包括第一虚拟扬声器相对于当前头中心的第一方位角和第一俯仰角,以及当前头中心与第一虚拟扬声器之间的第一距离;
步骤S302、根据M个第三位置确定M个第四位置,M个第三位置与M个第四位置一一对应,一个第四位置与对应的第三位置包括相同的俯仰角和相同的距离,且该一个第四位置包括的方位角与第一值之差为该对应的第三位置所包括的第一方位角,第一值为第一夹角和第二夹角的差值,第一夹角为第一直线与第一面之间的第一夹角,第二夹角为第二直线与第一面之间的夹角,第一直线为过当前左耳和三维坐标系的坐标原点的直线,第二直线为过当前头中心和坐标原点的直线;第一面为三维坐标系的X轴与Z轴组成的平面;
步骤S303、根据M个第四位置和第二对应关系,确定M个第四位置所对应的M个HRTF为M个第一HRTF;其中,该第二对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系;
具体地,对于步骤S301、获取每个第一虚拟扬声器相对于当前头中心的第三位置,若具有M个第一虚拟扬声器,则会获取M个第三位置。当前头中心为当前收听者的头中心。
其中,每个第三位置包括第一虚拟扬声器相对于当前头中心的第一方位角和第一俯仰角,以及当前头中心与第一虚拟扬声器之间的第一距离。
对于步骤S302,对于每个第三位置,将该第三位置包括的第二俯仰角作为相应的第四位置包括的俯仰角,将该第三位置包括的第二距离作为相应的第四位置包括的距离,将该第三位置包括的第二方位角加上第一值,得到相应的第四位置包括的方位角。比如,若第三位置为(52°,73°,0.5m),第一值为6°,则第四位置为(58°,73°,0.5m)。
本实施例中的三维坐标系为上述音频接收端对应的三维坐标系。
对于步骤S303、在步骤S303之前,需要事先获取多个预设位置与多个以头中心为中心的HRTF的对应关系。获取多个预设位置与多个以头中心为中心的HRTF的对应关系的方法参照图4所示的实施例中的阐述,本实施例中不再赘述。
其中,根据M个第四位置和第二对应关系,确定M个第四位置所对应的M个HRTF为M个第一HRTF,该第二对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系,包括:
根据M个第四位置,确定M个第四位置关联的M个第二预设位置;M个第二预设位置为预先存储的第二对应关系中的预设位置;
根据第二对应关系,确定M个第二预设位置对应的以头中心为中心的HRTF,为M个第一HRTF。
具体地,第四位置关联的第二预设位置可能为第四位置本身;或者,
第二预设位置包括的俯仰角为与第四位置包括的俯仰角距离最近的目标俯仰角,第二预设位置包括的方位角为与第四位置包括的方位角距离最近的目标方位角,第二预设位置包括的距离为与第四位置包括的距离最近的目标距离;其中,目标方位角为测量以头中心为中心的HRTF时对应的预设位置包括的方位角,也就是测量以头中心为中心的HRTF时放置的第一声源相对于头中心的方位角,目标俯仰角为测量以头中心为中心的HRTF时对应的预设位置中的俯仰角,也就是测量以头中心为中心的HRTF时放置的第一声源相对于头中心的俯仰角,目标距离为测量以头中心为中心的HRTF时对应的预设位置中的距离,也就是测量以头中心为中心的HRTF时放置的第一声源相对于头中心的距离。即第二预设位置均为测量多个以头中心为中心的HRTF时放置第一声源的位置,也就是事先已经测量了每个第二预设位置对应的以头中心为中心的HRTF。
可以理解的是,若第四位置包括的方位角位于两个目标方位角的中间,确定第二预设位置包括的方位角的方法、若第四位置包括的俯仰角位于两个目标俯仰角的中间,确定第二预设位置包括的俯仰角的方法,以及若第四位置包括的俯仰角位于两个目标俯仰角的中间,确定第二预设位置包括的俯仰角的方法,同关于第一位置关联的第一预设位置的阐述,此处不再赘述。
在确定M个第四位置关联的M个第二预设位置,M个第二预设位置对应的以头中心为中心的HRTF即为M个第一HRTF。比如,某一第四位置关联的第二预设位置为(30°、60°、0.5m),则第二对应关系中,(30°、60°、0.5m)对应的HRTF,即为该第四位置对应的以头中心为中心的HRTF,也就是说在第二对应关系中,(30°、60°、0.5m)对应的以头中心为中心的HRTF为M个第一HRTF中的一个第一HRTF。
本实施例中M个第一HRTF是通过以头中心的HRTF转化得到的,获取第一HRTF的效率较高。
接着,对图4所示的实施例中步骤S102中的M个第一HRTF的第三种获取方法进行说明。图9为本申请实施例提供的音频处理方法的流程图四,参见图9,本实施例中的方法包括:
步骤S401、获取M个第一虚拟扬声器相对于当前头中心的M个第三位置;第三位置包括第一虚拟扬声器相对于当前头中心的第一方位角和第一俯仰角,以及当前头中心与第一虚拟扬声器之间的第一距离;
步骤S402、根据M个第三位置确定M个第七位置,M个第三位置与M个第七位置一一对应,一个第七位置与对应的第三位置包括相同的俯仰角和相同的距离,且一个第七位置包括的方位角与第一预设值之差为对应的第三位置所包括的第一方位角;;其中,该对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系;
步骤S403、根据M个第七位置和第二对应关系,确定M个第七位置所对应的M个HRTF为M个第一HRTF;其中,该第二对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系
具体地,本实施例中的步骤S401参照图8所示的实施例中的步骤S301,此处不再赘述。
对于步骤S402,本实施例中的三维坐标系为上述音频接收端对应的三维坐标系。
具体地,对于每个第三位置,将该第三位置包括的第二俯仰角作为相应的第七位置包括的俯仰角,将该第三位置包括的第二距离作为相应的第七位置包括的距离,将该第三位置包括的第二方位角加上第一预设值,得到相应的第七位置包括的方位角。比如,若第三位置为(52°,73°,0.5m),第一预设值5°,则第七位置为(57°,73°,0.5m)。
其中,第一预设值为事先预设好的,不考虑收听者的头的大小。上一实施例中,第一值为第一夹角和第二夹角之差,考虑了当前收听者的头的大小。可选地,第一预设值与图4所示的实施例中所述的第一预设角度相同。
对于步骤S403、在步骤S403之前,需要事先获取多个预设位置与多个以头中心为中心的HRTF的对应关系。获取多个预设位置与多个以头中心为中心的HRTF的对应关系的方法参照图4所示的实施例中的阐述,本实施例中不再赘述。
其中,根据M个第七位置和第二对应关系,确定M个第七位置所对应的M个HRTF为M个第一HRTF,该第二对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系,包括:
根据M个第七位置,确定M个第七位置关联的M个第三预设位置;M个第三预设位置为第二对应关系中的预设位置;
根据第二对应关系,确定M个第三预设位置对应的以头中心为中心的HRTF,为M个第一HRTF。
具体地,对于第七位置关联的第三预设位置,参照图6所示的实施例中第一位置关联的第一预设位置的解释,此处不再赘述。
在确定M个第七位置关联的M个第三预设位置后,M个第三预设位置对应的以头中心为中心的HRTF即为M个第一HRTF。比如,某一第七位置关联的第三预设位置为(35°、60°、0.5m),则在第二对应关系中,(35°、60°、0.5m)对应的以头中心为中心的HRTF即为该第七位置对应的以头中心为中心的HRTF,也就是说在第二对应关系中,(35°、60°、0.5m)对应的以头中心为中心的HRTF为其中一个第一HRTF。
本实施例中M个第一HRTF是通过以头中心的HRTF转化得到的,且在获取上述的第四位置时,不考虑当前收听者的头的大小,进一步提高了获取第一HRTF的效率。
其次,对图4所示的实施例中步骤S102中的N个第二HRTF的第一种获取过程进行说明。图10为本申请实施例提供的音频处理方法的流程图五,参见图10,本实施例中的方法包括:
步骤S501、获取N个第二虚拟扬声器相对于当前右耳位置的N个第二位置;
步骤S502、根据N个第二位置以及第三对应关系,确定N个第二位置所对应的N个HRTF为N个第二HRTF;其中,该第三对应关系为预先存储的多个预设位置与多个以右耳位置为中心的HRTF的对应关系。
具体地,对于步骤S501获取每个第二虚拟扬声器相对于收听者的右耳位置的第二位置,若具有N个第二虚拟扬声器,则会获取N个第二位置。
其中,每个第二位置包括相应的第二虚拟扬声器相对于当前右耳位置的第四俯仰角和第四方位角,以及该第二虚拟扬声器与当前右耳位置之间的第四距离。当前右耳位置为当前收听者的右耳。
对于步骤S502,在步骤S502之前,需要事先获取多个预设位置与多个以右耳位置为中心的HRTF;
图11本申请实施例提供的以右耳位置中心为测量HRTF的中心的测量场景图。参见图11,图11中示意出了几个相对于右耳位置52的位置51。可以理解是,以右耳位置为中心的HRTF具有多个,不同位置51处的第三声源发送的音频信号传输至右耳位置对应不同的HRTF,其中,测量以右耳位置为中心的HRTF时的右耳位置可为当前收听者的当前右耳位置,也可为其它收听者的右耳位置,还可为虚拟收听者的右耳位置。
这样在相对于右耳位置52的不同位置处设置第三声源,以得到多个位置51对应的以右耳位置为中心的HRTF;即若第三声源1相对于右耳位置52的位置为位置c,此时测量得到的第三声源1发出的信号传输至右耳位置52的HRTF,即与位置c对应的且以右耳位置为中心的以右耳位置为中心的HRTF1;第三声源2相对于右耳位置52的位置为位置d,此时会测量得到的第三声源2发出的信号传输至右耳位置52的HRTF,即为与位置d对应的且以右耳位置为中心的HRTF2等;其中,位置c包括方位角1、俯仰角1和距离1,方位角1为第三声源1相对于右耳位置52的方位角,俯仰角1为第三声源1相对于右耳位置52的俯仰角,距离1为第三声源1与右耳位置52之间的距离;同理位置d包括方位角2、俯仰角2和距离2,方位角2为第三声源2相对于右耳位置52的方位角,俯仰角2为第三声源2相对于右耳位置52的俯仰角,距离2为第三声源2与右耳位置52的距离。
可以理解的是,在设置第三声源相对于右耳位置52的位置时,在距离和俯仰角不变时,相邻的第三声源的方位角可间隔第一预设角度,在距离和方位角不变时,相邻的第三声源的俯仰角可间隔第二预设角度,在俯仰角和方位角不变时,相邻的第三声源的距离可间隔第一预设距离。其中,第一预设角度可为3°~10°中的任一,比如为5°;第二预设角度可为3°~10°中的任一,比如为5°;第一预设距离可为0.05m~0.2m中的任一,比如为0.1m。
比如,位置c(100°,50°,1m)对应的以右耳位置为中心的HRTF1的获取过程如下:在相对于右耳位置的方位角为100°、俯仰角为50°,距离为1m处设置第三声源1,测量第三声源1发出的音频信号传输至右耳位置所对应的HRTF,得到以右耳位置为中心的HRTF1;
又比如,位置d(100°,45°,1m)对应的以右耳位置为中心的HRTF2的获取过程如下:在相对于右耳位置的方位角为100°、俯仰角为45°,距离为1m处设置第三声源2,测量第三声源2发出的音频信号传输至右耳位置所对应的HRTF,得到以右耳位置为中心的HRTF2;
又比如,位置e(95°,50°,1m)对应的以右耳位置为中心的HRTF3的获取过程如下:在相对于右耳位置的方位角为95°、俯仰角为50°,距离为1m处设置第三声源3,测量第三声源3发出的音频信号传输至右耳位置所对应的HRTF,得到以右耳位置为中心的HRTF3,等等。
又比如,位置f(95°,45°,1m)对应的以右耳位置为中心的HRTF3的获取过程如下:在相对于右耳位置的方位角为95°、俯仰角为40°,距离为1m处设置第三声源4,测量第三声源4发出的音频信号传输至右耳位置所对应的HRTF,得到以右耳位置为中心的HRTF4,等等。
又比如,位置g(100°,50°,1.2m)对应的以右耳位置为中心的HRTF5的获取过程如下:在相对于右耳位置的方位角为100°、俯仰角为50°,距离为1.2m处设置第三声源5,测量第三声源5发出的音频信号传输至右耳位置所对应的HRTF,得到以右耳位置为中心的HRTF5;
又比如,位置h(95°,50°,1.1m)对应的以右耳位置为中心的HRTF5的获取过程如下:在相对于右耳位置的方位角为95°、俯仰角为50°,距离为1.1m处设置第三声源6,测量第三声源6发出的音频信号传输至右耳位置所对应的HRTF,得到以右耳位置为中心的HRTF6。
可以理解的是,由于方位角的范围为(-180°到180°),俯仰角的范围为(-90°到90°),若第一预设角度为5°;第二预设角度为5°;第一预设距离可为0.05m,总距离为2m,比如为0.1m,则可以得到72×36×21个以右耳位置为中心的HRTF。
通过上述方法,可测量得到多个位置与多个以右耳位置为中心的HRTF的对应关系。可以理解的是,上述测量以右耳位置为中心的HRTF时放置第三声源的多个位置可称为预设位置,因此,通过上述方法,可测量得到多个预设位置与多个以右耳位置为中心的HRTF的对应关系,该对应关系称为第三对应关系,第三对应关系可存储在图3所示的存储器22中。
接着,根据N个第二位置以及第三对应关系,确定N个第二位置所对应的N个HRTF为N个第二HRTF,该第三对应关系为预先存储的多个预设位置与多个以右耳位置为中心的HRTF的对应关系,包括:
确定N个第二位置所关联的N个第四预设位置;
根据第三对应关系,确定N个第四预设位置对应的N个以右耳位置为中心的HRTF为N个第二HRTF。
其中,第二位置所关联的第四预设位置可能为第二位置本身;或者,
第四预设位置包括的俯仰角为与第二位置包括的第四俯仰角距离最近的目标俯仰角,第四预设位置包括的方位角为与第二位置包括的第四方位角距离最近的目标方位角,第四预设位置包括的距离为与第二位置包括的第四距离的距离最近的目标距离;其中,目标方位角为测量以右耳位置为中心的HRTF时对应的预设位置包括的方位角,也就是测量以右耳位置为中心的HRTF时放置的第三声源相对于右耳位置的方位角,目标俯仰角为测量以右耳位置为中心的HRTF时对应的预设位置包括的俯仰角,也就是测量以右耳位置为中心的HRTF时放置的第三声源相对于右耳位置的俯仰角,目标距离为测量得到的以右耳位置为中心的HRTF时对应的预设位置包括的距离,也就是测量以右耳位置为中心的HRTF时放置的第三声源相对于右耳位置的距离。即第四预设位置均为测量的多个HRTF时放置第三声源的位置,也就是事先已经测量了每个第四预设位置对应的以右耳位置为中心的HRTF。
可以理解的是,若第二位置包括的第四方位角位于两个目标方位角的中间,确定第四预设位置包括的方位角的方法、若第二位置包括的第四俯仰角位于两个目标俯仰角的中间,确定第四预设位置包括的俯仰角的方法,以及若第二位置包括的第四俯仰角位于两个目标俯仰角的中间,确定第四预设位置包括的俯仰角的方法,同关于第一位置关联的第一预设位置的阐述,此处不再赘述。
示例性地,若步骤S401中测量得到的第n个第二虚拟扬声器相对于右耳位置的第二位置包括的第四方位角为88°,第四俯仰角为46°,第四距离为1.02m,多个预设位置与多个以右耳位置为中心的HRTF的对应关系中包括(90°,45°,1m)对应的以右耳位置为中心的HRTF、(85°,45°,1m)对应的以右耳位置为中心的HRTF,(90°,50°,1m)对应的以右耳位置为中心的HRTF、(85°,50°,1m)对应的以右耳位置为中心的HRTF、(90°,45°,1.1m)对应的以右耳位置为中心的HRTF、(85°,45°,1.1m)对应的以右耳位置为中心的HRTF,(90°,50°,1.1m)对应的以右耳位置为中心的HRTF、(85°,50°,1.1m)对应的以右耳位置为中心的HRTF;由于88°处于85°和90°之间,但更靠近90°,46°处于45°和50°之间,但更靠近45°,1.02m处于1m和1.1m之间,但更靠近1m,因此,确定(90°,45°,1m)为第n个第二虚拟扬声器相对于右耳位置的第二位置关联的第四预设位置n。
在确定N个第二位置所关联的N个第四预设位置后,N个第四预设位置对应的N个以右耳位置为中心的HRTF即为N个第二HRTF。比如,上述举例中,在第三对应关系中,(90°,45°,1m)中对应的以右耳位置为中心的HRTF即为第n个第二虚拟扬声器相对于右耳位置的第二位置对应的以右耳位置为中心的HRTF,也就是说在第三对应关系中,第四预设位置n(90°,45°,1m)对应的以右耳位置为中心的HRTF为第n个第一HRTF或者说为第n个第一虚拟扬声器对应的第一HRTF。
本实施例中N个第二HRTF是实际测量得到的N个以右耳位置为中心的N个HRTF,获取的N个第二HRTF最能代表N个第二音频信号传输至收听者的当前右耳位置所对应的HRTF,使得传输到右耳位置的信号最优。
接着,对图4所示的实施例中步骤S102中的N个第二HRTF的第二种获取过程进行说明。图12为本申请实施例提供的音频处理方法的流程图六,参见图12,本实施例中的方法包括:
步骤S601、获取N个第二虚拟扬声器相对于当前头中心的N个第五位置;第五位置包括第二虚拟扬声器相对于当前头中心的第二方位角和第二俯仰角,以及当前头中心与第二虚拟扬声器之间的第二距离;
步骤S602、根据N个第五位置确定N个第六位置,N个第五位置与N个第六位置一一对应,一个第六位置与对应的第五位置包括相同的俯仰角和相同的距离,且该一个第六位置包括的方位角与第二值之和为该对应的第五位置所包括的第二方位角,第二值为第三夹角和第二夹角的差值,第二夹角为第二直线与第一面之间的夹角,第三夹角为第三直线与第一面之间的夹角,第二直线为过当前头中心和坐标原点的直线,第三直线为过当前右耳和坐标原点的直线;第一面为三维坐标系的X轴与Z轴组成的平面;
步骤S603、根据N个第六位置和第二对应关系,确定N个第六位置所对应的N个HRTF为N个第二HRTF;该第二对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系。
具体地,对于步骤S601、获取每个第二虚拟扬声器相对于收听者的头中心的第五位置,若具有N个第二虚拟扬声器,则会获取N个第五位置。当前头中心为当前收听者的头中心。
其中,每个第五位置包括相应的第二虚拟扬声器相对于当前头中心的第二俯仰角、第二方位角,以及即为该第二虚拟扬声器与当前头中心之间的第二距离。
对于步骤S602,对于每个第五位置,将该第五位置包括的第二俯仰角作为相应的第六位置包括的俯仰角,将该第五位置包括的第二距离作为相应的第六位置包括的距离,将该第五位置包括的第二方位角减去第二值,得到相应位置对于的M个第六位置包括的方位角。比如,若第五位置为(52°,73°,0.5m),第二值为6°,则第六位置为(46°,73°,0.5m)。
本实施例中的三维坐标系为上述音频接收端对应的三维坐标系。
对于步骤S603,在步骤S603之前,需要事先获取多个预设位置与多个以头中心为中心的HRTF的对应关系。获取多个预设位置与多个以头中心为中心的HRTF的对应关系的方法参照图4所示的实施例中的阐述,本实施例中不再赘述。
其中,根据N个第六位置和第二对应关系,确定N个第六位置所对应的N个HRTF为N个第二HRTF,该第二对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系,,包括:
根据N个第六位置,确定N个第五预设位置;N个第五预设位置为第二对应关系中的预设位置;
根据第二对应关系,确定N个第五预设位置对应的N个以头中心为中心的HRTF,为N个第二HRTF。
对于第六位置关联的第五预设位置,参照第四位置关联的第二预设位置的解释,此处不再赘述。
在确定N个第六位置所关联的N个第五预设位置后,N个第五预设位置对应的N个以头中心为中心的HRTF为N个第二HRTF。比如,某一第六位置关联的第五预设位置为(40°、60°、0.5m),则在第二对应关系中(40°、60°、0.5m)对应的以头中心为中心的HRTF,即为该第六位置对应的以头中心为中心的HRTF,也就是说,在第二对应关系中(30°、60°、0.5m)对应的以头中心为中心的HRTF为N个第二HRTF中的一个第二HRTF。
本实施例中N个第二HRTF是通过以头中心的HRTF转化得到的,获取第二HRTF的效率较高。
接着,对图6所示的实施例中步骤S102中的N个第二HRTF的第三种获取过程进行说明。图13为本申请实施例提供的音频处理方法的流程图七,参见图13,本实施例中的方法包括:
步骤S701、获取N个第二虚拟扬声器相对于当前头中心的N个第五位置;第五位置包括第二虚拟扬声器相对于当前头中心的第二方位角和第二俯仰角,以及当前头中心与第二虚拟扬声器之间的第二距离;
步骤S702、根据N个第五位置确定N个第八位置,N个第五位置与N个第八位置一一对应,一个第八位置与对应的第五位置包括相同的俯仰角和相同的距离,且一个第八位置包括的方位角与第一预设值之和为对应的第五位置所包括的第二方位角;
步骤S703、根据N个第八位置和第二对应关系,确定N个第八位置所对应的N个HRTF为N个第二HRTF,该第二对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系。
具体地,本实施例中的步骤S701参照图12的实施例中的步骤S601,此处不再赘述。
对于步骤S702,本实施例中的三维坐标系为上述音频接收端对应的三维坐标系。
具体地,对于每个第五位置,将该第五位置包括的第二俯仰角作为相应的第八位置包括的俯仰角,将该第五位置包括的第二距离作为相应的第八位置包括的距离,将该第五位置包括的第二方位角减去第一预设值,得到相应的第八位置包括的方位角。比如,若第五位置为(52°,73°,0.5m),第一预设值5°,则第八位置为(47°,73°,0.5m)。
其中,第一预设值为事先预设好的,不考虑收听者的头的大小。上一实施例中,第二值为第三夹角和第二夹角之差,考虑了当前收听者的头的大小。可选地,第一预设值与图6所示的实施例中所述的第一预设角度相同。
对于步骤S703、在步骤S703之前,需要事先获取多个预设位置与多个以头中心为中心的HRTF的对应关系。获取多个预设位置与多个以头中心为中心的HRTF的对应关系的方法参照图6所示的实施例中的阐述,本实施例中不再赘述。
其中,根据N个第八位置和第二对应关系,确定N个第八位置所对应的N个HRTF为N个第二HRTF,该第二对应关系为预先存储的多个预设位置与多个以头中心为中心的HRTF的对应关系,包括:
根据N个第八位置,确定N个第八位置关联的N个第六预设位置;N个第六预设位置为第二对应关系中的预设位置;
根据第二对应关系,确定N个第六预设位置对应的以头中心为中心的HRTF,为N个第二HRTF。
具体地,对于第八位置关联的第六预设位置,参照第四位置关联的第二预设位置的解释,此处不再赘述。
在确定N个第八位置关联的N个第六预设位置后,N个第六预设位置对应的以头中心为中心的HRTF即为N个第二HRTF。比如,某一第八位置关联的第六预设位置为(45°、60°、0.5m),则在第二对应关系中,(45°、60°、0.5m)对应的以头中心为中心的HRTF即为该第八位置对应的以头中心为中心的HRTF,也就是在第二对应关系中,(45°、60°、0.5m)对应的以头中心为中心的HRTF为其中一个第二HRTF。
本实施例中N个第二HRTF是通过以头中心的HRTF转化得到的,且在获取上述的第八位置时,不考虑当前收听者的头的大小,进一步提高了获取第二HRTF的效率。
通过图6~图13所示的实施例介绍了M个第一HRTF和N个第二HRTF的获取过程。其中,图6、图8、图9中的任一实施例所示的方法和与图10、图12、图13中的任一实施例所示的方法结合使用。
进一步地,M个第一虚拟扬声器相对于上述坐标原点的位置以及N个第二虚拟扬声器相对于上述坐标原点的位置,可以通过如下的方式获取。可以理解的是M个第一虚拟扬声器相对于上述坐标原点的位置以及N个第二虚拟扬声器相对于上述坐标原点的位置,在步骤S101之前进行。
首先,对获取第一虚拟扬声器相对于上述坐标原点的位置的方法进行说明;
图14为本申请实施例提供的音频处理方法的流程图八,参见图14,本实施例的方法,包括:
步骤S801、获取目标虚拟扬声器组,目标虚拟扬声器组中包括M个目标虚拟扬声器;
步骤S802、根据M个目标虚拟扬声器相对于坐标原点的M个第九位置,确定M个第一虚拟扬声器相对于坐标原点的M个第十位置;其中,M个第九位置与M个第十位置一一对应,一个第十位置与对应的第九位置包括相同的俯仰角和相同的距离,且该一个第十位置包括的方位角与第二预设值之差为该对应的第九位置所包括的方位角。
具体地,对于步骤S801,音频信号接收端渲染处理得到一个目标虚拟扬声器组,目标虚拟扬声器组包括M个目标虚拟扬声器。
对于步骤S802、根据M个目标虚拟扬声器相对于坐标原点的M个第九位置,确定M个第一虚拟扬声器相对于坐标原点的M个第十位置,包括:
对于每个第九位置,将该第九位置包括的俯仰角作为相应的第十位置的俯仰角,将该第九位置包括的第二距离作为相应的第十位置包括的距离,将该第九位置包括的方位角加上第二预设值作为相应的第十位置包括的方位角。
比如,若第九位置为(40°,90°,0.8m),第二预设值为5°,则第十位置为(45°,90°,0.8m)。
可以理解的是,在得到第一虚拟扬声器相对于坐标原点的第十位置后,可如公式一所示,根据第一虚拟扬声器相对于坐标原点的M个第十位置,得到M个第一音频信号。
也就是说获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号,包括:根据M个第一虚拟扬声器相对于坐标原点的M个第十位置,对待处理音频信号进行处理,得到M个第一音频信号。
其次,对获取第二虚拟扬声器相对于上述坐标原点的位置的方法进行说明;图15为本申请实施例提供的音频处理方法的流程图九,参见图15,本实施例的方法,包括:
步骤S901、获取目标虚拟扬声器组,目标虚拟扬声器组中包括M个目标虚拟扬声器;
步骤S902、根据M个目标虚拟扬声器相对于坐标原点的M个第九位置,确定N个第二虚拟扬声器相对于坐标原点的N个第十一位置;其中,M个第九位置与N个第十一位置一一对应,一个第十一位置与对应的第九位置包括相同的俯仰角和相同的距离,且该一个第十一位置包括的方位角与第二预设值之和为该对应的第九位置所包括的方位角。
具体地,对于步骤S901,音频信号接收端渲染处理得到一个目标虚拟扬声器组,目标虚拟扬声器组包括M个或者N个目标虚拟扬声器,M=N。
对于步骤S902、根据M个目标虚拟扬声器相对于坐标原点的M个第九位置,确定N个第二虚拟扬声器相对于坐标原点的N个第十一位置,包括:
对于每个第九位置,将该第九位置包括的俯仰角作为相应的第十一位置的俯仰角,将该第九位置包括的第二距离作为相应的第十一位置包括的距离,将该第九位置包括的方位角减去第二预设值作为相应的第十一位置包括的方位角。
比如,若第九位置为(40°,90°,0.8m),第二预设值为5°,则第十一位置为(35°,90°,0.8m)。
可以理解的是,在得到第二虚拟扬声器相对于坐标原点的第十一位置后,可如公式二所示,根据第二虚拟扬声器相对于坐标原点的N个第十一位置,得到N个第二音频信号。
也就是说获取待处理的音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号,包括:根据N个第二虚拟扬声器相对于坐标原点的N个第十一位置,对待处理音频信号进行处理,得到N个第二音频信号。
下面对本申请的音频处理方法在实际应用中的效果进行说明。
图16为现有技术中左耳位置对应的渲染信号的渲染频谱与左耳位置对应的理论频谱的差异谱图,图17为现有技术中右耳位置对应的渲染信号的渲染频谱与右耳位置对应的理论频谱的差异谱图,图18为本申请实施提供的方法中左耳位置对应的渲染信号的渲染频谱与左耳位置对应的理论频谱的差异谱图,图19为本申请实施提供的方法中右耳位置对应的渲染信号的渲染频谱与右耳位置对应的理论频谱的差异谱图。
图16~图19中图中颜色越浅表示渲染频谱与理论频谱越接近,颜色越深表示渲染频谱与理论频谱差异越大。对比图16和图18,可知,图18中颜色浅的区域面积明显大于图16中颜色浅的区域面积,说明了本申请实施例的方法渲染得到的左耳位置对应的信号与理论上得到的信号越接近,即渲染得到的信号效果越好。对比图17和图19可知,图19中颜色浅的区域面积明显大于图17中颜色浅的区域面积,说明了本申请实施例的方法渲染得到右耳位置对应的信号与理论上得到的信号越接近,即渲染得到的信号效果越好。
上述针对音频信号接收端所实现的功能,对本申请实施例提供的方案进行了介绍。可以理解的是,音频信号接收端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。结合本申请中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的技术方案的范围。
本申请实施例可以根据上述方法示例对音频信号接收端中进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图20为本申请实施例提供的音频处理装置的结构示意图;参见图20,本实施例的装置包括:处理模块31、获取模块32;
处理模块31,用于获取待处理音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号和所述待处理音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号;所述M个第一虚拟扬声器与所述M个第一音频信号一一对应,所述N个第二虚拟扬声器与所述N个第二音频信号一一对应;M、N为正整数;
获取模块32,用于获取M个第一头相关传输函数HRTF和N个第二HRTF,所述M个第一HRTF均为以左耳位置为中心的HRTF,所述N个第二HRTF均为以右耳位置为中心的HRTF;所述M个第一HRTF与所述M个第一虚拟扬声器一一对应,所述N个第二HRTF与所述N个第二虚拟扬声器一一对应;
所述获取模块32,还用于根据所述M个第一音频信号和所述M个第一HRTF,获取第一目标音频信号;根据所述N个第二音频信号和所述N个第二HRTF,获取第二目标音频信号。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在一种可能的设计中,所述获取模块32,具体用于:
将所述M个第一音频信号分别与对应的第一HRTF进行卷积处理,以得到M个第一卷积音频信号;
根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
在一种可能的设计中,所述获取模块32,具体用于:
将所述N个第二音频信号分别与对应的第二HRTF卷积,以得到N个第二卷积音频信号;
根据所述N个第二卷积音频信号,得到所述第二目标音频信号。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块32,具体用于:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及所述对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块32,具体用于:
获取所述N个第二虚拟扬声器相对于当前右耳位置的N个第二位置;
根据所述N个第二位置以及所述对应关系,确定所述N个第二位置所对应的N个HRTF为所述N个第二HRTF。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块32,具体用于:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第四位置,所述M个第三位置与所述M个第四位置一一对应,一个第四位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第四位置包括的方位角与第一值之差为所述对应的第三位置所包括的第一方位角,所述第一值为第一夹角和第二夹角的差值,所述第一夹角为第一直线与第一面之间的第一夹角,所述第二夹角为第二直线与所述第一面之间的夹角,所述第一直线为过当前左耳和三维坐标系的坐标原点的直线,所述第二直线为过所述当前头中心和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述M个第四位置和所述对应关系,确定所述M个第四位置所对应的M个HRTF为所述M个第一HRTF。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块32,具体用于:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第六位置,所述N个第五位置与所述N个第六位置一一对应,一个第六位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第六位置包括的方位角与第二值之和为所述对应的第五位置所包括的第二方位角,所述第二值为第三夹角和第二夹角的差值,所述第二夹角为第二直线与第一面之间的夹角,所述第三夹角为第三直线与所述第一面之间的夹角,所述第二直线为过所述当前头中心和坐标原点的直线,所述第三直线为过当前右耳和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述N个第六位置和所述对应关系,确定所述N个第六位置所对应的N个HRTF为所述N个第二HRTF。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块32,具体用于:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第七位置,所述M个第三位置与所述M个第七位置一一对应,一个第七位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第七位置包括的方位角与第一预设值之差为所述对应的第三位置所包括的第一方位角;
根据所述M个第七位置和所述对应关系,确定所述M个第七位置所对应的M个HRTF为所述M个第一HRTF。
在一种可能的设计中,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块32,具体用于:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第八位置,所述N个第五位置与所述N个第八位置一一对应,一个第八位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第八位置包括的方位角与第一预设值之和为所述对应的第五位置所包括的第二方位角;
根据所述N个第八位置和所述对应关系,确定所述N个第八位置所对应的N个HRTF为所述N个第二HRTF。
在一种可能的设计中,所述获取模块32,还用于:在所述获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号之前,
获取目标虚拟扬声器组,所述目标虚拟扬声器组包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述M个第一虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述M个第一虚拟扬声器相对于坐标原点的M个第十位置;其中,所述M个第九位置与所述M个第十位置一一对应,一个第十位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十位置包括的方位角与第二预设值之差为所述对应的第九位置所包括的方位角;
则所述处理模块32,具体用于:根据所述M个第十位置对所述待处理音频信号进行处理,得到所述M个第一音频信号。
在一种可能的设计中,M=N,所述获取模块32,还用于:在所述待处理的音频信号N个第二虚拟扬声器处理后的N个第二音频信号之前:
获取目标虚拟扬声器组,所述目标虚拟扬声器组中包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述N个第二虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述N个第二虚拟扬声器相对于坐标原点的N个第十一位置;其中,所述M个第九位置与所述N个第十一位置一一对应,一个第十一位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十一位置包括的方位角与第二预设值之和为所述对应的第九位置所包括的方位角;
所述处理模块32,具体用于:根据所述N个第十一位置对所述待处理音频信号进行处理,得到所述N个第二音频信号。
在一种可能的设计中,所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为独立的两个扬声器组;或者,
所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为同一个扬声器组,M=N。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,使得计算机执行如本申请上述方法实施例中的方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
Claims (27)
1.一种音频处理方法,其特征在于,包括:
获取待处理音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号和所述待处理音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号;所述M个第一虚拟扬声器与所述M个第一音频信号一一对应,所述N个第二虚拟扬声器与所述N个第二音频信号一一对应;M、N为正整数;
获取M个第一头相关传输函数HRTF和N个第二HRTF,所述M个第一HRTF均为以左耳位置为中心的HRTF,所述N个第二HRTF均为以右耳位置为中心的HRTF;所述M个第一HRTF与所述M个第一虚拟扬声器一一对应,所述N个第二HRTF与所述N个第二虚拟扬声器一一对应;
根据所述M个第一音频信号和所述M个第一HRTF,获取第一目标音频信号;根据所述N个第二音频信号和所述N个第二HRTF,获取第二目标音频信号。
2.根据权利要求1所述的方法,其特征在于,所述根据M个第一音频信号和所述M个第一HRTF,获取第一目标音频信号,包括:
将所述M个第一音频信号分别与对应的第一HRTF进行卷积处理,以得到M个第一卷积音频信号;
根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
3.根据权利要求1或2所述的方法,其特征在于,所述根据N个第二音频信号和所述N个第二HRTF,获取第二目标音频信号;
将所述N个第二音频信号分别与对应的第二HRTF卷积,以得到N个第二卷积音频信号;
根据所述N个第二卷积音频信号,得到所述第二目标音频信号。
4.根据权利要求1~3任一项所述的方法,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第一HRTF,包括:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及所述对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF。
5.根据权利要求1~4中任一所述的方法,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取N个第二HRTF,包括:
获取所述N个第二虚拟扬声器相对于当前右耳位置的N个第二位置;
根据所述N个第二位置以及所述对应关系,确定所述N个第二位置所对应的N个HRTF为所述N个第二HRTF。
6.根据权利要求1~3任一项所述的方法,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第一HRTF,包括:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第四位置,所述M个第三位置与所述M个第四位置一一对应,一个第四位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第四位置包括的方位角与第一值之差为所述对应的第三位置所包括的第一方位角,所述第一值为第一夹角和第二夹角的差值,所述第一夹角为第一直线与第一面之间的夹角,所述第二夹角为第二直线与所述第一面之间的夹角,所述第一直线为过当前左耳和三维坐标系的坐标原点的直线,所述第二直线为过所述当前头中心和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述M个第四位置和所述对应关系,确定所述M个第四位置所对应的M个HRTF为所述M个第一HRTF。
7.根据权利要求1~3和6中任一项所述的方法,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取N个第二HRTF包括:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第六位置,所述N个第五位置与所述N个第六位置一一对应,一个第六位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第六位置包括的方位角与第二值之和为所述对应的第五位置所包括的第二方位角,所述第二值为第三夹角和第二夹角的差值,所述第二夹角为第二直线与第一面之间的夹角,所述第三夹角为第三直线与所述第一面之间的夹角,所述第二直线为过所述当前头中心和坐标原点的直线,所述第三直线为过当前右耳和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述N个第六位置和所述对应关系,确定所述N个第六位置所对应的N个HRTF为所述N个第二HRTF。
8.根据权利要求1~3任一项所述的方法,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取M个第一HRTF,包括:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第七位置,所述M个第三位置与所述M个第七位置一一对应,一个第七位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第七位置包括的方位角与第一预设值之差为所述对应的第三位置所包括的第一方位角;
根据所述M个第七位置和所述对应关系,确定所述M个第七位置所对应的M个HRTF为所述M个第一HRTF。
9.根据权利要求1~3和8中任一项所述的方法,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取N个第二HRTF,包括:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第八位置,所述N个第五位置与所述N个第八位置一一对应,一个第八位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第八位置包括的方位角与第一预设值之和为所述对应的第五位置所包括的第二方位角;
根据所述N个第八位置和所述对应关系,确定所述N个第八位置所对应的N个HRTF为所述N个第二HRTF。
10.根据权利要求1~9任一项所述的方法,其特征在于,在所述获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号之前,还包括:
获取目标虚拟扬声器组,所述目标虚拟扬声器组包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述M个第一虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述M个第一虚拟扬声器相对于所述坐标原点的M个第十位置;其中,所述M个第九位置与所述M个第十位置一一对应,一个第十位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十位置包括的方位角与第二预设值之差为所述对应的第九位置所包括的方位角;
所述获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号,包括:
根据所述M个第十位置对所述待处理音频信号进行处理,得到所述M个第一音频信号。
11.根据权利要求1~10任一项所述的方法,其特征在于,M=N,在所述待处理的音频信号N个第二虚拟扬声器处理后的N个第二音频信号之前,还包括:
获取目标虚拟扬声器组,所述目标虚拟扬声器组中包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述N个第二虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述N个第二虚拟扬声器相对于所述坐标原点的N个第十一位置;其中,所述M个第九位置与所述N个第十一位置一一对应,一个第十一位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十一位置包括的方位角与第二预设值之和为所述对应的第九位置所包括的方位角;
所述获取所述待处理的音频信号经N个第二虚拟扬声器处理后的N个第二音频信号,包括:
根据所述N个第十一位置对所述待处理音频信号进行处理,得到所述N个第二音频信号。
12.根据权利要求1~9任一项所述的方法,其特征在于,所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为独立的两个扬声器组;或者,
所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为同一个扬声器组,M=N。
13.一种音频处理装置,其特征在于,包括:
处理模块,用于获取待处理音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号和所述待处理音频信号经过N个第二虚拟扬声器处理后的N个第二音频信号;所述M个第一虚拟扬声器与所述M个第一音频信号一一对应,所述N个第二虚拟扬声器与所述N个第二音频信号一一对应;M、N为正整数;
获取模块,用于获取M个第一头相关传输函数HRTF和N个第二HRTF,所述M个第一HRTF均为以左耳位置为中心的HRTF,所述N个第二HRTF均为以右耳位置为中心的HRTF;所述M个第一HRTF与所述M个第一虚拟扬声器一一对应,所述N个第二HRTF与所述N个第二虚拟扬声器一一对应;
所述获取模块,还用于根据所述M个第一音频信号和所述M个第一HRTF,获取第一目标音频信号;根据所述N个第二音频信号和所述N个第二HRTF,获取第二目标音频信号。
14.根据权利要求13所述的装置,其特征在于,所述获取模块,具体用于:
将所述M个第一音频信号分别与对应的第一HRTF进行卷积处理,以得到M个第一卷积音频信号;
根据所述M个第一卷积音频信号,得到所述第一目标音频信号。
15.根据权利要求13或14所述的装置,其特征在于,所述获取模块,具体用于:
将所述N个第二音频信号分别与对应的第二HRTF卷积,以得到N个第二卷积音频信号;
根据所述N个第二卷积音频信号,得到所述第二目标音频信号。
16.根据权利要求13~15任一项所述的装置,其特征在于,所述获取模块,具体用于:
获取所述M个第一虚拟扬声器相对于当前左耳位置的M个第一位置;
根据所述M个第一位置以及对应关系,确定所述M个第一位置所对应的M个HRTF为所述M个第一HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
17.根据权利要求13~16中任一所述的装置,其特征在于,所述获取模块,具体用于:
获取所述N个第二虚拟扬声器相对于当前右耳位置的N个第二位置;
根据所述N个第二位置以及所述对应关系,确定所述N个第二位置所对应的N个HRTF为所述N个第二HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
18.根据权利要求13~15任一项所述的装置,其特征在于,所述获取模块,具体用于:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第四位置,所述M个第三位置与所述M个第四位置一一对应,一个第四位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第四位置包括的方位角与第一值之差为所述对应的第三位置所包括的第一方位角,所述第一值为第一夹角和第二夹角的差值,所述第一夹角为第一直线与第一面之间的第一夹角,所述第二夹角为第二直线与所述第一面之间的夹角,所述第一直线为过当前左耳和三维坐标系的坐标原点的直线,所述第二直线为过所述当前头中心和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述M个第四位置和对应关系,确定所述M个第四位置所对应的M个HRTF为所述M个第一HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
19.根据权利要求13~15和18中任一项所述的装置,其特征在于,所述获取模块,具体用于:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第六位置,所述N个第五位置与所述N个第六位置一一对应,一个第六位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第六位置包括的方位角与第二值之和为所述对应的第五位置所包括的第二方位角,所述第二值为第三夹角和第二夹角的差值,所述第二夹角为第二直线与第一面之间的夹角,所述第三夹角为第三直线与所述第一面之间的夹角,所述第二直线为过所述当前头中心和坐标原点的直线,所述第三直线为过当前右耳和所述坐标原点的直线;所述第一面为所述三维坐标系的X轴与Z轴组成的平面;
根据所述N个第六位置和对应关系,确定所述N个第六位置所对应的N个HRTF为所述N个第二HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
20.根据权利要求13~15任一项所述的装置,其特征在于,所述获取模块,具体用于:
获取所述M个第一虚拟扬声器相对于当前头中心的M个第三位置;所述第三位置包括所述第一虚拟扬声器相对于所述当前头中心的第一方位角和第一俯仰角,以及所述当前头中心与所述第一虚拟扬声器之间的第一距离;
根据所述M个第三位置确定M个第七位置,所述M个第三位置与所述M个第七位置一一对应,一个第七位置与对应的第三位置包括相同的俯仰角和相同的距离,且所述一个第七位置包括的方位角与第一预设值之差为所述对应的第三位置所包括的第一方位角;
根据所述M个第七位置和对应关系,确定所述M个第七位置所对应的M个HRTF为所述M个第一HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
21.根据权利要求13~15和20中任一项所述的装置,其特征在于,预先存储有多个预设位置与多个HRTF的对应关系;所述获取模块,具体用于:
获取所述N个第二虚拟扬声器相对于当前头中心的N个第五位置;所述第五位置包括所述第二虚拟扬声器相对于所述当前头中心的第二方位角和第二俯仰角,以及所述当前头中心与所述第二虚拟扬声器之间的第二距离;
根据所述N个第五位置确定N个第八位置,所述N个第五位置与所述N个第八位置一一对应,一个第八位置与对应的第五位置包括相同的俯仰角和相同的距离,且所述一个第八位置包括的方位角与第一预设值之和为所述对应的第五位置所包括的第二方位角;
根据所述N个第八位置和对应关系,确定所述N个第八位置所对应的N个HRTF为所述N个第二HRTF,所述对应关系是预先存储的多个预设位置与多个HRTF的对应关系。
22.根据权利要求13~21任一项所述的装置,其特征在于,所述获取模块,还用于:在所述获取待处理的音频信号经过M个第一虚拟扬声器处理后的M个第一音频信号之前,
获取目标虚拟扬声器组,所述目标虚拟扬声器组包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述M个第一虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述M个第一虚拟扬声器相对于所述坐标原点的M个第十位置;其中,所述M个第九位置与所述M个第十位置一一对应,一个第十位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十位置包括的方位角与第二预设值之差为所述对应的第九位置所包括的方位角;
则所述处理模块,具体用于:根据所述M个第十位置对所述待处理音频信号进行处理,得到所述M个第一音频信号。
23.根据权利要求13~22任一项所述的装置,其特征在于,M=N,所述获取模块,还用于:在所述待处理的音频信号N个第二虚拟扬声器处理后的N个第二音频信号之前:
获取目标虚拟扬声器组,所述目标虚拟扬声器组中包括M个目标虚拟扬声器,所述M个目标虚拟扬声器与所述N个第二虚拟扬声器一一对应;
根据所述M个目标虚拟扬声器相对于三维坐标系的坐标原点的M个第九位置,确定所述N个第二虚拟扬声器相对于所述坐标原点的N个第十一位置;其中,所述M个第九位置与所述N个第十一位置一一对应,一个第十一位置与对应的第九位置包括相同的俯仰角和相同的距离,且所述一个第十一位置包括的方位角与第二预设值之和为所述对应的第九位置所包括的方位角;
则所述处理模块,具体用于:根据所述N个第十一位置对所述待处理音频信号进行处理,得到所述N个第二音频信号。
24.根据权利要求13~21任一项所述的装置,其特征在于,所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为独立的两个扬声器组;或者,
所述M个第一虚拟扬声器为第一扬声器组中的扬声器,所述N个第二虚拟扬声器为第二扬声器组中的扬声器,所述第一扬声器组和所述第二扬声器组为同一个扬声器组,M=N。
25.一种音频处理装置,其特征在于,包括处理器;
所述处理器用于与存储器耦合,读取并执行所述存储器中的指令,以实现如权利要求1-12任一所述的方法。
26.根据权利要求25所述的装置,其特征在于,还包括所述存储器。
27.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序;所述计算机程序被执行时,实现如权利要求1-12任一项所述的方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211471838.XA CN115866505A (zh) | 2018-08-20 | 2018-08-20 | 音频处理方法和装置 |
CN201810950088.1A CN110856094A (zh) | 2018-08-20 | 2018-08-20 | 音频处理方法和装置 |
SG11202101427SA SG11202101427SA (en) | 2018-08-20 | 2019-03-19 | Audio processing method and apparatus |
EP19850870.7A EP3833055A4 (en) | 2018-08-20 | 2019-03-19 | AUDIO PROCESSING METHOD AND DEVICE |
BR112021002660-6A BR112021002660A2 (pt) | 2018-08-20 | 2019-03-19 | método e dispositivos de processamento de áudio, e meio de armazenamento |
PCT/CN2019/078781 WO2020037984A1 (zh) | 2018-08-20 | 2019-03-19 | 音频处理方法和装置 |
US17/179,723 US11611841B2 (en) | 2018-08-20 | 2021-02-19 | Audio processing method and apparatus |
US18/173,542 US11910180B2 (en) | 2018-08-20 | 2023-02-23 | Audio processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810950088.1A CN110856094A (zh) | 2018-08-20 | 2018-08-20 | 音频处理方法和装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211471838.XA Division CN115866505A (zh) | 2018-08-20 | 2018-08-20 | 音频处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110856094A true CN110856094A (zh) | 2020-02-28 |
Family
ID=69592442
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810950088.1A Pending CN110856094A (zh) | 2018-08-20 | 2018-08-20 | 音频处理方法和装置 |
CN202211471838.XA Pending CN115866505A (zh) | 2018-08-20 | 2018-08-20 | 音频处理方法和装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211471838.XA Pending CN115866505A (zh) | 2018-08-20 | 2018-08-20 | 音频处理方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11611841B2 (zh) |
EP (1) | EP3833055A4 (zh) |
CN (2) | CN110856094A (zh) |
BR (1) | BR112021002660A2 (zh) |
SG (1) | SG11202101427SA (zh) |
WO (1) | WO2020037984A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021238339A1 (zh) * | 2020-05-29 | 2021-12-02 | 华为技术有限公司 | 音频渲染方法及装置 |
CN114584913A (zh) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | Foa信号和双耳信号的获得方法和装置 |
WO2022242481A1 (zh) * | 2021-05-17 | 2022-11-24 | 华为技术有限公司 | 三维音频信号编码方法、装置和编码器 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4373138A1 (en) * | 2022-11-21 | 2024-05-22 | Universität Wien | Obtaining a head-related transfer function |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050047618A1 (en) * | 1999-07-09 | 2005-03-03 | Creative Technology, Ltd. | Dynamic decorrelator for audio signals |
US20050100171A1 (en) * | 2003-11-12 | 2005-05-12 | Reilly Andrew P. | Audio signal processing system and method |
CN1728890A (zh) * | 2004-07-29 | 2006-02-01 | 新日本无线株式会社 | 声信号处理方法与装置 |
CN1860826A (zh) * | 2004-06-04 | 2006-11-08 | 三星电子株式会社 | 再现宽立体声的设备和方法 |
CN101529930A (zh) * | 2006-10-19 | 2009-09-09 | 松下电器产业株式会社 | 声像定位装置、声像定位系统、声像定位方法、程序及集成电路 |
CN104581610A (zh) * | 2013-10-24 | 2015-04-29 | 华为技术有限公司 | 一种虚拟立体声合成方法及装置 |
US20160012816A1 (en) * | 2013-03-12 | 2016-01-14 | Yamaha Corporation | Signal processing device, headphone, and signal processing method |
CN105933835A (zh) * | 2016-04-21 | 2016-09-07 | 音曼(北京)科技有限公司 | 基于线性扬声器阵列的自适应3d声场重现方法及系统 |
CN106664499A (zh) * | 2014-08-13 | 2017-05-10 | 华为技术有限公司 | 音频信号处理装置 |
CN107182021A (zh) * | 2017-05-11 | 2017-09-19 | 广州创声科技有限责任公司 | Vr电视中的动态空间虚拟声处理系统及处理方法 |
CN107786936A (zh) * | 2016-08-25 | 2018-03-09 | 中兴通讯股份有限公司 | 一种声音信号的处理方法及终端 |
CN107925814A (zh) * | 2015-10-14 | 2018-04-17 | 华为技术有限公司 | 生成提升声音印象的方法和设备 |
CN108156575A (zh) * | 2017-12-26 | 2018-06-12 | 广州酷狗计算机科技有限公司 | 音频信号的处理方法、装置及终端 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100312965B1 (ko) | 1999-11-06 | 2001-11-05 | 정명세 | 공간 음상 정위를 위한 특성치의 환산 방법 및 이를이용한 삼차원 음향 녹음 방법 및 장치 |
US7634092B2 (en) * | 2004-10-14 | 2009-12-15 | Dolby Laboratories Licensing Corporation | Head related transfer functions for panned stereo audio content |
CN1993002B (zh) * | 2005-12-28 | 2010-06-16 | 雅马哈株式会社 | 声像定位设备 |
GB0815362D0 (en) * | 2008-08-22 | 2008-10-01 | Queen Mary & Westfield College | Music collection navigation |
JP2013110682A (ja) * | 2011-11-24 | 2013-06-06 | Sony Corp | 音響信号処理装置、音響信号処理方法、プログラム、および、記録媒体 |
JP2013157747A (ja) * | 2012-01-27 | 2013-08-15 | Denso Corp | 音場制御装置及びプログラム |
CN104604255B (zh) * | 2012-08-31 | 2016-11-09 | 杜比实验室特许公司 | 基于对象的音频的虚拟渲染 |
WO2014203496A1 (ja) * | 2013-06-20 | 2014-12-24 | パナソニックIpマネジメント株式会社 | 音声信号処理装置、および音声信号処理方法 |
CN107113524B (zh) | 2014-12-04 | 2020-01-03 | 高迪音频实验室公司 | 反映个人特性的双耳音频信号处理方法和设备 |
US9767618B2 (en) * | 2015-01-28 | 2017-09-19 | Samsung Electronics Co., Ltd. | Adaptive ambisonic binaural rendering |
US10681487B2 (en) * | 2016-08-16 | 2020-06-09 | Sony Corporation | Acoustic signal processing apparatus, acoustic signal processing method and program |
US10492018B1 (en) * | 2016-10-11 | 2019-11-26 | Google Llc | Symmetric binaural rendering for high-order ambisonics |
US10397724B2 (en) * | 2017-03-27 | 2019-08-27 | Samsung Electronics Co., Ltd. | Modifying an apparent elevation of a sound source utilizing second-order filter sections |
WO2018190880A1 (en) * | 2017-04-14 | 2018-10-18 | Hewlett-Packard Development Company, L.P. | Crosstalk cancellation for stereo speakers of mobile devices |
CN107105384B (zh) * | 2017-05-17 | 2018-11-02 | 华南理工大学 | 一种中垂面上近场虚拟声像的合成方法 |
EP3726859A4 (en) * | 2017-12-12 | 2021-04-14 | Sony Corporation | SIGNAL PROCESSING DEVICE AND METHOD, AND PROGRAM |
US11617050B2 (en) * | 2018-04-04 | 2023-03-28 | Bose Corporation | Systems and methods for sound source virtualization |
US11653163B2 (en) * | 2019-08-27 | 2023-05-16 | Daniel P. Anagnos | Headphone device for reproducing three-dimensional sound therein, and associated method |
-
2018
- 2018-08-20 CN CN201810950088.1A patent/CN110856094A/zh active Pending
- 2018-08-20 CN CN202211471838.XA patent/CN115866505A/zh active Pending
-
2019
- 2019-03-19 WO PCT/CN2019/078781 patent/WO2020037984A1/zh unknown
- 2019-03-19 SG SG11202101427SA patent/SG11202101427SA/en unknown
- 2019-03-19 BR BR112021002660-6A patent/BR112021002660A2/pt unknown
- 2019-03-19 EP EP19850870.7A patent/EP3833055A4/en active Pending
-
2021
- 2021-02-19 US US17/179,723 patent/US11611841B2/en active Active
-
2023
- 2023-02-23 US US18/173,542 patent/US11910180B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050047618A1 (en) * | 1999-07-09 | 2005-03-03 | Creative Technology, Ltd. | Dynamic decorrelator for audio signals |
US20050100171A1 (en) * | 2003-11-12 | 2005-05-12 | Reilly Andrew P. | Audio signal processing system and method |
CN1860826A (zh) * | 2004-06-04 | 2006-11-08 | 三星电子株式会社 | 再现宽立体声的设备和方法 |
CN1728890A (zh) * | 2004-07-29 | 2006-02-01 | 新日本无线株式会社 | 声信号处理方法与装置 |
CN101529930A (zh) * | 2006-10-19 | 2009-09-09 | 松下电器产业株式会社 | 声像定位装置、声像定位系统、声像定位方法、程序及集成电路 |
US20160012816A1 (en) * | 2013-03-12 | 2016-01-14 | Yamaha Corporation | Signal processing device, headphone, and signal processing method |
CN104581610A (zh) * | 2013-10-24 | 2015-04-29 | 华为技术有限公司 | 一种虚拟立体声合成方法及装置 |
CN106664499A (zh) * | 2014-08-13 | 2017-05-10 | 华为技术有限公司 | 音频信号处理装置 |
CN107925814A (zh) * | 2015-10-14 | 2018-04-17 | 华为技术有限公司 | 生成提升声音印象的方法和设备 |
CN105933835A (zh) * | 2016-04-21 | 2016-09-07 | 音曼(北京)科技有限公司 | 基于线性扬声器阵列的自适应3d声场重现方法及系统 |
CN107786936A (zh) * | 2016-08-25 | 2018-03-09 | 中兴通讯股份有限公司 | 一种声音信号的处理方法及终端 |
CN107182021A (zh) * | 2017-05-11 | 2017-09-19 | 广州创声科技有限责任公司 | Vr电视中的动态空间虚拟声处理系统及处理方法 |
CN108156575A (zh) * | 2017-12-26 | 2018-06-12 | 广州酷狗计算机科技有限公司 | 音频信号的处理方法、装置及终端 |
Non-Patent Citations (1)
Title |
---|
谢菠荪: "一种简化的虚拟3D声方法", 《电声技术》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021238339A1 (zh) * | 2020-05-29 | 2021-12-02 | 华为技术有限公司 | 音频渲染方法及装置 |
CN114584913A (zh) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | Foa信号和双耳信号的获得方法和装置 |
CN114584913B (zh) * | 2020-11-30 | 2023-05-16 | 华为技术有限公司 | Foa信号和双耳信号的获得方法、声场采集装置及处理装置 |
WO2022242481A1 (zh) * | 2021-05-17 | 2022-11-24 | 华为技术有限公司 | 三维音频信号编码方法、装置和编码器 |
Also Published As
Publication number | Publication date |
---|---|
SG11202101427SA (en) | 2021-03-30 |
US20230199424A1 (en) | 2023-06-22 |
EP3833055A1 (en) | 2021-06-09 |
US11611841B2 (en) | 2023-03-21 |
US20210176584A1 (en) | 2021-06-10 |
BR112021002660A2 (pt) | 2021-05-11 |
EP3833055A4 (en) | 2021-09-22 |
WO2020037984A8 (zh) | 2020-10-22 |
CN115866505A (zh) | 2023-03-28 |
WO2020037984A1 (zh) | 2020-02-27 |
US11910180B2 (en) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110856094A (zh) | 音频处理方法和装置 | |
US20050273324A1 (en) | System for providing audio data and providing method thereof | |
EP3588926B1 (en) | Apparatuses and associated methods for spatial presentation of audio | |
KR102128281B1 (ko) | 앰비소닉 신호를 사용하는 오디오 신호 처리 방법 및 장치 | |
WO2021130405A1 (en) | Combining of spatial audio parameters | |
TWI819344B (zh) | 音訊訊號渲染方法、裝置、設備及電腦可讀存儲介質 | |
CN114531640A (zh) | 一种音频信号处理方法及装置 | |
US11863964B2 (en) | Audio processing method and apparatus | |
WO2022129672A1 (en) | Quantizing spatial audio parameters | |
TWI775457B (zh) | 音訊渲染方法、裝置及電腦可讀存儲介質 | |
CN114582357A (zh) | 一种音频编解码方法和装置 | |
CN116312572A (zh) | 一种音频信号处理方法及装置 | |
US20230074817A1 (en) | Rendering binaural audio over multiple near field transducers | |
US11729570B2 (en) | Spatial audio monauralization via data exchange | |
WO2024212894A1 (zh) | 场景音频信号的解码方法和装置 | |
CN117158031A (zh) | 能力确定方法、上报方法、装置、设备及存储介质 | |
GB2598751A (en) | Spatial audio parameter encoding and associated decoding | |
KR100673288B1 (ko) | 오디오 데이타 제공 시스템 및 그 오디오 데이타 제공방법 | |
CN118413801A (zh) | 音频播放方法、装置、系统、电子设备及存储介质 | |
KR20050029749A (ko) | 재생부의 배열이나 청취자의 움직임에 관계없이 넓은 효과 영역의 제공과 계산량 저감을 실현한 상대 음상 정의 전달 함수법을 이용한 가상 서라운드, 입체음향의 구현 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |