CN112188382B - 一种声音信号处理方法、装置、设备和存储介质 - Google Patents
一种声音信号处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112188382B CN112188382B CN202010944920.4A CN202010944920A CN112188382B CN 112188382 B CN112188382 B CN 112188382B CN 202010944920 A CN202010944920 A CN 202010944920A CN 112188382 B CN112188382 B CN 112188382B
- Authority
- CN
- China
- Prior art keywords
- target
- interpolated
- angles
- sampling points
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本发明涉及软件信号处理领域,提供了一种声音信号处理方法、装置、设备和存储介质。方法包括:获取多个脉冲响应;傅里叶变换多个脉冲响应,得到多个目标频域信号;根据多个目标频域信号编号多个脉冲响应,得到脉冲响应的多个方位角以及多个高度角;根据多个方位角以及多个高度角获取多个采样点,分析多个采样点,通过线性插值得到多个待插值位置;通过三元组方法对多个待插值位置进行频域插值,得到目标插值结果;获取响应多个脉冲响应的响应时间差;线性插值多个脉冲响应的响应时间差,得到目标时间差;通过最小相位函数处理目标时间差以及目标插值结果,以恢复脉冲响应,得到目标脉冲响应。提高了数据样本数量。
Description
技术领域
本发明涉及信号处理领域,尤其涉及发明名称一种声音信号处理方法、装置、设备和存储介质。
背景技术
2009年,《阿凡达》的上映在全球掀起3D电影狂潮,让世人震惊,3D电影迎来了历史新纪元。2014年,Facebook收购了Oculus,并在2016年退出了第一代面向大众的虚拟现实头戴式眼镜,开启了VR与AR元年。而在3D电影中,VR与AR作为影响用户体验第二大感官的三维音频,一直落后于三维视频。三维音频之所以一直落后于三维视频,主要原因是很难提高音频的空间分辨率。
头相关传输函数(Head-related Transfer Function,HRTF)是双耳三维音频的主要技术之一,利用特定空间位置的HRTF值与音频信号进行卷积即可生成对应空间位置的三维音效。当前HRTF的测量需要在专门的消声室,在真人或者人工头的耳道放置小型麦克风采集部署在消声室距离个体头部中心距离一定位置的播放声源信号,这个过程需要重复多次才能采集到空间其他方位的HRTF数据。这项复杂的工作既昂贵又费时,而且采集的HRTF在空间位置中的分布相对较为稀疏,在实际应用中,无法满足三维音对HRTF空间分布的需求。在现有技术中,不同的权值选择方案已经被使用,如线性插值,双线性插值,三次样条插值,四面体插值法等。这些插值方法得到待插值空间位置的HRTF数据值是基于权重的线性组合的结构,且其权重在不同的频点上是固定不变,且在所有频域点周围已知采样点的幅值权重一致,没有考虑不同频率声波传输至鼓膜的变化特性不一致导致的插值误差,鲁棒性能较差。
发明内容
本发明要解决的技术问题的第一方面,是提供一种声音信号处理方法,包括:
获取多个脉冲响应;
傅里叶变换所述多个脉冲响应,得到多个目标频域信号;
根据所述多个目标频域信号编号所述多个脉冲响应,得到脉冲响应的多个方位角以及多个高度角;
根据所述多个方位角以及所述多个高度角获取多个采样点,分析所述多个采样点,通过线性插值得到多个待插值位置;
通过三元组方法对所述多个待插值位置进行频域插值,得到目标插值结果;
获取响应所述多个脉冲响应的响应时间差;
线性插值所述多个脉冲响应的响应时间差,得到目标时间差;
通过最小相位函数处理所述目标时间差以及所述目标插值结果,以恢复脉冲响应,得到目标脉冲响应。
在一些可能的设计中,所述根据所述多个方位角以及所述多个高度角获取多个采样点,分析所述多个采样点,通过线性插值得到多个待插值位置,包括:
通过Na*Ne计算所述采样点个数,其中Na为所述方位角个数,Ne为所述高度角个数;
根据所述采样点个数线性插值所述多个方位角以及所述多个高度角,得到所述多个待插值位置
在一些可能的设计中,所述根据所述采样点个数线性插值所述多个方位角以及所述多个高度角,得到多个待插值位置,包括:
通过z=(x+y)/2计算所述待插值位置,其中,x为第一采样点的坐标,y为第二采样点的坐标,z为所述待插值位置。
在一些可能的设计中,所述通过三元组方法对所述多个待插值位置进行频域插值,得到目标插值结果,包括:
根据所述多个采样点的方位角以及所述多个采样点的高度角,判断所述多个采样点中的任意三个点是否共线;
若为不共线的三个点,则连接成采样点球面三角形,将所述采样点球面三角形保存至集合中,得到采样三角集合;
计算所述采样三角集合中每个所述采样点三角形的汇聚角,并根据多个所述汇聚角进行排序;
将所述汇聚角最小的所述采样点球面三角形作为目标球面三角形;
获取所述目标三角形中对应待插值位置的所述高度角以及所述方位角,得到目标三元组以及三个目标采样点;
通过权值分配方法将所述目标三元组对所述多个待插值位置进行频域插值,得到目标插值结果。
在一些可能的设计中,所述通过权值分配方法将所述三元组对所述多个待插值位置进行频域插值之前,所述方法还包括:
根据所述三个目标采样点以及所述待插值位置计算权值。
在一些可能的设计中,所述线性插值所述多个脉冲响应的响应时间差,得到目标时间差之后,所述方法还包括:
获取所述多个脉冲响应的方位,在所述多个脉冲响应的方位进行线性插值,得到目标插值方位的脉冲响应时间差。
在一些可能的设计中,所述通过最小相位函数处理所述目标时间差以及所述目标插值结果,以恢复脉冲响应,得到目标脉冲响应之后,所述方法还包括:
将所述目标脉冲响应以及对应的目标插值结果保存至数据库中。
第二方面,本发明提供一种声音信号处理装置,具有实现对应于上述第一方面提供的声音信号处理平台的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。
所述声音信号处理装置包括:
输入输出模块,用于获取多个脉冲响应;
处理模块,用于傅里叶变换所述多个脉冲响应,得到多个目标频域信号;根据所述多个目标频域信号编号所述多个脉冲响应,得到脉冲响应的多个方位角以及多个高度角;根据所述多个方位角以及所述多个高度角获取多个采样点,分析所述多个采样点,通过线性插值得到多个待插值位置;通过三元组方法对所述多个待插值位置进行频域插值,得到目标插值结果;获取响应所述多个脉冲响应的响应时间差;线性插值所述多个脉冲响应的响应时间差,得到目标时间差;通过最小相位函数处理所述目标时间差以及所述目标插值结果,以恢复脉冲响应,得到目标脉冲响应。
在一些可能的设计中,所述处理模块还用于:
通过Na*Ne计算所述采样点个数,其中Na为所述方位角个数,Ne为所述高度角个数;
根据所述采样点个数线性插值所述多个方位角以及所述多个高度角,得到所述多个待插值位置
在一些可能的设计中,所述处理模块还用于:
通过z=(x+y)/2计算所述待插值位置,其中,x为第一采样点的坐标,y为第二采样点的坐标,z为所述待插值位置。
在一些可能的设计中,所述处理模块还用于:
根据所述多个采样点的方位角以及所述多个采样点的高度角,判断所述多个采样点中的任意三个点是否共线;
若为不共线的三个点,则连接成采样点球面三角形,将所述采样点球面三角形保存至集合中,得到采样三角集合;
计算所述采样点球面三角集合中每个所述采样点球面三角形的汇聚角,并根据多个所述汇聚角进行排序;
将所述汇聚角最小的所述采样点球面三角形作为目标球面三角形;
获取所述目标球面三角形中对应待插值位置的所述高度角以及所述方位角,得到目标三元组以及三个目标采样点;
通过权值分配方法将所述目标三元组对所述多个待插值位置进行频域插值,得到目标插值结果。
在一些可能的设计中,所述处理模块还用于:
根据所述三个目标采样点以及所述待插值位置计算权值。
在一些可能的设计中,所述处理模块还用于:
获取所述多个脉冲响应的方位,在所述多个脉冲响应的方位进行线性插值,得到目标插值方位的脉冲响应时间差。
在一些可能的设计中,所述处理模块还用于:
将所述目标脉冲响应以及对应的目标插值结果保存至数据库中。
本发明又一方面提供了一种声音信号处理设备,其包括至少一个连接的处理器、存储器、输入输出单元,其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器中的程序代码来执行上述各方面所述的方法。
本发明又一方面提供了一种计算机存储介质,其包括指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
相较于现有技术,采用本发明提供的给定头相关传输函数数据库进行插值的方法,根据数据库中保存的时域脉冲响应,采样点空间位置信息,双耳间时间差,经过上述步骤可以实现对数据库的空间插值,提高了数据样本的数量以及可靠性,得到的是具有高空间分辨率的头相关传输数据库。
附图说明
图1-1为本发明实施例中声音信号处理方法的流程示意图;
图1-2为本发明实施例中声音信号处理方法的插值流程示意图;
图2为本发明实施例中声音信号处理装置的结构示意图;
图3为本发明实施例中计算机设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本发明中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行。
请参照图1-1,以下对本发明提供一种声音信号处理方法进行举例说明,所述方法包括:
101、获取多个脉冲响应。
本实施例中,头相关数据库应当有与空间相关的头相关脉冲响应数据信息,采样点的空间位置信息,双耳的耳间时间差信息,选取的头相关传输函数数据库一般为给定的常用的数据库,如PKU HRTF(北京大学头相关传输函数数据库)。
102、傅里叶变换所述多个脉冲响应,得到多个目标频域信号。
本实施例中,对原始头相关传输函数数据库中原始方位的时域信号头相关冲击响应进行傅里叶变换,转换到频域信号。使得头相关传输函数数据库中保存的是测量到的双耳脉冲响应(Head-Related Impulse Response,HRIR),通过对其进行傅里叶变换得到频域的信号(Head Related Transfer Function,HRTF)。
103、根据所述多个目标频域信号编号所述多个脉冲响应,得到脉冲响应的多个方位角以及多个高度角。
本实施例中,对原始位置HRTF进行编号,将其编号为H(d,a,e),其中d为采样点与球心的距离,a为原始数据库中方位角,e为原始数据库中高度角,因为在插值过程中我们是对同一高度采样点进行插值,所以d相等,编号精简为H(a,e)。
104、根据所述多个方位角以及所述多个高度角获取多个采样点,分析所述多个采样点,通过线性插值得到多个待插值位置。
本实施例中,对原始头相关传输函数数据库中的方位角和高度角进行线性插值,得到目标插值位置。分析Na*Ne个采样点所形成的球面三角形的所有组合,记为集合Ori,其中Na代表方位角个数,Ne代表高度角个数。从Ori中挑选出包含待插值位置T(a,e)的球面三角形集合,并将该集合记为Ori_Tri。
105、通过三元组方法对所述多个待插值位置进行频域插值,得到目标插值结果。
本实施例中,在集合Ori_Tri中,直线连接每个球面三角形的三个顶点,得到对应平面三角形,记为集合T1,分别连接球心与每个三角形的顶点,并计算每条边与球面三角形法向量所形成的汇聚角,分别记为Con_1,Con_2,Con_3,并求该三角形三条边汇聚角的平均值,记为Con_average。计算对应平面三角形编号和Con_average,根据Con_average从小到大进行排序,选择Con_average最小的平面三角形对应的球面三角形的三个采样点。将Con_average最小的三个采样点的HRTF信号按照权值分配到待插值点进行合成为待插值点的HRTF信号。
106、获取响应所述多个脉冲响应的响应时间差。
本实施例中,记录原始头相关传输函数中原始采样点的耳间时间差。
107、线性插值所述多个脉冲响应的响应时间差,得到目标时间差。
本实施例中,利用线性插值对耳间时间差进行插值,得到目标方位耳间时间差;
108、通过最小相位函数处理所述目标时间差以及所述目标插值结果,以恢复脉冲响应,得到目标脉冲响应。
本实施例中,使用最小相位函数进行数据恢复,并输出插值后的头相关脉冲响应(Head-Related Impulse Responses,HRIRs),完成头相关传输数据库的插值。
相较于现有技术,采用本发明提供的给定头相关传输函数数据库进行插值的方法,根据数据库中保存的时域脉冲响应,采样点空间位置信息,双耳间时间差,经过上述步骤可以实现对数据库的空间插值,提高了数据样本的数量以及可靠性,得到的是具有高空间分辨率的头相关传输函数数据库。
一些实施方式中,所述根据所述多个方位角以及所述多个高度角获取多个采样点,分析所述多个采样点,通过线性插值得到多个待插值位置,包括:
通过Na*Ne计算所述采样点个数,其中Na为所述方位角个数,Ne为所述高度角个数;
根据所述采样点个数线性插值所述多个方位角以及所述多个高度角,得到所述多个待插值位置
上述实施方式中,将Na*Ne个头相关传输函数数据库采样点位置排布在与中心点之间距离为的球面上,其中Na表示数据库中方位角的个数,Ne表示数据库中高度角的个数,以中心点O为顶点构造三维坐标系XYZ,采样点与XOY平面所成角度记为α,采样点在平面XOY上的投影与X轴所成的角度记为β,则采样点的空间位置(ρ,α,β)简化为(α,β),记录所有Na*Ne个采样点的空间位置信息集Ori。在实施例中,我们选择对PKU HRTF数据库的球面进行插值,因为所有的采样点与待插值点位于同一球面,所以采样点与待插值点都与球心距离相等,所以在实施例中采样点和待插值点的空间位置参数简化标记为(α,β)。
一些实施方式中,所述根据所述采样点个数线性插值所述多个方位角以及所述多个高度角,得到多个待插值位置,包括:
通过z=(x+y)/2计算所述待插值位置,其中,x为第一采样点的坐标,y为第二采样点的坐标,z为所述待插值位置。
上述实施方式中,采用线性插值的方法对采样点进行插值得到待插值点的空间方位,已知采样点Ori_1(α1,β1)和采样点Ori_2(α2,β2),在水平方位和高度方位进行插值得到待插值点Ori_3(α3,β3);
一些实施方式中,所述通过三元组方法对所述多个待插值位置进行频域插值,得到目标插值结果,包括:
根据所述多个采样点的方位角以及所述多个采样点的高度角,判断所述多个采样点中的任意三个点是否共线;
若为不共线的三个点,则连接成采样点球面三角形,将所述采样点球面三角形保存至集合中,得到采样点球面三角形集合;
计算所述采样点球面三角形集合中每个所述采样点球面三角形的汇聚角,并根据多个所述汇聚角进行排序;
将所述汇聚角最小的所述采样点球面三角形作为目标球面三角形;
获取所述目标球面三角形中对应待插值位置的所述高度角以及所述方位角,得到目标三元组以及三个目标采样点;
通过权值分配方法将所述目标三元组对所述多个待插值位置进行频域插值,得到目标插值结果。
上述实施方式中,当Ori个采样点中任意三个采样点位置能构成球面三角形时,构成一个球面三角形的三元组;实施例中在PKU HRTF数据库中高度为1.2m的所有采样点中任选三个的所有组合中分析能够构成球面三角形的所有扬声器组合,构成球面三角形扬声器集合,记为集合Ori_Tri;
例如,从Ori个采样点中任意挑选三个采样点构成一个三元组(ξ1,ξ2,ξ3),可以得到三个采样点ξ1、ξ2和ξ3的空间位置为ξ1(α1,β1),ξ2(α2,β2),ξ3(α3,β3)。因为只有在这个三元组中的三个采样点空间位置不同时共弧线才能将这三个采样点所对应的空间位置点构成球面三角形,所以若希望三元组(ξ1,ξ2,ξ3)能作为一个球面三角形三元组,则必须满足α1、α2和α3不同时相等或β1、β2和β3不同时相等。再从当前的集合Ori_Tri中挑选出其球面三角形内仅包含待插值点为T(α,β)的球面三角形三元组,得到待插值点的三元组。设集合Ori_Tri中的任一球面三角形三元组由采样点ξ1、ξ2和ξ3构成,一个待插值点T(α,β)被一个球面三角形所包含是指待插值点T(α,β)的空间位置坐标T(α,β)不等于采样点ξ1、ξ2和ξ3的空间位置ξ1(α1,β1),ξ2(α2,β2),ξ3(α3,β3),且T(α,β)在在由三个采样点空间构成球面三角形区域内部或在球面三角形的三条边上。则当有且只有一个待插值点T(α,β)的空间位置处于球面三角形的区域内部或三条边上,且待插值点T(α,β)的空间位置不等于采样点ξ1、ξ2或ξ3的空间位置时,采样点ξ1、ξ2和ξ3构成的球面三角形三元组包含待插值点,将该三元组记为集合Can_Tri。分别连接球心O与集合Can_Tri中球面三角形各个顶点,分别计算每个球面三角形三条边与该球面三角形法向量的汇聚角,分别记为Con_1,Con_2,Con_3,然后计算汇聚角的平均值,记为Con_average。采样点与待插值点都为极坐标,计算球面三角形的法向量与汇聚角时需要首先转换到直角坐标系上计算,采样点与待插值点的极坐标系极径为极点与直角坐标系的原点重合为O,将极坐标转换为直角坐标后进行计算三角形的法向量与汇聚角。计算三元组的编号和Con_average,根据Con_average从小到大进行排序,选择Con_average最小者对应的三元组;将三元组T1(α1,β1),T2(α2,β2),T3(α3,β3)的信号分配到待插值位置T(α,β)上;设该球面三角形三元组由采样点ξ1、ξ2或ξ3构成,该球面三角形三元组包含待插值位置T(α,β),将采样点ξ1、ξ2和ξ3上的信号进行权重计算分配到待插值位置T(α,β)。
一些实施方式中,所述通过权值分配方法将所述三元组对所述多个待插值位置进行频域插值之前,所述方法还包括:
根据所述三个目标采样点以及所述待插值位置计算权值。
一些实施方式中,所述线性插值所述多个脉冲响应的响应时间差,得到目标时间差之后,所述方法还包括:
获取所述多个脉冲响应的方位,在所述多个脉冲响应的方位进行线性插值,得到目标插值方位的脉冲响应时间差。
获取所述多个脉冲响应的方位,线性插值所述多个脉冲响应的方位,得到目标插值方位。
上述实施方式中,HRTF是头相关传输函数,描述了声波从声源到双耳的传输过程。它是人的生理结构对声波进行综合滤波的结果,其中包含了有关声源定位的信息。HRTF的采集是通过在特定的人工头或真人耳朵里面放两个微型麦克风,然后将其固定在一个球形的框架里,框架上放置多个扬声器播放声音,这个时候声音就会采集到耳朵的麦克风中。这个过程中采集到的是左右耳的声音信号(时域信号),分析每个麦克风采集同一个扬声器的声音信号,根据收到声音的时间差,可以得到双耳信号的时间差(ITDs)。由于听到声音是环绕音,正是因为左右耳感知到声音的时间差,才能感觉到声音在运动。所以在这个插值过程中是对采集到的的直接时域信号进行插值,和对时间差进行插值。
一些实施方式中,所述通过最小相位函数处理所述目标时间差以及所述目标插值结果,以恢复脉冲响应,得到目标脉冲响应之后,所述方法还包括:
将所述目标脉冲响应以及对应的目标插值结果保存至数据库中。
上述实施方式中,如图1-2所示,完成后将数据保存至数据库,提供以后使用。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
如图2所示的一种声音信号处理装置20的结构示意图,其可应用于声音信号处理。本发明实施例中的声音信号处理装置能够实现对应于上述图1-1所对应的实施例中所执行的声音信号处理方法的步骤。声音信号处理装置20实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。所述声音信号处理装置可包括输入输出模块201和处理模块202,所述处理模块202和输入输出模块201的功能实现可参考图1-1所对应的实施例中所执行的操作,此处不作赘述。输入输出模块201可用于控制所述输入输出模块201的输入、输出以及获取操作。
一些实施方式中,所述输入输出模块201可用于获取多个脉冲响应;
所述处理模块202可用于傅里叶变换所述多个脉冲响应,得到多个目标频域信号;根据所述多个目标频域信号编号所述多个脉冲响应,得到脉冲响应的多个方位角以及多个高度角;根据所述多个方位角以及所述多个高度角获取多个采样点,分析所述多个采样点,通过线性插值得到多个待插值位置;通过三元组方法对所述多个待插值位置进行频域插值,得到目标插值结果;获取响应所述多个脉冲响应的响应时间差;线性插值所述多个脉冲响应的响应时间差,得到目标时间差;通过最小相位函数处理所述目标时间差以及所述目标插值结果,以恢复脉冲响应,得到目标脉冲响应。
一些实施方式中,所述处理模块202还用于:
通过Na*Ne计算所述采样点个数,其中Na为所述方位角个数,Ne为所述高度角个数;
根据所述采样点个数线性插值所述多个方位角以及所述多个高度角,得到所述多个待插值位置
一些实施方式中,所述处理模块202还用于:
通过z=(x+y)/2计算所述待插值位置,其中,x为第一采样点的坐标,y为第二采样点的坐标,z为所述待插值位置。
一些实施方式中,所述处理模块202还用于:
根据所述多个采样点的方位角以及所述多个采样点的高度角,判断所述多个采样点中的任意三个点是否共线;
若为不共线的三个点,则连接成采样点球面三角形,将所述采样点球面三角形保存至集合中,得到采样三角集合;
计算所述采样点球面三角集合中每个所述采样点球面三角形的汇聚角,并根据多个所述汇聚角进行排序;
将所述汇聚角最小的所述采样点球面三角形作为目标球面三角形;
获取所述目标三角形中对应待插值位置的所述高度角以及所述方位角,得到目标三元组以及三个目标采样点;
通过权值分配方法将所述目标三元组对所述多个待插值位置进行频域插值,得到目标插值结果。
一些实施方式中,所述处理模块202还用于:
根据所述三个目标采样点以及所述待插值位置计算权值。
一些实施方式中,所述处理模块202还用于:
获取所述多个脉冲响应的方位,在所述多个脉冲响应的方位进行线性插值,得到目标插值方位的脉冲响应时间差。
一些实施方式中,所述处理模块202还用于:
将所述目标脉冲响应以及对应的目标插值结果保存至数据库中。
上面从模块化功能实体的角度分别介绍了本发明实施例中的创建装置,以下从硬件角度介绍一种计算机设备,如图3所示,其包括:处理器、存储器、输入输出单元(也可以是收发器,图3中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如,该计算机程序可以为图1-1所对应的实施例中声音信号处理方法对应的程序。例如,当计算机设备实现如图2所示的声音信号处理装置20的功能时,所述处理器执行所述计算机程序时实现上述图2所对应的实施例中由声音信号处理装置20执行的声音信号处理方法中的各步骤。或者,所述处理器执行所述计算机程序时实现上述图2所对应的实施例的声音信号处理装置20中各模块的功能。又例如,该计算机程序可以为图1-1所对应的实施例中声音信号处理方法对应的程序。
所称处理器可以是中央处理单元(Central ProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入输出单元也可以用接收器和发送器代替,可以为相同或者不同的物理实体。为相同的物理实体时,可以统称为输入输出单元。该输入输出可以为收发器。
所述存储器可以集成在所述处理器中,也可以与所述处理器分开设置。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本发明的保护之内。
Claims (4)
1.一种声音信号处理方法,其特征在于,所述方法包括:
获取多个脉冲响应;
傅里叶变换所述多个脉冲响应,得到多个目标频域信号;
根据所述多个目标频域信号编号所述多个脉冲响应,得到脉冲响应的多个方位角以及多个高度角;
根据所述多个方位角以及所述多个高度角获取多个采样点,分析所述多个采样点,通过线性插值得到多个待插值位置;
通过三元组方法对所述多个待插值位置进行频域插值,得到目标插值结果;
获取响应所述多个脉冲响应的响应时间差;
线性插值所述多个脉冲响应的响应时间差,得到目标时间差;
通过最小相位函数处理所述目标时间差以及所述目标插值结果,以恢复脉冲响应,得到目标脉冲响应;
所述根据所述多个方位角以及所述多个高度角获取多个采样点,分析所述多个采样点,通过线性插值得到多个待插值位置,包括:
通过Na*Ne计算所述采样点个数,其中Na为所述方位角个数,Ne为所述高度角个数;
根据所述采样点个数线性插值所述多个方位角以及所述多个高度角,得到所述多个待插值位置;
所述根据所述采样点个数线性插值所述多个方位角以及所述多个高度角,得到多个待插值位置,包括:
通过z=(x+y)/2计算所述待插值位置,其中,x为第一采样点的坐标,y为第二采样点的坐标,z为所述待插值位置;
所述通过三元组方法对所述多个待插值位置进行频域插值,得到目标插值结果,包括:
根据所述多个采样点的方位角以及所述多个采样点的高度角,判断所述多个采样点中的任意三个点是否共线;
若为不共线的三个点,则连接成采样点球面三角形,将所述采样点球面三角形保存至集合中,得到采样点球面三角形集合;
计算所述采样点球面三角集合中每个所述采样点三角形的汇聚角,并根据多个所述汇聚角进行排序;
将所述汇聚角最小的所述采样点球面三角形作为目标球面三角形;
获取所述目标球面三角形中对应待插值位置的所述高度角以及所述方位角,得到目标三元组以及三个目标采样点;
通过权值分配方法将所述目标三元组对所述多个待插值位置进行频域插值,得到目标插值结果。
2.根据权利要求1所述的方法,其特征在于,所述通过权值分配方法将所述三元组对所述多个待插值位置进行频域插值之前,所述方法还包括:
根据所述三个目标采样点以及所述待插值位置计算权值。
3.根据权利要求2所述的方法,其特征在于,所述线性插值所述多个脉冲响应的响应时间差,得到目标时间差之后,所述方法还包括:
获取所述多个脉冲响应的方位,在所述多个脉冲响应的方位进行线性插值,得到目标插值方位的脉冲响应时间差。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述通过最小相位函数处理所述目标时间差以及所述目标插值结果,以恢复脉冲响应,得到目标脉冲响应之后,所述方法还包括:
将所述目标脉冲响应以及对应的目标插值结果保存至数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010944920.4A CN112188382B (zh) | 2020-09-10 | 2020-09-10 | 一种声音信号处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010944920.4A CN112188382B (zh) | 2020-09-10 | 2020-09-10 | 一种声音信号处理方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112188382A CN112188382A (zh) | 2021-01-05 |
CN112188382B true CN112188382B (zh) | 2021-11-09 |
Family
ID=73920452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010944920.4A Active CN112188382B (zh) | 2020-09-10 | 2020-09-10 | 一种声音信号处理方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112188382B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256815B (zh) * | 2021-02-24 | 2024-03-22 | 北京华清易通科技有限公司 | 虚拟现实场景融合及播放方法和虚拟现实设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103048642A (zh) * | 2012-12-31 | 2013-04-17 | 东南大学 | 基于频域最小二乘法的水声脉冲信号匹配场定位方法 |
CN107820158A (zh) * | 2017-07-07 | 2018-03-20 | 大连理工大学 | 一种基于头相关脉冲响应的三维音频生成装置 |
CN109302660A (zh) * | 2017-07-24 | 2019-02-01 | 华为技术有限公司 | 音频信号的补偿方法、装置及系统 |
CN109379687A (zh) * | 2018-09-03 | 2019-02-22 | 华南理工大学 | 一种线阵列扬声器系统垂直指向性的测量和推算方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102664017B (zh) * | 2012-04-25 | 2013-05-08 | 武汉大学 | 一种3d音频质量客观评价方法 |
CN102932730B (zh) * | 2012-11-08 | 2014-09-17 | 武汉大学 | 一种正四面体结构的扬声器组声场效果增强方法及系统 |
US10390171B2 (en) * | 2018-01-07 | 2019-08-20 | Creative Technology Ltd | Method for generating customized spatial audio with head tracking |
US10728684B1 (en) * | 2018-08-21 | 2020-07-28 | EmbodyVR, Inc. | Head related transfer function (HRTF) interpolation tool |
-
2020
- 2020-09-10 CN CN202010944920.4A patent/CN112188382B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103048642A (zh) * | 2012-12-31 | 2013-04-17 | 东南大学 | 基于频域最小二乘法的水声脉冲信号匹配场定位方法 |
CN107820158A (zh) * | 2017-07-07 | 2018-03-20 | 大连理工大学 | 一种基于头相关脉冲响应的三维音频生成装置 |
CN109302660A (zh) * | 2017-07-24 | 2019-02-01 | 华为技术有限公司 | 音频信号的补偿方法、装置及系统 |
CN109379687A (zh) * | 2018-09-03 | 2019-02-22 | 华南理工大学 | 一种线阵列扬声器系统垂直指向性的测量和推算方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112188382A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11082791B2 (en) | Head-related impulse responses for area sound sources located in the near field | |
CN110035376B (zh) | 使用相位响应特征来双耳渲染的音频信号处理方法和装置 | |
AU699647B2 (en) | Method and apparatus for efficient presentation of high-quality three-dimensional audio | |
US6990205B1 (en) | Apparatus and method for producing virtual acoustic sound | |
US7912225B2 (en) | Generating 3D audio using a regularized HRTF/HRIR filter | |
EP2719200B1 (en) | Reducing head-related transfer function data volume | |
Meshram et al. | P-HRTF: Efficient personalized HRTF computation for high-fidelity spatial sound | |
JP2024102071A (ja) | 仮想現実のための効率的な空間的にヘテロジーニアスなオーディオ要素 | |
US10492017B2 (en) | Audio signal processing apparatus and method | |
Geronazzo et al. | A head-related transfer function model for real-time customized 3-D sound rendering | |
CN112188382B (zh) | 一种声音信号处理方法、装置、设备和存储介质 | |
CN109618276B (zh) | 基于非中心点的声场重建方法、设备、存储介质及装置 | |
CN113491136B (zh) | 对人类头部的声学效应进行建模的方法 | |
Rebillat et al. | Estimation of the low-frequency components of the head-related transfer functions of animals from photographs | |
CN109587619B (zh) | 三声道的非中心点声场重建方法、设备、存储介质及装置 | |
Vorländer | Virtual acoustics: opportunities and limits of spatial sound reproduction | |
WO2019174442A1 (zh) | 拾音设备、声音输出方法、装置、存储介质及电子装置 | |
JP6556682B2 (ja) | 立体音響信号再生装置、立体音響信号再生方法及び立体音響信号再生プログラム | |
CN109348398B (zh) | 基于非中心点的声场重建方法、设备、存储介质及装置 | |
CN110166927B (zh) | 一种基于定位修正的虚拟声像重建方法 | |
García | Fast Individual HRTF Acquisition with Unconstrained Head Movements for 3D Audio | |
WO2024126299A1 (en) | Generating a head-related filter model based on weighted training data | |
Villegas et al. | Pure-data-based transaural filter with range control | |
WO2024173704A1 (en) | Generation of personalized head-related transfer functions (phrtfs) | |
Klemenschitz | Dynamic real-time synthesis of binaural audio on an embedded device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |