CN110892735B - 一种音频处理方法以及音频处理设备 - Google Patents
一种音频处理方法以及音频处理设备 Download PDFInfo
- Publication number
- CN110892735B CN110892735B CN201780092977.2A CN201780092977A CN110892735B CN 110892735 B CN110892735 B CN 110892735B CN 201780092977 A CN201780092977 A CN 201780092977A CN 110892735 B CN110892735 B CN 110892735B
- Authority
- CN
- China
- Prior art keywords
- audio signal
- sound source
- loudspeaker
- speaker
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
Abstract
一种音频处理方法以及音频处理设备,用于提高3D空间中虚拟音源的方位定位准确度。方法包括:音频处理设备获取原始音频信号,原始音频信号对应的音源位置参数以及四个扬声器的位置参数(201);音频处理设备根据音源位置参数处理原始音频信号得到目标双声道音频信号(202);音频处理设备根据四个扬声器的位置参数和音源位置参数处理目标双声道音频信号得到四声道音频信号(203);音频处理设备将四声道音频信号发送给四个扬声器进行播放(204)。
Description
技术领域
本申请实施例涉及通信领域,尤其涉及一种音频处理方法以及音频处理设备。
背景技术
当前虚拟现实领域研究非常广泛,其中虚拟音频方面的体验也越来越被重视。虚拟音频技术能够提高用户在虚拟现实场景中的体验,增强真实感和沉浸感。在虚拟音频技术中,除了要对虚拟环境的混响效果进行渲染之外,最重要的基础需求是能够对虚拟音源在三维(3dimension,3D)空间中的方位进行准确模拟。
目前主流的3D音频技术通常使用左右双声道耳机,根据头部跟踪或者虚拟场景设定的声源位置得到声源的方位信息选取对应的头相关传递函数(head related transferfunction,HRTF)数据,然后再根据时域卷积等价于频域卷积的原理,将HRTF数据与输入的时域音频信号的快速傅里叶变换FFT的变换结果相乘得到最终音频信号。
在这种方式中,仅参考声源的方位信息,并根据声源的方位信息对应的HRTF数据计算得到最终的音频信号,而在实际应用中在对每个个体选取HRTF数据进行计算时会造成声音方向发生畸变,因此仅依靠声源的方位信息对于音源在3D空间的方位定位不准确。
发明内容
本申请实施例提供了一种音频处理方法以及音频处理设备,用于提高3D空间中虚拟音源的方位定位准确度。
第一方面,本申请实施例提供一种音频处理方法,包括:
该音频播放环境中包括音频处理设备和四个扬声器;设定该四个扬声器所处的平面为目标平面,该四个扬声器构成四边形,其中,该第一扬声器位于该第四扬声器的对侧,该第二扬声器位于该第三扬声器的对侧,即该四个扬声器的位置参数可以如下:该第一扬声器与该第二扬声器位于该目标平面的前方,该第三扬声器与该第四扬声器位于该目标平面的后方,该第一扬声器与该第三扬声器位于该目标平面的左方,该第二扬声器与该第四扬声器位于该目标平面的右方;该音频处理设备确定该四个扬声器的位置参数。然后在该音频处理设备在接收到原始音频信号的时候,同时确定该原始音频信号的音源位置参数。这时该音频处理设备根据该原始音频信号的音源位置参处理该原始音频信号得到目标双声道音频信号;然后该音频处理设备再根据该四个扬声器的位置参数和该音源位置参数处理该目标双声道音频信号得到四声道音频信号,该四声道音频信号与该四个扬声器一一对应;最后该音频处理设备将该四声道音频信号发送给该四个扬声器进行播放。
本申请实施例中,该目标双声道音频信号包括左声道音频信号和右声道音频信号,该四声道音频信号包括左前方音频信号,右前方音频信号,左后方音频信号以及右后方音频信号。该目标双声道音频信号的时延用于指示该音源位置参数指示的音源的左右方位,该目标双声道音频信号的频域特征用于指示该音源的上下方位;该四声道音频信号的振幅用于指示该音源的前后方位,该四声道音频信号的时延用于指示该音源的左右方位,该四声道音频信号的频域特征用于指示该音源的上下方位。其中该目标双声道音频信号的时延为其左声道音频信号与右声道音频信号的时延;该四声道音频信号的时延指左前方音频信号与右前方音频信号的时延以及左后方音频信号与右后方音频信号的时延,该目标双声道音频信号与该四声道音频信号的振幅为各路信号的波形振幅,该目标双声道音频信号与该四声道音频信号的频域特征为各路信号的频率特征和幅度特征。
本申请实施例提供的技术方案中,该音频处理设备在模拟该原始音频信号的音源位置的方位信息时,将该四个扬声器的位置参数同时进行考虑,并对该原始音频信号的音源位置的前后方位进行模拟,从而保证了该音频处理设备在确定该原始音频信号的音源位置的方位信息时更精确。
可选的,该音频处理设备在根据该音源位置参数对该原始音频信号进行处理时,该音频处理设备可以具体采用如下方案:
首先,该音频处理设备根据该原始音频信号,得到该原始音频信号对应的低频信号和该原始音频信号对应的高频信号;同时该音频处理设备还可以根据该原始音频信号的音源位置参数从已保存的HRTF数据库中确定与该音源位置参数相匹配的目标HRTF;然后该音频处理设备将该低频信号与该目标HRTF进行卷积得到第一双声道音频信号;同时该音频处理设备获取该音源位置参数中的高度参数对应的高度特征响应;然后该音频处理设备将该高频信号与该高度特征响应进行卷积得到目标音频信号;同时该音频处理设备根据该音源位置参数指示的音源位置通过刚球模型计算得到该音源位置到左耳位置的频域响应以及该音源位置到右耳位置的频域响应;该音频处理设备再将该频域响应根据逆快速傅里叶变换(inverse fast fourier transfer,IFFT)得到时域响应;该音频处理设备再将该目标音频信号的时域响应与该高频信号进行卷积得到第二双声道音频信号;最后该音频信号将该第一双声道音频信号与该第二双声道音频信号合并得到该目标双声道音频信号。
本申请实施例提供的技术方案中,该左耳位置为位于第一扬声器与第三扬声器之间的位置,该右耳位置为位于第二扬声器与第四扬声器之间的位置,该音源位置根据该音源位置参数确定,该四个扬声器构成四边形,其中,该第一扬声器位于该第四扬声器的对侧,该第二扬声器位于该第三扬声器的对侧。本实施例中,该音频处理设备还可以通过低通滤波得到该原始音频信号的低频信号,通过高通滤波得到该原始音频信号的高频信号。本实施例中该音频处理设备获取该原始音频信号对应的低频信号和高频信号的方法很多,具体方式,此处不做限定。
根据上述方案,本申请实施例中,该音频处理设备获取该音源位置参数中的高度参数对应的高度特征响应时可以采用如下方案:
若该音源位置参数指示该音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧,则该音频处理设备根据第一公式计算该高度特征响应;
若该音源位置参数指指示该音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧,则该音频处理设备根据第二公式计算该高度特征响应;
其中,该θ为该音源位置相对于该水平面的高度信息,该HF_elve为该音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧时该音源位置对应的高度特征响应,该HB_elve为该音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧时该音源位置对应的高度特征响应,该HRTF(θ,0)为仰角为θ,方位角为0度对应的HRTF数据,该HRTF(0,0)为仰角为0度,方位角为0度对应的正前方HRTF数据,该HRTF(θ,180)为仰角为θ,方位角为180度对应的HRTF数据,该HRTF(0,180)为仰角为0度,方位角为180度对应的正后方HRTF数据。
本申请实施例提供的技术方案中,该HF_elve也可以为该音源位置距离该第一中点的距离小于该音源位置距离该第二中点的距离时该音源位置对应的高度特征响应,该HB_elve为该音源位置距离第一中点的距离大于该音源位置距离第二中点的距离时该音源位置对应的高度特征响应,该第一中点为该第一扬声器与该第二扬声器之间的中点,该第二中点为该第三扬声器与该第四扬声器之间的中点。同时,该方位角为0度时,该音源位置距离该第一中点的距离小于该音源位置距离该第二中点的距离且处于正对着该第一中点的位置或者该音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧且正对着该第一中点的位置,该方位角为180度时,该音源位置距离第一中点的距离大于该音源位置距离第二中点的距离且正对着该第二中点的位置或者该音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧且正对着该第二中点的位置。
在本申请实施例提供的技术方案中,该高度参数包括用于指示该音源位置相对于水平面的高度信息,该水平面为经过该左耳位置与该右耳位置的连线且平行于目标平面的平面,该目标平面为该四个扬声器所在的平面,本申请实施例提供的技术方案中,该音频处理设备将该原始音频信号的低频信号与该高频信号分别进行处理,可以更准确的模拟该原始音频信号的音源位置的方位信息。
可选的,该时域响应由该音源位置至该左耳位置的频域响应以及该音源位置至该右耳位置的频域响应经变换得到,该频域响应由该音频处理设备根据该音源位置利用该刚球模型得到,其中该刚球模型包括:
其中该为该音源位置至该左耳位置的频域响应,该为该音源位置至该右耳位置的频域响应,该ρ为归一化的该刚球模型对应的球心位置至该音源位置的距离,该r为该球心位置到该音源位置的距离,该a为该刚球模型对应的球体的半径,该μ为归一化的角频率,该f为预设频率,该c为声音传播速度,该θL为该球心位置与该音源位置映射在该水平面的位置的连线与该球心位置与该左耳位置的连线的夹角,该θR为该球心位置与该音源位置映射在该水平面的位置的连线与该球心位置到该右耳位置的连线的夹角,该球体根据该四个扬声器的位置参数确定,该水平面为经过该左耳位置与该右耳位置的连线且平行于目标平面的平面,该目标平面为该四个扬声器所在的平面。
本申请提供的技术方案中,该预设频率为该人耳可听到的声音的频率。
可选的,该音频处理设备根据该四个扬声器的位置参数和该音源位置参数处理该目标双声道音频信号得到四声道音频信号时,可以采用如下方案:
该音频处理设备根据该音源位置参数和该四个扬声器的位置参数确定该四个扬声器中该第一扬声器和该第二扬声器的第一权重值以及该四个扬声器中该第三扬声器和第四扬声器的第二权重值;该音频处理设备根据该第一权重值与该目标双声道音频信号中的左声道音频信号计算得到该左前方音频信号,根据该第一权重值与该目标双声道音频信号中的右声道音频信号计算得到该右前方音频信号,根据该第二权重值与该目标双声道音频信号中的左声道音频信号计算得到该左后方音频信号,根据该第二权重值与该目标双声道音频信号中的右声道音频信号计算得到该右后方音频信号。
同时,在上述方案中,该音频处理务根据该四个扬声器的位置参数和该音源位置参数确定该四个扬声器中各扬声器的权重值可以采用如下方案:
若该音源位置参数指示该原始音频信号的音源位置位于目标平面内的第一象限内,则该音频处理设备确定该第一权重值为1,该第二权重值为0,该目标平面为该四个扬声器所在的平面;
若该音源位置参数指示该原始音频信号的音源位置位于该目标平面内的第二象限内,则该音频处理设备确定该第一权重值为0,该第二权重值为1;
若该音源位置参数指示该原始音频信号的音源位置的位于该目标平面内的第三象限内,则该音频处理设备根据第一夹角和第二夹角确定该第一权重值和该第二权重值,该第一夹角为该音源位置与中心位置映射在该目标平面的位置的连线与前平面的夹角,该第二夹角为该第一扬声器与该第四扬声器的连线与该前平面的夹角或者该第二夹角为该第二扬声器与该第三扬声器的连线与该前平面的夹角,该中心位置为该第二扬声器与该第三扬声器的连线与该第一扬声器与该第四扬声器的连线的交点,该前平面为通过该中心位置且垂直于该目标平面的平面;
其中,该目标平面被该第一扬声器与该第四扬声器的连线和该第二扬声器与该第三扬声器的连线分成四个象限,该第一扬声器与该第二扬声器之间的象限为该第一象限,该第三扬声器与该第四扬声器之间的象限为该第二象限,该第一扬声器与该第三扬声器之间的象限以及该第二扬声器与该第四扬声器之间的象限为该第三象限。
在上述方案中,当该音源位置参数指示该原始音频信号的音源位置位于该第三象限时,该音频处理设备根据该第一夹角和该第二夹角利用第三公式计算该第一权重值和该第二权重值;
g1 2+g2 2=1
基于上述方案,所述音频处理设备根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右后方音频信号时可以利用第四公式进行计算;
其中,该第四公式包括:
FL'=L*g1
FR'=R*g1
BL'=L*g2;
BR'=R*g2
其中,该FL'为该左前方音频信号,该FR'为右前方音频信号,该BL'为该左后方音频信号,该BR'为该右后方音频信号,该L为该目标双声道音频信号中的左声道音频信号,该R为该目标双声道音频信号中的右声道音频信号,该g1为该第一权重值,该g2为该第二权重值。
本申请实施例提供的技术方案中,该音频处理设备根据该四个扬声器中各扬声器的位置参数确定该四个扬声器的权重值,然后再根据该权重值计算各扬声器对应的音频信号,可以有效的提高该音频处理设备对于该原始音频信号的音源位置的方位定位准确度。
可选的,在实际应用中,该音频处理设备在根据该原始音频信号得到四声道音频信号还可以采用如下方法:
该音频处理设备根据该四个扬声器的位置参数和该音源位置参数处理该目标双声道音频信号得到中间四声道音频信号;
该音频处理设备根据该四个扬声器的位置参数获取该四个扬声器到左耳位置以及该四个扬声器到右耳位置的近场补偿响应,该左耳位置为该第一扬声器与该第三扬声器之间的位置,该右耳位置为该第二扬声器与的第四个扬声器的之间的位置;该音频处理设备根据该中间四声道音频信号和该近场补偿响应的时域响应利用第五公式得到该四声道音频信号,该近场补偿响应的时域响应为该近场补偿的频域响应经变换得到;
其中,该第五公式为:
FL=FL'*hFL;
FR=FR'*hFR;
BL=BL'*hBL;
BR=BR'*hBR;
该FL为左前方音频信号,该FR为右前方音频信号,该BL为左后音频信号,该BR为右后方音频信号,该hFL为该第一扬声器到该左耳位置该近场补偿响应的时域响应,该hFR为该第二扬声器到该右耳位置该近场补偿响应的时域响应,该hBL为该第三扬声器到该左耳位置该近场补偿响应的时域响应,该hBR为该第四扬声器到该右耳位置该近场补偿响应的时域响应。
该近声补偿响应表示为:
由此推导得到该近场补偿响应的频域响应为:
其中,该EL(jw)为左耳位置听到的声音信号的傅里叶变换,该ER(jw)为右耳位置听到的声音信号的傅里叶变换,该XFL(jw)为该第一扬声器播放的声音的傅里叶变换,该XFR(jw)为该第二扬声器播放的声音的傅里叶变换,该XBL(jw)为该第三扬声器播放的声音的傅里叶变换,该XBR(jw)为该第四扬声器播放的声音的傅里叶变换,该GFL_L(jw)为该第一扬声器到该左耳位置的传递函数,该GFL_R(jw)为该第一扬声器到该右耳位置的传递函数,该GFR_L(jw)为该第二扬声器到该左耳位置的传递函数,该GFR_R(jw)为该第二扬声器到该右耳位置的传递函数,该GBL_L(jw)为该第三扬声器到该左耳位置的传递函数,该GBL_R(jw)为该第三扬声器到该右耳位置的传递函数,该GBR_L(jw)为该第四扬声器到该左耳位置的传递函数,该GBR_R(jw)为该第四扬声器到该右耳位置的传递函数。
本申请实施例提供的技术方案中,可以提供更完美的音频信号,从而提高用户体验。
可选的,该四个扬声器构成四边形,其中,第一扬声器位于第四扬声器的对侧,第二扬声器位于第三扬声器的对侧,该四个扬声器的位置参数包括该第一扬声器的出声口正对该左耳位置的耳道,该第一扬声器与该左耳位置的耳道的水平距离为第一预设值,该第一扬声器与该左耳位置的耳道垂直距离为第二预设值;
该第二扬声器的出声口正对该右耳位置的耳道,该第二扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第二扬声器与该右耳位置的耳道垂直距离为该第二预设值;
该第三扬声器的出声口正对该左耳位置的耳道,该第三扬声器与该左耳位置的耳道的水平距离为该第一预设值,该第三扬声器与该左耳位置的耳道垂直距离为该第二预设值;
该第四扬声器的出声口正对该右耳位置的耳道,该第四扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第四扬声器与该右耳位置的耳道垂直距离为该第二预设值。
其中,该第一预设值大于或等于1厘米且小于或等于5厘米;该第二预设值大于或等于0.5厘米且小于或等于1厘米。
本申请实施例提供的技术方案中,通过调整该四个扬声器的对于双耳的位置,可以有效的提高对音频信号的定位。
第二方面,本申请实施例提供一种音频处理设备,该音频处理设备具有实现上述方法中音频处理设备的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
一种可能实现方式中,该音频处理设备包括:
获取模块,用于获取原始音频信号,所述原始音频信号对应的音源位置参数以及四个扬声器的位置参数;
处理模块,用于根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号;根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号,所述四声道音频信号与所述四个扬声器一一对应,所述四个扬声器用于播放所述四声道音频信号中对应的声道信号。
另一种可能实现方式中,该音频处理设备包括:
收发器,处理器以及总线;
该收发器与该处理器通过该总线相连;
该收发器,执行如下步骤:
获取原始音频信号;
该处理器,执行如下步骤:
获取所述原始音频信号对应的音源位置参数以及四个扬声器的位置参数根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号;根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号,所述四声道音频信号与所述四个扬声器一一对应,所述四个扬声器用于播放所述四声道音频信号中对应的声道信号。
第三方面,本申请实施例提供一种虚拟现实(virtual reality,VR)眼镜,包括:该四个扬声器和该音频处理设备;
该四个扬声器与该音频处理设备相连;
该四个扬声器分布在该VR眼镜上的两个眼镜架上,其中,该四个扬声器的位置分布还满足如下规则:
所述四个扬声器构成四边形,其中,第一扬声器位于第四扬声器的对侧,第二扬声器位于第三扬声器的对侧,该四个扬声器中的第一扬声器位于该四个扬声器所处平面的左前方,该第一扬声器的出声口正对该左耳位置的耳道,该第一扬声器与该左耳位置的耳道的水平距离为第一预设值,该第一扬声器与该左耳位置的耳道垂直距离为第二预设值;
该四个扬声器中的第二扬声器位于该四个扬声器所处平面的右前方,该第二扬声器的出声口正对该右耳位置的耳道,该第二扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第二扬声器与该右耳位置的耳道垂直距离为该第二预设值;
该四个扬声器中的第三扬声器位于该四个扬声器所处平面的左后方,该第三扬声器的出声口正对该左耳位置的耳道,该第三扬声器与该左耳位置的耳道的水平距离为该第一预设值,该第三扬声器与该左耳位置的耳道垂直距离为该第二预设值;
该四个扬声器中的第四扬声器位于该四个扬声器所处平面的右后方,该第四扬声器的出声口正对该右耳位置的耳道,该第四扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第四扬声器与该右耳位置的耳道垂直距离为该第二预设值。
其中,该第一预设值大于或等于1厘米且小于或等于5厘米;该第二预设值大于或等于0.5厘米且小于或等于1厘米。
该音频处理设备具备上述实施例中音频处理设备的全部功能。
本实施例中,该四个扬声器与该音频处理设备还可以包含于其他可能的设备上,比如增强现实(augmented reality,AR)眼镜或者其他可穿戴设备。具体此处不做限定。
第四方面,本申请实施例提供一种计算机可读存储介质,包括指令,当该指令在计算机上运行时,该计算机执行上述各项方法。
第五方面,本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,该计算机执行上述各项方法。
本申请实施例提供的技术方案中,该音频处理设备在模拟该原始音频信号的方位信息时,将该四个扬声器的位置参数同时进行考虑,并对该原始音频信号的前后方位进行模拟,从而保证了该音频处理设备在确定该原始音频信号的音源位置的方位信息时更精确。
附图说明
图1为本申请实施例中3D音频技术中左右双声道耳机处理音频信号的示意图;
图2为本申请实施例中音频处理方法的一个实施例示意图;
图3为本申请实施例中四个扬声器的分布方式的一个实施例示意图;
图4为本申请实施例中根处理原始音频信号得到目标双声道音频信号的方法流程图;
图5为本申请实施例中前平面示意图;
图6为本申请实施例中刚球模型示意图;
图7为本申请实施例中四个扬声器的位置和音源位置分布示意图;
图8为本申请实施例中音频处理方法的另一个实施例示意图;
图9为本申请实施例中音源位置一个实施例示意图;
图10为本申请实施例中原始音频信号的信号示意图;
图11为本申请实施例中原始音频信号的高频分量示意图;
图12为本申请实施例中原始音频信号的低频分量示意图;
图13为本申请实施例中携带高度特征的高频输出信号示意图;
图14为本申请实施例中携带高度特征和左右信息的高频输出信号示意图;
图15为本申请实施例中处理后的低频分量示意图;
图16为本申请实施例中得到的目标双声道音频信号的示意图;
图17为本申请实施例中四声道音频信号的示意图;
图18为本申请实施例中近场补偿滤波器的时域响应示意图;
图19为本申请实施例中相邻两帧做二分之一帧长的交叠平滑的方法示意图;
图20为本申请实施例中音频处理设备的一个实施例示意图;
图21为本申请实施例中音频处理设备的另一个实施例示意图;
图22为本申请实施例中VR眼镜的一个实施例示意图。
具体实施方式
本申请实施例提供一种音频处理方法以及音频处理设备,用于提高3D空间中虚拟音源的方位定位准确度。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
当前虚拟现实领域研究非常广泛,其中虚拟音频方面的体验也越来越被重视。虚拟音频技术能够提高用户在虚拟现实场景中的体验,增强真实感和沉浸感。在虚拟音频技术中,除了要对虚拟环境的混响效果进行渲染之外,最重要的基础需求是能够对虚拟音源在3D空间中的方位进行准确模拟。目前主流的3D音频技术通常使用左右双声道耳机,具体流程如图1所示,首先根据头部跟踪或者虚拟场景设定的声源位置选取对应的HRTF数据,然后再根据时域卷积等价于频域卷积的原理,将HRTF数据与输入的时域音频信号的FFT变换结果相乘得到最终音频信号。在这种方式中,仅参考声源的方位信息,并根据声源的方位信息对应的HRTF数据计算得到最终的音频信号,而在实际应用中在对每个个体选取HRTF数据进行计算时会造成声音方向发生畸变,因此仅依靠声源的方位信息对于音源在3D空间的方位定位不准确。为了解决这一问题,本申请实施例提供如下技术方案:该音频播放环境中包括音频处理设备和四个扬声器;设定该四个扬声器所处的平面为目标平面,该四个扬声器构成四边形,其中,该第一扬声器位于该第四扬声器的对侧,该第二扬声器位于该第三扬声器的对侧,即该四个扬声器的位置参数可以如下:该第一扬声器与该第二扬声器位于该目标平面的前方,该第三扬声器与该第四扬声器位于该目标平面的后方,该第一扬声器与该第三扬声器位于该目标平面的左方,该第二扬声器与该第四扬声器位于该目标平面的右方;该音频处理设备确定该四个扬声器的位置参数。然后在该音频处理设备在接收到原始音频信号的时候,同时确定该原始音频信号的音源位置参数。这时该音频处理设备根据该原始音频信号的音源位置参处理该原始音频信号得到目标双声道音频信号;然后该音频处理设备再根据该四个扬声器的位置参数和该音源位置参数处理该目标双声道音频信号得到四声道音频信号,该四声道音频信号与该四个扬声器一一对应;最后该音频处理设备将该四声道音频信号发送给该四个扬声器进行播放。
本申请实施例中,该目标双声道音频信号包括左声道音频信号和右声道音频信号,该四声道音频信号包括左前方音频信号,右前方音频信号,左后方音频信号以及右后方音频信号。该目标双声道音频信号的时延用于指示该音源位置参数指示的音源的左右方位,该目标双声道音频信号的频域特征用于指示该音源的上下方位;该四声道音频信号的振幅用于指示该音源的前后方位,该四声道音频信号的时延用于指示该音源的左右方位,该四声道音频信号的频域特征用于指示该音源的上下方位。其中该目标双声道音频信号的时延为其左声道音频信号与右声道音频信号的时延;该四声道音频信号的时延指左前方音频信号与右前方音频信号的时延以及左后方音频信号与右后方音频信号的时延,该目标双声道音频信号与该四声道音频信号的振幅为各路信号的波形振幅,该目标双声道音频信号与该四声道音频信号的频域特征为各路信号的频率特征和幅度特征。
本申请实施例中,该音频处理设备与该四个扬声器中可以集成一个设备上也可以直接各自独立,比如该音频处理设备与该四个扬声器可以集成在VR眼镜或者AR眼镜上。具体情况此处不做限定。
本申请实施例中,涉及到的目标平面、水平面、前平面、左耳位置、右耳位置、球体以及球心的定义如下:
该四个扬声器所处的平面为该目标平面,其中,该四个扬声器构成四边形,其中,该第一扬声器位于该第四扬声器的对侧,该第二扬声器位于该第三扬声器的对侧;即该四个扬声器的位置参数可以如下:第一扬声器与第二扬声器位于该目标平面的前方,第三扬声器与第四个扬声器位于该目标平面的后方,该第一扬声器与该第三扬声器位于该目标平面的左方,该第二扬声器与该第四个扬声器位于该目标平面的右方(即该第一扬声器位于该目标平面的左前方,该第二扬声器位于该目标平面的右前方,该第三扬声器位于该目标平面的左后方,该第四个扬声器位于该目标平面的右后方);
该左耳位置为该第一扬声器与该第三扬声器之间的位置;
该右耳位置为该第二扬声器与该第四扬声器之间的位置;
该前平面通过该四个扬声器的中心位置且垂直于该目标平面的平面,其中,该四个扬声器的中心位置为该第二扬声器与该第三扬声器的连线与该第一扬声器与该第四扬声器的连线的交点;
该水平面为经过左耳位置与右耳位置的连线且平行该目标平面的平面;
该球体根据该四个扬声器的位置参数确定;
该球心为该球体的中心。
具体情况请参阅图2所示,本申请实施例中音频信号处理方法的一个实施例包括:
201、音频处理设备获取原始音频信号,该原始音频信号的音源位置参数以及四个扬声器的位置参数。
该音频处理设备接收到该原始音频信号;然后根据头部跟踪或虚拟场景设定的声源位置得到该原始音频信号的音源位置参数;同时获取该音频处理场景下的四个扬声器的位置参数。在本实施例中,设定该四个扬声器所处的平面为目标平面,其中第一扬声器与第二扬声器位于该目标平面的前方,第三扬声器与第四个扬声器位于该目标平面的后方,该第一扬声器与该第三扬声器位于该目标平面的左方,该第二扬声器与该第四个扬声器位于该目标平面的右方。如图3所示,该四个扬声器中的该第一扬声器位于该目标平面的左前方,该第二扬声器位于该目标平面的右前方,该第三扬声器位于该目标平面的左后方,该第四个扬声器位于该目标平面的右后方。在实际场景中,这四个扬声器分布的位置可以为:该第一扬声器分布在人体左耳前方;该第二扬声器分布在该左耳后方;该第三扬声器分布在该人体右耳前方;该第四个扬声器分布在该人体右耳后方;本场景中,以人体面部朝向为前方。
在实际应用场景中,该四个扬声器的位置参数包括:该第一扬声器的出声口正对该左耳位置的耳道,该第一扬声器与该左耳位置的耳道的水平距离为第一预设值,该第一扬声器与该左耳位置的耳道垂直距离为第二预设值;
该第二扬声器的出声口正对该右耳位置的耳道,该第二扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第二扬声器与该右耳位置的耳道垂直距离为该第二预设值;
该第三扬声器的出声口正对该左耳位置的耳道,该第三扬声器与该左耳位置的耳道的水平距离为该第一预设值,该第三扬声器与该左耳位置的耳道垂直距离为该第二预设值;
该第四扬声器的出声口正对该右耳位置的耳道,该第四扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第四扬声器与该右耳位置的耳道垂直距离为该第二预设值。
其中,该第一预设值大于或等于1厘米且小于或等于5厘米;该第二预设值大于或等于0.5厘米且小于或等于1厘米。
在实际应用中该四个扬声器的位置参数具体可以如下:该第一扬声器位于左耳的前方,并且该第一扬声器的出声口正对用户的左耳的耳道,同时该第一扬声器与该用户的左耳的耳道的水平距离为2厘米,该第一扬声器与该用户的左耳的耳道的垂直距离为0.6厘米;该第三扬声器位于该用户左耳的后方,并且该第三扬声器的出声口正对该用户的左耳的耳道,同时该第三扬声器与该用户的左耳的耳道的水平距离为2厘米,该第三扬声器与该用户的左耳的耳道的垂直距离为0.6厘米;该第二扬声器位于该用户右耳的前方,并且该第二扬声器的出声口正对该用户的右耳的耳道,同时该第二扬声器与该用户的右耳的耳道的水平距离为2厘米,该第二扬声器与该用户的右耳的耳道的垂直距离为0.6厘米;该第四扬声器位于该用户的右耳的后方,并且该第四扬声器的出声口正对该用户的右耳的耳道,同时该第四扬声器与该用户右耳的耳道的水平距离为2厘米,该第四扬声器与该用户的右耳的耳道的垂直距离为0.6厘米。
202、该音频处理设备根据该音源位置参数处理该原始音频信号得到目标双声道音频信号。
该音频处理设备在获取到该音源位置参数和该四个扬声器的位置参数之后,根据该音源位置参数利用方位渲染算法对该原始音频信号进行处理得到目标双声道音频信号,该目标双声道音频信号的时延用于指示该音源位置参数指示的音源的左右方位,该目标双声道音频信号的频域特征用于指示该音源的上下方位。
在实际应用中,该音频处理设备在利用方位渲染算法对该原始音频信号进行处理时,该音频处理设备可以具体采用如下方案,具体流程如图4所示:
首先,该音频处理设备根据该原始音频信号,得到该原始音频信号对应的低频信号和该原始音频信号对应的高频信号;同时该音频处理设备还可以根据该原始音频信号的音源位置参数从已保存的HRTF数据库中确定与该音源位置参数相匹配的目标HRTF;然后该音频处理设备将该低频信号与该目标HRTF进行卷积得到第一双声道音频信号;同时该音频处理设备获取该音源位置参数中的高度参数对应的高度特征响应;然后该音频处理设备将该高频信号与该高度特征响应进行卷积得到目标音频信号;同时该音频处理设备根据该音源位置参数指示的音源位置通过刚球模型计算得到该音源位置到左耳位置的频域响应以及该音源位置到右耳位置的频域响应;该音频处理设备再将该频域响应根据逆快速傅里叶变换(inverse fast fourier transfer,IFFT)得到时域响应;该音频处理设备再将该目标音频信号的时域响应与该高频信号进行卷积得到第二双声道音频信号;最后该音频信号将该第一双声道音频信号与该第二双声道音频信号合并得到该目标双声道音频信号。
本申请实施例提供的技术方案中,该左耳位置为位于第一扬声器与第三扬声器之间的位置,该右耳位置为位于第二扬声器与第四扬声器之间的位置,该音源位置根据该音源位置参数确定,该四个扬声器构成四边形,其中,该第一扬声器位于该第四扬声器的对侧,该第二扬声器位于该第三扬声器的对侧。本实施例中,该音频处理设备还可以通过低通滤波得到该原始音频信号的低频信号,通过高通滤波得到该原始音频信号的高频信号。本实施例中该音频处理设备获取该原始音频信号对应的低频信号和高频信号的方法很多,具体方式,此处不做限定。根据上述方案,本申请实施例中,该音频处理设备获取该音源位置参数中的高度参数对应的高度特征响应时可以采用如下方案:
若该音源位置参数指示该音源位置距离第一中点的距离小于该音源位置距离第二中点的距离,则该音频处理设备根据第一公式计算该高度特征响应,该第一中点为该第一扬声器与该第二扬声器之间的中点,该第二中点为该第三扬声器与该第四扬声器之间的中点;
若该音源位置参数指示该音源位置距离该第一中点的距离大于该音源位置距离该第二中点的距离,则该音频处理设备根据第二公式计算该高度特征响应;
其中,该θ为该音源位置相对于该水平面的高度信息,该HF_elve为该音源位置距离该第一中点的距离小于该音源位置距离该第二中点的距离时该音源位置对应的高度特征响应,该HB_elve为该音源位置距离第一中点的距离大于该音源位置距离第二中点的距离时该音源位置对应的高度特征响应,该HRTF(θ,0)为仰角为θ,方位角为0度对应的HRTF数据,该HRTF(0,0)为仰角为0度,方位角为0度对应的正前方HRTF数据,该HRTF(θ,180)为仰角为θ,方位角为180度对应的HRTF数据,该HRTF(0,180)为仰角为0度,方位角为180度对应的正后方HRTF数据。
在本申请实施例提供的技术方案中,该高度参数包括用于指示该音源位置相对于水平面的高度信息,该水平面为经过该左耳位置与该右耳位置的连线且平行于目标平面的平面,该目标平面为该四个扬声器所在的平面,可选的,该时域响应由该音源位置至该左耳位置的频域响应以及该音源位置至该右耳位置的频域响应经变换得到,该频域响应由该音频处理设备根据该音源位置利用该刚球模型得到,其中该刚球模型包括:
其中该为该音源位置至该左耳位置的频域响应,该为该音源位置至该右耳位置的频域响应,该ρ为归一化的该刚球模型对应的球心位置至该音源位置的距离,该r为该球心位置到该音源位置的距离,该a为该刚球模型对应的球体的半径,该μ为归一化的角频率,该f为预设频率,该c为声音传播速度,该θL为该球心位置与该音源位置映射在该水平面的位置的连线与该球心位置与该左耳位置的连线的夹角,该θR为该球心位置与该音源位置映射在该水平面的位置的连线与该球心位置到该右耳位置的连线的夹角,该球体根据该四个扬声器的位置参数确定,该水平面为经过该左耳位置与该右耳位置的连线且平行于目标平面的平面,该目标平面为该四个扬声器所在的平面。
本申请提供的技术方案中,该预设频率为该人耳可听到的声音的频率。
203、该音频处理设备根据该四个扬声器的位置参数和该音源位置参数处理该目标双声道音频信号得到四声道音频信号。
该音频处理设备根据该音源位置参数与该四个扬声器的位置参数确定该四个扬声器中各扬声器的权重值;然后该音频处理设备根据该四个扬声器中第一扬声器和第二扬声器的第一权重值与该目标双声道音频信号的左声道音频信号计算得到左前方音频信号,根据该四个扬声器中第一扬声器和第二扬声器的第一权重值与该目标双声道音频信号的右声道音频信号计算得到右前方音频信号,根据该四个扬声器中第三扬声器和第四扬声器的第二权重值与该目标双声道音频信号的左声道音频信号计算得到左后方音频信号,根据该四个扬声器中第三扬声器和第四扬声器的第二权重值与该目标双声道音频信号的右声道音频信号计算得到右后方音频信号,其中,该左前方音频信号,该右前方音频信号,该左后方音频信号和该右后方音频信号为该四声道音频信号。同时,在上述方案中,该音频处理设备根据该四个扬声器的位置参数和该音源位置参数确定该四个扬声器中各扬声器的权重值可以采用如下方案:
如图7所示,该目标平面为该四个扬声器所处的平面;该第一夹角为该音源位置与中心位置映射在该目标平面的位置的连线与前平面的夹角(如图中的),该第二夹角为该第一扬声器与该第四扬声器的连线与该前平面的夹角或者该第二夹角为该第二扬声器与该第三扬声器的连线与该前平面的夹角(如图中的);
其中,该目标平面被该第一扬声器与该第四扬声器的连线和该第二扬声器与该第三扬声器的连线分成四个象限,该第一扬声器与该第二扬声器之间的象限为该第一象限,该第三扬声器与该第四扬声器之间的象限为该第二象限,该第一扬声器与该第三扬声器之间的象限以及该第二扬声器与该第四扬声器之间的象限为该第三象限。
若该音源位置参数指示该原始音频信号的音源位置位于目标平面内的第一象限内,则该音频处理设备确定该第一权重值为1,该第二权重值为0,该目标平面为该四个扬声器所在的平面;
若该音源位置参数指示该原始音频信号的音源位置位于该目标平面内的第二象限内,则该音频处理设备确定该第一权重值为0,该第二权重值为1;
若该音源位置参数指示该原始音频信号的音源位置的位于该目标平面内的第三象限内,则该音频处理设备根据第一夹角和第二夹角确定该第一权重值和该第二权重值,该第一夹角为该音源位置与中心位置映射在该目标平面的位置的连线与前平面的夹角,该第二夹角为该第一扬声器与该第四扬声器的连线与该前平面的夹角或者该第二夹角为该第二扬声器与该第三扬声器的连线与该前平面的夹角,该中心位置为该第二扬声器与该第三扬声器的连线与该第一扬声器与该第四扬声器的连线的交点,该前平面为通过该中心位置且垂直于该目标平面的平面;
在上述方案中,当该音源位置参数指示该原始音频信号的音源位置位于该第三象限时,该音频处理设备根据该第一夹角与该第二夹角利用第三公式计算该第一权重值和该第二权重值;
其中,该第三公式由如下公式推导得到:
g1 2+g2 2=1
基于上述方案,该音频处理设备根据该四个扬声器中第一扬声器和第二扬声器的第一权重值与该目标双声道音频信号的左声道音频信号计算得到左前方音频信号,根据该四个扬声器中第一扬声器和第二扬声器的第一权重值与该目标双声道音频信号的右声道音频信号计算得到右前方音频信号,根据该四个扬声器中第三扬声器和第四扬声器的第二权重值与该目标双声道音频信号的左声道音频信号计算得到左后方音频信号,根据该四个扬声器中第三扬声器和第四扬声器的第二权重值与该目标双声道音频信号的右声道音频信号计算得到右后方音频信号时可以利用第四公式进行计算;
其中,该第四公式包括:
FL'=L*g1
FR'=R*g1
BL'=L*g2;
BR'=R*g2
其中,该FL'为该左前方音频信号,该FR'为右前方音频信号,该BL'为该左后方音频信号,该BR'为该右后方音频信号,该L为该目标双声道音频信号中的左声道音频信号,该R为该目标双声道音频信号中的右声道音频信号,该g1为该第一权重值,该g2为该第二权重值。
204、该音频处理设备将该四声道音频信号发送给该四个扬声器进行播放。
该音频处理设备将该左前方音频信号发送给该第一扬声器,将该右前方音频信号发送给该第一扬声器,将该左后方音频信号发送给该第三扬声器,将该右后方音频信号发送给该第四扬声器,然后各扬声器播放各自接收到的音频信号。
本实施例中,该音频处理设备在模拟该原始音频信号的方位信息时,将该四个扬声器的位置参数同时进行考虑,并该原始音频信号的音源位置的前后方位进行模拟,从而保证了该音频处理设备在确定该原始音频信号的音源位置的方位信息时更精确。
具体请参阅图8所示,本申请实施例中音频处理方法的另一个实施例包括:
801、音频处理设备获取原始音频信号,该原始音频信号的音源位置参数以及四个扬声器的位置参数。
该音频处理设备接收到该原始音频信号;然后根据头部跟踪或虚拟场景设定的声源位置得到该原始音频信号的音源位置参数;同时获取该音频处理场景下的四个扬声器的位置参数。在本实施例中,设定该四个扬声器所处的平面为目标平面,其中第一扬声器与第二扬声器位于该目标平面的前方,第三扬声器与第四个扬声器位于该目标平面的后方,该第一扬声器与该第三扬声器位于该目标平面的左方,该第二扬声器与该第四个扬声器位于该目标平面的右方。如图3所示,该四个扬声器中的该第一扬声器位于该目标平面的左前方,该第二扬声器位于该目标平面的右前方,该第三扬声器位于该目标平面的左后方,该第四个扬声器位于该目标平面的右后方。在实际场景中,这四个扬声器分布的位置可以为:该第一扬声器分布在人体左耳前方;该第二扬声器分布在该左耳后方;该第三扬声器分布在该人体右耳前方;该第四个扬声器分布在该人体右耳后方;本场景中,以人体面部朝向为前方。
在实际应用场景中,该四个扬声器的位置参数包括:该第一扬声器的出声口正对该左耳位置的耳道,该第一扬声器与该左耳位置的耳道的水平距离为第一预设值,该第一扬声器与该左耳位置的耳道垂直距离为第二预设值;
该第二扬声器的出声口正对该右耳位置的耳道,该第二扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第二扬声器与该右耳位置的耳道垂直距离为该第二预设值;
该第三扬声器的出声口正对该左耳位置的耳道,该第三扬声器与该左耳位置的耳道的水平距离为该第一预设值,该第三扬声器与该左耳位置的耳道垂直距离为该第二预设值;
该第四扬声器的出声口正对该右耳位置的耳道,该第四扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第四扬声器与该右耳位置的耳道垂直距离为该第二预设值。
其中,该第一预设值大于或等于1厘米且小于或等于5厘米;该第二预设值大于或等于0.5厘米且小于或等于1厘米。
在实际应用中该四个扬声器的位置参数具体可以如下:该第一扬声器位于左耳的前方,并且该第一扬声器的出声口正对用户的左耳的耳道,同时该第一扬声器与该用户的左耳的耳道的水平距离为2厘米,该第一扬声器与该用户的左耳的耳道的垂直距离为0.6厘米;该第三扬声器位于该用户左耳的后方,并且该第三扬声器的出声口正对该用户的左耳的耳道,同时该第三扬声器与该用户的左耳的耳道的水平距离为2厘米,该第三扬声器与该用户的左耳的耳道的垂直距离为0.6厘米;该第二扬声器位于该用户右耳的前方,并且该第二扬声器的出声口正对该用户的右耳的耳道,同时该第二扬声器与该用户的右耳的耳道的水平距离为2厘米,该第二扬声器与该用户的右耳的耳道的垂直距离为0.6厘米;该第四扬声器位于该用户的右耳的后方,并且该第四扬声器的出声口正对该用户的右耳的耳道,同时该第四扬声器与该用户右耳的耳道的水平距离为2厘米,该第四扬声器与该用户的右耳的耳道的垂直距离为0.6厘米。
802、该音频处理设备根据该音源位置参数处理该原始音频信号得到目标双声道音频信号。
该音频处理设备在获取到该音源位置参数和该四个扬声器的位置参数之后,根据该音源位置参数利用方位渲染算法对该原始音频信号进行处理得到目标双声道音频信号,该目标双声道音频信号的时延用于指示该音源位置参数指示的音源的左右方位,该目标双声道音频信号的频域特征用于指示该音源的上下方位。
在实际应用中,该音频处理设备在利用方位渲染算法对该原始音频信号进行处理时,该音频处理设备可以具体采用如下方案,具体流程如图4所示:
首先,该音频处理设备根据该原始音频信号,得到该原始音频信号对应的低频信号和该原始音频信号对应的高频信号;同时该音频处理设备还可以根据该原始音频信号的音源位置参数从已保存的HRTF数据库中确定与该音源位置参数相匹配的目标HRTF;然后该音频处理设备将该低频信号与该目标HRTF进行卷积得到第一双声道音频信号;同时该音频处理设备获取该音源位置参数中的高度参数对应的高度特征响应;然后该音频处理设备将该高频信号与该高度特征响应进行卷积得到目标音频信号;同时该音频处理设备根据该音源位置参数指示的音源位置通过刚球模型计算得到该音源位置到左耳位置的频域响应以及该音源位置到右耳位置的频域响应;该音频处理设备再将该频域响应根据逆快速傅里叶变换(inverse fast fourier transfer,IFFT)得到时域响应;该音频处理设备再将该目标音频信号的时域响应与该高频信号进行卷积得到第二双声道音频信号;最后该音频信号将该第一双声道音频信号与该第二双声道音频信号合并得到该目标双声道音频信号。
本申请实施例提供的技术方案中,该左耳位置为位于第一扬声器与第三扬声器之间的位置,该右耳位置为位于第二扬声器与第四扬声器之间的位置,该音源位置根据该音源位置参数确定,该四个扬声器构成四边形,其中,该第一扬声器位于该第四扬声器的对侧,该第二扬声器位于该第三扬声器的对侧。本实施例中,该音频处理设备还可以通过低通滤波得到该原始音频信号的低频信号,通过高通滤波得到该原始音频信号的高频信号。本实施例中该音频处理设备获取该原始音频信号对应的低频信号和高频信号的方法很多,具体方式,此处不做限定。根据上述方案,本申请实施例中,该音频处理设备获取该音源位置参数中的高度参数对应的高度特征响应时可以采用如下方案:
若该音源位置参数指示该音源位置距离第一中点的距离小于该音源位置距离第二中点的距离,则该音频处理设备根据第一公式计算该高度特征响应,该第一中点为该第一扬声器与该第二扬声器之间的中点,该第二中点为该第三扬声器与该第四扬声器之间的中点
若该音源位置参数指示指示该音源位置距离该第一中点的距离大于该音源位置距离该第二中点的距离,则该音频处理设备根据第二公式计算该高度特征响应
其中,该θ为该音源位置相对于该水平面的高度信息,该HF_elve为该音源位置距离该第一中点的距离小于该音源位置距离该第二中点的距离时该音源位置对应的高度特征响应,该HB_elve为该音源位置距离第一中点的距离大于该音源位置距离第二中点的距离时该音源位置对应的高度特征响应,该HRTF(θ,0)为仰角为θ,方位角为0度对应的HRTF数据,该HRTF(0,0)为仰角为0度,方位角为0度对应的正前方HRTF数据,该HRTF(θ,180)为仰角为θ,方位角为180度对应的HRTF数据,该HRTF(0,180)为仰角为0度,方位角为180度对应的正后方HRTF数据。
在本申请实施例提供的技术方案中,该高度参数包括用于指示该音源位置相对于水平面的高度信息,该水平面为经过该左耳位置与该右耳位置的连线且平行于目标平面的平面,该目标平面为该四个扬声器所在的平面,可选的,该时域响应由该音源位置至该左耳位置的频域响应以及该音源位置至该右耳位置的频域响应经变换得到,该频域响应由该音频处理设备根据该音源位置利用该刚球模型得到,其中该刚球模型包括:
其中该为该音源位置至该左耳位置的频域响应,该为该音源位置至该右耳位置的频域响应,该ρ为归一化的该刚球模型对应的球心位置至该音源位置的距离,该r为该球心位置到该音源位置的距离,该a为该刚球模型对应的球体的半径,该μ为归一化的角频率,该f为预设频率,该c为声音传播速度,该θL为该球心位置与该音源位置映射在该水平面的位置的连线与该球心位置与该左耳位置的连线的夹角,该θR为该球心位置与该音源位置映射在该水平面的位置的连线与该球心位置到该右耳位置的连线的夹角,该球体根据该四个扬声器的位置参数确定,该水平面为经过该左耳位置与该右耳位置的连线且平行于目标平面的平面,该目标平面为该四个扬声器所在的平面。
本申请提供的技术方案中,该预设频率为该人耳可听到的声音的频率。
803、该音频处理设备根据该四个扬声器的位置参数和该音源位置参数处理该目标双声道音频信号得到中间四声道音频信号。
该音频处理设备根据该音源位置参数与该四个扬声器的位置参数确定该四个扬声器中各扬声器的权重值;然后该音频处理设备根据该四个扬声器中第一扬声器和第二扬声器的第一权重值与该目标双声道音频信号的左声道音频信号计算得到左前方音频信号,根据该四个扬声器中第一扬声器和第二扬声器的第一权重值与该目标双声道音频信号的右声道音频信号计算得到右前方音频信号,根据该四个扬声器中第三扬声器和第四扬声器的第二权重值与该目标双声道音频信号的左声道音频信号计算得到左后方音频信号,根据该四个扬声器中第三扬声器和第四扬声器的第二权重值与该目标双声道音频信号的右声道音频信号计算得到右后方音频信号,其中,该左前方音频信号,该右前方音频信号,该左后方音频信号和该右后方音频信号为该中间四声道音频信号。同时,在上述方案中,该音频处理设备根据该四个扬声器的位置参数和该音源位置参数确定该四个扬声器中各扬声器的权重值可以采用如下方案:
如图7所示,该目标平面为该四个扬声器所处的平面;该第一夹角为该音源位置与中心位置映射在该目标平面的位置的连线与前平面的夹角(如图中的),该第二夹角为该第一扬声器与该第四扬声器的连线与该前平面的夹角或者该第二夹角为该第二扬声器与该第三扬声器的连线与该前平面的夹角(如图中的);
其中,该目标平面被该第一扬声器与该第四扬声器的连线和该第二扬声器与该第三扬声器的连线分成四个象限,该第一扬声器与该第二扬声器之间的象限为该第一象限,该第三扬声器与该第四扬声器之间的象限为该第二象限,该第一扬声器与该第三扬声器之间的象限以及该第二扬声器与该第四扬声器之间的象限为该第三象限。
若该音源位置参数指示该原始音频信号的音源位置位于目标平面内的第一象限内,则该音频处理设备确定该第一权重值为1,该第二权重值为0,该目标平面为该四个扬声器所在的平面;
若该音源位置参数指示该原始音频信号的音源位置位于该目标平面内的第二象限内,则该音频处理设备确定该第一权重值为0,该第二权重值为1;
若该音源位置参数指示该原始音频信号的音源位置的位于该目标平面内的第三象限内,则该音频处理设备根据第一夹角和第二夹角确定该第一权重值和该第二权重值,该第一夹角为该音源位置与中心位置映射在该目标平面的位置的连线与前平面的夹角,该第二夹角为该第一扬声器与该第四扬声器的连线与该前平面的夹角或者该第二夹角为该第二扬声器与该第三扬声器的连线与该前平面的夹角,该中心位置为该第二扬声器与该第三扬声器的连线与该第一扬声器与该第四扬声器的连线的交点,该前平面为通过该中心位置且垂直于该目标平面的平面;
在上述方案中,当该音源位置参数指示该原始音频信号的音源位置位于该第三象限时,该音频处理设备根据该第一夹角与该第二夹角利用第三公式计算该第一权重值和该第二权重值;
其中,该第三公式由如下公式推导得到:
g1 2+g2 2=1
基于上述方案,该音频处理设备根据该四个扬声器中第一扬声器和第二扬声器的第一权重值与该目标双声道音频信号的左声道音频信号计算得到左前方音频信号,根据该四个扬声器中第一扬声器和第二扬声器的第一权重值与该目标双声道音频信号的右声道音频信号计算得到右前方音频信号,根据该四个扬声器中第三扬声器和第四扬声器的第二权重值与该目标双声道音频信号的左声道音频信号计算得到左后方音频信号,根据该四个扬声器中第三扬声器和第四扬声器的第二权重值与该目标双声道音频信号的右声道音频信号计算得到右后方音频信号时可以利用第四公式进行计算;
其中,该第四公式包括:
FL'=L*g1
FR'=R*g1
BL'=L*g2;
BR'=R*g2
其中,该FL'为该左前方音频信号,该FR'为右前方音频信号,该BL'为该左后方音频信号,该BR'为该右后方音频信号,该L为该目标双声道音频信号中的左声道音频信号,该R为该目标双声道音频信号中的右声道音频信号,该g1为该第一权重值,该g2为该第二权重值。
804、该音频处理设备对该中间四声道音频信号进行近场补偿得到该四声道音频信号。
该音频处理设备根据该四个扬声器的位置参数获取该四个扬声器到左耳位置以及该四个扬声器到右耳位置的近场补偿响应,该左耳位置为该第一扬声器与该第三扬声器之间的位置,该右耳位置为该第二扬声器与的第四个扬声器的之间位置;该音频处理设备根据该中间四声道音频信号和该近声补偿响应的时域响应利用第五公式得到该四声道音频信号。其中,该第五公式为:
FL=FL'*hFL;
FR=FR'*hFR;
BL=BL'*hBL;
BR=BR'*hBR;
该FL为左前方音频信号,该FR为右前方音频信号,该BL为左后音频信号,该BR为右后方音频信号,该hFL为该第一扬声器到该左耳位置该近场补偿响应的时域响应,该hFR为该第二扬声器到该右耳位置该近场补偿响应的时域响应该hBL为该第三扬声器到该左耳位置该近场补偿响应的时域响应该hBR为该第四扬声器到该右耳位置该近场补偿响应的时域响应,该近场补偿响应的时域响应由该近场补偿响应的频域响应经变换得到。
该近声补偿响应表示为:
由此推导得到该近场补偿响应的频域响应为:
其中,该EL(jw)为左耳位置听到的声音信号的傅里叶变换,该ER(jw)为右耳位置听到的声音信号的傅里叶变换,该XFL(jw)为该第一扬声器播放的声音的傅里叶变换,该XFR(jw)为该第二扬声器播放的声音的傅里叶变换,该XBL(jw)为该第三扬声器播放的声音的傅里叶变换,该XBR(jw)为该第四扬声器播放的声音的傅里叶变换,该GFL_L(jw)为该第一扬声器到该左耳位置的传递函数,该GFL_R(jw)为该第一扬声器到该右耳位置的传递函数,该GFR_L(jw)为该第二扬声器到该左耳位置的传递函数,该GFR_R(jw)为该第二扬声器到该右耳位置的传递函数,该GBL_L(jw)为该第三扬声器到该左耳位置的传递函数,该GBL_R(jw)为该第三扬声器到该右耳位置的传递函数,该GBR_L(jw)为该第四扬声器到该左耳位置的传递函数,该GBR_R(jw)为该第四扬声器到该右耳位置的传递函数。
805、该音频处理设备将该四声道音频信号发送给该四个扬声器进行播放。
该音频处理设备将该左前方音频信号发送给该第一扬声器,将该右前方音频信号发送给该第一扬声器,将该左后方音频信号发送给该第三扬声器,将该右后方音频信号发送给该第四扬声器,然后各扬声器播放各自接收到的音频信号。
本实施例中,该音频处理设备在模拟该原始音频信号的音源位置的方位信息时,将该四个扬声器的位置参数同时进行考虑,并对该原始音频信号的音源位置的前后方位进行模拟,从而保证了该音频处理设备在确定该原始音频信号的音源位置的方位信息时更精确。同时,该音频处理设备对该四声道音频信号进行近场补偿从而保证该四声道音频信号音质更加完美,提高了用户的使用体验。
下面以一个实际应用场景对音频处理方法进行描述,具体如下:
通过四个扬声器耳机回放(高保真)环绕声Ambisonic音频作为示例,将AmbisonicB-format四声道数据解码到8个虚拟扬声器,即8个虚声源。其中该8个虚声源的位置示意图如图9所示,8个虚声源的放置在正立方体的8个顶点,边长为单位长度。每个虚声源的位置通过正立方体的几何关系可以求出。以其中一个虚声源(坐标{1,1,1})为例。其他的七个虚声源的处理方式与该坐标{1,1,1}的虚声源的处理方式相同。
该坐标{1,1,1}的虚声源的方位角和仰角可计算得到:
即为声源的位置信息。若该原始音频信号为一段如图10所示的音频信号,则将原始音频信号通过高通滤波模块和低通滤波模块之后得到如图11所示的该原始音频信号的高频分量和如图12所示该原始音频信号的低频分量。然后该音频处理设备根据声源的方位信息,提取对应的HRTF的高度特征,对原始音频信号的高频分量做处理,得到输出信号如图13;将图13所示输出信号通过刚球模型的处理,得到如图14所示的高频分量信号(即第二双声道音频信号)。同时将该低频部分通过公知HRTF库的对应角度处理,得到如图15所示的低频分量信号(即第一双声道音频信号);然后将如图14所示的高频分量信号与如图15所示的低频分量信号进行叠加,得到经过方位渲染模块处理后如图16所示输出信号(即目标双声道音频信号)。然后将该如图16所示的目标双声道音频信号通过扬声器调度算法处理,由于方位角(Azimuth=45度,Elevation=45度)处于I象限,所以g1=1,g2=0。利用如下公式:
FL'=L*g1
FR'=R*g1
BL'=L*g2
BR'=R*g2
计算得到如图17所示的四声道音频信号(即该方位角情况下,仅用前置扬声器发声,后置扬声器输出为0)。然后当该音频处理设备对该四声道音频信号进行近场补偿时,该音频处理设备获取到如图18所示的近场补偿滤波器的时域响应,然后将近场补偿滤波器的时域响应与对应的扬声器输出信号进行频域卷积得到该四个扬声器应播放的目标四声道音频信号。本实施例中,若该音频处理设备集成在VR眼镜上,在VR眼镜头动跟踪的应用场景下,基于传感器传递的当前听者的头部转动角度信息,对每帧音频输入对应的虚拟扬声器到听者的方位信息进行模拟。然后对相邻两帧做帧长的交叠平滑,如图19所示,来降低人头转动的过程中引起的帧间不连续的现象.
上面对本申请实施例中的音频处理方法进行了描述,下面对本申请实施例中的音频处理设备和VR眼镜进行描述。
具体请参阅图20,本申请实施例中的音频处理设备的一个实施例包括:
获取模块2001,用于获取原始音频信号,所述原始音频信号对应的音源位置参数以及四个扬声器的位置参数;
处理模块2002,用于根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号;根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号,所述四声道音频信号与所述四个扬声器一一对应,所述四个扬声器用于播放所述四声道音频信号中对应的声道信号。
可选的,该处理模块2002,具体用于根据所述原始音频信号,得到所述原始音频信号对应的低频信号和所述原始音频信号对应的高频信号;
将所述低频信号与目标头相关传递函数HRTF进行卷积得到第一双声道音频信号,所述目标HRTF为所述音源位置参数对应的头相关传递函数HRTF;
获取所述音源位置参数中的高度参数对应的高度特征响应;
将所述高频信号与所述高度特征响应进行卷积得到目标音频信号;
将所述目标音频信号分别与音源位置至左耳位置的时域响应以及所述音源位置至右耳位置的时域响应进行卷积得到第二双声道音频信号,所述时域响应由所述音频处理设备根据所述音源位置利用刚球模型获得,所述左耳位置为位于第一扬声器与第三扬声器之间的位置,所述右耳位置为位于第二扬声器与第四扬声器之间的位置,所述音源位置根据所述音源位置参数确定,所述四个扬声器构成四边形,其中,所述第一扬声器与所述第四扬声器的连线为所述四边形的对角线,所述第二扬声器与所述第三扬声器的连线为所述四边形的对角线;
将所述第一双声道音频信号与所述第二双声道音频信号合并得到所述目标双声道音频信号。
可选的,所述高度参数包括用于指示所述音源位置相对于水平面的高度信息,所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面,所述目标平面为所述四个扬声器所在的平面,该处理模块2002,具体用于若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧,则根据第一公式计算所述高度特征响应;
若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧,则根据第二公式计算所述高度特征响应;
其中,所述θ为所述音源位置相对于所述水平面的高度信息,所述HF_elve为所述音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧时所述音源位置对应的高度特征响应,所述HB_elve为所述音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧时所述音源位置对应的高度特征响应,所述HRTF(θ,0)为仰角为θ,方位角为0度对应的HRTF数据,所述HRTF(0,0)为仰角为0度,方位角为0度对应的正前方HRTF数据,所述HRTF(θ,180)为仰角为θ,方位角为180度对应的HRTF数据,所述HRTF(0,180)为仰角为0度,方位角为180度对应的正后方HRTF数据。
可选的,所述时域响应由所述音源位置至所述左耳位置的频域响应以及所述音源位置至所述右耳位置的频域响应经变换得到,所述频域响应由所述音频处理设备根据所述音源位置利用所述刚球模型得到,其中所述刚球模型包括:
其中所述为所述音源位置至所述左耳位置的频域响应,所述为所述音源位置至所述右耳位置的频域响应,所述ρ为归一化的所述刚球模型对应的球心位置至所述音源位置的距离,所述r为所述球心位置到所述音源位置的距离,所述a为所述刚球模型对应的球体的半径,所述μ为归一化的角频率,所述f为预设频率,所述c为声音传播速度,所述θL为所述球心位置与所述音源位置映射在所述水平面的位置的连线与所述球心位置与所述左耳位置的连线的夹角,所述θR为所述球心位置与所述音源位置映射在所述水平面的位置的连线与所述球心位置到所述右耳位置的连线的夹角,所述球体根据所述四个扬声器的位置参数确定,所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面,所述目标平面为所述四个扬声器所在的平面。
可选的,所述四声道音频信号包括左前方音频信号,右前方音频信号,左后方音频信号和右后方音频信号,该处理模块2002,具体用于
根据所述音源位置参数和所述四个扬声器的位置参数确定所述四个扬声器中所述第一扬声器和所述第二扬声器的第一权重值以及所述四个扬声器中所述第三扬声器和第四扬声器的第二权重值;根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右后方音频信号。
可选的,该处理模块2002,具体用于若所述音源位置参数指示所述原始音频信号的音源位置位于目标平面内的第一象限内,则确定所述第一权重值为1,所述第二权重值为0,所述目标平面为所述四个扬声器所在的平面;
若所述音源位置参数指示所述原始音频信号的音源位置位于所述目标平面内的第二象限内,则确定所述第一权重值为0,所述第二权重值为1;
若所述音源位置参数指示所述原始音频信号的音源位置的位于所述目标平面内的第三象限内,则根据第一夹角和第二夹角确定所述第一权重值和所述第二权重值,所述第一夹角为所述音源位置与中心位置映射在所述目标平面的位置的连线与前平面的夹角,所述第二夹角为所述第一扬声器与所述第四扬声器的连线与所述前平面的夹角或者所述第二夹角为所述第二扬声器与所述第三扬声器的连线与所述前平面的夹角,所述中心位置为所述第二扬声器与所述第三扬声器的连线与所述第一扬声器与所述第四扬声器的连线的交点,所述前平面为通过所述中心位置且垂直于所述目标平面的平面;
其中,所述目标平面被所述第一扬声器与所述第四扬声器的连线和所述第二扬声器与所述第三扬声器的连线分成四个象限,所述第一扬声器与所述第二扬声器之间的象限为所述第一象限,所述第三扬声器与所述第四扬声器之间的象限为所述第二象限,所述第一扬声器与所述第三扬声器之间的象限以及所述第二扬声器与所述第四扬声器之间的象限为所述第三象限。
可选的,该处理模块2002,具体用于根据所述第一夹角和所述第二夹角利用第三公式计算位于所述第一权重值和所述第二权重值;
可选的,该处理模块2002,用于根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号利用第四公式计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号利用所述第四公式计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右后方音频信号;
其中,所述第四公式包括:
FL'=L*g1
FR'=R*g1
BL'=L*g2;
BR'=R*g2
其中,所述FL'为所述左前方音频信号,所述FR'为右前方音频信号,所述BL'为所述左后方音频信号,所述BR'为所述右后方音频信号,所述L为所述目标双声道音频信号中的左声道音频信号,所述R为所述目标双声道音频信号中的右声道音频信号,所述g1为所述第一权重值,所述g2为所述第二权重值。
可选的,该处理模块2002,用于根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到中间四声道音频信号;根据所述四个扬声器的位置参数获取所述四个扬声器到左耳位置以及右耳位置的近场补偿响应,所述左耳位置为所述第一扬声器与所述第三扬声器之间的位置,所述右耳位置为所述第二扬声器与所述第四扬声器之间的位置;
根据所述中间四声道音频信号和所述近场补偿响应的时域响应得到所述四声道音频信号。可选的,该处理模块2002,具体用于根据所述中间四声道音频信号和所述近场补偿响应的时域响应利用第五公式得到所述四声道音频信号;
所述第五公式为:
FL=FL'*hFL;
FR=FR'*hFR;
BL=BL'*hBL;
BR=BR'*hBR;
所述FL为左前方音频信号,所述FR为右前方音频信号,所述BL为左后音频信号,所述BR为右后方音频信号,所述hFL为所述第一扬声器到所述左耳位置所述近场补偿响应的时域响应,所述hFR为所述第二扬声器到所述右耳位置所述近场补偿响应的时域响应,所述hBL为所述第三扬声器到所述左耳位置所述近场补偿响应的时域响应,所述hBR为所述第四扬声器到所述右耳位置所述近场补偿响应的时域响应。
可选的,所述四个扬声器构成四边形,其中,第一扬声器位于第四扬声器的对侧,第二扬声器位于第三扬声器的对侧,所述四个扬声器的位置参数包括所述第一扬声器的出声口正对所述左耳位置的耳道,所述第一扬声器与所述左耳位置的耳道的水平距离为第一预设值,所述第一扬声器与所述左耳位置的耳道垂直距离为第二预设值;
所述第二扬声器的出声口正对所述右耳位置的耳道,所述第二扬声器与所述右耳位置的耳道的水平距离为所述第一预设值,所述第二扬声器与所述右耳位置的耳道垂直距离为所述第二预设值;
所述第三扬声器的出声口正对所述左耳位置的耳道,所述第三扬声器与所述左耳位置的耳道的水平距离为所述第一预设值,所述第三扬声器与所述左耳位置的耳道垂直距离为所述第二预设值;
所述第四个扬声器的出声口正对所述右耳位置的耳道,所述第四个扬声器与所述右耳位置的耳道的水平距离为所述第一预设值,所述第四个扬声器与所述右耳位置的耳道垂直距离为所述第二预设值。
可选的,该第一预设值大于或等于1厘米且小于或等于5厘米;该第二预设值大于或等于0.5厘米且小于或等于1厘米。
本实施例中,该处理模块2002在模拟该原始音频信号的音源位置的方位信息时,将该四个扬声器的位置参数同时进行考虑,并对该原始音频信号的音源位置的前后方位进行模拟,从而保证了该音频处理设备在确定该原始音频信号的音源位置的方位信息时更精确。
具体请参阅图21,本申请实施例中音频处理设备的另一个实施例包括:
收发器2101,处理器2102,总线2103;
该收发器2101与该处理器2102通过该总线2103相连;
该总线2103可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图21中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器2102可以是中央处理器(central processing unit,简称CPU),网络处理器(network processor,简称NP)或者CPU和NP的组合。
处理器2102还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,简称ASIC),可编程逻辑器件(programmable logic device,简称PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,简称CPLD),现场可编程逻辑门阵列(field-programmable gate array,简称FPGA),通用阵列逻辑(generic array logic,简称GAL)或其任意组合。
参见图21所示,该音频处理设备还可以包括存储器2104。该存储器2104可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,简称RAM);存储器也可以包括非易失性存储器(non-volatile memory),例如快闪存储器(flashmemory),硬盘(hard disk drive,简称HDD)或固态硬盘(solid-state drive,简称SSD);存储器2104还可以包括上述种类的存储器的组合。
可选地,存储器2104还可以用于存储程序指令,处理器2102调用该存储器2104中存储的程序指令,可以执行图2至图8中所示实施例中的一个或多个步骤,或其中可选的实施方式,实现上述方法中音频处理设备行为的功能。
该收发器,执行如下步骤:
获取原始音频信号;
该处理器,执行如下步骤:
获取所述原始音频信号对应的音源位置参数以及四个扬声器的位置参数根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号;根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号,所述四声道音频信号与所述四个扬声器一一对应,所述四个扬声器用于播放所述四声道音频信号中对应的声道信号。
可选的,该处理器2102,具体用于根据所述原始音频信号,得到所述原始音频信号对应的低频信号和所述原始音频信号对应的高频信号;
将所述低频信号与目标头相关传递函数HRTF进行卷积得到第一双声道音频信号,所述目标HRTF为所述音源位置参数对应的头相关传递函数HRTF;
获取所述音源位置参数中的高度参数对应的高度特征响应;
将所述高频信号与所述高度特征响应进行卷积得到目标音频信号;
将所述目标音频信号分别与音源位置至左耳位置的时域响应以及所述音源位置至右耳位置的时域响应进行卷积得到第二双声道音频信号,所述时域响应由所述音频处理设备根据所述音源位置利用刚球模型获得,所述左耳位置为位于第一扬声器与第三扬声器之间的位置,所述右耳位置为位于第二扬声器与第四扬声器之间的位置,所述音源位置根据所述音源位置参数确定,所述四个扬声器构成四边形,其中,所述第一扬声器与所述第四扬声器的连线为所述四边形的对角线,所述第二扬声器与所述第三扬声器的连线为所述四边形的对角线;
将所述第一双声道音频信号与所述第二双声道音频信号合并得到所述目标双声道音频信号。
可选的,所述高度参数包括用于指示所述音源位置相对于水平面的高度信息,所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面,所述目标平面为所述四个扬声器所在的平面,该处理器2102,具体用于若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧,则根据第一公式计算所述高度特征响应;
若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧,则根据第二公式计算所述高度特征响应;
其中,所述θ为所述音源位置相对于所述水平面的高度信息,所述HF_elve为所述音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧时所述音源位置对应的高度特征响应,所述HB_elve为所述音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧时所述音源位置对应的高度特征响应,所述HRTF(θ,0)为仰角为θ,方位角为0度对应的HRTF数据,所述HRTF(0,0)为仰角为0度,方位角为0度对应的正前方HRTF数据,所述HRTF(θ,180)为仰角为θ,方位角为180度对应的HRTF数据,所述HRTF(0,180)为仰角为0度,方位角为180度对应的正后方HRTF数据。
可选的,所述时域响应由所述音源位置至所述左耳位置的频域响应以及所述音源位置至所述右耳位置的频域响应经变换得到,所述频域响应由所述音频处理设备根据所述音源位置利用所述刚球模型得到,其中所述刚球模型包括:
其中所述为所述音源位置至所述左耳位置的频域响应,所述为所述音源位置至所述右耳位置的频域响应,所述ρ为归一化的所述刚球模型对应的球心位置至所述音源位置的距离,所述r为所述球心位置到所述音源位置的距离,所述a为所述刚球模型对应的球体的半径,所述μ为归一化的角频率,所述f为预设频率,所述c为声音传播速度,所述θL为所述球心位置与所述音源位置映射在所述水平面的位置的连线与所述球心位置与所述左耳位置的连线的夹角,所述θR为所述球心位置与所述音源位置映射在所述水平面的位置的连线与所述球心位置到所述右耳位置的连线的夹角,所述球体根据所述四个扬声器的位置参数确定,所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面,所述目标平面为所述四个扬声器所在的平面。
可选的,所述四声道音频信号包括左前方音频信号,右前方音频信号,左后方音频信号和右后方音频信号,该处理器2102,具体用于根据所述音源位置参数和所述四个扬声器的位置参数确定所述四个扬声器中所述第一扬声器和所述第二扬声器的第一权重值以及所述四个扬声器中所述第三扬声器和第四扬声器的第二权重值;根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右后方音频信号。
可选的,该处理器2102,具体用于若所述音源位置参数指示所述原始音频信号的音源位置位于目标平面内的第一象限内,则确定所述第一权重值为1,所述第二权重值为0,所述目标平面为所述四个扬声器所在的平面;
若所述音源位置参数指示所述原始音频信号的音源位置位于所述目标平面内的第二象限内,则确定所述第一权重值为0,所述第二权重值为1;
若所述音源位置参数指示所述原始音频信号的音源位置的位于所述目标平面内的第三象限内,则根据第一夹角和第二夹角确定所述第一权重值和所述第二权重值,所述第一夹角为所述音源位置与中心位置映射在所述目标平面的位置的连线与前平面的夹角,所述第二夹角为所述第一扬声器与所述第四扬声器的连线与所述前平面的夹角或者所述第二夹角为所述第二扬声器与所述第三扬声器的连线与所述前平面的夹角,所述中心位置为所述第二扬声器与所述第三扬声器的连线与所述第一扬声器与所述第四扬声器的连线的交点,所述前平面为通过所述中心位置且垂直于所述目标平面的平面;
其中,所述目标平面被所述第一扬声器与所述第四扬声器的连线和所述第二扬声器与所述第三扬声器的连线分成四个象限,所述第一扬声器与所述第二扬声器之间的象限为所述第一象限,所述第三扬声器与所述第四扬声器之间的象限为所述第二象限,所述第一扬声器与所述第三扬声器之间的象限以及所述第二扬声器与所述第四扬声器之间的象限为所述第三象限。
可选的,该处理器2102,具体用于根据所述第一夹角和所述第二夹角利用第三公式计算位于所述第一权重值和所述第二权重值;
可选的,该处理器2102,用于根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号利用第四公式计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号利用所述第四公式计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右后方音频信号;
其中,所述第四公式包括:
FL'=L*g1
FR'=R*g1
BL'=L*g2
BR'=R*g2;
其中,所述FL'为所述左前方音频信号,所述FR'为右前方音频信号,所述BL'为所述左后方音频信号,所述BR'为所述右后方音频信号,所述L为所述目标双声道音频信号中的左声道音频信号,所述R为所述目标双声道音频信号中的右声道音频信号,所述g1为所述第一权重值,所述g2为所述第二权重值。
可选的,该处理器2102,用于根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到中间四声道音频信号;根据所述四个扬声器的位置参数获取所述四个扬声器到左耳位置以及右耳位置的近场补偿响应,所述左耳位置为所述第一扬声器与所述第三扬声器之间的位置,所述右耳位置为所述第二扬声器与所述第四扬声器之间的位置;
根据所述中间四声道音频信号和所述近场补偿响应的时域响应得到所述四声道音频信号。可选的,该处理器2102,具体用于根据所述中间四声道音频信号和所述近场补偿响应的时域响应利用第五公式得到所述四声道音频信号;
所述第五公式为:
FL=FL'*hFL;
FR=FR'*hFR;
BL=BL'*hBL;
BR=BR'*hBR;
所述FL为左前方音频信号,所述FR为右前方音频信号,所述BL为左后音频信号,所述BR为右后方音频信号,所述hFL为所述第一扬声器到所述左耳位置所述近场补偿响应的时域响应,所述hFR为所述第二扬声器到所述右耳位置所述近场补偿响应的时域响应,所述hBL为所述第三扬声器到所述左耳位置所述近场补偿响应的时域响应,所述hBR为所述第四扬声器到所述右耳位置所述近场补偿响应的时域响应。
可选的,所述四个扬声器构成四边形,其中,第一扬声器位于第四扬声器的对侧,第二扬声器位于第三扬声器的对侧,所述四个扬声器的位置参数包括所述第一扬声器的出声口正对所述左耳位置的耳道,所述第一扬声器与所述左耳位置的耳道的水平距离为第一预设值,所述第一扬声器与所述左耳位置的耳道垂直距离为第二预设值;
所述第二扬声器的出声口正对所述右耳位置的耳道,所述第二扬声器与所述右耳位置的耳道的水平距离为所述第一预设值,所述第二扬声器与所述右耳位置的耳道垂直距离为所述第二预设值;
所述第三扬声器的出声口正对所述左耳位置的耳道,所述第三扬声器与所述左耳位置的耳道的水平距离为所述第一预设值,所述第三扬声器与所述左耳位置的耳道垂直距离为所述第二预设值;
所述第四个扬声器的出声口正对所述右耳位置的耳道,所述第四个扬声器与所述右耳位置的耳道的水平距离为所述第一预设值,所述第四个扬声器与所述右耳位置的耳道垂直距离为所述第二预设值。
可选的,该第一预设值大于或等于1厘米且小于或等于5厘米;该第二预设值大于或等于0.5厘米且小于或等于1厘米。本实施例中,该处理器2102在模拟该原始音频信号的音源位置的方位信息时,将该四个扬声器的位置参数同时进行考虑,并对该原始音频信号的音源位置的前后方位进行模拟,从而保证了该音频处理设备在确定该原始音频信号的音源位置的方位信息时更精确。
具体请参阅图22,本申请实施例中VR眼镜2200的一个实施例包括:
该四个扬声器2201,和该音频处理设备2202;
该四个扬声器2201与该音频处理设备2202相连;
该四个扬声器2201分布在该VR眼镜上的两个眼镜架上,其中,该四个扬声器的位置分布还满足如下规则:
所述四个扬声器构成四边形,其中,第一扬声器位于第四扬声器的对侧,第二扬声器位于第三扬声器的对侧,该四个扬声器中的第一扬声器位于该四个扬声器所处平面的左前方,该第一扬声器的出声口正对该左耳位置的耳道,该第一扬声器与该左耳位置的耳道的水平距离为第一预设值,该第一扬声器与该左耳位置的耳道垂直距离为第二预设值;
该四个扬声器中的第二扬声器位于该四个扬声器所处平面的右前方,该第二扬声器的出声口正对该右耳位置的耳道,该第二扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第二扬声器与该右耳位置的耳道垂直距离为该第二预设值;
该四个扬声器中的第三扬声器位于该四个扬声器所处平面的左后方,该第三扬声器的出声口正对该左耳位置的耳道,该第三扬声器与该左耳位置的耳道的水平距离为该第一预设值,该第三扬声器与该左耳位置的耳道垂直距离为该第二预设值;
该四个扬声器中的第四扬声器位于该四个扬声器所处平面的右后方,该第四扬声器的出声口正对该右耳位置的耳道,该第四扬声器与该右耳位置的耳道的水平距离为该第一预设值,该第四扬声器与该右耳位置的耳道垂直距离为该第二预设值。
其中,该第一预设值大于或等于1厘米且小于或等于5厘米;该第二预设值大于或等于0.5厘米且小于或等于1厘米。
本实施例中,该VR眼镜还包括其他部分,此处不做赘述。
该音频处理设备2202具备上述实施例中音频处理设备的全部功能。
本实施例中,该四个扬声器2201与该音频处理设备2202还可以包含于其他可能的设备上,比如增强现实(augmented reality,AR)眼镜或者其他可穿戴设备。具体此处不做限定。
本实施例中,该音频处理设备2202在模拟该原始音频信号的音源位置的方位信息时,将该四个扬声器2201的位置参数同时进行考虑,并对该原始音频信号的音源位置的前后方位进行模拟,从而保证了该音频处理设备在确定该原始音频信号的音源位置的方位信息时更精确。同时将该四个扬声器与该音频处理设备集成在VR眼镜上可以提高用户的使用体验。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (23)
1.一种音频处理方法,其特征在于,包括:
音频处理设备获取原始音频信号,所述原始音频信号对应的音源位置参数以及四个扬声器的位置参数;
所述音频处理设备根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号;
所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号,所述四声道音频信号与所述四个扬声器一一对应,所述四个扬声器用于播放所述四声道音频信号中对应的声道信号;
所述音频处理设备根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号包括:
所述音频处理设备根据所述原始音频信号,得到所述原始音频信号对应的低频信号和所述原始音频信号对应的高频信号;
所述音频处理设备将所述低频信号与目标头相关传递函数HRTF进行卷积得到第一双声道音频信号,所述目标HRTF为所述音源位置参数对应的头相关传递函数HRTF;
所述音频处理设备获取所述音源位置参数中的高度参数对应的高度特征响应;
所述音频处理设备将所述高频信号与所述高度特征响应进行卷积得到目标音频信号;
所述音频处理设备将所述目标音频信号分别与音源位置至左耳位置的时域响应以及所述音源位置至右耳位置的时域响应进行卷积得到第二双声道音频信号,所述时域响应由所述音频处理设备根据所述音源位置利用刚球模型获得,所述左耳位置为位于第一扬声器与第三扬声器之间的位置,所述右耳位置为位于第二扬声器与第四扬声器之间的位置,所述音源位置根据所述音源位置参数确定,所述四个扬声器构成四边形,其中,所述第一扬声器与所述第四扬声器的连线为所述四边形的对角线,所述第二扬声器与所述第三扬声器的连线为所述四边形的对角线;
所述音频处理设备将所述第一双声道音频信号与所述第二双声道音频信号合并得到所述目标双声道音频信号。
2.根据权利要求1所述的方法,其特征在于,所述高度参数包括用于指示所述音源位置相对于水平面的高度信息,所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面,所述目标平面为所述四个扬声器所在的平面,所述音频处理设备获取所述音源位置参数中的高度参数对应的高度特征响应包括:
若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧,则所述音频处理设备根据第一公式计算所述高度特征响应;
若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的另一侧,则所述音频处理设备根据第二公式计算所述高度特征响应;
3.根据权利要求1或2 所述的方法,其特征在于,所述时域响应由所述音频处理设备根据所述音源位置利用刚球模型获得包括:
所述时域响应由所述音源位置至所述左耳位置的频域响应以及所述音源位置至所述右耳位置的频域响应经变换得到,所述频域响应由所述音频处理设备根据所述音源位置利用所述刚球模型得到,其中所述刚球模型包括:
其中所述为所述音源位置至所述左耳位置的频域响应,所述为所述音源位置至所述右耳位置的频域响应,所述为归一化的所述刚球模型对应的球心位置至所述音源位置的距离,所述为所述球心位置到所述音源位置的距离,所述为所述刚球模型对应的球体的半径,所述为归一化的角频率,所述为预设频率,所述为声音传播速度,所述为所述球心位置与所述音源位置映射在水平面的位置的连线与所述球心位置与所述左耳位置的连线的夹角,所述为所述球心位置与所述音源位置映射在所述水平面的位置的连线与所述球心位置到所述右耳位置的连线的夹角,所述球体根据所述四个扬声器的位置参数确定,所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面,所述目标平面为所述四个扬声器所在的平面。
4.根据权利要求1或2所述的方法,其特征在于,所述四声道音频信号包括左前方音频信号,右前方音频信号,左后方音频信号和右后方音频信号,所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到用于四声道音频信号包括:
所述音频处理设备根据所述音源位置参数和所述四个扬声器的位置参数确定所述四个扬声器中所述第一扬声器和所述第二扬声器的第一权重值以及所述四个扬声器中所述第三扬声器和第四扬声器的第二权重值;所述音频处理设备根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右后方音频信号。
5.根据权利要求4所述的方法,其特征在于,所述音频处理设备根据所述音源位置参数和所述四个扬声器的位置参数确定所述四个扬声器中所述第一扬声器和所述第二扬声器的第一权重值以及所述四个扬声器中所述第三扬声器和第四扬声器的第二权重值包括:
若所述音源位置参数指示所述原始音频信号的音源位置位于目标平面内的第一象限内,则所述音频处理设备确定所述第一权重值为1,所述第二权重值为0,所述目标平面为所述四个扬声器所在的平面;
若所述音源位置参数指示所述原始音频信号的音源位置位于所述目标平面内的第二象限内,则所述音频处理设备确定所述第一权重值为0,所述第二权重值为1;
若所述音源位置参数指示所述原始音频信号的音源位置的位于所述目标平面内的第三象限内,则所述音频处理设备根据第一夹角和第二夹角确定所述第一权重值和所述第二权重值,所述第一夹角为所述音源位置与中心位置映射在所述目标平面的位置的连线与前平面的夹角,所述第二夹角为所述第一扬声器与所述第四扬声器的连线与所述前平面的夹角或者所述第二夹角为所述第二扬声器与所述第三扬声器的连线与所述前平面的夹角,所述中心位置为所述第二扬声器与所述第三扬声器的连线与所述第一扬声器与所述第四扬声器的连线的交点,所述前平面为通过所述中心位置且垂直于所述目标平面的平面;
其中,所述目标平面被所述第一扬声器与所述第四扬声器的连线和所述第二扬声器与所述第三扬声器的连线分成四个象限,所述第一扬声器与所述第二扬声器之间的象限为所述第一象限,所述第三扬声器与所述第四扬声器之间的象限为所述第二象限,所述第一扬声器与所述第三扬声器之间的象限以及所述第二扬声器与所述第四扬声器之间的象限为所述第三象限。
7.根据权利要求4所述的方法,其特征在于,所述音频处理设备根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右后方音频信号包括:
所述音频处理设备根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号利用第四公式计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号利用所述第四公式计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右后方音频信号;
其中,所述第四公式包括:
8.根据权利要求1或2所述的方法,其特征在于,所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号包括:
所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到中间四声道音频信号;
所述音频处理设备根据所述四个扬声器的位置参数获取所述四个扬声器到左耳位置以及右耳位置的近场补偿响应,所述左耳位置为所述第一扬声器与所述第三扬声器之间的位置,所述右耳位置为所述第二扬声器与所述第四扬声器之间的位置;
所述音频处理设备根据所述中间四声道音频信号和所述近场补偿响应的时域响应得到所述四声道音频信号。
9.根据权利要求8所述的方法,其特征在于,所述音频处理设备根据所述中间四声道音频信号和所述近场补偿响应的时域响应得到所述四声道音频信号包括:
所述音频处理设备根据所述中间四声道音频信号和所述近场补偿响应的时域响应利用第五公式得到所述四声道音频信号;
所述第五公式为:
10.根据权利要求1、2、5、6、7、9中任一项所述的方法,其特征在于,所述四个扬声器构成四边形,其中,第一扬声器位于第四扬声器的对侧,第二扬声器位于第三扬声器的对侧,所述四个扬声器的位置参数包括所述第一扬声器的出声口正对所述左耳位置的耳道,所述第一扬声器与所述左耳位置的耳道的水平距离为第一预设值,所述第一扬声器与所述左耳位置的耳道垂直距离为第二预设值;
所述第二扬声器的出声口正对所述右耳位置的耳道,所述第二扬声器与所述右耳位置的耳道的水平距离为所述第一预设值,所述第二扬声器与所述右耳位置的耳道垂直距离为所述第二预设值;
所述第三扬声器的出声口正对所述左耳位置的耳道,所述第三扬声器与所述左耳位置的耳道的水平距离为所述第一预设值,所述第三扬声器与所述左耳位置的耳道垂直距离为所述第二预设值;
所述第四扬声器的出声口正对所述右耳位置的耳道,所述第四扬声器与所述右耳位置的耳道的水平距离为所述第一预设值,所述第四扬声器与所述右耳位置的耳道垂直距离为所述第二预设值。
11.根据权利要求10所述的方法,其特征在于,所述第一预设值大于或等于1厘米且小于或等于5厘米;所述第二预设值大于或等于0.5厘米且小于或等于1厘米。
12.一种音频处理设备,其特征在于,包括:
获取模块,用于获取原始音频信号,所述原始音频信号对应的音源位置参数以及四个扬声器的位置参数;
处理模块,用于根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号;根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号,所述四声道音频信号与所述四个扬声器一一对应,所述四个扬声器用于播放所述四声道音频信号中对应的声道信号;
所述处理模块,具体用于根据所述原始音频信号,得到所述原始音频信号对应的低频信号和所述原始音频信号对应的高频信号;
将所述低频信号与目标头相关传递函数HRTF进行卷积得到第一双声道音频信号,所述目标HRTF为所述音源位置参数对应的头相关传递函数HRTF;
获取所述音源位置参数中的高度参数对应的高度特征响应;
将所述高频信号与所述高度特征响应进行卷积得到目标音频信号;
将所述目标音频信号分别与音源位置至左耳位置的时域响应以及所述音源位置至右耳位置的时域响应进行卷积得到第二双声道音频信号,所述时域响应由所述音频处理设备根据所述音源位置利用刚球模型获得,所述左耳位置为位于第一扬声器与第三扬声器之间的位置,所述右耳位置为位于第二扬声器与第四扬声器之间的位置,所述音源位置根据所述音源位置参数确定,所述四个扬声器构成四边形,其中,所述第一扬声器与所述第四扬声器的连线为所述四边形的对角线,所述第二扬声器与所述第三扬声器的连线为所述四边形的对角线;
将所述第一双声道音频信号与所述第二双声道音频信号合并得到所述目标双声道音频信号。
13.根据权利要求12所述的音频处理设备,其特征在于,所述高度参数包括用于指示所述音源位置相对于水平面的高度信息,所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面,所述目标平面为所述四个扬声器所在的平面,所述处理模块,具体用于若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧,则根据第一公式计算所述高度特征响应;
若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧,则根据第二公式计算所述高度特征响应;
14.根据权利要求12或13所述的音频处理设备,其特征在于,所述时域响应由所述音频处理设备根据所述音源位置利用刚球模型获得包括:
所述时域响应由所述音源位置至所述左耳位置的频域响应以及所述音源位置至所述右耳位置的频域响应经变换得到,所述频域响应由所述音频处理设备根据所述音源位置利用所述刚球模型得到,其中所述刚球模型包括:
其中所述为所述音源位置至所述左耳位置的频域响应,所述为所述音源位置至所述右耳位置的频域响应,所述为归一化的所述刚球模型对应的球心位置至所述音源位置的距离,所述为所述球心位置到所述音源位置的距离,所述为所述刚球模型对应的球体的半径,所述为归一化的角频率,所述为预设频率,所述为声音传播速度,所述为所述球心位置与所述音源位置映射在水平面的位置的连线与所述球心位置与所述左耳位置的连线的夹角,所述为所述球心位置与所述音源位置映射在所述水平面的位置的连线与所述球心位置到所述右耳位置的连线的夹角,所述球体根据所述四个扬声器的位置参数确定,所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面,所述目标平面为所述四个扬声器所在的平面。
15.根据权利要求12或13中任一项所述的音频处理设备,其特征在于,所述四声道音频信号包括左前方音频信号,右前方音频信号,左后方音频信号和右后方音频信号,所述处理模块,具体用于根据所述音源位置参数和所述四个扬声器的位置参数确定所述四个扬声器中所述第一扬声器和所述第二扬声器的第一权重值以及所述四个扬声器中所述第三扬声器和第四扬声器的第二权重值;根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右后方音频信号。
16.根据权利要求15所述的音频处理设备,其特征在于,所述处理模块,具体用于若所述音源位置参数指示所述原始音频信号的音源位置位于目标平面内的第一象限内,则确定所述第一权重值为1,所述第二权重值为0,所述目标平面为所述四个扬声器所在的平面;
若所述音源位置参数指示所述原始音频信号的音源位置位于所述目标平面内的第二象限内,则确定所述第一权重值为0,所述第二权重值为1;
若所述音源位置参数指示所述原始音频信号的音源位置的位于所述目标平面内的第三象限内,则根据第一夹角和第二夹角确定所述第一权重值和所述第二权重值,所述第一夹角为所述音源位置与中心位置映射在所述目标平面的位置的连线与前平面的夹角,所述第二夹角为所述第一扬声器与所述第四扬声器的连线与所述前平面的夹角或者所述第二夹角为所述第二扬声器与所述第三扬声器的连线与所述前平面的夹角,所述中心位置为所述第二扬声器与所述第三扬声器的连线与所述第一扬声器与所述第四扬声器的连线的交点,所述前平面为通过所述中心位置且垂直于所述目标平面的平面;
其中,所述目标平面被所述第一扬声器与所述第四扬声器的连线和所述第二扬声器与所述第三扬声器的连线分成四个象限,所述第一扬声器与所述第二扬声器之间的象限为所述第一象限,所述第三扬声器与所述第四扬声器之间的象限为所述第二象限,所述第一扬声器与所述第三扬声器之间的象限以及所述第二扬声器与所述第四扬声器之间的象限为所述第三象限。
18.根据权利要求15所述的音频处理设备,其特征在于,所述处理模块,用于根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号利用第四公式计算得到所述左前方音频信号,根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右前方音频信号,根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号利用所述第四公式计算得到所述左后方音频信号,根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右后方音频信号;
其中,所述第四公式包括:
19.根据权利要求12或13所述音频处理设备,其特征在于,所述处理模块,还用于根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到中间四声道音频信号;根据所述四个扬声器的位置参数获取所述四个扬声器到左耳位置以及右耳位置的近场补偿响应,所述左耳位置为所述第一扬声器与所述第三扬声器之间的位置,所述右耳位置为所述第二扬声器与所述第四扬声器之间的位置;
根据所述中间四声道音频信号和所述近场补偿响应的时域响应得到所述四声道音频信号。
21.根据权利要求12、13、16、17、18、20中任一项所述的音频处理设备,其特征在于,所述四个扬声器构成四边形,其中,第一扬声器位于第四扬声器的对侧,第二扬声器位于第三扬声器的对侧,所述四个扬声器的位置参数包括所述第一扬声器的出声口正对所述左耳位置的耳道,所述第一扬声器与所述左耳位置的耳道的水平距离为第一预设值,所述第一扬声器与所述左耳位置的耳道垂直距离为第二预设值;
所述第二扬声器的出声口正对所述右耳位置的耳道,所述第二扬声器与所述右耳位置的耳道的水平距离为所述第一预设值,所述第二扬声器与所述右耳位置的耳道垂直距离为所述第二预设值;
所述第三扬声器的出声口正对所述左耳位置的耳道,所述第三扬声器与所述左耳位置的耳道的水平距离为所述第一预设值,所述第三扬声器与所述左耳位置的耳道垂直距离为所述第二预设值;
所述第四个扬声器的出声口正对所述右耳位置的耳道,所述第四个扬声器与所述右耳位置的耳道的水平距离为所述第一预设值,所述第四个扬声器与所述右耳位置的耳道垂直距离为所述第二预设值。
22.根据权利要求21所述的音频处理设备,其特征在于,所述第一预设值大于或等于1厘米且小于或等于5厘米;所述第二预设值大于或等于0.5厘米且小于或等于1厘米。
23.一种计算机可读存储介质,存储有指令,当该指令在计算机上运行时,该计算机执行权利要求1至权利要求11中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/095187 WO2019023853A1 (zh) | 2017-07-31 | 2017-07-31 | 一种音频处理方法以及音频处理设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110892735A CN110892735A (zh) | 2020-03-17 |
CN110892735B true CN110892735B (zh) | 2021-03-23 |
Family
ID=65233187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780092977.2A Active CN110892735B (zh) | 2017-07-31 | 2017-07-31 | 一种音频处理方法以及音频处理设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110892735B (zh) |
WO (1) | WO2019023853A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113747335A (zh) * | 2020-05-29 | 2021-12-03 | 华为技术有限公司 | 音频渲染方法及装置 |
CN113903325B (zh) * | 2021-05-31 | 2022-10-18 | 北京荣耀终端有限公司 | 文本转3d音频的方法及装置 |
CN113596673A (zh) * | 2021-07-14 | 2021-11-02 | 宁波旗芯电子科技有限公司 | Ar眼镜扬声器的定向发声方法、装置和发声设备 |
CN113810838A (zh) * | 2021-09-16 | 2021-12-17 | Oppo广东移动通信有限公司 | 音频控制方法和音频播放设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7817812B2 (en) * | 2005-05-31 | 2010-10-19 | Polk Audio, Inc. | Compact audio reproduction system with large perceived acoustic size and image |
JP5245368B2 (ja) * | 2007-11-14 | 2013-07-24 | ヤマハ株式会社 | 仮想音源定位装置 |
JP2009143453A (ja) * | 2007-12-14 | 2009-07-02 | Fujitsu Ten Ltd | 盗難防止装置及び位置特定方法 |
CN101483797B (zh) * | 2008-01-07 | 2010-12-08 | 昊迪移通(北京)技术有限公司 | 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备 |
ITTO20120067A1 (it) * | 2012-01-26 | 2013-07-27 | Inst Rundfunktechnik Gmbh | Method and apparatus for conversion of a multi-channel audio signal into a two-channel audio signal. |
FR2996094B1 (fr) * | 2012-09-27 | 2014-10-17 | Sonic Emotion Labs | Procede et systeme de restitution d'un signal audio |
WO2014077374A1 (ja) * | 2012-11-16 | 2014-05-22 | ヤマハ株式会社 | オーディオ信号処理装置、位置情報取得装置、およびオーディオ信号処理システム |
WO2014082683A1 (en) * | 2012-11-30 | 2014-06-05 | Huawei Technologies Co., Ltd. | Audio rendering system |
US10178489B2 (en) * | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
CN104219604B (zh) * | 2014-09-28 | 2017-02-15 | 三星电子(中国)研发中心 | 一种扬声器阵列的立体声回放方法 |
-
2017
- 2017-07-31 CN CN201780092977.2A patent/CN110892735B/zh active Active
- 2017-07-31 WO PCT/CN2017/095187 patent/WO2019023853A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN110892735A (zh) | 2020-03-17 |
WO2019023853A1 (zh) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9838825B2 (en) | Audio signal processing device and method for reproducing a binaural signal | |
CN110892735B (zh) | 一种音频处理方法以及音频处理设备 | |
US9961474B2 (en) | Audio signal processing apparatus | |
ES2898951T3 (es) | Virtualización de auricular | |
US10715945B2 (en) | Methods and systems for determining and/or using an audio filter based on head-tracking data | |
ES2261994T3 (es) | Metodo de tratamiento de datos sonoros y dispositivos de adquisicion sonoro que ejecuta este procedimiento. | |
ES2936834T3 (es) | Aparato de procesamiento de señales de audio y método para la reproducción biaural | |
US20170094440A1 (en) | Structural Modeling of the Head Related Impulse Response | |
US10341799B2 (en) | Impedance matching filters and equalization for headphone surround rendering | |
US20090310802A1 (en) | Virtual sound source positioning | |
CN104869524A (zh) | 三维虚拟场景中的声音处理方法及装置 | |
EP3225039B1 (en) | System and method for producing head-externalized 3d audio through headphones | |
US10659903B2 (en) | Apparatus and method for weighting stereo audio signals | |
WO2023059838A1 (en) | Headtracking adjusted binaural audio | |
EP4264963A1 (en) | Binaural signal post-processing | |
US11470435B2 (en) | Method and device for processing audio signals using 2-channel stereo speaker | |
Zheng et al. | Linear optimal source distribution mapping for binaural sound reproduction | |
Yang et al. | The Three-dimensional Panning Method for Reconstructing Sound Field with the Listening Angle | |
CN117793609A (zh) | 一种声场渲染方法和装置 | |
Fernandes | Spatial Effects: Binaural Simulation of Sound Source Motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |