CN109474882A - 基于听音点追踪的声场重建方法、设备、存储介质及装置 - Google Patents

基于听音点追踪的声场重建方法、设备、存储介质及装置 Download PDF

Info

Publication number
CN109474882A
CN109474882A CN201811485287.6A CN201811485287A CN109474882A CN 109474882 A CN109474882 A CN 109474882A CN 201811485287 A CN201811485287 A CN 201811485287A CN 109474882 A CN109474882 A CN 109474882A
Authority
CN
China
Prior art keywords
default
sound
original
left ear
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811485287.6A
Other languages
English (en)
Inventor
张聪
阳傲傲
刘宇
陈方
朱华东
王松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Polytechnic University
Original Assignee
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Polytechnic University filed Critical Wuhan Polytechnic University
Priority to CN201811485287.6A priority Critical patent/CN109474882A/zh
Publication of CN109474882A publication Critical patent/CN109474882A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/308Electronic adaptation dependent on speaker or headphone connection

Abstract

本发明公开了基于听音点追踪的声场重建方法、设备、存储介质及装置。本发明获取左耳位置信息以及右耳位置信息,获取扬声器位置信息以及预设原始声信号,根据预设原始声信号确定在原始左耳声音性质参数以及原始右耳声音性质参数,根据原始左耳声音性质参数与原始右耳声音性质参数确定对应的目标分配权重,根据目标分配权重调整重建声信号。在本发明中保证了调整后的重建声信号重建出的声场在左耳位置处的声音物理性质与原始左耳声音性质参数相符,在右耳位置处的声音物理性质也与原始右耳声音性质参数相符,同时由于将左耳右耳两处听音点的位置信息作为可变化输入量,从而解决了在听音点位置变化时无法保证较好的动态听音效果的技术问题。

Description

基于听音点追踪的声场重建方法、设备、存储介质及装置
技术领域
本发明涉及三维音频技术领域,尤其涉及基于听音点追踪的声场重建方法、设备、存储介质及装置。
背景技术
声音可在一定空间内形成一定的声场,尤其是针对三维(3 Dimensions,3D)音频技术而言,通过重建特定声场可以将人耳所感知到的声源设置在特定方位上,给用户带来较好的浸入式体验和声音定位感。
就声场重建方式而言,传统的大多声场重建方式多以人头中心即一个中心听音点作为人耳将听到声音的位置去完成三维声场的搭建,只能保证该中心听音点处的听音效果。
可是,在现实场景中,人体将存在双耳两处听音点。不仅并非理论状态下的一处听音点,并且,双耳的实际位置经常由于头部旋转而发生变化,这将导致不能保证最佳的听音效果。
所以,在听音点位置变化时存在无法保证较好的动态听音效果的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供基于听音点追踪的声场重建方法、设备、存储介质及装置,旨在听音点位置变化时解决无法保证较好的动态听音效果的技术问题。
为实现上述目的,本发明提供一种基于听音点追踪的声场重建方法,所述基于听音点追踪的声场重建方法包括以下步骤:
获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息;
获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号;
根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数;
根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重;
根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
优选地,所述预设原始声音性质公式包括预设原始声压值公式,所述预设重建声音性质公式包括预设重建声压值公式,所述原始左耳声音性质参数包括左耳原始声压值,所述原始右耳声音性质参数包括右耳原始声压值;
所述根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数,包括:
根据所述预设原始声信号通过所述预设原始声压值公式确定在所述左耳位置信息处的左耳原始声压值以及在所述右耳位置信息处的右耳原始声压值;
所述根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重,包括:
根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重。
优选地,所述预设原始声压值公式包括预设原始左耳声压值公式与预设原始右耳声压值公式,所述预设重建声压值公式包括预设重建左耳声压值公式与预设重建右耳声压值公式;
所述获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号之后,所述基于听音点追踪的声场重建方法还包括:
获取所述预设原始声源处的预设原始声源位置信息;
所述根据所述预设原始声信号通过所述预设原始声压值公式确定在所述左耳位置信息处的左耳原始声压值以及在所述右耳位置信息处的右耳原始声压值,包括:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳声压值公式确定所述预设原始声源在所述用户左耳处的左耳原始声压值;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳声压值公式确定所述预设原始声源在所述用户右耳处的右耳原始声压值;
所述根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重,包括:
根据所述左耳原始声压值、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳声压值公式确定与所述预设扬声器对应的第一分配权重;
根据所述右耳原始声压值、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳声压值公式确定与所述预设扬声器对应的第二分配权重;
根据最小二乘法对所述第一分配权重与所述第二分配权重进行求解,以获得第一最小二乘解,并将所述第一最小二乘解作为目标分配权重。
优选地,所述预设原始声音性质公式包括预设原始粒子速度公式,所述预设重建声音性质公式包括预设重建粒子速度公式,所述原始左耳声音性质参数包括左耳原始粒子速度,所述原始右耳声音性质参数包括右耳原始粒子速度;
所述根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重之后,所述基于听音点追踪的声场重建方法还包括:
根据所述预设原始声信号通过所述预设原始粒子速度公式确定在所述左耳位置信息处的左耳原始粒子速度以及在所述右耳位置信息处的右耳原始粒子速度;
根据所述左耳原始粒子速度与所述右耳原始粒子速度通过所述预设重建粒子速度公式确定与所述扬声器位置信息处的预设扬声器对应的待选取分配权重;
根据最小二乘法对所述目标分配权重与所述待选取分配权重进行求解,以获得第二最小二乘解,并将所述第二最小二乘解作为待输出分配权重;
所述根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建,包括:
根据所述待输出分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
优选地,所述预设原始粒子速度公式包括预设原始左耳粒子速度公式与预设原始右耳粒子速度公式,所述预设重建粒子速度公式包括预设重建左耳粒子速度公式与预设重建右耳粒子速度公式,所述待选取分配权重包括第三分配权重以及第四分配权重;
所述获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号之后,所述基于听音点追踪的声场重建方法还包括:
获取所述预设原始声源处的预设原始声源位置信息;
所述根据所述预设原始声信号通过所述预设原始粒子速度公式确定在所述左耳位置信息处的左耳原始粒子速度以及在所述右耳位置信息处的右耳原始粒子速度,包括:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳粒子速度公式确定所述预设原始声源在所述用户左耳处的左耳原始粒子速度;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳粒子速度公式确定所述预设原始声源在所述用户右耳处的右耳原始粒子速度;
所述根据所述左耳原始粒子速度与所述右耳原始粒子速度通过所述预设重建粒子速度公式确定与所述扬声器位置信息处的预设扬声器对应的待选取分配权重,包括:
根据所述左耳原始粒子速度、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳粒子速度公式确定与所述预设扬声器对应的第三分配权重;
根据所述右耳原始粒子速度、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳粒子速度公式确定与所述预设扬声器对应的第四分配权重。
优选地,所述获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息,包括:
调用摄像头对用户左耳与用户右耳进行追踪监控,以获得监控图像信息;
根据所述监控图像信息确定所述用户左耳处的左耳位置信息以及所述用户右耳处的右耳位置信息。
优选地,所述预设扬声器的数量为3。
此外,为实现上述目的,本发明还提出一种用户设备,所述用户设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于听音点追踪的声场重建程序,所述基于听音点追踪的声场重建程序配置为实现如上文所述的基于听音点追踪的声场重建方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于听音点追踪的声场重建程序,所述基于听音点追踪的声场重建程序被处理器执行时实现如上文所述的基于听音点追踪的声场重建方法的步骤。
此外,为实现上述目的,本发明还提出一种基于听音点追踪的声场重建装置,所述基于听音点追踪的声场重建装置包括:
听音点追踪模块,用于获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息;
信息获取模块,用于获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号;
原始声音参数确定模块,用于根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数;
分配权重确定模块,用于根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重;
声场重建模块,用于根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
本发明中将先获取左耳位置信息、右耳位置信息、各预设扬声器的扬声器位置信息以及预设原始声信号,根据预设原始声信号通过预设原始声音性质公式确定在左耳位置信息处的原始左耳声音性质参数以及在右耳位置信息处的原始右耳声音性质参数,再根据得到的原始左耳声音性质参数与原始右耳声音性质参数通过预设重建声音性质公式确定与预设扬声器对应的目标分配权重,根据目标分配权重调整待输出的重建声信号,以通过重建声信号重建出声场。明显地,本发明中将以声场重建前后声音的物理性质不变作为原则,从而保证了目标分配权重调整的重建声信号重建出的声场在左耳位置处的声音物理性质与原始左耳声音性质参数相符,同时在右耳位置处的声音物理性质也与原始右耳声音性质参数相符,也就保证了在左耳右耳两处听音点的听音效果较好。同时由于将左耳右耳两处听音点的位置信息作为可变化输入量,也就便于在听音点位置变化时控制其动态听音效果,从而解决了在听音点位置变化时无法保证较好的动态听音效果的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的用户设备结构示意图;
图2为本发明基于听音点追踪的声场重建方法第一实施例的流程示意图;
图3为本发明基于听音点追踪的声场重建方法第二实施例的流程示意图;
图4为本发明基于听音点追踪的声场重建方法第三实施例的流程示意图;
图5为本发明实施例中用户设备的执行流程示意图;
图6为本发明基于听音点追踪的声场重建装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的用户设备结构示意图。
如图1所示,该用户设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口,对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对用户设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于听音点追踪的声场重建程序。
在图1所示的用户设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接外设;所述用户设备通过处理器1001调用存储器1005中存储的基于听音点追踪的声场重建程序,并执行以下操作:
获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息;
获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号;
根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数;
根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重;
根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
进一步地,处理器1001可以调用存储器1005中存储的基于听音点追踪的声场重建程序,还执行以下操作:
根据所述预设原始声信号通过所述预设原始声压值公式确定在所述左耳位置信息处的左耳原始声压值以及在所述右耳位置信息处的右耳原始声压值;
相应地,还执行以下操作:
根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重。
进一步地,处理器1001可以调用存储器1005中存储的基于听音点追踪的声场重建程序,还执行以下操作:
获取所述预设原始声源处的预设原始声源位置信息;
相应地,还执行以下操作:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳声压值公式确定所述预设原始声源在所述用户左耳处的左耳原始声压值;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳声压值公式确定所述预设原始声源在所述用户右耳处的右耳原始声压值;
相应地,还执行以下操作:
根据所述左耳原始声压值、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳声压值公式确定与所述预设扬声器对应的第一分配权重;
根据所述右耳原始声压值、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳声压值公式确定与所述预设扬声器对应的第二分配权重;
根据最小二乘法对所述第一分配权重与所述第二分配权重进行求解,以获得第一最小二乘解,并将所述第一最小二乘解作为目标分配权重。
进一步地,处理器1001可以调用存储器1005中存储的基于听音点追踪的声场重建程序,还执行以下操作:
根据所述预设原始声信号通过所述预设原始粒子速度公式确定在所述左耳位置信息处的左耳原始粒子速度以及在所述右耳位置信息处的右耳原始粒子速度;
根据所述左耳原始粒子速度与所述右耳原始粒子速度通过所述预设重建粒子速度公式确定与所述扬声器位置信息处的预设扬声器对应的待选取分配权重;
根据最小二乘法对所述目标分配权重与所述待选取分配权重进行求解,以获得第二最小二乘解,并将所述第二最小二乘解作为待输出分配权重;
相应地,还执行以下操作:
根据所述待输出分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
进一步地,处理器1001可以调用存储器1005中存储的基于听音点追踪的声场重建程序,还执行以下操作:
获取所述预设原始声源处的预设原始声源位置信息;
相应地,还执行以下操作:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳粒子速度公式确定所述预设原始声源在所述用户左耳处的左耳原始粒子速度;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳粒子速度公式确定所述预设原始声源在所述用户右耳处的右耳原始粒子速度;
相应地,还执行以下操作:
根据所述左耳原始粒子速度、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳粒子速度公式确定与所述预设扬声器对应的第三分配权重;
根据所述右耳原始粒子速度、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳粒子速度公式确定与所述预设扬声器对应的第四分配权重。
进一步地,处理器1001可以调用存储器1005中存储的基于听音点追踪的声场重建程序,还执行以下操作:
调用摄像头对用户左耳与用户右耳进行追踪监控,以获得监控图像信息;
根据所述监控图像信息确定所述用户左耳处的左耳位置信息以及所述用户右耳处的右耳位置信息。
本实施例中将先获取左耳位置信息、右耳位置信息、各预设扬声器的扬声器位置信息以及预设原始声信号,根据预设原始声信号通过预设原始声音性质公式确定在左耳位置信息处的原始左耳声音性质参数以及在右耳位置信息处的原始右耳声音性质参数,再根据得到的原始左耳声音性质参数与原始右耳声音性质参数通过预设重建声音性质公式确定与预设扬声器对应的目标分配权重,根据目标分配权重调整待输出的重建声信号,以通过重建声信号重建出声场。明显地,本实施例中将以声场重建前后声音的物理性质不变作为原则,从而保证了目标分配权重调整的重建声信号重建出的声场在左耳位置处的声音物理性质与原始左耳声音性质参数相符,同时在右耳位置处的声音物理性质也与原始右耳声音性质参数相符,也就保证了在左耳右耳两处听音点的听音效果较好。同时由于将左耳右耳两处听音点的位置信息作为可变化输入量,也就便于在听音点位置变化时控制其动态听音效果,从而解决了在听音点位置变化时无法保证较好的动态听音效果的技术问题。
基于上述硬件结构,提出本发明基于听音点追踪的声场重建方法的实施例。
参照图2,图2为本发明基于听音点追踪的声场重建方法第一实施例的流程示意图。
在第一实施例中,所述基于听音点追踪的声场重建方法包括以下步骤:
步骤S10:获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息。
可以理解的是,考虑到大多声场重建方式多以人头中心即一个中心听音点来重建声场,从而仅保证了该中心听音点处的听音效果。本实施例将结合人体实际存在的左耳右耳两处听音点来进行声场重建;并且,在此前提之上,还将实时追踪并获取左耳右耳处的位置信息,并基于此位置信息来调整最终待输出的重建声信号,使得重建声信号重建出的声场可以保证较好的动态听音效果。
在具体实现中,可先将用户左耳作为一听音点,并获取在球体空间中某一时刻比如T时刻用户左耳处的左耳位置信息,可记为球体空间的球心即为坐标系的原点;将用户右耳作为一听音点,并获取T时刻用户右耳处的右耳位置信息,可记为
步骤S20:获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号。
可以理解的是,本实施例的执行主体为用户设备,用户设备中包括用于输出声信号的预设扬声器,预设扬声器的数量可大于等于2个,比如,预设扬声器的数量可为3个。
应当理解的是,扬声器位置信息用于记录预设扬声器在球体空间中所处的物理位置信息。若预设扬声器的数量为3个,扬声器位置信息可记为γ表示预设扬声器的数量,γ=3。所以,三个用于重建声场的预设扬声器的扬声器位置信息分别为以及其中,以及
可以理解的是,预设原始声信号为预设扬声器欲重建的初始信号,且该初始信号将由预设原始声源发出,该预设原始声源可为单个扬声器。若预设原始声信号为频域信号,可记为s(ω)。
步骤S30:根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数。
可以理解的是,在获取到s(ω)后,可基于预设原始声音性质公式确定由该s(ω)构建的原始声场在左耳位置处的声音物理性质以及在右耳位置处的声音物理性质。原始左耳声音性质参数为预设原始声源构建的原始声场在左耳位置信息处的声音物理性质参数,原始右耳声音性质参数为预设原始声源构建的原始声场在右耳位置信息处的声音物理性质参数。声音物理性质参数用于记录声音的物理特性,包括有声压以及粒子速度等参数类型。
步骤S40:根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重。
应当理解的是,依据声场重建前后声音的物理性质不变的原则,可使用预设重建声音性质公式分别基于左耳处声音的物理特性以及右耳处声音的物理特性确定预设扬声器输出重建声信号时采用的分配权重,而分配权重用于控制预设扬声器输出的重建声信号的大小。明显地,在预设扬声器的实际播放过程中,通过控制待输出的重建声信号的大小可灵活调整重建声信号重建出的声场,以使得重建出的声场在左耳位置的声音物理特性尽量符合原始左耳声音性质参数,并使得重建出的声场在左耳位置的声音物理特性尽量符合原始右耳声音性质参数。
步骤S50:根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
可以理解的是,通过原始左耳声音性质参数与原始右耳声音性质参数来确定目标分配权重,并基于目标分配权重来调整预设扬声器实际输出的重建声信号,使得实际输出的重建声信号可以保持有原始左耳声音性质参数与原始右耳声音性质参数的数值的声音物理特性。
本实施例中将先获取左耳位置信息、右耳位置信息、各预设扬声器的扬声器位置信息以及预设原始声信号,根据预设原始声信号通过预设原始声音性质公式确定在左耳位置信息处的原始左耳声音性质参数以及在右耳位置信息处的原始右耳声音性质参数,再根据得到的原始左耳声音性质参数与原始右耳声音性质参数通过预设重建声音性质公式确定与预设扬声器对应的目标分配权重,根据目标分配权重调整待输出的重建声信号,以通过重建声信号重建出声场。明显地,本实施例中将以声场重建前后声音的物理性质不变作为原则,从而保证了目标分配权重调整的重建声信号重建出的声场在左耳位置处的声音物理性质与原始左耳声音性质参数相符,同时在右耳位置处的声音物理性质也与原始右耳声音性质参数相符,也就保证了在左耳右耳两处听音点的听音效果较好。同时由于将左耳右耳两处听音点的位置信息作为可变化输入量,也就便于在听音点位置变化时控制其动态听音效果,从而解决了在听音点位置变化时无法保证较好的动态听音效果的技术问题。
参照图3,图3为本发明基于听音点追踪的声场重建方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明基于听音点追踪的声场重建方法的第二实施例。
第二实施例中,所述预设原始声音性质公式包括预设原始声压值公式,所述预设重建声音性质公式包括预设重建声压值公式,所述原始左耳声音性质参数包括左耳原始声压值,所述原始右耳声音性质参数包括右耳原始声压值。
可以理解的是,声音物理性质参数的类型就声压而言,将以声压作为声场重建前后声音的物理性质不变的基准。其中,可将左耳原始声压值记为pLT,用于表示预设原始声源构建的原始声场在左耳位置信息处的声压值;可将右耳原始声压值记为pRT,用于表示预设原始声源构建的原始声场在右耳位置信息处的声压值。
所述步骤S30,包括:
步骤S301:根据所述预设原始声信号通过所述预设原始声压值公式确定在所述左耳位置信息处的左耳原始声压值以及在所述右耳位置信息处的右耳原始声压值。
在具体实现中,可基于预设原始声压值公式来确定预设原始声源构建出的原始声场在左耳处的声压值pLT,以及原始声场在右耳处的声压值pRT
所述步骤S40,包括:
步骤S401:根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重。
在具体实现中,通过pLT与pRT来确定目标分配权重,并基于目标分配权重来调整预设扬声器实际输出的重建声信号,使得实际输出的重建声信号在左耳位置处保持有数值为pLT的声压特性,在右耳位置处保持有数值为pRT的声压特性。
进一步地,所述预设原始声压值公式包括预设原始左耳声压值公式与预设原始右耳声压值公式,所述预设重建声压值公式包括预设重建左耳声压值公式与预设重建右耳声压值公式;
所述获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号之后,所述基于听音点追踪的声场重建方法还包括:
获取所述预设原始声源处的预设原始声源位置信息;
所述根据所述预设原始声信号通过所述预设原始声压值公式确定在所述左耳位置信息处的左耳原始声压值以及在所述右耳位置信息处的右耳原始声压值,包括:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳声压值公式确定所述预设原始声源在所述用户左耳处的左耳原始声压值;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳声压值公式确定所述预设原始声源在所述用户右耳处的右耳原始声压值;
所述根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重,包括:
根据所述左耳原始声压值、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳声压值公式确定与所述预设扬声器对应的第一分配权重;
根据所述右耳原始声压值、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳声压值公式确定与所述预设扬声器对应的第二分配权重;
根据最小二乘法对所述第一分配权重与所述第二分配权重进行求解,以获得第一最小二乘解,并将所述第一最小二乘解作为目标分配权重。
可以理解的是,预设原始声源位置信息用于记录预设原始声源所处的位置信息,可记为
在具体实现中,为了获得左耳原始声压值pLT,可基于预设原始左耳声压值公式来获得左耳原始声压值pLT,该预设原始左耳声压值公式具体为,
其中,为左耳原始声压值,为左耳位置信息,i表示虚部单位,k表示波数,表示预设原始声源位置信息,s(ω)表示预设原始声信号,若预设原始声信号以时域信号表示,也可记为s(t)。G是一个定比常量,表示扬声器单位距离处的声压同扬声器输入信号的比例。明显地,表示T时刻左耳听音点到预设原始声源的距离。
应当理解的是,在预设原始左耳声压值公式下根据左耳位置信息预设原始声源位置信息以及预设原始声信号s(ω)可以获得预设原始声源在用户左耳处的左耳原始声压值
在具体实现中,为了获得右耳原始声压值pRT,可基于预设原始右耳声压值公式来获得右耳原始声压值pRT,该预设原始右耳声压值公式具体为,
其中,为右耳原始声压值,为右耳位置信息,i表示虚部单位,k表示波数,表示预设原始声源位置信息,s(ω)表示预设原始声信号,G是一个定比常量。明显地,表示T时刻右耳听音点到预设原始声源的距离。
应当理解的是,在预设原始右耳声压值公式下根据右耳位置信息预设原始声源位置信息以及预设原始声信号s(ω)可以获得预设原始声源在用户右耳处的右耳原始声压值
可以理解的是,在获得了左耳原始声压值pLT与右耳原始声压值pRT后,可以pLT与pRT为依据来求得满足pLT与pRT的声压要求的目标分配权要。
在具体实现中,为了满足左耳原始声压值pLT的声压要求,可基于预设重建左耳声压值公式来确定第一分配权重,该预设重建左耳声压值公式具体为,
其中,若预设扬声器的数量为3,为左耳重建声压值,左耳重建声压值用于表示三个预设扬声器在左耳处平移合成的声压,为左耳位置信息,G是一个定比常量,i表示虚部单位,k表示波数,为扬声器位置信息,γ=3,λγT为第一分配权重,λγTα(ω)为重建声信号,3个预设扬声器待输出的重建声信号分别为λ1Tα(t)、λ2Tα(t)以及λ3Tα(t)。此外,表示T时刻左耳位置的听音点到第γ个预设扬声器的距离。
应当理解的是,可将左耳原始声压值pLT的数值赋予左耳重建声压值,即以使得重建声场保证左耳处的声压。在预设重建左耳声压值公式下根据确定的声压值pLT、左耳位置信息以及扬声器位置信息可以确定用于控制重建声信号的第一分配权重λγT
在具体实现中,为了满足右耳原始声压值pRT的声压要求,可基于预设重建右耳声压值公式来确定第二分配权重,该预设重建右耳声压值公式具体为,
其中,若预设扬声器的数量为3,为右耳重建声压值,右耳重建声压值用于表示三个预设扬声器在右耳处平移合成的声压,为右耳位置信息,G是一个定比常量,i表示虚部单位,k表示波数,为扬声器位置信息,γ=3,λγT为第二分配权重,λγTα(ω)为重建声信号。此外,表示T时刻右耳位置的听音点到第γ个预设扬声器的距离。
应当理解的是,可将右耳原始声压值pRT的数值赋予右耳重建声压值,即以使得重建声场保证右耳处的声压。在预设重建右耳声压值公式下根据确定的声压值pRT、右耳位置信息以及扬声器位置信息可以确定用于控制重建声信号的第二分配权重λγT
可以理解的是,考虑到第一分配权重与第二分配权重可能重合也可能不同,实质上对下列式进行求解,
所以,可基于最小二乘法来求出最小二乘解。将最小二乘解最终确定的分配权重作为目标分配权重对重建声信号进行控制。
本实施例中将以声压性质在声场前后声音的物理性质不变为基准进行声场的重建,以保证双耳处的听音效果维持在较好的质量上。
参照图4,图4为本发明基于听音点追踪的声场重建方法第三实施例的流程示意图,基于上述图3所示的第二实施例,提出本发明基于听音点追踪的声场重建方法的第三实施例。
第三实施例中,所述预设原始声音性质公式包括预设原始粒子速度公式,所述预设重建声音性质公式包括预设重建粒子速度公式,所述原始左耳声音性质参数包括左耳原始粒子速度,所述原始右耳声音性质参数包括右耳原始粒子速度。
可以理解的是,考虑到声音物理性质参数的类型存在多种,可同时参考声压与粒子速度。其中,可将左耳原始粒子速度记为uLT,用于表示预设原始声源构建的原始声场在左耳位置信息处的粒子速度;右耳原始粒子速度记为uRT,用于表示预设原始声源构建的原始声场在右耳位置信息处的粒子速度。
所述步骤S401之后,所述基于听音点追踪的声场重建方法还包括:
步骤S402:根据所述预设原始声信号通过所述预设原始粒子速度公式确定在所述左耳位置信息处的左耳原始粒子速度以及在所述右耳位置信息处的右耳原始粒子速度。
在具体实现中,可基于预设原始粒子速度公式来确定预设原始声源构建出的原始声场在左耳处的粒子速度uLT,以及原始声场在右耳处的粒子速度uRT
步骤S403:根据所述左耳原始粒子速度与所述右耳原始粒子速度通过所述预设重建粒子速度公式确定与所述扬声器位置信息处的预设扬声器对应的待选取分配权重。
在具体实现中,可通过uLT与uRT来确定待选取分配权重,并基于待选取分配权重来调整预设扬声器实际输出的重建声信号,使得实际输出的重建声信号在左耳位置处保持有数值为uLT的粒子速度特性,在右耳位置处保持有数值为uRT的粒子速度特性。
步骤S404:根据最小二乘法对所述目标分配权重与所述待选取分配权重进行求解,以获得第二最小二乘解,并将所述第二最小二乘解作为待输出分配权重。
可以理解的是,考虑到基于声压特性确定的目标分配权重的数值与基于粒子速度特性确定的待选取分配权重的数值可能重合也可能不同,可基于最小二乘法来求出最小二乘解,以从各分配权重中选出最小化误差的分配权重作为待输出分配权重,也就同时满足了声压特性与粒子速度特性。
所述步骤S50,包括:
步骤S501:根据所述待输出分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
进一步地,所述预设原始粒子速度公式包括预设原始左耳粒子速度公式与预设原始右耳粒子速度公式,所述预设重建粒子速度公式包括预设重建左耳粒子速度公式与预设重建右耳粒子速度公式,所述待选取分配权重包括第三分配权重以及第四分配权重;
所述获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号之后,所述基于听音点追踪的声场重建方法还包括:
获取所述预设原始声源处的预设原始声源位置信息;
所述根据所述预设原始声信号通过所述预设原始粒子速度公式确定在所述左耳位置信息处的左耳原始粒子速度以及在所述右耳位置信息处的右耳原始粒子速度,包括:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳粒子速度公式确定所述预设原始声源在所述用户左耳处的左耳原始粒子速度;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳粒子速度公式确定所述预设原始声源在所述用户右耳处的右耳原始粒子速度;
所述根据所述左耳原始粒子速度与所述右耳原始粒子速度通过所述预设重建粒子速度公式确定与所述扬声器位置信息处的预设扬声器对应的待选取分配权重,包括:
根据所述左耳原始粒子速度、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳粒子速度公式确定与所述预设扬声器对应的第三分配权重;
根据所述右耳原始粒子速度、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳粒子速度公式确定与所述预设扬声器对应的第四分配权重。
可以理解的是,预设原始声源位置信息用于记录预设原始声源所处的位置信息,可记为
在具体实现中,为了获得左耳原始粒子速度uLT,可基于预设原始左耳粒子速度公式来获得左耳原始粒子速度uLT,该预设原始左耳粒子速度公式具体为,
其中,为左耳原始粒子速度,为左耳位置信息,G是一个定比常量,i表示虚部单位,k表示波数,表示预设原始声源位置信息,xLT、yLT以及zLT分别代表T时刻左耳听音点所在空间的x、y以及z轴上的坐标,表示预设原始声源位置,s(ω)表示预设原始声信号。
应当理解的是,在预设原始左耳粒子速度公式下根据左耳位置信息预设原始声源位置信息以及预设原始声信号s(ω)可以获得预设原始声源在用户左耳处的左耳原始粒子速度
在具体实现中,为了获得右耳原始粒子速度uRT,可基于预设原始右耳粒子速度公式来获得右耳原始粒子速度uRT,该预设原始右耳粒子速度公式具体为,
其中,为右耳原始粒子速度,为右耳位置信息,i表示虚部单位,k表示波数,表示预设原始声源位置信息,xRT、yRT以及zRT分别代表T时刻右耳听音点所在空间的x、y以及z轴上的坐标,s(ω)表示预设原始声信号,G是一个定比常量。
应当理解的是,在预设原始右耳粒子速度公式下根据右耳位置信息预设原始声源位置信息以及预设原始声信号s(ω)可以获得预设原始声源在用户右耳处的右耳原始粒子速度
可以理解的是,在获得了左耳原始粒子速度uLT与右耳原始粒子速度uRT后,可以uLT与uRT为依据来求得满足uLT与uRT的粒子速度要求的待选取分配权重。
在具体实现中,鉴于待选取分配权重中包括以左耳原始粒子速度uLT为依据的第三分配权重,以及以右耳原始粒子速度uRT为依据的第四分配权重。为了满足左耳原始粒子速度uLT的粒子速度要求,可基于预设重建左耳粒子速度公式来确定第三分配权重,该预设重建左耳粒子速度公式具体为,
其中,若预设扬声器的数量为3,为左耳重建粒子速度,左耳重建粒子速度用于表示三个预设扬声器在左耳处平移合成的粒子速度,为左耳位置信息,G是一个定比常量,i表示虚部单位,k表示波数,为扬声器位置信息,γ=3,λγT为第三分配权重,λγTα(ω)为重建声信号。
应当理解的是,可将左耳原始粒子速度uLT的数值赋予左耳重建粒子速度,即以使得重建声场保证左耳处的粒子速度。在预设重建左耳粒子速度公式下根据确定的粒子速度值uLT、左耳位置信息以及扬声器位置信息可以确定用于控制重建声信号的第三分配权重λγT
在具体实现中,为了满足右耳原始粒子速度uRT的粒子速度要求,可基于预设重建右耳粒子速度公式来确定第四分配权重,该预设重建右耳粒子速度公式具体为,
其中,若预设扬声器的数量为3,为右耳重建粒子速度,右耳重建粒子速度用于表示三个预设扬声器在右耳处平移合成的粒子速度,为右耳位置信息,G是一个定比常量,i表示虚部单位,k表示波数,为扬声器位置信息,γ=3,λγT为第四分配权重,λγTα(ω)为重建声信号。
应当理解的是,可将右耳原始粒子速度uRT的数值赋予右耳重建粒子速度,即以使得重建声场保证右耳处的粒子速度。在预设重建右耳粒子速度公式下根据确定的声压值uRT、右耳位置信息以及扬声器位置信息可以确定用于控制重建声信号的第四分配权重λγT
可以理解的是,考虑到目标分配权重、第三分配权重以及第四分配权重可能重合也可能不同,可基于最小二乘法来求出最小二乘解,并将最小二乘解最终确定的分配权重作为待输出分配权重对重建声信号进行控制。
此外,比之第二实施例中将对第一分配权重与第二分配权重进行求解,本实施例也可不对第一分配权重与第二分配权重进行求解,而将第一分配权重与第二分配权重直接认定为目标分配权重,也就表示目标分配权重中同时包括第一分配权重与第二分配权重。若如此,则求解过程实质上是对第一分配权重、第二分配权重、第三分配权重以及第四分配权重基于最小二乘法来求出最小二乘解。考虑到第一分配权重、第二分配权重、第三分配权重以及第四分配权重可能重合也可能不同,实质上是在对下列式进行求解,
所以,可基于最小二乘法来求出第二最小二乘解。将第二最小二乘解最终确定的分配权重作为待输出分配权重对重建声信号进行控制,从而保证了T时刻非中心听点的左、右耳处的原始声压和粒子速度分别与重建声场平移合成的声压和粒子速度相等。
进一步地,所述获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息,包括:
调用摄像头对用户左耳与用户右耳进行追踪监控,以获得监控图像信息;
根据所述监控图像信息确定所述用户左耳处的左耳位置信息以及所述用户右耳处的右耳位置信息。
在具体实现中,为了动态捕捉用户左右耳所处的物理位置,可参照图5,在用户设备中嵌入摄像头,并调用摄像头来实时追踪左耳位置信息与右耳位置信息。具体而言,将先抓拍出监控图像信息,并从监控图像信息中识别出用户左耳与用户右耳,以确定用户左耳处的位置信息以及用户右耳处的位置信息。
可以理解的是,如图5示意的执行流程以及绘制有的4个预设扬声器,在获取到预设原始声信号后,将基于摄像头处确定的双耳位置信息与分配权重进行信号处理,以确定待输出的重建声信号。并通过重建声信号来进行声卡控制,以控制预设扬声器实际输出该重建声信号。
当然,用户设备中除了可设置摄像头以确定左耳位置信息以及右耳位置信息外,还可设置左右耳穿戴式传感器以供用户穿戴,从而实时捕捉到任意时刻左右耳听音点的位置信息。
本实施例中将以联合声压性质与粒子速度性质在声场前后声音的物理性质不变为基准进行声场的重建,以保证双耳处的听音效果维持在较好的质量上。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于听音点追踪的声场重建程序,所述基于听音点追踪的声场重建程序被处理器执行时实现如下操作:
获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息;
获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号;
根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数;
根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重;
根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
进一步地,所述基于听音点追踪的声场重建程序被处理器执行时还实现如下操作:
根据所述预设原始声信号通过所述预设原始声压值公式确定在所述左耳位置信息处的左耳原始声压值以及在所述右耳位置信息处的右耳原始声压值;
相应地,还实现如下操作:
根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重。
进一步地,所述基于听音点追踪的声场重建程序被处理器执行时还实现如下操作:
获取所述预设原始声源处的预设原始声源位置信息;
相应地,还实现如下操作:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳声压值公式确定所述预设原始声源在所述用户左耳处的左耳原始声压值;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳声压值公式确定所述预设原始声源在所述用户右耳处的右耳原始声压值;
相应地,还实现如下操作:
根据所述左耳原始声压值、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳声压值公式确定与所述预设扬声器对应的第一分配权重;
根据所述右耳原始声压值、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳声压值公式确定与所述预设扬声器对应的第二分配权重;
根据最小二乘法对所述第一分配权重与所述第二分配权重进行求解,以获得第一最小二乘解,并将所述第一最小二乘解作为目标分配权重。
进一步地,所述基于听音点追踪的声场重建程序被处理器执行时还实现如下操作:
根据所述预设原始声信号通过所述预设原始粒子速度公式确定在所述左耳位置信息处的左耳原始粒子速度以及在所述右耳位置信息处的右耳原始粒子速度;
根据所述左耳原始粒子速度与所述右耳原始粒子速度通过所述预设重建粒子速度公式确定与所述扬声器位置信息处的预设扬声器对应的待选取分配权重;
根据最小二乘法对所述目标分配权重与所述待选取分配权重进行求解,以获得第二最小二乘解,并将所述第二最小二乘解作为待输出分配权重;
相应地,还实现如下操作:
根据所述待输出分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
进一步地,所述基于听音点追踪的声场重建程序被处理器执行时还实现如下操作:
获取所述预设原始声源处的预设原始声源位置信息;
相应地,还实现如下操作:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳粒子速度公式确定所述预设原始声源在所述用户左耳处的左耳原始粒子速度;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳粒子速度公式确定所述预设原始声源在所述用户右耳处的右耳原始粒子速度;
相应地,还实现如下操作:
根据所述左耳原始粒子速度、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳粒子速度公式确定与所述预设扬声器对应的第三分配权重;
根据所述右耳原始粒子速度、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳粒子速度公式确定与所述预设扬声器对应的第四分配权重。
进一步地,所述基于听音点追踪的声场重建程序被处理器执行时还实现如下操作:
调用摄像头对用户左耳与用户右耳进行追踪监控,以获得监控图像信息;
根据所述监控图像信息确定所述用户左耳处的左耳位置信息以及所述用户右耳处的右耳位置信息。
本实施例中将先获取左耳位置信息、右耳位置信息、各预设扬声器的扬声器位置信息以及预设原始声信号,根据预设原始声信号通过预设原始声音性质公式确定在左耳位置信息处的原始左耳声音性质参数以及在右耳位置信息处的原始右耳声音性质参数,再根据得到的原始左耳声音性质参数与原始右耳声音性质参数通过预设重建声音性质公式确定与预设扬声器对应的目标分配权重,根据目标分配权重调整待输出的重建声信号,以通过重建声信号重建出声场。明显地,本实施例中将以声场重建前后声音的物理性质不变作为原则,从而保证了目标分配权重调整的重建声信号重建出的声场在左耳位置处的声音物理性质与原始左耳声音性质参数相符,同时在右耳位置处的声音物理性质也与原始右耳声音性质参数相符,也就保证了在左耳右耳两处听音点的听音效果较好。同时由于将左耳右耳两处听音点的位置信息作为可变化输入量,也就便于在听音点位置变化时控制其动态听音效果,从而解决了在听音点位置变化时无法保证较好的动态听音效果的技术问题。
此外,参照图6,本发明实施例还提出一种基于听音点追踪的声场重建装置,所述基于听音点追踪的声场重建装置包括:
听音点追踪模块10,用于获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息;
信息获取模块20,用于获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号;
原始声音参数确定模块30,用于根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数;
分配权重确定模块40,用于根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重;
声场重建模块50,用于根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
本实施例中将先获取左耳位置信息、右耳位置信息、各预设扬声器的扬声器位置信息以及预设原始声信号,根据预设原始声信号通过预设原始声音性质公式确定在左耳位置信息处的原始左耳声音性质参数以及在右耳位置信息处的原始右耳声音性质参数,再根据得到的原始左耳声音性质参数与原始右耳声音性质参数通过预设重建声音性质公式确定与预设扬声器对应的目标分配权重,根据目标分配权重调整待输出的重建声信号,以通过重建声信号重建出声场。明显地,本实施例中将以声场重建前后声音的物理性质不变作为原则,从而保证了目标分配权重调整的重建声信号重建出的声场在左耳位置处的声音物理性质与原始左耳声音性质参数相符,同时在右耳位置处的声音物理性质也与原始右耳声音性质参数相符,也就保证了在左耳右耳两处听音点的听音效果较好。同时由于将左耳右耳两处听音点的位置信息作为可变化输入量,也就便于在听音点位置变化时控制其动态听音效果,从而解决了在听音点位置变化时无法保证较好的动态听音效果的技术问题。
本发明所述基于听音点追踪的声场重建装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于听音点追踪的声场重建方法,其特征在于,所述基于听音点追踪的声场重建方法包括以下步骤:
获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息;
获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号;
根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数;
根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重;
根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
2.如权利要求1所述的基于听音点追踪的声场重建方法,其特征在于,所述预设原始声音性质公式包括预设原始声压值公式,所述预设重建声音性质公式包括预设重建声压值公式,所述原始左耳声音性质参数包括左耳原始声压值,所述原始右耳声音性质参数包括右耳原始声压值;
所述根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数,包括:
根据所述预设原始声信号通过所述预设原始声压值公式确定在所述左耳位置信息处的左耳原始声压值以及在所述右耳位置信息处的右耳原始声压值;
所述根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重,包括:
根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重。
3.如权利要求2所述的基于听音点追踪的声场重建方法,其特征在于,所述预设原始声压值公式包括预设原始左耳声压值公式与预设原始右耳声压值公式,所述预设重建声压值公式包括预设重建左耳声压值公式与预设重建右耳声压值公式;
所述获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号之后,所述基于听音点追踪的声场重建方法还包括:
获取所述预设原始声源处的预设原始声源位置信息;
所述根据所述预设原始声信号通过所述预设原始声压值公式确定在所述左耳位置信息处的左耳原始声压值以及在所述右耳位置信息处的右耳原始声压值,包括:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳声压值公式确定所述预设原始声源在所述用户左耳处的左耳原始声压值;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳声压值公式确定所述预设原始声源在所述用户右耳处的右耳原始声压值;
所述根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重,包括:
根据所述左耳原始声压值、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳声压值公式确定与所述预设扬声器对应的第一分配权重;
根据所述右耳原始声压值、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳声压值公式确定与所述预设扬声器对应的第二分配权重;
根据最小二乘法对所述第一分配权重与所述第二分配权重进行求解,以获得第一最小二乘解,并将所述第一最小二乘解作为目标分配权重。
4.如权利要求2所述的基于听音点追踪的声场重建方法,其特征在于,所述预设原始声音性质公式包括预设原始粒子速度公式,所述预设重建声音性质公式包括预设重建粒子速度公式,所述原始左耳声音性质参数包括左耳原始粒子速度,所述原始右耳声音性质参数包括右耳原始粒子速度;
所述根据所述左耳原始声压值与所述右耳原始声压值通过所述预设重建声压值公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重之后,所述基于听音点追踪的声场重建方法还包括:
根据所述预设原始声信号通过所述预设原始粒子速度公式确定在所述左耳位置信息处的左耳原始粒子速度以及在所述右耳位置信息处的右耳原始粒子速度;
根据所述左耳原始粒子速度与所述右耳原始粒子速度通过所述预设重建粒子速度公式确定与所述扬声器位置信息处的预设扬声器对应的待选取分配权重;
根据最小二乘法对所述目标分配权重与所述待选取分配权重进行求解,以获得第二最小二乘解,并将所述第二最小二乘解作为待输出分配权重;
所述根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建,包括:
根据所述待输出分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
5.如权利要求4所述的基于听音点追踪的声场重建方法,其特征在于,所述预设原始粒子速度公式包括预设原始左耳粒子速度公式与预设原始右耳粒子速度公式,所述预设重建粒子速度公式包括预设重建左耳粒子速度公式与预设重建右耳粒子速度公式,所述待选取分配权重包括第三分配权重以及第四分配权重;
所述获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号之后,所述基于听音点追踪的声场重建方法还包括:
获取所述预设原始声源处的预设原始声源位置信息;
所述根据所述预设原始声信号通过所述预设原始粒子速度公式确定在所述左耳位置信息处的左耳原始粒子速度以及在所述右耳位置信息处的右耳原始粒子速度,包括:
根据所述左耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始左耳粒子速度公式确定所述预设原始声源在所述用户左耳处的左耳原始粒子速度;
根据所述右耳位置信息、所述预设原始声源位置信息以及所述预设原始声信号通过所述预设原始右耳粒子速度公式确定所述预设原始声源在所述用户右耳处的右耳原始粒子速度;
所述根据所述左耳原始粒子速度与所述右耳原始粒子速度通过所述预设重建粒子速度公式确定与所述扬声器位置信息处的预设扬声器对应的待选取分配权重,包括:
根据所述左耳原始粒子速度、所述左耳位置信息以及所述扬声器位置信息通过所述预设重建左耳粒子速度公式确定与所述预设扬声器对应的第三分配权重;
根据所述右耳原始粒子速度、所述右耳位置信息以及所述扬声器位置信息通过所述预设重建右耳粒子速度公式确定与所述预设扬声器对应的第四分配权重。
6.如权利要求1至5中任一项所述的基于听音点追踪的声场重建方法,其特征在于,所述获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息,包括:
调用摄像头对用户左耳与用户右耳进行追踪监控,以获得监控图像信息;
根据所述监控图像信息确定所述用户左耳处的左耳位置信息以及所述用户右耳处的右耳位置信息。
7.如权利要求1至5中任一项所述的基于听音点追踪的声场重建方法,其特征在于,所述预设扬声器的数量为3。
8.一种用户设备,其特征在于,所述用户设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行基于听音点追踪的声场重建程序,所述基于听音点追踪的声场重建程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于听音点追踪的声场重建方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有基于听音点追踪的声场重建程序,所述基于听音点追踪的声场重建程序被处理器执行时实现如权利要求1至7中任一项所述的基于听音点追踪的声场重建方法的步骤。
10.一种基于听音点追踪的声场重建装置,其特征在于,所述基于听音点追踪的声场重建装置包括:
听音点追踪模块,用于获取用户左耳的左耳位置信息以及用户右耳的右耳位置信息;
信息获取模块,用于获取各预设扬声器的扬声器位置信息以及预设原始声源处输出的预设原始声信号;
原始声音参数确定模块,用于根据所述预设原始声信号通过预设原始声音性质公式确定在所述左耳位置信息处的原始左耳声音性质参数以及在所述右耳位置信息处的原始右耳声音性质参数;
分配权重确定模块,用于根据所述原始左耳声音性质参数与所述原始右耳声音性质参数通过预设重建声音性质公式确定与所述扬声器位置信息处的预设扬声器对应的目标分配权重;
声场重建模块,用于根据所述目标分配权重调整所述预设扬声器输出的重建声信号,以追踪所述用户左耳处与所述用户右耳处的听音点进行声场重建。
CN201811485287.6A 2018-12-04 2018-12-04 基于听音点追踪的声场重建方法、设备、存储介质及装置 Pending CN109474882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811485287.6A CN109474882A (zh) 2018-12-04 2018-12-04 基于听音点追踪的声场重建方法、设备、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811485287.6A CN109474882A (zh) 2018-12-04 2018-12-04 基于听音点追踪的声场重建方法、设备、存储介质及装置

Publications (1)

Publication Number Publication Date
CN109474882A true CN109474882A (zh) 2019-03-15

Family

ID=65675639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811485287.6A Pending CN109474882A (zh) 2018-12-04 2018-12-04 基于听音点追踪的声场重建方法、设备、存储介质及装置

Country Status (1)

Country Link
CN (1) CN109474882A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110475197A (zh) * 2019-07-26 2019-11-19 中车青岛四方机车车辆股份有限公司 一种声场回放方法和装置
CN111464932A (zh) * 2020-04-07 2020-07-28 武汉轻工大学 基于多个听音点的声场重建方法、装置、设备及存储介质
CN113079453A (zh) * 2021-03-18 2021-07-06 长沙联远电子科技有限公司 一种听觉音效智能跟随方法及系统
CN113286252A (zh) * 2021-07-23 2021-08-20 科大讯飞(苏州)科技有限公司 一种声场重建方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037301A (zh) * 2012-12-19 2013-04-10 武汉大学 一种声像距离信息恢复便携调整方法
CN103052018A (zh) * 2012-12-19 2013-04-17 武汉大学 一种声像距离信息恢复方法
CN103347245A (zh) * 2013-07-01 2013-10-09 武汉大学 一种立体声系统中恢复声源方位信息的方法与装置
CN105120419A (zh) * 2015-08-27 2015-12-02 武汉大学 一种多声道系统效果增强方法及系统
CN106454685A (zh) * 2016-11-25 2017-02-22 武汉大学 一种声场重建方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037301A (zh) * 2012-12-19 2013-04-10 武汉大学 一种声像距离信息恢复便携调整方法
CN103052018A (zh) * 2012-12-19 2013-04-17 武汉大学 一种声像距离信息恢复方法
CN103347245A (zh) * 2013-07-01 2013-10-09 武汉大学 一种立体声系统中恢复声源方位信息的方法与装置
CN105120419A (zh) * 2015-08-27 2015-12-02 武汉大学 一种多声道系统效果增强方法及系统
CN106454685A (zh) * 2016-11-25 2017-02-22 武汉大学 一种声场重建方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110475197A (zh) * 2019-07-26 2019-11-19 中车青岛四方机车车辆股份有限公司 一种声场回放方法和装置
CN110475197B (zh) * 2019-07-26 2021-03-26 中车青岛四方机车车辆股份有限公司 一种声场回放方法和装置
CN111464932A (zh) * 2020-04-07 2020-07-28 武汉轻工大学 基于多个听音点的声场重建方法、装置、设备及存储介质
CN113079453A (zh) * 2021-03-18 2021-07-06 长沙联远电子科技有限公司 一种听觉音效智能跟随方法及系统
CN113079453B (zh) * 2021-03-18 2022-10-28 长沙联远电子科技有限公司 一种听觉音效智能跟随方法及系统
CN113286252A (zh) * 2021-07-23 2021-08-20 科大讯飞(苏州)科技有限公司 一种声场重建方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109474882A (zh) 基于听音点追踪的声场重建方法、设备、存储介质及装置
CN111800694B (zh) 一种主动降噪耳机的滤波器设计方法、装置及测试设备
US20200403590A1 (en) Transforming audio content for subjective fidelity
CN108462895A (zh) 音效处理方法、装置和机器可读介质
CN111294724B (zh) 多个音频流的空间重新定位
CN104967960A (zh) 语音数据处理方法、游戏直播中的语音数据处理方法和系统
US10757528B1 (en) Methods and systems for simulating spatially-varying acoustics of an extended reality world
CN108966114A (zh) 声场重建方法、音频设备、存储介质及装置
CN108966113A (zh) 基于角度的声场重建方法、音频设备、存储介质及装置
CN106790940A (zh) 录音方法、录音播放方法、装置及终端
WO2023029829A1 (zh) 音频处理方法、装置、用户终端及计算机可读介质
JP2023516905A (ja) オーディオデータ処理方法、遅延時間取得方法、サーバ、及びコンピュータプログラム
CN109379490A (zh) 音频播放方法、装置、电子设备及计算机可读介质
CN106686481A (zh) 一种耳机降噪的方法及耳机
CN111314780B (zh) 回声消除功能的测试方法、装置及存储介质
US20240031766A1 (en) Sound processing method and apparatus thereof
WO2024037190A1 (zh) 音频处理方法和装置
CN102984370A (zh) 一种基于安卓的无线网络下变声通话的方法
CN113827953B (zh) 游戏控制系统
US11736889B2 (en) Personalized and integrated virtual studio
CN112788489B (zh) 控制方法、装置和电子设备
CN111756929A (zh) 多屏终端音频播放方法、装置、终端设备以及存储介质
CN115113737B (zh) 一种虚拟对象声音和图像的重现方法、系统、设备及介质
CN109302668A (zh) 基于非中心点的声场重建方法、设备、存储介质及装置
CN109462811A (zh) 基于非中心点的声场重建方法、设备、存储介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190315