CN116567517A - 声源方向虚拟方法、装置、设备及介质 - Google Patents
声源方向虚拟方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116567517A CN116567517A CN202310483677.4A CN202310483677A CN116567517A CN 116567517 A CN116567517 A CN 116567517A CN 202310483677 A CN202310483677 A CN 202310483677A CN 116567517 A CN116567517 A CN 116567517A
- Authority
- CN
- China
- Prior art keywords
- transfer function
- sound
- shielding
- sound source
- pressure level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 claims abstract description 395
- 238000012546 transfer Methods 0.000 claims abstract description 368
- 238000005314 correlation function Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 15
- 230000005236 sound signal Effects 0.000 claims description 122
- 238000013136 deep learning model Methods 0.000 claims description 33
- 210000005069 ears Anatomy 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 description 111
- 210000003128 head Anatomy 0.000 description 17
- 230000008569 process Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000000613 ear canal Anatomy 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011545 laboratory measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本发明公开了一种声源方向虚拟方法、装置、终端设备以及计算机可读存储介质，该方法应用于声音回放设备，该方法通过获取第一遮挡传输函数和第二遮挡传输函数，第一遮挡传输函数为对用户进行测量得到的用户的双耳之间的传输函数，第二遮挡传输函数为对模拟人体进行测量得到的模拟人体的双耳之间的传输函数；计算第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；根据第一遮挡传输函数、第二遮挡传输函数和相关函数对目标传输函数进行补偿，得到用户对应的个性化传输函数，个性化传输函数用于将待播放声源信号虚拟出待虚拟声源角度对应的听觉效果。本发明提高了声音回放设备模拟声源方向的适应性和准确性。
Description
技术领域
本发明属于信号处理技术领域，尤其涉及一种声源方向虚拟方法、装置、终端设备以及计算机可读存储介质。
背景技术
随着科技的快速发展，市场上已经出现了AR眼镜、VR眼镜和眼镜腿蓝牙声音播放器等头戴开放式声音回放设备。
目前，现有的头戴开放式声音回放设备可将声源方向虚拟到任意方向，即人听上去感觉声音来自于某个方向，实现一种空间音频功能。主要实现方式为，通过提前在模拟人体上进行测量，制作一个任意角度的HRTF(Head Related Transfer Function,头相关变换函数)数据库，该数据库可根据空间角度返回各音频通道的传递函数或者滤波器系数，各音频通道通过相应系数的滤波器进行处理后，再合成到左右声道的立体声音频经过扬声器播放出来，此时人耳听到就可判断出声音来自于对应的某个方向。但是，两耳在接收不同方向上的声音形成的差异感，主要因为耳朵位置、耳廓反射、头部、躯干遮挡和反射等形成的，很明显，不同的人耳廓形状大小、头部形状大小胖瘦等、躯干高矮胖瘦等这些因素不可能完全相同，所以用固定的HRTF来虚拟声源方向是不够准确的。
发明内容
本发明的主要目的在于提供一种声源方向虚拟方法、装置、终端设备以及计算机可读存储介质。旨在提高声音回放设备模拟声源方向的适应性和准确性。
为了实现上述目的，本发明提供一种声源方向虚拟方法，所述声源方向虚拟方法应用于声音回放设备，所述声源方向虚拟方法包括：
获取第一遮挡传输函数和第二遮挡传输函数，其中，所述第一遮挡传输函数为对用户进行测量得到的所述用户的双耳之间的传输函数，所述第二遮挡传输函数为对模拟人体进行测量得到的所述模拟人体的双耳之间的传输函数；
计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；
根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数，其中，所述个性化传输函数用于将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果。
可选地，所述声音回放设备包括第一扬声器、第一麦克风和第二麦克风，所述第一扬声器和所述第一麦克风安装在所述声音回放设备的第一位置，所述第二麦克风安装在所述声音回放设备的第二位置，所述第一位置和所述二位置中的其中一个是所述声音回放设备的左耳位置，另一个是所述声音回放设备的右耳位置；
获取第一遮挡传输函数的步骤包括：
在对用户进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取第一扬声器播放的预设音频信号，得到所述第一麦克风录取到的第一声音信号和所述第二麦克风录取到的第二声音信号；
计算所述第一声音信号对应的第一声压级和所述第二声音信号对应的第二声压级；
将所述第二声压级与所述第一声压级的比值作为所述用户对应的第一遮挡传输函数。
可选地，获取第二遮挡传输函数的步骤包括：
在对模拟人体进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取所述第一扬声器播放的所述预设音频信号，得到所述第一麦克风录取到的第三声音信号和所述第二麦克风录取到的第四声音信号；
计算所述第三声音信号对应的第三声压级和所述第四声音信号对应的第四声压级；
将所述第四声压级和所述第三声压级的比值作为所述模拟人体对应的第二遮挡传输函数。
可选地，所述根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数的步骤包括：
将所述第一遮挡传输函数和所述第二遮挡传输函数的比值作为所述用户和所述模拟人体之间的遮挡传输变化率；
将所述遮挡传输变化率与所述相关函数相乘，得到校准函数；
基于所述校准函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数。
可选地，所述根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数的步骤之后，还包括：
基于所述个性化传输函数对所述待播放音源信号进行频域滤波处理，得到待播放音频信号；
通过所述声音回放设备上的扬声器播放所述待播放音频信号。
可选地，所述计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数的步骤包括：
基于待虚拟声源角度从头相关传输函数数据库中获取所述待虚拟声源角度对应的目标传输函数；
从所述目标传输函数中提取出所述模拟人体的双耳各自对应的第五声压级；
将所述第五声压级和所述第四声压级输入至预先训练好的目标深度学习模型，生成所述第二遮挡传输函数和所述目标传输函数之间的相关函数。
可选地，所述将所述第五声压级和所述第四声压级输入至预先训练好的目标深度学习模型，生成所述第二遮挡传输函数和所述目标传输函数之间的相关函数的步骤之前，还包括：
从预设相关函数对应的预设遮挡传输函数和所述待虚拟角度对应的预设传输函数中，提取出所述预设遮挡传输函数中所述第二麦克风对应的第六声压级和所述预设传输函数中所述第二麦克风对应的第七声压级；
基于所述第六声压级和所述第七声压级建立模拟人体训练集；
基于所述模拟人体训练集对预先构建的初始深度学习模型进行模型训练，得到目标深度学习模型。
此外，为实现上述目的，本发明还提供一种声源方向虚拟装置，所述声源方向虚拟装置应用于声音回放设备，所述声源方向虚拟装置包括：
测量模块，用于获取第一遮挡传输函数和第二遮挡传输函数，其中，所述第一遮挡传输函数为对用户进行测量得到的所述用户的双耳之间的传输函数，所述第二遮挡传输函数为对模拟人体进行测量得到的所述模拟人体的双耳之间的传输函数；
相关函数模块，用于计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；
个性化传输函数模块，用于根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数，其中，所述个性化传输函数用于将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的声源方向虚拟程序，所述终端设备的声源方向虚拟程序被所述处理器执行时实现如上所述的声源方向虚拟方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有声源方向虚拟程序，所述声源方向虚拟程序被处理器执行时实现如上所述的声源方向虚拟方法的步骤。
本发明实施例通过分别对用户和模拟人体进行测量，得到用户双耳之间的第一遮挡传输函数和模拟人体双耳之间的第二遮挡传输函数，另外，计算出该第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数，最后，利用上述第一遮挡传输函数、第二遮挡传输函数和相关函数对目标传输函数进行个性化补偿，从而得到可以将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果的个性化传输函数，也就是说，通过个性化补偿后的个性化传输函数对声源方向进行虚拟，提高了与用户之间的适应性和虚拟声源方向时的准确性。
附图说明
图1是本发明实施例方案涉及的终端设备硬件运行环境的设备结构示意图；
图2为本发明声源方向虚拟方法第一实施例的步骤流程示意图；
图3为本发明声源方向虚拟方法的一实施例所涉及的设备应用流程示意图；
图4为本发明声源方向虚拟装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及终端设备的硬件运行环境的设备结构示意图。
需要说明的是，本发明实施例的终端设备可以是信号处理技术领域的声音回放设备、耳机、智能手机、个人计算机、服务器等设备，在此不做具体限制。
如图1所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(DiSplay)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及声源方向虚拟程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的声源方向虚拟程序，并执行如下操作：
获取第一遮挡传输函数和第二遮挡传输函数，其中，所述第一遮挡传输函数为对用户进行测量得到的所述用户的双耳之间的传输函数，所述第二遮挡传输函数为对模拟人体进行测量得到的所述模拟人体的双耳之间的传输函数；
计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；
根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数，其中，所述个性化传输函数用于将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果。
进一步地，声音回放设备包括第一扬声器、第一麦克风和第二麦克风，第一扬声器和第一麦克风安装在声音回放设备的第一位置，第二麦克风安装在声音回放设备的第二位置，第一位置和二位置中的其中一个是声音回放设备的左耳位置，另一个是声音回放设备的右耳位置，获取第一遮挡传输函数的操作包括：
在对用户进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取第一扬声器播放的预设音频信号，得到所述第一麦克风录取到的第一声音信号和所述第二麦克风录取到的第二声音信号；
计算所述第一声音信号对应的第一声压级和所述第二声音信号对应的第二声压级；
将所述第二声压级与所述第一声压级的比值作为所述用户对应的第一遮挡传输函数。
进一步地，获取第二遮挡传输函数的操作包括：
在对模拟人体进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取所述第一扬声器播放的所述预设音频信号，得到所述第一麦克风录取到的第三声音信号和所述第二麦克风录取到的第四声音信号；
计算所述第三声音信号对应的第三声压级和所述第四声音信号对应的第四声压级；
将所述第四声压级和所述第三声压级的比值作为所述模拟人体对应的第二遮挡传输函数。
进一步地，所述根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数的操作包括：
将所述第一遮挡传输函数和所述第二遮挡传输函数的比值作为所述用户和所述模拟人体之间的遮挡传输变化率；
将所述遮挡传输变化率与所述相关函数相乘，得到校准函数；
基于所述校准函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数。
进一步地，所述根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数的步骤之后，处理器1001还可以用于调用存储器1005中存储的声源方向虚拟程序，执行如下操作：
基于所述个性化传输函数对所述待播放音源信号进行频域滤波处理，得到待播放音频信号；
通过所述声音回放设备上的扬声器播放所述待播放音频信号。
进一步地，所述计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数的操作包括：
基于待虚拟声源角度从头相关传输函数数据库中获取所述待虚拟声源角度对应的目标传输函数；
从所述目标传输函数中提取出所述模拟人体的双耳各自对应的第五声压级；
将所述第五声压级和所述第四声压级输入至预先训练好的目标深度学习模型，生成所述第二遮挡传输函数和所述目标传输函数之间的相关函数。
进一步地，所述将所述第五声压级和所述第四声压级输入至预先训练好的目标深度学习模型，生成所述第二遮挡传输函数和所述目标传输函数之间的相关函数的步骤之前，处理器1001还可以用于调用存储器1005中存储的声源方向虚拟程序，执行如下操作：
从预设相关函数对应的预设遮挡传输函数和所述待虚拟角度对应的预设传输函数中，提取出所述预设遮挡传输函数中所述第二麦克风对应的第六声压级和所述预设传输函数中所述第二麦克风对应的第七声压级；
基于所述第六声压级和所述第七声压级建立模拟人体训练集；
基于所述模拟人体训练集对预先构建的初始深度学习模型进行模型训练，得到目标深度学习模型。
基于上述的结构，提出声源方向虚拟方法的各个实施例。
请参照图2，图2为本发明声源方向虚拟方法第一实施例的流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，本发明声源方向虚拟方法当然也可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中，声源方向虚拟方法的执行主体可以是个人电脑、智能手机等设备，在本实施例中并不做限制，以下为便于描述，省略执行主体进行各实施例的阐述。在本实施例中，所述声源方向虚拟方法应用于声音回放设备，所述声源方向虚拟方法包括：
步骤S10，获取第一遮挡传输函数和第二遮挡传输函数，其中，所述第一遮挡传输函数为对用户进行测量得到的所述用户的双耳之间的传输函数，所述第二遮挡传输函数为对模拟人体进行测量得到的所述模拟人体的双耳之间的传输函数；
获取通过对用户进行测量得到的遮挡传输函数(以下称为第一遮挡传输函数以示区分)和通过对模拟人体进行测量得到的遮挡传输函数(以下称为第二遮挡传输函数以示区分)，其中，第一遮挡传输函数用户的左右耳之间的传输函数，第二遮挡传输函数为模拟人体的左右耳之间的传输函数。
在一种可行的实施方式中，上述第一遮挡传输函数包括左耳遮挡传输函数U_r2l和右耳遮挡传输函数U_l2r，上述第二遮挡传输函数包括左耳遮挡传输函数H_r2l和右耳遮挡传输函数H_l2r。
需要说明的是，上述第一遮挡传输函数可以用来衡量当前佩戴声音回放设备的用户的头部和躯干对于声音信号的遮挡反射效果，同理，上述第二遮挡传输函数可以用来衡量实验室模拟人体的头部和躯干对于声音信号的遮挡反射效果，另外，值得强调的是，本发明中的声音回放设备为头戴开放式声音回放设备，便于对用户或者模拟人体进行个性化测量。
在一可行实施方式中，用户戴好声音回放设备后，声音回放设备在开机后自动对用户进行个性化测量，得到该用户对应的第一遮挡传输函数；在进行HRTF(Head RelatedTransfer Function,头相关传输函数)测量时，新增一项对实验室模拟人体的个性化测量，得到当声音回放设备佩戴在模拟人体头上时模拟人体左右耳之间的遮挡传输函数。
步骤S20，计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；
计算第二遮挡传输函数和预先获取的待虚拟声源角度对应的传输函数(以下称为目标传输函数以示区分)之间的相关函数；
需要说明的是，HRTF数据库的生成，一般是在实验室对模拟人体测量，测量过程为在模拟人体任意方向一定距离上放置扬声器进行播放特定音频，对模拟人体左右人耳处的麦克风进行录音，计算出从扬声器到左、右麦克风的传递函数记作H_l和H_r。在每一个方向上放置扬声器进行测量，得出对应每一个角度上的H_l和H_r。
在一种可行的实施方式中，预先获取的待虚拟声源角度对应的目标传输函数包括左传递函数H_l和右传递函数H_r，而H_r2l与H_l以及H_l2r与H_r是有相关性的，他们产生的原因中都包含了相同的人体结构的遮挡和反射，此相关性可通过大量不同的模拟人体测量并进行机器学习得出，相关函数记作Rel_l和Rel_r。
步骤S30，根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数，其中，所述个性化传输函数用于将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果。
根据第一遮挡传输函数、第二遮挡传输函数和相关函数对所述目标传输函数进行补偿，得到适用于用户的传输函数(以下称为个性化传输函数以示区分)，个性化传输函数用于将待播放声源信号虚拟出待虚拟声源角度对应的听觉效果。
在一可行实施方式中，根据第一遮挡传输函数中的U_r2l和U_l2r、第二遮挡传输函数中的H_r2l和H_l2r以及相关函数Rel_l和Rel_r，对目标传输函数H_L和H_R进行补偿，得到用户对应的个性化传输函数U_L和U_R。
进一步地，在一种可行的实施例中，所述步骤S30，包括：
步骤S301，将所述第一遮挡传输函数和所述第二遮挡传输函数的比值作为所述用户和所述模拟人体之间的遮挡传输变化率；
计算用户左右耳之间的第一遮挡传输函数和模拟人体左右耳之间的第二遮挡传输函数之间的比值，并将该比值确定为用户与模拟人体之间的遮挡传输变化率。
在一种可行的实施方式中，将用户右耳位置到左耳位置声音信号的脉冲响应或者遮挡传输函数记作U_r2l，将用户左耳位置到右耳位置声音信号的脉冲响应或者遮挡传输函数记作U_l2r，将实验室模拟人体右耳位置到左耳位置声音信号的脉冲响应或者遮挡传输函数记作H_r2l，将实验室模拟人体左耳位置到右耳位置声音信号的脉冲响应或者遮挡传输函数记作H_l2r，然后，计算用户左耳位置与模拟人体左耳位置之间的遮挡传输的变化率为，U_r2l/H_r2l，计算用户右耳位置与模拟人体右耳位置之间的遮挡传输的变化率为，U_l2r/H_l2r。
步骤S302，将所述遮挡传输变化率与所述相关函数相乘，得到校准函数；
将上述遮挡传输变化率和相关函数相乘，得到用于对目标传输函数进行补偿的校准函数。
在一种可行的实施方式中，用户左耳对应的校准函数的计算公式为：(U_r2l/H_r2l)*Rel_l，用户右耳对应的校准函数的计算公式为：(U_l2r/H_l2r)*Rel_r。
步骤S303，基于所述校准函数对所述目标传输函数进行个性化补偿，得到所述用户对应的个性化传输函数。
基于校准函数对目标传输函数进行补偿，得到用户对应的个性化传输函数。
在一种可行的实施方式中，将用户个性化特征补偿后的HRTF记作U_l和U_r，其中，个性化传输函数中的左耳传输函数U_l的计算公式为：U_l＝H_l*(U_r2l/H_r2l)*Rel_l；个性化传输函数中的右耳传输函数U_r的计算公式为：U_r＝H_r*(U_l2r/H_l2r)*Rel_r。
需要说明的是，H_l和H_r是实验室测量模拟人体得到的左右耳传输传递函数。U_r2l/H_r2l(U_l2r/H_l2r同理)的含义是实际用户相比实验室测得模拟人体的左右耳之间的遮挡传输的变化。再乘以Rel_l(Rel_r)相关性函数，得到需要对HRTF的校准函数，再作用于H_l(H_r)上，就得到了校准后的U_l和U_r。
进一步地，在一种可行的实施例中，在所述步骤S30之后，还包括：
步骤A10，基于所述个性化传输函数对所述待播放音源信号进行频域滤波处理，得到待播放音频信号；
步骤A20，通过所述声音回放设备上的扬声器播放所述待播放音频信号。
基于补偿后的个性化传输函数对预先获取的待播放音源信号进行频域滤波处理，得到滤波处理后的待播放音频信号，然后通过声音回放设备上的扬声器播放待播放音频信号。
需要说明的是，上述声音回放设备上的扬声器可以是声音回放设备的左侧扬声器(贴近用户左耳位置)或者右侧扬声器(贴近用户右耳位置)。
在一种可行的实施方式中，对待播放音源信号分别经过校准后的HRTF函数U_l和U_r的处理后，得到左右通道的音频信号，将左右通道的音频数据，对应到左右扬声器进行播放。
在另一可行的实施方式中，如图3所示，本发明声源方向虚拟方法的应用流程为，首先，步骤001：在用户佩戴好声音回放设备并启动该声音回放设备后，通过声音回放设备自动对用户进行个性化测量；步骤002：根据步骤001中的测量数据对HRTF进行个性化补偿，得到补偿后的适用于用户的HRTF；步骤003：调用补偿后的HRTF对待模拟音源数据进行处理；步骤004：将处理后的声音信号通过声音回放设备的左右扬声器进行播放。如此，实现了用户在应用该声音回放设备时的个性化补偿。
在本实施例中，本发明声源方向虚拟方法通过获取通过对用户进行测量得到的第一遮挡传输函数和通过对模拟人体进行测量得到的第二遮挡传输函数，其中，第一遮挡传输函数用户的左右耳之间的传输函数，第二遮挡传输函数为模拟人体的左右耳之间的传输函数；计算第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；根据第一遮挡传输函数、第二遮挡传输函数和相关函数对所述目标传输函数进行补偿，得到适用于用户的个性化传输函数，个性化传输函数用于将待播放声源信号虚拟出待虚拟声源角度对应的听觉效果；计算用户左右耳之间的第一遮挡传输函数和模拟人体左右耳之间的第二遮挡传输函数之间的比值，并将该比值确定为用户与模拟人体之间的遮挡传输变化率，将遮挡传输变化率和相关函数相乘，得到用于对目标传输函数进行补偿的校准函数，并基于校准函数对目标传输函数进行补偿，得到用户对应的个性化传输函数；基于补偿后的个性化传输函数对预先获取的待播放音源信号进行频域滤波处理，得到滤波处理后的待播放音频信号，然后通过声音回放设备上的扬声器播放待播放音频信号。
如此，本发明实施例通过分别对用户和模拟人体进行测量，得到用户双耳之间的第一遮挡传输函数和模拟人体双耳之间的第二遮挡传输函数，另外，计算出该第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数，最后，利用上述第一遮挡传输函数、第二遮挡传输函数和相关函数对目标传输函数进行个性化补偿，从而得到可以将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果的个性化传输函数，也就是说，通过个性化补偿后的个性化传输函数对声源方向进行虚拟，提高了声音回放设备与用户之间的适应性和虚拟声源方向时的准确性。
进一步地，基于上述本发明声源方向虚拟方法的第一实施例，提出本发明声源方向虚拟方法的第二实施例。
在本实施例中，声音回放设备包括第一扬声器、第一麦克风和第二麦克风，第一扬声器和第一麦克风安装在声音回放设备的第一位置，第二麦克风安装在声音回放设备的第二位置，第一位置和二位置为声音回放设备的左耳位置或者右耳位置，所述步骤S10包括：
步骤S101，在对用户进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取第一扬声器播放的预设音频信号，得到所述第一麦克风录取到的第一声音信号和所述第二麦克风录取到的第二声音信号；
在对用户进行测量的情况下，通过第一麦克风和第二麦克风录取第一扬声器播放的预设音频信号，得到第一麦克风录取到的声音信号(以下称为第一声音信号以示区分)和第二麦克风录取到的声音信号(以下称为第二声音信号以示区分)。
步骤S102，计算所述第一声音信号对应的第一声压级和所述第二声音信号对应的第二声压级；
计算第一声音信号的声压级(以下称为第一声压级以示区分)和第二声音信号的声压级(以下称为第二声压级以示区分)。
在一种可行的实施方式中，声压级的计算公式为Lp＝20log10(P/P0)，其中,Lp表示声压级,P表示声压,P0表示参考声压，参考声压为预设常数。计算出第一声音信号的第一声压级P1和第二声音信号的第二声压级P2。
步骤S103，将所述第二声压级与所述第一声压级的比值作为所述用户对应的第一遮挡传输函数。
将第二声压级与第一声压级的比值作为用户对应的第一遮挡传输函数。
在一种可行的实施方式中，上述第一遮挡传输函数包括左耳遮挡传输函数U_r2l和右耳遮挡传输函数U_l2r，通过声音回放设备的右耳位置上的右扬声器播放预设音频信号，并通过声音回放设备的左耳位置上的左麦克风和右耳位置上的右麦克风录取声音信号，得到左麦克风录取到的左声音信号和右麦克风录取到的右声音信号，然后分别计算出左声音信号的左声压级和右声音信号的右声压级,将左声压级除以右声压级的比值作为用户右耳位置到左耳位置声音信号的左耳遮挡传输函数U_r2l；同理，可以确定用户左耳位置到右耳位置声音信号的右耳遮挡传输函数U_l2r。
进一步地，在一种可行的实施例中，上述步骤S10，还包括：
步骤S104，在对模拟人体进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取所述第一扬声器播放的所述预设音频信号，得到所述第一麦克风录取到的第三声音信号和所述第二麦克风录取到的第四声音信号；
在对模拟人体进行测量的情况下，通过第一麦克风和第二麦克风录取第一扬声器播放的预设音频信号，得到第一麦克风录取到的声音信号(以下称为第三声音信号以示区分)和第二麦克风录取到的声音信号(以下称为第四声音信号以示区分)。
步骤S105，计算所述第三声音信号对应的第三声压级和所述第四声音信号对应的第四声压级；
计算第三声音信号的声压级(以下称为第三声压级以示区分)和第四声音信号的声压级(以下称为第四声压级以示区分)。
在一种可行的实施方式中，根据声压级的计算公式，计算出第三声音信号的第三声压级P3和第四声音信号的第二声压级P4。
步骤S106，将所述第四声压级和所述第三声压级的比值作为所述模拟人体对应的第二遮挡传输函数。
将第四声压级与第三声压级的比值作为用户对应的第二遮挡传输函数。
在一种可行的实施方式中，上述第二遮挡传输函数包括左耳遮挡传输函数H_r2l和右耳遮挡传输函数H_l2r，通过声音回放设备的右耳位置上的右扬声器播放预设音频信号，并通过声音回放设备的左耳位置上的左麦克风和右耳位置上的右麦克风录取声音信号，得到左麦克风录取到的左声音信号和右麦克风录取到的右声音信号，然后分别计算出左声音信号的左声压级和右声音信号的右声压级,将左声压级除以右声压级的比值作为模拟人体右耳位置到左耳位置声音信号的左耳遮挡传输函数H_r2l；同理，可以确定模拟人体左耳位置到右耳位置声音信号的右耳遮挡传输函数H_l2r。
在本实施例中，本发明声源方向虚拟方法在对用户进行测量的情况下，通过第一麦克风和第二麦克风录取第一扬声器播放的预设音频信号，得到第一麦克风录取到的第一声音信号和第二麦克风录取到的第二声音信号，计算第一声音信号的第一声压级和第二声音信号的第二声压级，将第二声压级与第一声压级的比值作为用户对应的第一遮挡传输函数；在对模拟人体进行测量的情况下，通过第一麦克风和第二麦克风录取第一扬声器播放的预设音频信号，得到第一麦克风录取到的第三声音信号和第二麦克风录取到的第四声音信号，计算第三声音信号的第三声压级和第四声音信号的第四声压级，将第四声压级与第三声压级的比值作为用户对应的第二遮挡传输函数。
如此，本发明通过利用声音回放设备自带的配件对用户和模拟人体进行个性化测量，得到用来衡量用户或者模拟人体的头部和躯干对于声音信号的遮挡反射效果的个性化特征数据，从而基于该个性化特征数据对HRTF进行个性化补偿。
进一步地，基于上述本发明声源方向虚拟方法的第一实施例和/或者第二实施例，提出本发明声源方向虚拟方法的第三实施例。
在本实施例中，所述步骤S20，包括：
步骤S201，基于待虚拟声源角度从头相关传输函数数据库中获取所述待虚拟声源角度对应的目标传输函数；
基于当前的待虚拟声源角度从头相关传输函数数据库中获取该待虚拟声源角度对应的目标传输函数。
需要说明的是，HFRF中的每个传递函数被定义为由在有关在左耳道里的耳道(pL)和在右耳道里的耳道pR中或接近于其的特定点处的平面波所生成的声压p相对于基准(p1)之间的比。上述目标传输函数为预先存储在HRTF数据库中的待虚拟声源角度对应的H_l和H_r，具体的，HRTF数据库的生成，一般是在实验室对模拟人体测量，测量过程为在模拟人体任意方向一定距离上放置扬声器进行播放特定音频，对模拟人体左右人耳处的麦克风进行录音，计算出从扬声器到左、右麦克风的传递函数记作H_l和H_r。在每一个方向上放置扬声器进行测量，得出对应每一个角度上的H_l和H_r。传统上选取的基准是将已由在头中间的右部位置处的平面波仅仅在存在收听者情况下所生成的声压Pn。在频域中，HRTF的计算公式为：H_l＝PL/Pn，H_r＝PR/Pn，其中l指定左耳并且r指定右耳，以及P是频域中的声压级。
步骤S202，从所述目标传输函数中提取出所述模拟人体的双耳各自对应的第五声压级；
从目标传输函数中提取出所述模拟人体的双耳各自对应的第五声压级；
在一种可行的实施方式中，上述目标传输函数包括模拟人体的左耳对应的H_l和模拟人体的右耳对应的H_r，上述第五声压级包括声音回放设备的左右麦克风录取到的声音信号的声压级P5。
步骤S203，将所述第五声压级和所述第四声压级输入至预先训练好的目标深度学习模型，生成所述第二遮挡传输函数和所述目标传输函数之间的相关函数。
将第五声压级和第二遮挡传输函数中的第四声压级输入至预先训练好的目标深度学习模型，由该目标深度学习模型根据输入生成第二遮挡传输函数和目标传输函数之间的相关函数。
需要说明的是，上述目标深度学习模型为训练好的深度学习模型，其中，本发明不对深度学习模型的类型进行限定，该深度学习模型可以包括但不限于神经网络模型。
在一可行实施方式中，由于H_r2l与H_l以及H_l2r与H_r都包含了相同的人体结构的遮挡和反射，所以通过目标深度学习模型计算H_r2l与H_l以及H_l2r与H_r的相关性，生成相关函数，分别记为Rel_l和Rel_r。
进一步地，在一种可行的实施例中，在所述步骤S203之前，还包括：
步骤B10，从已知相关函数的预设遮挡传输函数和所述待虚拟角度对应的预设传输函数中，提取出所述预设遮挡传输函数中所述第二麦克风对应的第六声压级和所述预设传输函数中所述第二麦克风对应的第七声压级；
从已知相关函数的预设遮挡传输函数和待虚拟角度对应的预设传输函数中，提取出预设遮挡传输函数中第二麦克风对应的声压级(以下称为第六声压级以示区分)和预设传输函数中第二麦克风对应的声压级(以下称为第七声压级以示区分)。
在一种可行的实施方式中，预先建立多个不同的模拟人体，并测量出多个模拟人体各自对应的遮挡传输函数和传输函数，从遮挡传输函数中提取出通过声音回放设备的左麦克风录取到的声音信号的第六声压级P6，并从预设传输函数中提取出每个虚拟角度对应的左麦克风录取到的声音信号的第七声压级P7，需要说明的是，P6为左麦克风录取到的右扬声器播放的预设音频信号的声压级，P7为左麦克风录取到的任意角度音源播放的预设音频信号的声压级，可以理解的是，当把模拟人体的头部想象成一个圆形，左麦克风位于圆上的一点，记为左位置点，右扬声器位于与左位置点对称的一点，记为右位置点那么P7是分布在两点之间的圆弧上的声压级，P6为右扬声器的位置点处的声压级，从理论上讲，P6为圆上所有声压级中最小的值，且根据P7和P6可以确定一个以左位置点和右位置点的连线为直径的圆的函数关系。
步骤B20，基于所述第六声压级和所述第七声压级建立模拟人体训练集；
基于第六声压级和第七声压级建立模拟人体训练集。
在一种可行的实施方式中，将多个不同的模拟人体各自对应的P6和P7存储到模拟人体训练集中。
步骤B30，基于所述模拟人体训练集对预先构建的初始深度学习模型进行模型训练，得到目标深度学习模型。
基于模拟人体训练集对预先构建的初始深度学习模型进行模型训练，得到目标深度学习模型。
在一种可行的实施方式中，根据模拟人体训练集中的训练数据对预先构建的初始深度学习模型进行模型训练，直到该模型对应的损失函数满足预设要求，确定目标深度学习模型。
在本实施例中，本发明声源方向虚拟的方法通过基于当前的待虚拟声源角度从头相关传输函数数据库中获取该待虚拟声源角度对应的目标传输函数；从目标传输函数中提取出所述模拟人体的双耳各自对应的第五声压级；从已知相关函数的预设遮挡传输函数和待虚拟角度对应的预设传输函数中，提取出预设遮挡传输函数中第二麦克风对应的第六声压级和预设传输函数中第二麦克风对应的第七声压级，基于第六声压级和第七声压级建立模拟人体训练集；基于模拟人体训练集对预先构建的初始深度学习模型进行模型训练，得到目标深度学习模型；将第五声压级和第二遮挡传输函数中的第四声压级输入至预先训练好的目标深度学习模型，由该目标深度学习模型根据输入生成第二遮挡传输函数和目标传输函数之间的相关函数。
如此，本发明基于机器学习确定模拟人体对应的遮挡传输函数和传输函数之间的相关函数，并基于该相关函数对HRTF进行个性化补偿。
此外，本发明实施例还提供一种声源方向虚拟装置，该声源方向虚拟装置应用于声音回放设备。
请参照图4，图4为本发明声源方向虚拟装置一实施例的功能模块示意图，如图4所示，本发明声源方向虚拟装置包括：
测量模块10，用于获取第一遮挡传输函数和第二遮挡传输函数，其中，所述第一遮挡传输函数为对用户进行测量得到的所述用户的双耳之间的传输函数，所述第二遮挡传输函数为对模拟人体进行测量得到的所述模拟人体的双耳之间的传输函数；
相关函数模块20，用于计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；
个性化传输函数模块30，用于根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数，其中，所述个性化传输函数用于将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果。
进一步地，声音回放设备包括第一扬声器、第一麦克风和第二麦克风，第一扬声器和第一麦克风安装在声音回放设备的第一位置，第二麦克风安装在声音回放设备的第二位置，第一位置和二位置中的其中一个是声音回放设备的左耳位置，另一个是声音回放设备的右耳位置，测量模块10，包括：
用户测量单元，用于在对用户进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取第一扬声器播放的预设音频信号，得到所述第一麦克风录取到的第一声音信号和所述第二麦克风录取到的第二声音信号；
第一声压级计算单元，用于计算所述第一声音信号对应的第一声压级和所述第二声音信号对应的第二声压级；
第一遮挡传输函数单元，用于将所述第二声压级与所述第一声压级的比值作为所述用户对应的第一遮挡传输函数。
进一步地，测量模块10，还包括：
模拟人体测量单元，用于在对模拟人体进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取所述第一扬声器播放的所述预设音频信号，得到所述第一麦克风录取到的第三声音信号和所述第二麦克风录取到的第四声音信号；
第二声压级计算单元，用于计算所述第三声音信号对应的第三声压级和所述第四声音信号对应的第四声压级；
第二遮挡传输函数单元，用于将所述第四声压级和所述第三声压级的比值作为所述模拟人体对应的第二遮挡传输函数。
进一步地，个性化传输函数模块30，包括：
遮挡传输变化率单元，用于将所述第一遮挡传输函数和所述第二遮挡传输函数的比值作为所述用户和所述模拟人体之间的遮挡传输变化率；
校准函数单元，用于将所述遮挡传输变化率与所述相关函数相乘，得到校准函数；
个性化传输函数单元，用于基于所述校准函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数。
进一步地，本发明声源方向虚拟装置，还包括：
频域滤波处理模块，用于基于所述个性化传输函数对所述待播放音源信号进行频域滤波处理，得到待播放音频信号；
播放模块，用于通过所述声音回放设备上的扬声器播放所述待播放音频信号。
进一步地，相关函数模块20，包括：
目标传输函数获取单元，用于基于待虚拟声源角度从头相关传输函数数据库中获取所述待虚拟声源角度对应的目标传输函数；
第五声压级提取单元，用于从所述目标传输函数中提取出所述模拟人体的双耳各自对应的第五声压级；
相关函数单元，用于将所述第五声压级和所述第四声压级输入至预先训练好的目标深度学习模型，生成所述第二遮挡传输函数和所述目标传输函数之间的相关函数。
进一步地，本发明声源方向虚拟装置，还包括：
声压级提取模块，用于从预设相关函数对应的预设遮挡传输函数和所述待虚拟角度对应的预设传输函数中，提取出所述预设遮挡传输函数中所述第二麦克风对应的第六声压级和所述预设传输函数中所述第二麦克风对应的第七声压级；
训练集建立模块，用于基于所述第六声压级和所述第七声压级建立模拟人体训练集；
模型训练模块，用于基于所述模拟人体训练集对预先构建的初始深度学习模型进行模型训练，得到目标深度学习模型。
本发明还提供一种计算机存储介质，该计算机存储介质上存储有声源方向虚拟程序，上述声源方向虚拟程序被处理器执行时实现如以上任一项实施例所述的声源方向虚拟程序方法的步骤。
本发明计算机存储介质的具体实施例与上述本发明声源方向虚拟程序方法各实施例基本相同，在此不作赘述。
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上任一项实施例所述的本发明声源方向虚拟方法的步骤，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是TWS耳机等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种声源方向虚拟方法，其特征在于，所述声源方向虚拟方法应用于声音回放设备，所述声源方向虚拟方法包括以下步骤：
获取第一遮挡传输函数和第二遮挡传输函数，其中，所述第一遮挡传输函数为对用户进行测量得到的所述用户的双耳之间的传输函数，所述第二遮挡传输函数为对模拟人体进行测量得到的所述模拟人体的双耳之间的传输函数；
计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；
根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数，其中，所述个性化传输函数用于将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果。
2.如权利要求1所述的声源方向虚拟方法，其特征在于，所述声音回放设备包括第一扬声器、第一麦克风和第二麦克风，所述第一扬声器和所述第一麦克风安装在所述声音回放设备的第一位置，所述第二麦克风安装在所述声音回放设备的第二位置，所述第一位置和所述二位置中的其中一个是所述声音回放设备的左耳位置，另一个是所述声音回放设备的右耳位置；
获取第一遮挡传输函数的步骤包括：
在对用户进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取所述第一扬声器播放的预设音频信号，得到所述第一麦克风录取到的第一声音信号和所述第二麦克风录取到的第二声音信号；
计算所述第一声音信号对应的第一声压级和所述第二声音信号对应的第二声压级；
将所述第二声压级与所述第一声压级的比值作为所述用户对应的第一遮挡传输函数。
3.如权利要求2所述的声源方向虚拟方法，其特征在于，获取第二遮挡传输函数的步骤包括：
在对模拟人体进行测量的情况下，通过所述第一麦克风和所述第二麦克风录取所述第一扬声器播放的所述预设音频信号，得到所述第一麦克风录取到的第三声音信号和所述第二麦克风录取到的第四声音信号；
计算所述第三声音信号对应的第三声压级和所述第四声音信号对应的第四声压级；
将所述第四声压级和所述第三声压级的比值作为所述模拟人体对应的第二遮挡传输函数。
4.如权利要求1所述的声源方向虚拟方法，其特征在于，所述根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数的步骤包括：
将所述第一遮挡传输函数和所述第二遮挡传输函数的比值作为所述用户和所述模拟人体之间的遮挡传输变化率；
将所述遮挡传输变化率与所述相关函数相乘，得到校准函数；
基于所述校准函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数。
5.如权利要求1所述的声源方向虚拟方法，其特征在于，所述根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数的步骤之后，还包括：
基于所述个性化传输函数对所述待播放音源信号进行频域滤波处理，得到待播放音频信号；
通过所述声音回放设备上的扬声器播放所述待播放音频信号。
6.如权利要求1至5任一项所述的声源方向虚拟方法，其特征在于，所述计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数的步骤包括：
基于待虚拟声源角度从头相关传输函数数据库中获取所述待虚拟声源角度对应的目标传输函数；
从所述目标传输函数中提取出所述模拟人体的双耳各自对应的第五声压级；
将所述第五声压级和所述第四声压级输入至预先训练好的目标深度学习模型，生成所述第二遮挡传输函数和所述目标传输函数之间的相关函数。
7.如权利要求6所述的声源方向虚拟方法，其特征在于，所述将所述第五声压级和所述第四声压级输入至预先训练好的目标深度学习模型，生成所述第二遮挡传输函数和所述目标传输函数之间的相关函数的步骤之前，还包括：
从预设相关函数对应的预设遮挡传输函数和所述待虚拟角度对应的预设传输函数中，提取出所述预设遮挡传输函数中所述第二麦克风对应的第六声压级和所述预设传输函数中所述第二麦克风对应的第七声压级；
基于所述第六声压级和所述第七声压级建立模拟人体训练集；
基于所述模拟人体训练集对预先构建的初始深度学习模型进行模型训练，得到目标深度学习模型。
8.一种声源方向虚拟装置，其特征在于，所述声源方向虚拟装置应用于声音回放设备，所述声源方向虚拟装置，包括：
测量模块，用于获取第一遮挡传输函数和第二遮挡传输函数，其中，所述第一遮挡传输函数为对用户进行测量得到的所述用户的双耳之间的传输函数，所述第二遮挡传输函数为对模拟人体进行测量得到的所述模拟人体的双耳之间的传输函数；
相关函数模块，用于计算所述第二遮挡传输函数和预先获取的待虚拟声源角度对应的目标传输函数之间的相关函数；
个性化传输函数模块，用于根据所述第一遮挡传输函数、所述第二遮挡传输函数和所述相关函数对所述目标传输函数进行补偿，得到所述用户对应的个性化传输函数，其中，所述个性化传输函数用于将待播放声源信号虚拟出所述待虚拟声源角度对应的听觉效果。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的声源方向虚拟程序，所述声源方向虚拟程序被所述处理器执行时实现如权利要求1至7中任一项所述的声源方向虚拟方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有声源方向虚拟程序，所述声源方向虚拟程序被处理器执行时实现如权利要求1至7中任一项所述的声源方向虚拟方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310483677.4A CN116567517A (zh) | 2023-04-25 | 2023-04-25 | 声源方向虚拟方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310483677.4A CN116567517A (zh) | 2023-04-25 | 2023-04-25 | 声源方向虚拟方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116567517A true CN116567517A (zh) | 2023-08-08 |
Family
ID=87487269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310483677.4A Pending CN116567517A (zh) | 2023-04-25 | 2023-04-25 | 声源方向虚拟方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116567517A (zh) |
-
2023
- 2023-04-25 CN CN202310483677.4A patent/CN116567517A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10939225B2 (en) | Calibrating listening devices | |
| US10003906B2 (en) | Determining and using room-optimized transfer functions | |
| US8787584B2 (en) | Audio metrics for head-related transfer function (HRTF) selection or adaptation | |
| US20060274901A1 (en) | Audio image control device and design tool and audio image control device | |
| CN102164336B (zh) | 头戴式受话器系统及声学处理方法 | |
| AU2020402822B2 (en) | User hearing protection method, apparatus, and electronic device | |
| US20210400417A1 (en) | Spatialized audio relative to a peripheral device | |
| CN112005559B (zh) | 改进环绕声的定位的方法 | |
| CN111818441B (zh) | 音效实现方法、装置、存储介质及电子设备 | |
| CN108076400A (zh) | 一种用于3d音效耳机重放的校准与优化方法 | |
| CN111372167B (zh) | 音效优化方法及装置、电子设备、存储介质 | |
| KR100580783B1 (ko) | 측정 모드에 따른 음질 평가 장치 및 방법 | |
| CN109327794B (zh) | 3d音效处理方法及相关产品 | |
| CN116567517A (zh) | 声源方向虚拟方法、装置、设备及介质 | |
| KR100927637B1 (ko) | 거리측정을 통한 가상음장 구현방법 및 그 기록매체 | |
| CN115604630A (zh) | 声场扩展方法、音频设备及计算机可读存储介质 | |
| CN115460526B (zh) | 一种听力模型的确定方法、电子设备及系统 | |
| Pelegrin Garcia et al. | Interactive auralization of self-generated oral sounds in virtual acoustic environments for research in human echolocation | |
| US11252526B2 (en) | Acoustic device and head-related transfer function selecting method | |
| US12010494B1 (en) | Audio system to determine spatial audio filter based on user-specific acoustic transfer function | |
| WO2023085186A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| CN114639399A (zh) | 一种音效调整方法、系统及相关装置 | |
| CN115278508A (zh) | 声场扩展方法、装置、音频设备及计算机可读存储介质 | |
| CN115278474A (zh) | 串声消除方法、装置、音频设备及计算机可读存储介质 | |
| PLASKOTA | 19th Symposium on New Trends in Audio and Video Technology NTAV2022 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |