CN112989566B - 基于a-加权方差的几何声音传播优化方法 - Google Patents

基于a-加权方差的几何声音传播优化方法 Download PDF

Info

Publication number
CN112989566B
CN112989566B CN202110162275.5A CN202110162275A CN112989566B CN 112989566 B CN112989566 B CN 112989566B CN 202110162275 A CN202110162275 A CN 202110162275A CN 112989566 B CN112989566 B CN 112989566B
Authority
CN
China
Prior art keywords
sound propagation
audio
variance
samples
virtual scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110162275.5A
Other languages
English (en)
Other versions
CN112989566A (zh
Inventor
任重
周昆
周洪杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110162275.5A priority Critical patent/CN112989566B/zh
Publication of CN112989566A publication Critical patent/CN112989566A/zh
Application granted granted Critical
Publication of CN112989566B publication Critical patent/CN112989566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Discrete Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一套自适应的基于几何声学的声音传播仿真方法，该方法能够基于A‑加权方差指标动态调节所需的采样数，以减少冗余的运算量，提升运算效率，提高生成的声音传播仿真效果质量。该方法主要包括如下步骤：1)输入：获取需要进行传播的原始音频和虚拟场景；2)采样数估算：使用测试射线计算单个采样的A‑加权方差，并估算实际需要的采样数量；3)传播：使用上述估算的采样数进行虚拟场景的冲激响应计算；4)输出：得到人耳可听或可用于后续分析的，传播后的音频结果。本发明可以和普遍使用的各类几何声学声音传播仿真框架结合，运用在虚拟现实、建筑声学等领域中，适用于各种不同的声音传播场景、原始音频、采样方式，具有较高普适性和稳定性。

Description

基于A-加权方差的几何声音传播优化方法
技术领域
本发明涉及计算机图形学中的仿真领域，尤其涉及一种使用基于几何声学进行虚拟环境内声音传播的方法。
背景技术
虚拟场景的声音传播仿真，在建筑设计、虚拟现实、数字娱乐等领域都有广泛的需求。基于几何声学的声音传播仿真，由于其运算效率远高于其他方法，能够在短时间内生成高真实感的声音仿真结果，在上述领域得到大量应用。本发明背景的几何方法所使用的技术，主要为基于路径追踪的算法，从声源出发出射线以表示声音能量，经过场景的反射、折射、穿透后，在听众的位置被收集，得到声音传播后的结果；发出的射线数即采样数越高，声音传播的结果就越精确。然而目前还没有针对性的方法，来提升声音传播仿真的质量。在进行相应任务时，用户只能依靠个人经验和尝试来确定采样的数量，容易引起无用采样过多、无用开销过大、不同时间点上声音仿真质量上下波动等问题。因此，本发明通过使用A-加权方差指标，将声音传播的采样数这一参数，与最终生成的音频乃至听众的感知相联系，并在此基础上提出本发明的方法，以优化声音传播的质量。
发明内容
本发明的目的在于针对现有声音传播仿真在运算效率、质量稳定性的不足，提供一种基于A-加权方差的几何声音传播优化方法，以平衡采样数量，提升音频仿真质量，满足用户需求，提升用户体验。
本发明的目的是通过以下技术方案来实现的：一种基于A-加权方差的几何声音传播优化方法，包括以下步骤：
(1)输入：获取需要进行传播的原始音频和虚拟场景；
(2)采样数估算：使用测试射线计算单个采样的A-加权方差，并估算实际需要的采样数量；
(3)传播：使用上述估算的采样数来计算虚拟场景的冲激响应；
(4)输出：得到人耳可听或可用于后续分析的，传播后的音频结果。
进一步地，所述步骤(1)包括如下子步骤：
(1.1)通过演奏设备、录音设备、计算机合成等方式，采集输入音频F；
(1.2)通过三维扫描、计算机建模等方式，构建虚拟场景M；
(1.3)在虚拟场景M中，根据用户需要指定声源位置S，和听众位置L。
(1.4)给定基于几何的路径追踪方法P，它可以是前向、后向、双向等路径追踪方法。
进一步地，所述步骤(2)包括如下子步骤：
(2.1)指定测试射线的采样数量Nt，该数量远小于实际进行仿真所需的采样数量，如32。在声源S和听众L之间，使用路径追踪方法生成Nt条独立的射线，并以每条射线为单位，使用方法P生成对应的冲激响应IR1,IR2,……,IRNt。
(2.2)对(2.1)中的IR进行傅里叶变换，得到一组频率响应FR1,FR2,……,FRNt。计算这些频率响应的方差，得到不同频率上的方差函数VT。
(2.3)对输入信号进行傅里叶变换，得到其频率FRF。将其平方后与VT相乘，再利用A-权重进行加权求和，得到当前声音传播条件(M,S,L)下的单个采样的A-加权方差V。
(2.4)给定期望的方差值V0，通过V/V0×Nt，计算出后续步骤需要的采样数NE。
进一步地，所述步骤(3)包括如下子步骤：
(3.1)比较步骤(2.1)与(2.3)中的Nt与NE。若NE小于Nt，则把步骤(2.1)中测试射线采样生成的IR平均，得到表示场景声音传播效果的IRE。
(3.2)若(3.1)中的NE大于Nt，则使用数量为NE的采样，使用方法P进行几何声音传播仿真，得到结果IRE。
进一步地，所述步骤(4)包括如下子步骤：
(4.1)将IRE与输入音频F卷积，得到传播后的音频FE。
(4.2)将(4.1)得到的音频FE通过扬声器、耳机等设备播放，即可使用户听到经过虚拟场景传播的、具有真实感的音频；或使用声学软件对FE进行分析，可了解虚拟建筑等场景中声音传播的效果。
本发明的有益效果是，本发明能以相比已有方法更高的效率，对声音在空间中的传播进行仿真，并使得达到同样质量所需要的运算更快，成本更低。理论推导和实验结果都表明，本发明能与后向路径追踪、双向路径追踪等不同的声音传播方法结合，并都能得到理想的优化结果，具有较强的可扩展性和应用空间。在不同的声音传播场景和输入音频条件下进行测试，本发明都具备适用性，能起到动态分配采样数、减少不必要运算量、保证输出音频质量稳定的作用。心理学实验证明，经过本发明优化的声音传播结果，相比原始的声音传播结果，在听众感知中没有质量的差异，可见本发明能在满足听众实际感知需要的条件下，降低运算量，优化质量。
具体实施方式
本发明的具体实施方式如下：
1、输入：获取需要进行传播的原始音频和虚拟场景，包括以下子步骤：
1.1通过演奏设备、录音设备、计算机合成等方式，采集输入音频F：
音频在采集或生成后，保存为数据文件格式，并由程序解析为波形数据。音频可以是人声、自然音效或音乐演奏等。
1.2通过三维扫描、计算机建模等方式，构建虚拟场景M：
虚拟场景以三角形网格的方式表示。为提升后续运算的效率，虚拟场景需要经过程序自动简面，以及手工简化模型，去掉对声音传播影响较少而面数较为复杂的物件。
1.3在虚拟场景M中，根据用户需要指定声源位置S，和听众位置L：
该步骤中S与L都用三维坐标(x,y,z)表示，用来标注发出和接收声音的位置。
1.4给定基于几何的路径追踪方法P，它可以是前向、后向、双向等路径追踪方法：
该步骤的方法P，基于几何与路径追踪的声音传播方法都能够满足要求。P需要满足如下条件：1、通过蒙特卡洛方法，以大量采样，计算声音传播的结果；2、所有采样满足独立同分布条件。
2、采样数估算：使用测试射线计算单个采样的A-加权方差，并估算实际需要的采样数量，包括以下子步骤：
2.1指定测试射线的采样数量Nt，该数量远小于实际进行仿真所需的采样数量，如32。在声源S和听众L之间，使用路径追踪方法生成Nt条独立的射线，并以每条射线为单位，使用方法P生成对应的冲激响应IR1,IR2,……,IRNt：
在此步骤运用方法P的过程中，需要进行完整的声音传播流程，包括射线生成、反射、能量收集、带通滤波、HRTF等。由于该流程能量收集后的所有步骤都为卷积操作，故一次使用多条射线的仿真结果能被拆分成每一条射线独立的结果。
2.2对2.1中的IR进行傅里叶变换，得到一组频率响应FR1,FR2,……,FRNt。计算这些频率响应的方差，得到不同频率上的方差函数VT：
该步骤计算方差时，每次取一个频域上的点，取出所有频率响应在该点的值，计算这组频率的方差，即为方差函数VT在该频率上的值。当所有值都计算后，即可得到VT。
2.3对输入信号进行傅里叶变换，得到其频率FRF。将其平方后与VT相乘，再利用A-权重进行加权求和，得到当前声音传播条件(M,S,L)下的单个采样的A-加权方差V：
该步骤在平方与相乘后仍然为频域上的函数的形式，而A-加权求和把函数上的方差汇总为一个值。加权求和时，由于求和的对象为方差，使用原始A-权重曲线的平方，作为实际的求和权重。
2.4给定期望的方差值V0，通过V/V0×Nt，计算出后续步骤需要的采样数NE：
该步骤的V0由用户根据需求给定。较小的V0，意味着较小的方差，即仿真的声音传播精度较高，但需要较大的计算开销和较长的运算时间。反之亦然。
3、传播：使用上述估算的采样数来计算虚拟场景的冲激响应，包括以下步骤：
3.1比较步骤2.1与2.3中的Nt与NE。若NE小于Nt，则把步骤2.1中测试射线采样生成的IR平均，得到表示场景声音传播效果的IRE：
该情形下，已经使用测试射线生成的仿真精度已经能够满足用户需求，使用已有的结果作为该次仿真的结果。
3.2若(3.1)中的NE大于Nt，则使用数量为NE的采样，使用方法P进行几何声音传播仿真，得到结果IRE：
该情形下，仍需要更多的采样才能满足需求，使用基于几何的声音传播仿真算法进行仿真。但其中的采样数参数N，已经由步骤2得到，能够恰好满足用户对精度的需求，并可以随着声音传播条件(M,S,L)的变化起到动态调节的效果。
4、输出：得到人耳可听或可用于后续分析的，传播后的音频结果，包括以下步骤：
4.1将IRE与输入音频F卷积，得到传播后的音频FE：
如果在算法P中，将通过HRTF等方式，生成双耳或多个声道的响应，那么上述估算NE可以采用双耳的估计值平均的方式，在本卷积步骤中，也可以将多个声道的IR分别与F进行卷积，得到多个通道的声音结果。
4.2将步骤4.1得到的音频FE通过扬声器、耳机等设备播放，即可使用户听到经过虚拟场景传播的、具有真实感的音频；或使用声学软件对FE进行分析，可了解虚拟建筑等场景中声音传播的效果。
该步骤为通过仿真方法生成的音频的应用。由于基于几何的声音传播仿真用途十分广泛，这些场景都是本发明能够与之协作的领域。
实施实例
在一台配备Intel Core i7-3770中央处理器，16GB内存的计算机上实现本发明的实施实例。程序使用Matlab编写，采用所有在具体实施方式中列出的参数值，得到了符合设计要求的实验结果。采用本发明的方法，能够把输出音频的A-加权方差指标，控制在用户给定指标之下，保证音频质量不低于用户的需求。而采用传统固定采样数的方法，在某些时候方差会过低，意味着过多的冗余运算；而另一些时候方差会过高，意味着采样数不足，音频仿真质量无法满足用户要求。本发明在不同的虚拟场景、输入音频条件下，都达到了理想的效果。使用后向路径追踪与双向路径追踪作为声音传播方法，都能够起到调节音频质量的作用。

Claims (2)

1.一种基于A-加权方差的几何声音传播优化方法，其特征在于，包括如下步骤：
（1）获取需要进行传播的原始音频和虚拟场景；
（2）使用测试射线计算单个采样的A-加权方差，并估算实际需要的采样数量；
（3）使用步骤2估算的采样数来计算虚拟场景的冲激响应；
（4）得到人耳可听或可用于后续分析的，传播后的音频结果；
所述步骤（1）包括如下子步骤：
(1.1) 通过演奏设备、录音设备、计算机合成方式，采集输入音频F；
(1.2) 通过三维扫描、计算机建模方式，构建虚拟场景M；
(1.3) 在虚拟场景M中，根据用户需要指定声源位置S，和听众位置L；
(1.4) 给定基于几何的路径追踪方法P，它可以是前向、后向或双向路径追踪方法；
所述步骤（2）包括如下子步骤：
(2.1) 指定测试射线的采样数量Nt，该数量远小于实际进行仿真所需的采样数量；在声源S和听众L之间，使用路径追踪方法生成Nt条独立的射线，并以每条射线为单位，使用方法P生成对应的冲激响应IR1, IR2, ……, IRNt；
(2.2) 对步骤(2.1)中的IR进行傅里叶变换，得到一组频率响应FR1, FR2, ……, FRNt；计算这些频率响应的方差，得到不同频率上的方差函数VT；
(2.3) 对输入信号进行傅里叶变换，得到其频率FRF；将其平方后与VT相乘，再利用A-权重进行加权求和，得到当前声音传播条件（M, S, L）下的单个采样的A-加权方差V；
(2.4) 给定期望的方差值V0，通过V/V0×Nt，计算出后续步骤需要的采样数NE；
所述步骤（3）包括如下子步骤：
(3.1) 比较步骤(2.1)与(2.3)中的Nt与NE；若NE小于Nt，则把步骤(2.1)中测试射线采样生成的IR平均，得到表示场景声音传播效果的IRE；
(3.2) 若(3.1)中的NE大于Nt，则使用数量为NE的采样，使用方法P进行几何声音传播仿真，得到结果IRE。
2.根据权利要求1所述的基于A-加权方差的几何声音传播优化方法，其特征在于，所述步骤（4）包括如下子步骤：
(4.1) 将IRE与输入音频F卷积，得到传播后的音频FE；
(4.2) 将(4.1)得到的音频FE通过扬声器、耳机播放，即可使用户听到经过虚拟场景传播的、具有真实感的音频；或使用声学软件对FE进行分析，可了解虚拟建筑场景中声音传播的效果。
CN202110162275.5A 2021-02-05 2021-02-05 基于a-加权方差的几何声音传播优化方法 Active CN112989566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110162275.5A CN112989566B (zh) 2021-02-05 2021-02-05 基于a-加权方差的几何声音传播优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110162275.5A CN112989566B (zh) 2021-02-05 2021-02-05 基于a-加权方差的几何声音传播优化方法

Publications (2)

Publication Number Publication Date
CN112989566A CN112989566A (zh) 2021-06-18
CN112989566B true CN112989566B (zh) 2022-11-11

Family

ID=76348146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110162275.5A Active CN112989566B (zh) 2021-02-05 2021-02-05 基于a-加权方差的几何声音传播优化方法

Country Status (1)

Country Link
CN (1) CN112989566B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013184215A2 (en) * 2012-03-22 2013-12-12 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for simulating sound propagation in large scenes using equivalent sources
CN105325012A (zh) * 2013-06-27 2016-02-10 歌拉利旺株式会社 传播延迟校正设备以及传播延迟校正方法
CN105893719A (zh) * 2016-06-16 2016-08-24 浙江大学 一种基于双向路径跟踪的实时声音传播模拟方法
CN109839612A (zh) * 2018-08-31 2019-06-04 大象声科（深圳）科技有限公司 基于时频掩蔽和深度神经网络的声源方向估计方法
CN111008466A (zh) * 2019-11-25 2020-04-14 天津大学 基于耦合方法的水下声音传播模拟方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150294041A1 (en) * 2013-07-11 2015-10-15 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for simulating sound propagation using wave-ray coupling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013184215A2 (en) * 2012-03-22 2013-12-12 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for simulating sound propagation in large scenes using equivalent sources
CN105325012A (zh) * 2013-06-27 2016-02-10 歌拉利旺株式会社 传播延迟校正设备以及传播延迟校正方法
CN105893719A (zh) * 2016-06-16 2016-08-24 浙江大学 一种基于双向路径跟踪的实时声音传播模拟方法
CN109839612A (zh) * 2018-08-31 2019-06-04 大象声科（深圳）科技有限公司 基于时频掩蔽和深度神经网络的声源方向估计方法
CN111008466A (zh) * 2019-11-25 2020-04-14 天津大学 基于耦合方法的水下声音传播模拟方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李江等.基于混沌和替代数据法的中风病人声音分析.《浙江大学学报(工学版)》.2015,(第01期), *

Also Published As

Publication number Publication date
CN112989566A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
JP6818841B2 (ja) 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成
US11212638B2 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
CN101483797B (zh) 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
Valimaki et al. Fifty years of artificial reverberation
US5809149A (en) Apparatus for creating 3D audio imaging over headphones using binaural synthesis
Zhong et al. Head-related transfer functions and virtual auditory display
JP7208365B2 (ja) 仮想３ｄオーディオを現実の室内に適応させる装置及び方法
JP2009512364A (ja) 仮想オーディオシミュレーション
US6738479B1 (en) Method of audio signal processing for a loudspeaker located close to an ear
EP3090573B1 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
Lee et al. A real-time audio system for adjusting the sweet spot to the listener's position
Atalay et al. Scattering delay network simulator of coupled volume acoustics
CN112584277B (zh) 一种室内音频均衡的方法
CN112989566B (zh) 基于a-加权方差的几何声音传播优化方法
Yuan et al. Sound image externalization for headphone based real-time 3D audio
Schwark et al. Data-driven optimization of parametric filters for simulating head-related transfer functions in real-time rendering systems
So et al. Effects of spectral manipulation on nonindividualized head-related transfer functions (HRTFs)
Aspöck Auralization of interactive virtual scenes containing numerous sound sources
Wang et al. An “out of head” sound field enhancement system for headphone
JP2013243572A (ja) 残響応答生成装置およびそのプログラム
Palenda et al. Auralization of Dynamic Urban Environments Including Diffraction and Reflection Using" Virtual Acoustics"
Paulo et al. Perceptual Comparative Tests Between the Multichannel 3D Capturing Systems Artificial Ears and the Ambisonic Concept
García Fast Individual HRTF Acquisition with Unconstrained Head Movements for 3D Audio
CN117376784A (zh) 单声道立体声场扩展方法、电子设备及存储介质
Spagnol Individual Three-dimensional Spatial Auditory Displays for Immersive Virtual Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant