CN114035764A - 一种三维声效的模拟方法、装置、设备及存储介质 - Google Patents

一种三维声效的模拟方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114035764A
CN114035764A CN202111304866.8A CN202111304866A CN114035764A CN 114035764 A CN114035764 A CN 114035764A CN 202111304866 A CN202111304866 A CN 202111304866A CN 114035764 A CN114035764 A CN 114035764A
Authority
CN
China
Prior art keywords
virtual
sound source
preset
source model
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111304866.8A
Other languages
English (en)
Inventor
朱运兰
敖亚磊
文飞
侯晓龙
周松
刘帅
辛青青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou J&T Hi Tech Co Ltd
Original Assignee
Zhengzhou J&T Hi Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou J&T Hi Tech Co Ltd filed Critical Zhengzhou J&T Hi Tech Co Ltd
Priority to CN202111304866.8A priority Critical patent/CN114035764A/zh
Publication of CN114035764A publication Critical patent/CN114035764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本发明的实施例提供了一种三维声效的模拟方法、装置、设备及存储介质,涉及三维仿真技术领域,该方法包括:根据预设虚拟角色的当前位置,以及多个虚拟声源模型的位置,分别计算预设虚拟角色和多个虚拟声源模型之间的距离;根据预设虚拟角色和每个虚拟声源模型之间的距离,采用每个虚拟声源模型对应的音量与距离的预设衰减曲线,对每个虚拟声源模型对应声音的音量进行距离衰减,得到每个虚拟声源模型对应的目标声音;对多个虚拟声源模型对应的目标声音进行合并,得到当前位置对应的混合声音;播放混合声音。采用本发明,能够提升声效的逼真性,增强用户的沉浸体验。

Description

一种三维声效的模拟方法、装置、设备及存储介质
技术领域
本发明涉及三维仿真技术领域,具体而言,涉及一种三维声效的模拟方法、装置、设备及存储介质。
背景技术
随着科技的逐步发展,虚拟现实和增强现实技术作为人工智能的新兴产业正在蓬勃发展。虚拟现实技术是结合计算机技术,根据真实环境建模,让用户沉浸在三维逼真的虚拟环境中。在对虚拟环境进行三维仿真的过程中,声效作为虚拟环境中最重要的接口之一,如何让声效模拟的更为逼真是一个关键的技术点。
现有技术对于三维环境中声效的模拟,很多还停留在直接对现实环境中的声效进行采集,再通过播放端进行播放的方式,缺少声效在三维空间的遮挡效应以及三维空间中的自然衰减方面缺少对应的效果模拟,使得最终的模拟效果在真实性上仍可提高。
发明内容
本发明的目的包括,例如,提供了一种三维声效的模拟方法、装置、设备及存储介质,其能够提升声效的逼真性,增强用户的沉浸体验。
第一方面,本发明提供一种三维声效的模拟方法,应用于三维虚拟场景,所述三维虚拟场景中预先设置有多个虚拟声源模型;所述方法包括:
根据预设虚拟角色的当前位置,以及所述多个虚拟声源模型的位置,分别计算所述预设虚拟角色和所述多个虚拟声源模型之间的距离;
根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述每个虚拟声源模型对应的音量与距离的预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行距离衰减,得到所述每个虚拟声源模型对应的目标声音;
对所述多个虚拟声源模型对应的目标声音进行合并,得到所述当前位置对应的混合声音;
播放所述混合声音。
可选地,所述根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述每个虚拟声源模型对应的音量与距离的预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行衰减处理,得到所述每个虚拟声源模型对应的目标声音,包括:
根据所述预设虚拟角色和每个虚拟声源模型之间的距离,判断所述预设虚拟角色是否在所述每个虚拟声源模型的预设声音传播范围内;
若所述预设虚拟角色在所述每个虚拟声源模型的预设声音传播范围内,则根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行距离衰减,得到所述每个虚拟声源模型对应的目标声音。
可选地,所述预设声音传播范围包括:立方体传播范围、圆锥体传播范围;所述根据所述预设虚拟角色和每个虚拟声源模型之间的距离,判断所述预设虚拟角色是否在所述每个虚拟声源模型的预设声音传播范围内,包括:
根据所述预设虚拟角色和每个虚拟声源模型之间的距离、方向,判断所述预设虚拟角色是否在所述每个虚拟声源模型的预设声音传播范围内。
可选地,所述若所述预设虚拟角色在所述每个虚拟声源模型的预设声音传播范围内,所述根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行距离衰减之后,所述方法还包括:
判断所述三维虚拟场景中所述预设虚拟角色和所述每个虚拟声源模型之间是否存在障碍物;
若所述多个虚拟声源模型中存在和所述预设虚拟角色之间有障碍物的第一虚拟声源模型,根据所述障碍物的预设衰减系数,对距离衰减后的所述第一虚拟声源模型的声音再次进行音量衰减,得到所述第一虚拟声源模型对应的目标声音;
若所述多个虚拟声源模型中还存在和所述预设虚拟角色之间没有障碍物的第二虚拟声源模型,根据距离衰减后的所述第二虚拟声源模型的声音,得到所述第二虚拟声源模型对应的目标声音。
可选地,所述判断所述三维虚拟场景中所述预设虚拟角色和所述每个虚拟声源模型之间是否存在障碍物,包括:
在所述三维虚拟场景中,建立所述预设虚拟角色和所述每个虚拟声源模型的虚拟射线;
采用所述虚拟射线,检测所述三维虚拟场景中是否存在与所述虚拟射线存在碰撞的目标虚拟模型;
若所述三维虚拟场景中存在所述目标虚拟模型,则确定所述三维虚拟场景中所述预设虚拟角色和所述每个虚拟声源模型之间存在障碍物,且,所述障碍物为所述目标虚拟模型;
若所述三维虚拟场景中不存在所述目标虚拟模型,则确定所述三维虚拟场景中所述预设虚拟角色和所述每个虚拟声源模型之间不存在障碍物。
可选地,所述根据所述预设虚拟角色的当前位置,以及所述多个虚拟声源模型的位置,分别计算所述预设虚拟角色和所述多个虚拟声源模型之间的距离,包括:
采用预设的频率,获取所述预设虚拟角色的当前位置。
可选地,所述三维虚拟场景为三维列车运行场景,所述多个虚拟声源模型包括:虚拟列车中的各个部件的虚拟声源模型,和/或所述虚拟列车所在的虚拟运行环境中的虚拟声源模型。
第二方面,本发明实施例还提供一种三维声效的模拟装置,应用于三维虚拟场景,所述三维虚拟场景中预先设置有多个虚拟声源模型;所述装置包括:
计算模块,用于根据预设虚拟角色的当前位置,以及所述多个虚拟声源模型的位置,分别计算所述预设虚拟角色和所述多个虚拟声源模型之间的距离;
衰减模块,用于根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述每个虚拟声源模型对应的音量与距离的预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行距离衰减,得到所述每个虚拟声源模型对应的目标声音;
混合模块,用于对所述多个虚拟声源模型对应的目标声音进行合并,得到所述当前位置对应的混合声音;
播放模块,用于播放所述混合声音。
第三方面,本发明实施例还提供一种三维声效的模拟设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以执行上述第一方面任一所述的三维声效的模拟方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一所述的三维声效的模拟方法的步骤。
与现有技术相比,本发明提供的一种三维声效的模拟方法、装置、设备及存储介质,可先通过计算预设虚拟角色的当前位置与三维虚拟场景中多个虚拟声源模型的距离,再通过每个虚拟声源模型对应的音量与距离的预设衰减曲线对每个虚拟声源模型对应声音的音量进行距离衰减,最终将处理后的声音合并得到最终的混合声音并进行播放。因此,执行该方法的过程中,可基于三维虚拟场景中预设虚拟角色与各虚拟声源模型的距离,对各虚拟声源模型对应的声音进行音量的衰减处理,使得预设虚拟角色的位置在三维虚拟场景中发生变化时,对各虚拟声源模型对应的声音进行音量的衰减处理也会发生相应的变化,使得保证了三维虚拟场景中播放的声音,与预设虚拟角色所在的位置相关联,提高了三维虚拟场景的真实感,可使得用户更真实地、沉浸式地感受三维虚拟场景,增强对三维虚拟场景所模拟的真实环境的想象,从而营造出一种身临其境的感觉,达到声效的真实模拟。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明提供的一种三维声效的模拟方法的流程示意图;
图2为本发明提供的一种三维声效的模拟方法的距离衰减流程示意图;
图3a为本发明提供的一种三维声效的模拟方法中球体传播范围示意图;
图3b为本发明提供的一种三维声效的模拟方法中立方体传播范围示意图;
图3c为本发明提供的一种三维声效的模拟方法中圆锥体传播范围示意图;
图4为本发明提供的一种三维声效的模拟方法的障碍衰减流程示意图;
图5为本发明提供的一种三维声效的模拟方法的障碍判断流程示意图;
图6a为本发明提供的一种三维声效的模拟方法中球体声音包围盒碰撞示意图;
图6b为本发明提供的一种三维声效的模拟方法中立方体声音包围盒碰撞示意图;
图6c为本发明提供的一种三维声效的模拟方法中圆柱体声音包围盒碰撞示意图;
图7为本发明提供的一种三维声效的模拟装置的示意图;
图8为本发明提供的一种三维声效的模拟设备。
图标:计算模块1000;衰减模块2000;混合模块3000;播放模块4000;模拟设备10;处理器11;存储介质12;总线13。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在对本发明进行详细地解释之前,先对本发明的应用场景予以介绍。
从电话、广播到今天的立体录音、多声道影院,人们一直都在追求更为自然、准确的声音效果。数字技术的发展让声音在恢复形式上丰富多彩。特别是VR(Virtual Reality,虚拟现实交互)技术近年来十分活跃,在航天、教育、娱乐等领域具有广泛的应用价值。为了让用户产生强烈的沉浸感,在生成图像同时,还可提供逼真的声音效果。作为虚拟现实技术中重要的一环,三维空间内的声效模拟真实性很影响用户的体验和技术实现效果。
将三维空间内的声效模拟技术用于各领域的环境模拟中,如进行模拟旅游、模拟房地产展示、模拟太空舱等,可以使得用户体会到身临其境的效果。同时,由于经济的迅速发展,交通工具的需求量进一步提升,除了小型交通工具以外,大众对于如高速列车、火车等大型交通工具也有着新鲜感,想要感受驾驶大型交通工具的乐趣。与此同时,在这些大型交通工具领域中,越来越多的人需要进行驾驶培训。但是传统的驾驶模拟成本过大,模拟的质量也不高,从而应运而生一些可以模拟体验真实驾驶环境的游戏。
基于此,本发明提出一种三维声效的模拟方法、装置、设备及存储介质,可以解决这些驾驶游戏中的声效模拟问题。该三维声效的模拟方法,可以更好的模拟交通工具的运行声音以及外界的天气音、环境音,从而增强驾驶游戏中声音的仿真度。本发明下述各实施例提供的三维声效的模拟方法可由三维声效的模拟设备执行,该三维声效的模拟设备例如可以为VR设备。
如下结合附图通过多个实施例进行解释说明。图1为本发明提供的一种三维声效的模拟方法的流程示意图,如图1所示,该三维声效的模拟方法,应用于三维虚拟场景,三维虚拟场景中预先设置有多个虚拟声源模型,该方法包括:
S100,根据预设虚拟角色的当前位置,以及多个虚拟声源模型的位置,分别计算预设虚拟角色和多个虚拟声源模型之间的距离。
在本实施中,可以根据预设的虚拟角色在游戏中的可移动范围内的位置和预设的多个虚拟声源模型的位置,分别计算预设虚拟角色与每个预设的虚拟声源模型之间的距离。
S200,根据预设虚拟角色和每个虚拟声源模型之间的距离,采用每个虚拟声源模型对应的音量与距离的预设衰减曲线,对每个虚拟声源模型对应声音的音量进行距离衰减,得到每个虚拟声源模型对应的目标声音。
在本实施例中,由于声音具有强烈的空间感,听者和虚拟声源模型之间的距离改变会影响对应的音量进行衰减,并且不同虚拟声源模型对应的音量衰减特性不同,例如50公里以外的飞机就很响了,10米外的蜜蜂已经听不见了。根据游戏中预设虚拟角色距离每个虚拟声源模型中心点的距离,和每个虚拟声源模型的对应的音量衰减特性,得到每个虚拟声源模型对应的音量与距离之间的预设衰减曲线,在该衰减曲线中每个虚拟声源模型对应声音的音量会根据距离进行衰减,进而得到预设虚拟角色在不同位置下每个虚拟声源模型对应的目标声音。
S300、对多个虚拟声源模型对应的目标声音进行合并,得到当前位置对应的混合声音。
在本实施例中,将当前位置下不同音轨中多个虚拟声源模型对应的目标声音合并导出,得到当前位置对应的混合声音。
S400,播放混合声音。
在本实施例中,把得到的混合声音进行播放,完成对三维声效的模拟。
因此,本实施例通过计算预设虚拟角色的当前位置与三维虚拟场景中多个虚拟声源模型的距离,再通过每个虚拟声源模型对应的音量与距离的预设衰减曲线对每个虚拟声源模型对应声音的音量进行距离衰减,最终将处理后的声音合并得到最终的混合声音并进行播放。因此,执行该方法的过程中,可基于三维虚拟场景中预设虚拟角色与各虚拟声源模型的距离,对各虚拟声源模型对应的声音进行音量的衰减处理,使得预设虚拟角色的位置在三维虚拟场景中发生变化时,对各虚拟声源模型对应的声音进行音量的衰减处理也会发生相应的变化,使得保证了三维虚拟场景中播放的声音,与预设虚拟角色所在的位置相关联,提高了三维虚拟场景的真实感,可使得用户更真实地、沉浸式地感受三维虚拟场景,增强对三维虚拟场景所模拟的真实环境的想象,从而营造出一种身临其境的感觉,达到声效的真实模拟。
进一步地,本发明实施例针对图1所提供的一种三维音效的模拟方法的实现方式,如图1所示,上述一种三维音效的模拟方法中三维虚拟场景为三维列车运行场景,多个虚拟声源模型包括:虚拟列车中的各个部件的虚拟声源模型,和/或虚拟列车所在的虚拟运行环境中的虚拟声源模型。
在本实施例中,三维虚拟场景可以为三维列车运行场景,在一些可能的实现方式中,三维虚拟场景也可以为其他交通工具的三维运行场景,本发明对此不做限制。多个虚拟声源模型包括虚拟列车中的各个部件的虚拟声源模型,和/或虚拟列车所在的虚拟运行环境中的虚拟声源模型,例如列车上发动机的虚拟声源模型,环境中的雨声等虚拟声源模型,本发明对此不做限制。可选地,本实施例中每个虚拟声源模型的声音可预先通过环绕传声器等声音采集设备,对实际现场列车中的各部件以及环境声音进行采集。并且可以根据各个部件和所在的虚拟运行环境的形状,使用立方体、球体、圆柱体的立体图像来包裹,以这些立体图形作为该物体的声音包围盒,形成一个个虚拟模型,即立方体声音包围盒、球体声音包围盒、圆柱体声音包围盒。具体地,就是用一个形状相对简单的包围盒把复杂物体包围住,以便近似地描述空间中的物体,在需要对其进行检测的时候可以降低检测的复杂度,提高效率。
因此,本实施例根据各个部件以及虚拟环境进行建模,得到三维虚拟场景中的多个虚拟声源模型,方便后续声效的后续处理,提升声效模拟的真实度。
在上述图1提供的一种三维声效的模拟方法的基础上,本发明还通过了一种三维声效的模拟方法的可能实现方式。图2为本发明提供的一种三维声效的模拟方法的距离衰减流程示意图。如图2所示,上述方法中S200,根据预设虚拟角色和每个虚拟声源模型之间的距离,采用每个虚拟声源模型对应的音量与距离的预设衰减曲线,对每个虚拟声源模型对应声音的音量进行距离衰减,得到每个虚拟声源模型对应的目标声音,可包括:
S210,根据预设虚拟角色和每个虚拟声源模型之间的距离,判断预设虚拟角色是否在每个虚拟声源模型的预设声音传播范围内。
在本实施例中,当此虚拟声源模型的预设声音传播范围为球体,如图3a所示为三维声效的模拟方法中球体传播范围示意图,D点为声音的中心点位置,O点为预设虚拟角色的当前位置,R为球体的半径,则可计算线段DO的长度,即计算球体中心距离虚拟角色的距离。若DO≤R,则预设虚拟角色的当前位置在预设声音传播范围内;若DO>R,则预设虚拟角色的当前位置不在预设声音传播范围内。
可选地,预设声音传播范围包括:立方体传播范围、圆锥体传播范围;根据预设虚拟角色和每个虚拟声源模型之间的距离,判断预设虚拟角色是否在每个虚拟声源模型的预设声音传播范围内,包括:
S215,根据预设虚拟角色和每个虚拟声源模型之间的距离、方向,判断预设虚拟角色是否在每个虚拟声源模型的预设声音传播范围内。
在本实施例中,当此虚拟声源模型的预设声音传播范围为立方体,如图3b所示为三维声效的模拟方法中立方体传播范围示意图,D点为声音的中心点位置,O点为预设虚拟角色的当前位置,则可根据预设虚拟角色和每个虚拟声源模型之间的距离、方向计算
Figure BDA0003339816130000091
并根据
Figure BDA0003339816130000092
计算在坐标轴X轴上的投影
Figure BDA0003339816130000093
Y轴上的投影
Figure BDA0003339816130000094
Z轴上的投影
Figure BDA0003339816130000095
Figure BDA0003339816130000096
Figure BDA0003339816130000097
Figure BDA0003339816130000098
Figure BDA0003339816130000099
Figure BDA00033398161300000910
则预设虚拟角色的当前位置在预设声音传播范围内;否则,则不在。
在本实施例中,当此虚拟声源模型的预设声音传播范围为圆锥体,如图3c所示为三维声效的模拟方法中圆锥体传播范围示意图,D点为声音的中心点位置,O点为预设虚拟角色的当前位置,圆锥高度为DE,则可根据预设虚拟角色和每个虚拟声源模型之间的距离、方向计算
Figure BDA00033398161300000911
并计算
Figure BDA00033398161300000912
Figure BDA00033398161300000913
上的投影
Figure BDA00033398161300000914
Figure BDA00033398161300000915
则预设虚拟角色的当前位置不在预设声音传播范围内;若
Figure BDA00033398161300000916
则继续计算∠T1DO,若∠T1DO≤该圆锥夹角的一半,则预设虚拟角色的当前位置在预设声音传播范围内;否则,则不在。
S220,若预设虚拟角色在每个虚拟声源模型的预设声音传播范围内,则根据预设虚拟角色和每个虚拟声源模型之间的距离,采用预设衰减曲线,对每个虚拟声源模型对应声音的音量进行距离衰减,得到每个虚拟声源模型对应的目标声音。
在本实施例中,若预设虚拟角色在每个虚拟声源模型的预设声音传播范围内,即根据每个虚拟声源模型对应的音量与距离之间的预设衰减曲线,和预设虚拟角色和每个虚拟声源模型之间的距离,对每个虚拟声源模型的音量按照距离进行衰减,得到每个虚拟声源模型在预设虚拟角色所在的当前位置对应的目标声音。
因此,在本实施例中,根据预设虚拟角色和每个虚拟声源模型之间的距离来检测预设虚拟角色是否会和不同类的虚拟声源模型的预设传播范围发生相交,由此再根据预设衰减曲线以得到根据距离衰减的目标声音。这样可以减少判断失误的同时也简化了声效距离衰减的流程,提升了声效模拟的灵活度。
在上述图2提供的一种三维声效的模拟方法的距离衰减流程的基础上,本发明还通过了一种三维声效的模拟方法的可能实现方式。图4为本发明提供的一种三维声效的模拟方法的障碍衰减流程示意图。如图4所示,上述方法中S220中,若预设虚拟角色在每个虚拟声源模型的预设声音传播范围内,则根据预设虚拟角色和每个虚拟声源模型之间的距离,采用预设衰减曲线,对每个虚拟声源模型对应声音的音量进行距离衰减之后,还包括:
S230,判断三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间是否存在障碍物。
S240,若多个虚拟声源模型中存在和预设虚拟角色之间有障碍物的第一虚拟声源模型,根据障碍物的预设衰减系数,对距离衰减后的第一虚拟声源模型的声音再次进行音量衰减,得到第一虚拟声源模型对应的目标声音。
在本实施例中,若经过距离衰减后的多个虚拟声源模型中与预设虚拟角色之间存在有障碍物的第一虚拟声源模型,如车厢外的雨声,由于声音在传播过程中遇到障碍物会发生衰减,不同障碍物对声音的隔声、吸声能力不同,可根据障碍物的预设衰减系数对距离衰减后的第一虚拟声源模型的声音再次进行音量衰减,得到第一虚拟声源模型对应的目标声音。
S250,若多个虚拟声源模型中还存在和预设虚拟角色之间没有障碍物的第二虚拟声源模型,根据距离衰减后的第二虚拟声源模型的声音,得到第二虚拟声源模型对应的目标声音。
在本实施例中,若经过距离衰减后的多个虚拟声源模型还存在和预设虚拟角色之间没有障碍物的第二虚拟声源模型,如本车厢的播报喇叭,则直接从距离衰减后的第二虚拟声源模型得到第二虚拟声源模型的目标声音。
可选地,在本实施例中,将第一虚拟声源模型对应的目标声音和第二虚拟声源模型的目标声音进行合并,就可得到当前位置对应的混合声音。
因此,在本实施例中,通过判断预设虚拟角色与虚拟声源模型之间是否存在障碍物,考虑了声音在传播过程中遇到障碍物会衰减的情况,进一步地提升了声效模拟的逼真感。
在上述图4提供的一种三维声效的模拟方法的障碍衰减流程的基础上,本发明还通过了一种三维声效的模拟方法的可能实现方式。图5为本发明提供的一种三维声效的模拟方法的障碍判断流程示意图。如图5所示,上述方法中S230中判断三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间是否存在障碍物,包括:
S232,在三维虚拟场景中,建立预设虚拟角色和每个虚拟声源模型的虚拟射线。
在本实施例中,虚拟射线为预设虚拟角色指向每个虚拟声源模型中心点的向量。在实际运用中,可以从预设虚拟角色处发射红外线等射线进行建立。
S234,采用虚拟射线,检测三维虚拟场景中是否存在与虚拟射线存在碰撞的目标虚拟模型。
在本实施例中,需要对三维虚拟环境中的虚拟模型,即球体声音包围盒、立方体声音包围盒、圆柱体声音包围盒进行检测,判断是否存在碰撞的目标虚拟模型。
图6a为本发明提供的一种三维声效的模拟方法中球体声音包围盒碰撞示意图。B点为声音的中心点位置,O点为预设虚拟角色的当前位置,C点为球体声音包围盒的中心,R为球体声音包围盒的半径,根据
Figure BDA0003339816130000111
得到
Figure BDA0003339816130000112
Figure BDA0003339816130000113
上的投影向量
Figure BDA0003339816130000114
在RtΔOAC中,运用勾股定理,得到
Figure BDA0003339816130000115
的长度为d;若d>R,则三维虚拟场景中不存在与虚拟射线存在碰撞的球体声音包围盒;若d≥R,则三维虚拟场景中存在与虚拟射线存在碰撞的球体声音包围盒。
图6b为本发明提供的一种三维声效的模拟方法中立方体声音包围盒碰撞示意图。图中R1、R2为两条射线,中间的灰色框为二维立体包围盒,定义Xn、Xf为射线与长方形两条横线的两个焦点,Yn、Yf为射线与长方形两条竖线的两个焦点。假设射线为
Figure BDA0003339816130000121
其中P为射线的起点,
Figure BDA0003339816130000122
为射线的方向,那么此时上述四个点可以表示为
Figure BDA0003339816130000123
Figure BDA0003339816130000124
如果max(txn,tyn)≤min(txf,tyf),则射线与长方形相交。同理,可以将该算法推广至三维环境中的计算:如果在三维环境中,max(txn,tyn,tzn)≤min(txf,tyf,tzf),则三维虚拟场景中存在与虚拟射线存在碰撞的目立方体声音包围盒;若max(txn,tyn,tzn)>min(txf,tyf,tzf),则三维虚拟场景中不存在与虚拟射线存在碰撞的立方体声音包围盒。
图6c为本发明提供的一种三维声效的模拟方法中圆柱体声音包围盒碰撞示意图。由三维空间下圆柱体的标准方程x2+y2=R2,其中R为圆柱体横截面的半径,由射线的直线方程y=ax+b,a、b为射线的已知系数,则将两方程式联立,如果可以得到x、y的有效值,则射线与圆柱体相交,即三维虚拟场景中存在与虚拟射线存在碰撞的目圆柱体声音包围盒;如果无法得到x、y的有效值,则三维虚拟场景中不存在与虚拟射线存在碰撞的圆柱体声音包围盒。
S236,若三维虚拟场景中存在目标虚拟模型,则确定三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间存在障碍物,且,障碍物为目标虚拟模型。
在本实施例中,若三维虚拟场景中存在与虚拟射线存在碰撞的球体声音包围盒、立方体声音包围盒和圆柱体声音包围盒中一个或多个碰撞的目标虚拟模型,则确定三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间存在障碍物,且,障碍物为目标虚拟模型。
S238,若三维虚拟场景中不存在目标虚拟模型,则确定三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间不存在障碍物。
在本实施例中,如果三维虚拟场景中预设虚拟角色和每个虚拟声源模型均不存在目标虚拟模型,则确定三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间不存在障碍物。
因此,在本实施例中,利用建立预设虚拟角色和每个虚拟声源模型的虚拟射线来检测三维虚拟场景中是否存在与虚拟射线存在碰撞的目标虚拟模型,对空间中可能存在对声音产生衰减的障碍物进行筛选,实现环境等对声音听觉效果的影响,增强声效的真实感。
在上述图1提供的一种三维声效的模拟方法的基础上,本发明还通过了一种三维声效的模拟方法的可能实现方式。在S100根据预设虚拟角色的当前位置,以及多个虚拟声源模型的位置,分别计算预设虚拟角色和多个虚拟声源模型之间的距离,包括:
S1,采用预设的频率,获取预设虚拟角色的当前位置。
在本实施例中,可以通过预设获取虚拟角色当前位置的频率,可以自主控制当前声效随位置改变的速率,当预设的频率较高时,则模拟出的声效随位置改变的频率就快。
因此,在此实施例中,可根据实际的用户需求以及环境影响,适应性地调整获取预设虚拟角色的当前位置的频率,控制声效变换的速率。
下述对用以执行的本申请所提供的一种三维声效的模拟装置及三维声效的模拟设备进行说明,其具体的实现过程以及技术效果参见上述,下述不再赘述。
图7为本发明提供的一种三维声效的模拟装置的示意图,如图7所示,该三维声效的模拟装置,应用于三维虚拟场景,所述三维虚拟场景中预先设置有多个虚拟声源模型,包括:
计算模块1000,用于根据预设虚拟角色的当前位置,以及多个虚拟声源模型的位置,分别计算预设虚拟角色和多个虚拟声源模型之间的距离;
衰减模块2000,用于根据预设虚拟角色和每个虚拟声源模型之间的距离,采用每个虚拟声源模型对应的音量与距离的预设衰减曲线,对每个虚拟声源模型对应声音的音量进行距离衰减,得到每个虚拟声源模型对应的目标声音;
混合模块3000,用于对多个虚拟声源模型对应的目标声音进行合并,得到当前位置对应的混合声音;
播放模块4000,用于播放混合声音。
可选地,计算模块1000,具体用于采用预设的频率,获取预设虚拟角色的当前位置。
可选地,衰减模块2000,具体用于根据预设虚拟角色和每个虚拟声源模型之间的距离,判断预设虚拟角色是否在每个虚拟声源模型的预设声音传播范围内;若预设虚拟角色在每个虚拟声源模型的预设声音传播范围内,则根据预设虚拟角色和每个虚拟声源模型之间的距离,采用预设衰减曲线,对每个虚拟声源模型对应声音的音量进行距离衰减,得到每个虚拟声源模型对应的目标声音。
可选地,衰减模块2000,具体还用于根据预设虚拟角色和每个虚拟声源模型之间的距离、方向,判断预设虚拟角色是否在每个虚拟声源模型的预设声音传播范围内。
可选地,衰减模块2000,具体还用于判断三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间是否存在障碍物;若多个虚拟声源模型中存在和预设虚拟角色之间有障碍物的第一虚拟声源模型,根据障碍物的预设衰减系数,对距离衰减后的第一虚拟声源模型的声音再次进行音量衰减,得到第一虚拟声源模型对应的目标声音;若多个虚拟声源模型中还存在和预设虚拟角色之间没有障碍物的第二虚拟声源模型,根据距离衰减后的第二虚拟声源模型的声音,得到第二虚拟声源模型对应的目标声音。
可选地,衰减模块2000,具体还用于在三维虚拟场景中,建立预设虚拟角色和每个虚拟声源模型的虚拟射线;采用虚拟射线,检测三维虚拟场景中是否存在与虚拟射线存在碰撞的目标虚拟模型;若三维虚拟场景中存在目标虚拟模型,则确定三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间存在障碍物,且,障碍物为目标虚拟模型;若三维虚拟场景中不存在目标虚拟模型,则确定三维虚拟场景中预设虚拟角色和每个虚拟声源模型之间不存在障碍物。
可选地,三维虚拟场景为三维列车运行场景,多个虚拟声源模型包括:虚拟列车中的各个部件的虚拟声源模型,和/或虚拟列车所在的虚拟运行环境中的虚拟声源模型。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图8为本发明提供的一种三维声效的模拟设备的示意图,该设备可以是具备计算处理功能的计算设备或服务器。
该三维声效的模拟设备10包括:处理器11、存储介质12和总线13,存储介质12存储有处理器11可执行的机器可读指令,当该三维声效的模拟设备10执行时,处理器11与存储介质12之间通过总线13通信,处理器11执行机器可读指令,以执行上述方法实施例。具体实现方式和技术效果类似,这里不再赘述。
可选地,本发明还提供一种程序产品,例如计算机可读存储介质,包括程序,该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种三维声效的模拟方法,其特征在于,应用于三维虚拟场景,所述三维虚拟场景中预先设置有多个虚拟声源模型;所述方法包括:
根据预设虚拟角色的当前位置,以及所述多个虚拟声源模型的位置,分别计算所述预设虚拟角色和所述多个虚拟声源模型之间的距离;
根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述每个虚拟声源模型对应的音量与距离的预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行距离衰减,得到所述每个虚拟声源模型对应的目标声音;
对所述多个虚拟声源模型对应的目标声音进行合并,得到所述当前位置对应的混合声音;
播放所述混合声音。
2.根据权利要求1所述的方法,其特征在于,所述根据预设虚拟角色和每个虚拟声源模型之间的距离,采用所述每个虚拟声源模型对应的音量与距离的预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行衰减处理,得到所述每个虚拟声源模型对应的目标声音,包括:
根据所述预设虚拟角色和每个虚拟声源模型之间的距离,判断所述预设虚拟角色是否在所述每个虚拟声源模型的预设声音传播范围内;
若所述预设虚拟角色在所述每个虚拟声源模型的预设声音传播范围内,则根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行距离衰减,得到所述每个虚拟声源模型对应的目标声音。
3.根据权利要求2所述的方法,其特征在于,所述预设声音传播范围包括:立方体传播范围、圆锥体传播范围;所述根据所述预设虚拟角色和每个虚拟声源模型之间的距离,判断所述预设虚拟角色是否在所述每个虚拟声源模型的预设声音传播范围内,包括:
根据所述预设虚拟角色和每个虚拟声源模型之间的距离、方向,判断所述预设虚拟角色是否在所述每个虚拟声源模型的预设声音传播范围内。
4.根据权利要求2所述的方法,其特征在于,所述若所述预设虚拟角色在所述每个虚拟声源模型的预设声音传播范围内,所述根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行距离衰减之后,所述方法还包括:
判断所述三维虚拟场景中所述预设虚拟角色和所述每个虚拟声源模型之间是否存在障碍物;
若所述多个虚拟声源模型中存在和所述预设虚拟角色之间有障碍物的第一虚拟声源模型,根据所述障碍物的预设衰减系数,对距离衰减后的所述第一虚拟声源模型的声音再次进行音量衰减,得到所述第一虚拟声源模型对应的目标声音;
若所述多个虚拟声源模型中还存在和所述预设虚拟角色之间没有障碍物的第二虚拟声源模型,根据距离衰减后的所述第二虚拟声源模型的声音,得到所述第二虚拟声源模型对应的目标声音。
5.根据权利要求4所述的方法,其特征在于,所述判断所述三维虚拟场景中所述预设虚拟角色和所述每个虚拟声源模型之间是否存在障碍物,包括:
在所述三维虚拟场景中,建立所述预设虚拟角色和所述每个虚拟声源模型的虚拟射线;
采用所述虚拟射线,检测所述三维虚拟场景中是否存在与所述虚拟射线存在碰撞的目标虚拟模型;
若所述三维虚拟场景中存在所述目标虚拟模型,则确定所述三维虚拟场景中所述预设虚拟角色和所述每个虚拟声源模型之间存在障碍物,且,所述障碍物为所述目标虚拟模型;
若所述三维虚拟场景中不存在所述目标虚拟模型,则确定所述三维虚拟场景中所述预设虚拟角色和所述每个虚拟声源模型之间不存在障碍物。
6.根据权利要求1所述的方法,其特征在于,所述根据所述预设虚拟角色的当前位置,以及所述多个虚拟声源模型的位置,分别计算所述预设虚拟角色和所述多个虚拟声源模型之间的距离,包括:
采用预设的频率,获取所述预设虚拟角色的当前位置。
7.根据权利要求1-6中任一所述的方法,其特征在于,所述三维虚拟场景为三维列车运行场景,所述多个虚拟声源模型包括:虚拟列车中的各个部件的虚拟声源模型,和/或所述虚拟列车所在的虚拟运行环境中的虚拟声源模型。
8.一种三维声效的模拟装置,其特征在于,应用于三维虚拟场景,所述三维虚拟场景中预先设置有多个虚拟声源模型;所述装置包括:
计算模块,用于根据预设虚拟角色的当前位置,以及所述多个虚拟声源模型的位置,分别计算所述预设虚拟角色和所述多个虚拟声源模型之间的距离;
衰减模块,用于根据所述预设虚拟角色和每个虚拟声源模型之间的距离,采用所述每个虚拟声源模型对应的音量与距离的预设衰减曲线,对所述每个虚拟声源模型对应声音的音量进行距离衰减,得到所述每个虚拟声源模型对应的目标声音;
混合模块,用于对所述多个虚拟声源模型对应的目标声音进行合并,得到所述当前位置对应的混合声音;
播放模块,用于播放所述混合声音。
9.一种三维声效的模拟设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以执行如权利要求1至7任一所述的三维声效的模拟方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一所述的三维声效的模拟方法的步骤。
CN202111304866.8A 2021-11-05 2021-11-05 一种三维声效的模拟方法、装置、设备及存储介质 Pending CN114035764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111304866.8A CN114035764A (zh) 2021-11-05 2021-11-05 一种三维声效的模拟方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111304866.8A CN114035764A (zh) 2021-11-05 2021-11-05 一种三维声效的模拟方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114035764A true CN114035764A (zh) 2022-02-11

Family

ID=80136339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111304866.8A Pending CN114035764A (zh) 2021-11-05 2021-11-05 一种三维声效的模拟方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114035764A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513738A (zh) * 2022-02-21 2022-05-17 北京华建云鼎科技股份公司 一种用于模拟虚拟驾驶环境的数据处理系统
CN115272617A (zh) * 2022-08-29 2022-11-01 北京京航计算通讯研究所 一种物件声学的虚拟仿真展示方法和系统
CN115334366A (zh) * 2022-08-16 2022-11-11 中国传媒大学 一种交互沉浸式声场漫游的建模方法
CN115550600A (zh) * 2022-09-27 2022-12-30 阿里巴巴(中国)有限公司 识别音频数据声音来源的方法、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063183A (ja) * 2013-11-05 2014-04-10 Copcom Co Ltd 効果音生成装置及びその効果音生成装置を実現するための効果音生成プログラム
CN108597530A (zh) * 2018-02-09 2018-09-28 腾讯科技(深圳)有限公司 声音再现方法和装置、存储介质及电子装置
US20180359591A1 (en) * 2017-06-08 2018-12-13 Microsoft Technology Licensing, Llc Audio propagation in a virtual environment
CN113362864A (zh) * 2021-06-16 2021-09-07 北京字节跳动网络技术有限公司 音频信号处理的方法、装置、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063183A (ja) * 2013-11-05 2014-04-10 Copcom Co Ltd 効果音生成装置及びその効果音生成装置を実現するための効果音生成プログラム
US20180359591A1 (en) * 2017-06-08 2018-12-13 Microsoft Technology Licensing, Llc Audio propagation in a virtual environment
CN108597530A (zh) * 2018-02-09 2018-09-28 腾讯科技(深圳)有限公司 声音再现方法和装置、存储介质及电子装置
CN113362864A (zh) * 2021-06-16 2021-09-07 北京字节跳动网络技术有限公司 音频信号处理的方法、装置、存储介质及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513738A (zh) * 2022-02-21 2022-05-17 北京华建云鼎科技股份公司 一种用于模拟虚拟驾驶环境的数据处理系统
CN115334366A (zh) * 2022-08-16 2022-11-11 中国传媒大学 一种交互沉浸式声场漫游的建模方法
CN115272617A (zh) * 2022-08-29 2022-11-01 北京京航计算通讯研究所 一种物件声学的虚拟仿真展示方法和系统
CN115550600A (zh) * 2022-09-27 2022-12-30 阿里巴巴(中国)有限公司 识别音频数据声音来源的方法、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN114035764A (zh) 一种三维声效的模拟方法、装置、设备及存储介质
CN113597777B (zh) 音频处理
EP3635975B1 (en) Audio propagation in a virtual environment
US7113610B1 (en) Virtual sound source positioning
CN111095952B (zh) 使用体积音频渲染和脚本化音频细节级别的3d音频渲染
US20160034248A1 (en) Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene
WO2022105519A1 (zh) 音效调整方法、装置、设备、存储介质及计算机程序产品
CN105764581A (zh) 可变音频参数设置
CN112206517B (zh) 一种渲染方法、装置、存储介质及计算机设备
US11924626B2 (en) Sound tracing apparatus and method
Debattista et al. Subjective evaluation of high-fidelity virtual environments for driving simulations
CN110929078A (zh) 一种汽车语音形象换装方法、装置、设备及存储介质
CN115103292B (zh) 虚拟场景中的音频处理方法、装置、电子设备及存储介质
CN116385622A (zh) 云图处理方法、装置、计算机及可读存储介质
CN115273795B (zh) 模拟冲激响应的生成方法、装置和计算机设备
CN115880526A (zh) 图像处理方法、装置、电子设备及存储介质
Wu et al. 3d sound rendering in a virtual environment to evaluate pedestrian street crossing decisions at a roundabout
CN112927718A (zh) 感知周围环境的方法、装置、终端和存储介质
CN114513738A (zh) 一种用于模拟虚拟驾驶环境的数据处理系统
Chandak Efficient geometric sound propagation using visibility culling
US20240286038A1 (en) Method And Apparatus Of Dynamic Diegetic Audio Generation
US20240267690A1 (en) Audio rendering system and method
US20240193845A1 (en) Rendering method and device for improving realism of rendered image
Dias et al. 3D reconstruction and spatial auralization of the Painted Dolmen of Antelas
Amengual Gari et al. Perceptual comparison of efficient real-time geometrical acoustics engines in Virtual Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination