CN114979934A - 音效生成方法、装置、可读介质以及电子设备 - Google Patents

音效生成方法、装置、可读介质以及电子设备 Download PDF

Info

Publication number
CN114979934A
CN114979934A CN202210508041.6A CN202210508041A CN114979934A CN 114979934 A CN114979934 A CN 114979934A CN 202210508041 A CN202210508041 A CN 202210508041A CN 114979934 A CN114979934 A CN 114979934A
Authority
CN
China
Prior art keywords
target
sound effect
room
ray
reverberation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210508041.6A
Other languages
English (en)
Inventor
徐杨飞
贡昱洲
马泽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202210508041.6A priority Critical patent/CN114979934A/zh
Publication of CN114979934A publication Critical patent/CN114979934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本公开涉及一种音效生成方法、装置、可读介质以及电子设备,所述方法包括:获取音效接收端在虚拟空间场景中的第一位置;根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。本公开的音效生成方法,可以提高生成混响音效的计算效率。

Description

音效生成方法、装置、可读介质以及电子设备
技术领域
本公开涉及音频处理技术领域,具体地,涉及一种音效生成方法、装置、可读介质以及电子设备。
背景技术
沉浸感音效是让听者身临其境的一种声音效果,沉浸感音效可以应用于多种场景,例如,VR(Virtual Reality,虚拟现实)场景、AR(Augmented Reality,增强现实)场景以及游戏场景等,从而使玩家或者使用者在该场景下获得更真实的临场感。
声源运动的感知和声场环境的感知是沉浸感音效的重要处理环节,也是最影响体验的环节,因此,优化声源运动的感知和声场环境的感知是十分有必要的。
发明内容
提供该部分内容以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,本公开提供一种音效生成方法,包括:
获取音效接收端在虚拟空间场景中的第一位置;
根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;
根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;
根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;
根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。
第二方面,本公开提供一种音效生成装置,包括:
第一获取模块,被配置为获取音效接收端在虚拟空间场景中的第一位置;
第一发射模块,被配置为根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;
第一确定模块,被配置为根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;
第二确定模块,被配置为根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;
第一生成模块,被配置为根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。
第三方面,本公开提供一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现第一方面所述方法的步骤。
第四方面,本公开提供一种电子设备,包括:
存储装置,其上存储有至少一个计算机程序;
至少一个处理装置,用于执行所述存储装置中的所述至少一个计算机程序,以实现第一方面所述方法的步骤。
通过上述技术方案,通过根据预设房间形状确定的多个入射方向,在第一位置处发射第一射线,由于第一射线的入射方向为其经过反射后的反射方向,因此,在确定入射方向的情况下,无需根据第一射线的反射方向对第一射线进行分类,以通过根据反射方向进行分类后的第一射线的反射信息确定房间尺寸和平均反射系数。本公开直接根据每一入射方向的第一射线在目标房间中进行反射的反射信息,确定房间尺寸和平均反射系数,减少了根据第一射线的反射方向对第一射线进行分类的过程,可以极大的提高计算效率,从而整体提升生成混响音效的效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。在附图中:
图1是根据本公开一示例性实施例示出的一种音效生成方法的流程图。
图2是根据本公开一示例性实施例示出的发射第一射线的示意图。
图3是根据本公开一示例性实施例示出的生成双耳直达音效的方法的流程图。
图4是根据本公开一示例性实施例示出的一种音效生成装置的框图。
图5是根据本公开一示例性实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
正如背景技术所言,声源运动的感知和声场环境的感知是沉浸感音效的重要处理环节,也是最影响体验的环节。声源运动的感知可以包括听源与听者间存在障碍时,听者对声源的感知,其可以理解为声障问题;声场环境的感知可以包括房间切换或听者所处环境发生变化时,听者对环境的感知,其可以理解为动态混响问题。相关技术中,解决声障问题所采用的技术方案生成的音效的沉浸感不强,且解决动态混响问题所采用的技术方案的计算效率低。
图1是根据本公开一示例性实施例示出的一种音效生成方法的流程图,该音效生成方法可以应用于电子设备,电子设备可以包括手机、平板电脑、笔记本电脑以及可穿戴设备等。在一些实施例中,音效生成方法每隔预设时长执行,预设时长可以根据实际需求具体设置,例如,10ms、20ms或30ms等,由于间隔时间为毫秒级,相当于音效生成方法实时执行。如图1所示,该方法包括以下步骤。
步骤110,获取音效接收端在虚拟空间场景中的第一位置。
在一些实施例中,音效接收端可以是指用户(或玩家),例如,在VR场景、AR场景或游戏场景中的用户(或玩家)。虚拟空间场景可以是为用户构建的虚拟空间(或游戏空间),在该虚拟空间中用户可以通过虚拟对象进行显示,例如,用户可以通过其操控的游戏角色进行显示。在一些实施例中,第一位置可以是指用户对应的虚拟对象在虚拟空间场景中的位置。
步骤120,根据预设房间形状确定的多个入射方向,在第一位置处发射第一射线,预设房间形状用于表征第一位置在虚拟空间场景中所处的目标房间的形状。
在一些实施例中,虚拟空间场景中可以包括多个房间,目标房间可以是用户的第一位置所处的房间。在一些实施例中,预设房间形状可以用于表征目标房间的形状,预设房间形状可以根据实际需求预先设置。在一些实施例中,预设房间形状可以包括但不限于:长方体、球体、十二面体或二十面体。在一些实施例中,可以将预设房间形状设置为多面体,例如,十二面体或二十面体等,通过将预设房间形状设置为多面体,可以提高后续计算的房间尺寸的准确度。
在一些实施例中,多个入射方向可以根据用于确定房间尺寸的维度确定,例如,预设房间形状是长方体,用于确定长方体尺寸的维度包括长宽高,则多个入射方向可以是长方体的正交方向,如图2所示,此时可以以第一位置(即图2所示的用户的位置)为原点,根据X轴正向、X轴负向、Y轴正向、Y轴负向)、Z轴正向以及Z轴负向的方向发射第一射线。例如,预设房间形状为球体,用于确定球体尺寸的维度包括半径,则多个入射方向可以是球体的半径方向,此时可以以第一位置为原点,向球体的半径方向发射第一射线。
本公开通过根据预设房间形状的维度确定多个入射方向,并根据多个入射方向发射第一射线,由于根据入射方向发射的第一射线,会沿着该入射方向反射回来,且入射方向根据预设房间形状的维度确定,则发射的第一射线会在入射方向对应的反射面上进行反射,该反射面为目标房间的预设房间形状的组成面,因此,每一入射方向的第一射线的反射信息反映对应反射面的信息,进而通过每一入射方向的第一射线的反射信息即可确定与该入射方向对应的目标房间的反射面的尺寸或平均反射系数。
步骤130,根据每一入射方向的第一射线在目标房间中进行反射的反射信息,确定目标房间的房间尺寸和目标平均反射系数。
在一些实施例中,第一射线可以是射线簇,射线簇可以包括多条射线。在一些实施例中,反射信息可以包括第一射线在目标房间的第一组成面上的第一反射点和第一射线的入射能量和反射能量。
在一些实施例中,根据每一入射方向的第一射线在目标房间中进行反射的反射信息,确定目标房间的房间尺寸和目标平均反射系数,包括:根据每一入射方向的第一射线在目标房间的第一组成面上的第一反射点进行聚类处理,确定目标房间的房间尺寸,第一组成面为目标房间在虚拟空间场景中的组成面;以及根据每一入射方向的第一射线进行反射的入射能量和反射能量,确定目标房间的所述目标平均反射系数。
在一些实施例中,虚拟空间场景由三角面或四角面组成,对应的,虚拟空间场景中的目标房间也可以由三角面或四角面组成,因此,第一组成面可以是三角面或四角面。
在一些实施例中,音效生成方法还包括:根据每一入射方向的第一射线和第一组成面进行射线跟踪,确定第一射线在目标房间中进行反射的第一反射路径;根据第一反射路径与第一组成面的第一交点,确定第一反射点。
在一些实施例中,射线跟踪可以通过射线库实现,对应的,可以将第一射线和第一组成面输入至射线库中进行射线跟踪,确定第一射线在目标房间中的第一反射路径。射线库可以是EMBREE射线库,关于EMBREE射线库的具体细节可以参见相关技术,在此不再赘述。
在一些实施例中,可以根据每一入射方向的第一射线和第一组成面进行预设次数的射线跟踪,预设次数可以包括一次或多次,通过进行多次射线跟踪,可以尽可能多地确定反射路径与第一组成面的交点,从而尽可能多地确定第一反射点,以进一步提高后续计算的房间尺寸的准确度。
在一些实施例中,根据每一入射方向的第一射线在目标房间的第一组成面上的第一反射点进行聚类处理,确定目标房间的房间尺寸,包括:针对每一入射方向的第一射线在目标房间的第一组成面上的第一反射点,根据该第一反射点和第一位置之间的距离,确定该入射方向对应的第二组成面的尺寸,以得到每一入射方向对应的每一第二组成面的尺寸;根据每一入射方向对应的每一第二组成面的尺寸确定房间尺寸。
示例地,以图2为例,则可以根据X轴正向和X轴负向的第一射线的第一反射点和第一位置之间的距离,确定长方体的两侧面的尺寸(该尺寸可以是两侧面各边的长度),依次类推,可以确定长方体六个面各自的尺寸,从而根据六个面各自的尺寸,可以确定房间尺寸。在一些实施例中,房间尺寸可以是目标房间的预设房间形状各边的长度。
在一些实施例中,可以根据满足预设条件的距离的平均值,确定该入射方向对应的第二组成面的尺寸。预设条件可以根据实际情况具体确定,例如,预设条件可以是距离大于预设阈值,或者预设条件可以是距离排序前预设名次或预设比例。通过距离的平均值确定入射方向对应的第二组成面的尺寸,操作简单,计算效率高。
在一些实施例中,根据每一入射方向的第一射线在目标房间的第一组成面上的第一反射点进行聚类处理,确定目标房间的房间尺寸,包括:对每一入射方向的第一射线在目标房间的第一组成面上的第一反射点进行K-Mean聚类处理,确定目标房间的每一第二组成面的位置;根据每一第二组成面的位置确定房间尺寸。在一些实施例中,第二组成面为目标房间的预设房间形状的组成面,例如,预设房间形状为长方体,则第二组成面包括长方体的六个面。通过K-Mean聚类处理确定房间尺寸,可以提高确定的房间尺寸的准确度。
在一些实施例中,根据每一入射方向的第一射线进行反射的入射能量和反射能量,确定目标房间的目标平均反射系数,包括:根据每一入射方向的第一射线的入射能量和反射能量,确定与每一所述入射方向对应的每一第二组成面的平均反射系数,第二组成面为目标房间的所述预设房间形状的组成面;根据每一第二组成面的平均反射系数,确定目标房间的目标平均反射系数。
在一些实施例中,第一射线的反射能量可以根据第一射线进行反射的第一组成面的预设反射系数和第一射线的入射能量确定。在一些实施例中,第一射线的入射能量在发射射线时是已知的,且第一组成面的预设反射系数是预先设置的,则通过第一射线的入射能量与该第一射线进行反射的第一组成面的预设反射系数的乘积,可以得到第一射线的反射能量。
在一些实施例中,针对每一入射方向的第一射线,可以根据每一第一射线的入射能量进行加权求平均,得到平均入射能量;根据每一第一射线的反射能量进行加权求平均,得到平均反射能量;以及根据平均反射能量和平均入射能量的比值,得到该入射方向对应的第二组成面的平均反射系数,以得到每一入射方向对应的每一第二组成面的平均反射系数。
在一些实施例中,对入射能量和反射能量进行加权求平均时,第一射线对应的权重可以根据第一射线进行反射的第一组成面的面积确定,例如,面积越大,权重越大。在一些实施例中,可以对每一第二组成面的平均反射系数进行求和,确定目标房间的目标平均反射系数。
本公开通过根据预设房间形状确定的多个入射方向,在第一位置处发射第一射线,由于第一射线的入射方向为其经过反射后的反射方向,因此,在确定入射方向的情况下,无需根据第一射线的反射方向对第一射线进行分类(即无需根据第一射线的反射方向对在同一反射面上进行反射的第一射线进行分类),以通过根据反射方向进行分类后的第一射线的反射信息确定房间尺寸和平均反射系数。本公开直接根据每一入射方向的第一射线在目标房间中进行反射的反射信息,确定房间尺寸和平均反射系数,减少了根据第一射线的反射方向对第一射线进行分类的过程,可以极大的提高计算效率,从而整体提升生成混响音效的效率。
步骤140,根据房间尺寸和平均反射系数,确定目标房间的混响时间。
在一些实施例中,混响时间是室内声音达到稳定状态后,室内平均声压级从声源停止发声到衰减60dB所用的时间,其可以用RT60表示。在一些实施例中,混响时间可以通过以下公式(1)确定:
Figure BDA0003636834450000091
其中,T表示混响时间,V表示房间容积,S表示内表面积,
Figure BDA0003636834450000092
表示平均吸声系数。
示例地,以房间尺寸为目标房间的预设房间形状各边的长度为例,则通过房间尺寸可以计算出目标房间的房间容积和内表面积。且由于平均吸声系数和平均反射系数的和为1,则通过平均反射系数可以计算出平均吸声系数。从而,将计算出的房间容积、内表面积以及平均吸声系数代入上述公式(1),可以得到目标房间的混响时间。
步骤150,根据混响时间对混响生成器进行处理,生成目标混响音效,以将目标混响音效发送给音效接收端。
在一些实施例中,混响生成器包括双耳房间冲击响应和前馈延时网络;根据混响时间对混响生成器进行处理,生成目标混响音效,包括:根据混响时间对双耳房间冲击响应的参数进行调整,生成第一混响音效;根据混响时间对前馈延时网络的参数进行调整,生成第二混响音效;基于第一混响音效和第二混响音效进行混合处理,生成目标混响音效。
在一些实施例中,双耳房间冲击响应(BRIR,binaural room impulse response)用于描述从声源到音效接收端,即听者双耳处的声传输过程,双耳房间冲击响应与混响时间相关,为实测数据。根据混响时间对双耳房间冲击响应的参数进行调整可以包括将混响时间与双耳房间冲击响应进行匹配,例如,混响时间比双耳房间冲击响应大,则将双耳房间冲击响应的时间放大,反之,则将双耳房间冲击响应的时间减小,以匹配输入的混响时间。
在一些实施例中,将混响时间与双耳房间冲击响应进行匹配可以包括但不限于:对双耳房间冲击响应进行时间上的衰减、时域上的衰减或分布卷积的频域上的衰减。在一些实施例中,双耳房间冲击响应可以通过预置的若干已采集的房间卷积核得到。根据计算资源的限制,可以选择不同阶数的BRIR。
由于双耳房间冲击响应的失真会影响声音信号的音质,降低听者的听音感受,因此,本公开通过根据混响时间对双耳房间冲击响应的参数进行调整,可以提高生成的第一混响音效的音质。
在一些实施例中,根据混响时间对前馈延时网络(FDN,feedforward delayednetwork)的参数进行调整可以是指根据混响时间选择FDN中对应的的滤波器。通过FDN生成的第二混响音效可以是较晚期的混响音效,其生成第二混响音效的效率高,通过BRIR生成的第一混响音效的音质高,因此,本公开通过BRIR和FDN共同生成目标混响音效,可以在兼顾效率的同时生成更好的混响效果。
值得说明的是,本公开并不仅限于结合BRIR和FDN的方式生成目标混响音效,例如,还可以根据混响时间使用频谱混响生成法生成目标混响音效、根据混响时间调整FDN的参数生成目标混响音效、根据混响时间调整BRIR的参数生成目标混响音效,或者其他利用混响时间的混响生成法生成目标混响音效。关于频谱混响生成法可以参见相关技术,关于BRIR和FDN可以参见前文相关描述,在此不再赘述。
图3是根据本公开一示例性实施例示出的生成双耳直达音效的方法的流程图。如图3所示,该方法包括以下步骤。
步骤310,获取声源在虚拟空间场景中的第二位置。
在一些实施例中,声源可以包括多个,声源是指可发出被音效接收端接收到的声音的对象,例如,可以是游戏中的非玩家校色,也可以是其他玩家操控的游戏角色,或者发声物体等。关于虚拟空间场景的具体细节可以参见步骤110及其相关描述,在此不再赘述。
步骤320,在第二位置处发射第二射线。
在一些实施例中,第二射线可以是射线簇,射线簇可以包括多条射线。在一些实施例中,可以在声源与音效接收端(即听者)的连线方向的预设范围内发射第二射线,通过在该预设范围内发射第二射线可以提高确定的声障程度和等效方位的准确度。
步骤330,根据第二射线在目标房间中进行反射,确定第二射线在目标房间的第一组成面上的第二反射点,第一组成面为目标房间在虚拟空间场景中的组成面。
在一些实施例中,根据第二射线在目标房间中进行反射,确定第二射线在目标房间的第一组成面上的第二反射点,包括:根据第二射线和第一组成面进行射线跟踪,确定第二射线在目标房间中进行反射的第二反射路径;根据第二反射路径与第一组成面的第二交点,确定第二反射点。关于确定第二反射点的具体细节与确定第一反射点相同,具体可参见上述步骤130及其相关描述,在此不再赘述。
步骤340,根据第二反射点与声源的第一连线和第一组成面之间的相交情况,确定声障程度和声源的等效方位,声障程度反映声源与音效接收端之间的空间被障碍的程度,等效方位反映声源被障碍时,音效接收端感知到的声源的位置。
在一些实施例中,根据第二反射点与声源的第一连线和第一组成面之间的相交情况,可以判断该第二反射点是否能够无障碍的直达听者,例如,第一连线与第一组成面不相交表征该第一连线的第二反射点能够直达听者,反之,则表征该第一连线的第二反射点不能直达听者。
在一些实施例中,根据第二反射点与声源的第一连线和第一组成面之间的相交情况,确定声障程度和声源的等效方位,包括:根据与第一组成面相交的第一连线对应的初始第二反射点的数量,确定声障程度,以及根据与第一组成面不相交的第一连线对应的目标第二反射点的位置,确定等效方位。
在一些实施例中,与第一组成面相交的第一连线对应的初始第二反射点的数量越多,则表征声源与听者之间被遮挡的程度越低,则对应的声障程度越低,反之,数量越少,则声障程度越高。在一些实施例中,可以根据与第一组成面不相交的第一连线对应的目标第二反射点的位置进行加权运算,确定等效方位。例如,可以将目标第二反射点集中的位置确定为等效方位。通过确定等效方位可以拟合当声源被障碍物阻挡时,听者所感知到的声源方位会发生变化的现象。
步骤350,根据声障程度和等效方位,生成双耳直达音效,以将双耳直达音效发送给音效接收端,或者以将双耳直达音效和目标混响音效的混合音效发送给音效接收端。
在一些实施例中,根据声障程度和等效方位,生成双耳直达音效,包括:根据声障程度对声源进行衰减处理,生成目标声源;根据目标声源和等效方位进行编码处理和解码处理,生成双耳直达音效。
在一些实施例中,衰减处理可以通过低通滤波器实现,例如,可以根据声障程度调整低通滤波器的参数,如提高抑制的高频分量等。在一些实施例中,编码处理可以是AmbiX编码,解码处理可以是AmbiX解码,关于AmbiX编码和AmbiX解码的具体细节可以参见相关技术,在此不再赘述。
本公开通过等效方位代替实际方位,等效方位会改变听者对声源方位的感知,从而根据等效方位和声障程度生成传递给听者的双耳直达音效,可以提高听者对声源的沉浸感。
值得说明的是,本公开并不限于通过上述方案生成双耳直达音效,例如,还可以通过HRTF(Head Related Transfer Function,头相关变换函数)生成直达声的方法,或其他生成直达声的方法。
图4是根据本公开一示例性实施例示出的一种音效生成装置的框图。如图4所示,该装置400包括:
第一获取模块410,被配置为获取音效接收端在虚拟空间场景中的第一位置;
第一发射模块420,被配置为根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;
第一确定模块430,被配置为根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;
第二确定模块440,被配置为根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;
第一生成模块450,被配置为根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。
在一些实施例中,所述第一确定模块430进一步被配置为:
根据每一所述入射方向的所述第一射线在所述目标房间的第一组成面上的第一反射点进行聚类处理,确定所述目标房间的所述房间尺寸,所述第一组成面为所述目标房间在所述虚拟空间场景中的组成面;以及
根据每一所述入射方向的所述第一射线进行反射的入射能量和反射能量,确定所述目标房间的所述目标平均反射系数。
在一些实施例中,所述装置还包括:
第三确定模块,被配置为根据每一所述入射方向的所述第一射线和所述第一组成面进行射线跟踪,确定所述第一射线在所述目标房间中进行反射的第一反射路径;
第四确定模块,被配置为根据所述第一反射路径与所述第一组成面的第一交点,确定所述第一反射点。
在一些实施例中,所述第一确定模块430进一步被配置为:
根据每一所述入射方向的所述第一射线的所述入射能量和所述反射能量,确定与每一所述入射方向对应的每一第二组成面的平均反射系数,所述第二组成面为所述目标房间的所述预设房间形状的组成面;
根据每一所述第二组成面的平均反射系数,确定所述目标房间的所述目标平均反射系数。
在一些实施例中,所述混响生成器包括双耳房间冲击响应和前馈延时网络;所述第一生成模块450进一步被配置为:
根据所述混响时间对所述双耳房间冲击响应的参数进行调整,生成第一混响音效;
根据所述混响时间对所述前馈延时网络的参数进行调整,生成第二混响音效;
基于所述第一混响音效和所述第二混响音效进行混合处理,生成所述目标混响音效。
在一些实施例中,所述装置还包括:
第二获取模块,被配置为获取声源在所述虚拟空间场景中的第二位置;
第二发射模块,被配置为在所述第二位置处发射第二射线;
第五确定模块,被配置为根据所述第二射线在所述目标房间中进行反射,确定所述第二射线在所述目标房间的第一组成面上的第二反射点,所述第一组成面为所述目标房间在所述虚拟空间场景中的组成面;
第六确定模块,被配置为根据所述第二反射点与所述声源的第一连线和所述第一组成面之间的相交情况,确定声障程度和所述声源的等效方位,所述声障程度反映所述声源与所述音效接收端之间的空间被障碍的程度,所述等效方位反映所述声源被障碍时,所述音效接收端感知到的所述声源的位置;
第二生成模块,被配置为根据所述声障程度和所述等效方位,生成双耳直达音效,以将所述双耳直达音效发送给所述音效接收端,或者以将所述双耳直达音效和所述目标混响音效的混合音效发送给所述音效接收端。
在一些实施例中,所述第六确定模块进一步被配置为:
根据与所述第一组成面相交的第一连线对应的初始第二反射点的数量,确定所述声障程度,以及根据与所述第一组成面不相交的第一连线对应的目标第二反射点的位置,确定所述等效方位。
在一些实施例中,所述第五确定模块进一步被配置为:
根据所述第二射线和所述第一组成面进行射线跟踪,确定所述第二射线在所述目标房间中进行反射的第二反射路径;
根据所述第二反射路径与所述第一组成面的第二交点,确定所述第二反射点。
在一些实施例中,所述第二生成模块进一步被配置为:
根据所述声障程度对所述声源进行衰减处理,生成目标声源;
根据所述目标声源和所述等效方位进行编码处理和解码处理,生成所述双耳直达音效。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取音效接收端在虚拟空间场景中的第一位置;根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模块本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,示例1提供了一种音效生成方法,包括:
获取音效接收端在虚拟空间场景中的第一位置;
根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;
根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;
根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;
根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。
根据本公开的一个或多个实施例,示例2提供了示例1的方法,所述根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数,包括:
根据每一所述入射方向的所述第一射线在所述目标房间的第一组成面上的第一反射点进行聚类处理,确定所述目标房间的所述房间尺寸,所述第一组成面为所述目标房间在所述虚拟空间场景中的组成面;以及
根据每一所述入射方向的所述第一射线进行反射的入射能量和反射能量,确定所述目标房间的所述目标平均反射系数。
根据本公开的一个或多个实施例,示例3提供了示例2的方法,所述方法还包括:
根据每一所述入射方向的所述第一射线和所述第一组成面进行射线跟踪,确定所述第一射线在所述目标房间中进行反射的第一反射路径;
根据所述第一反射路径与所述第一组成面的第一交点,确定所述第一反射点。
根据本公开的一个或多个实施例,示例4提供了示例2的方法,所述根据每一所述入射方向的所述第一射线进行反射的入射能量和反射能量,确定所述目标房间的所述目标平均反射系数,包括:
根据每一所述入射方向的所述第一射线的所述入射能量和所述反射能量,确定与每一所述入射方向对应的每一第二组成面的平均反射系数,所述第二组成面为所述目标房间的所述预设房间形状的组成面;
根据每一所述第二组成面的平均反射系数,确定所述目标房间的所述目标平均反射系数。
根据本公开的一个或多个实施例,示例5提供了示例1的方法,所述混响生成器包括双耳房间冲击响应和前馈延时网络;
所述根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,包括:
根据所述混响时间对所述双耳房间冲击响应的参数进行调整,生成第一混响音效;
根据所述混响时间对所述前馈延时网络的参数进行调整,生成第二混响音效;
基于所述第一混响音效和所述第二混响音效进行混合处理,生成所述目标混响音效。
根据本公开的一个或多个实施例,示例6提供了示例1的方法,所述方法还包括:
获取声源在所述虚拟空间场景中的第二位置;
在所述第二位置处发射第二射线;
根据所述第二射线在所述目标房间中进行反射,确定所述第二射线在所述目标房间的第一组成面上的第二反射点,所述第一组成面为所述目标房间在所述虚拟空间场景中的组成面;
根据所述第二反射点与所述声源的第一连线和所述第一组成面之间的相交情况,确定声障程度和所述声源的等效方位,所述声障程度反映所述声源与所述音效接收端之间的空间被障碍的程度,所述等效方位反映所述声源被障碍时,所述音效接收端感知到的所述声源的位置;
根据所述声障程度和所述等效方位,生成双耳直达音效,以将所述双耳直达音效发送给所述音效接收端,或者以将所述双耳直达音效和所述目标混响音效的混合音效发送给所述音效接收端。
根据本公开的一个或多个实施例,示例7提供了示例6的方法,所述根据所述第二反射点与所述声源的第一连线和所述第一组成面之间的相交情况,确定声障程度和所述声源的等效方位,包括:
根据与所述第一组成面相交的第一连线对应的初始第二反射点的数量,确定所述声障程度,以及根据与所述第一组成面不相交的第一连线对应的目标第二反射点的位置,确定所述等效方位。
根据本公开的一个或多个实施例,示例8提供了示例6的方法,所述根据所述第二射线在所述目标房间中进行反射,确定所述第二射线在所述目标房间的第一组成面上的第二反射点,包括:
根据所述第二射线和所述第一组成面进行射线跟踪,确定所述第二射线在所述目标房间中进行反射的第二反射路径;
根据所述第二反射路径与所述第一组成面的第二交点,确定所述第二反射点。
根据本公开的一个或多个实施例,示例9提供了示例6的方法,所述根据所述声障程度和所述等效方位,生成双耳直达音效,包括:
根据所述声障程度对所述声源进行衰减处理,生成目标声源;
根据所述目标声源和所述等效方位进行编码处理和解码处理,生成所述双耳直达音效。
根据本公开的一个或多个实施例,示例10提供了一种音效生成装置,包括:
第一获取模块,被配置为获取音效接收端在虚拟空间场景中的第一位置;
第一发射模块,被配置为根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;
第一确定模块,被配置为根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;
第二确定模块,被配置为根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;
第一生成模块,被配置为根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。包括:
根据本公开的一个或多个实施例,示例11提供了示例10的装置,所述第一确定模块进一步被配置为:
根据每一所述入射方向的所述第一射线在所述目标房间的第一组成面上的第一反射点进行聚类处理,确定所述目标房间的所述房间尺寸,所述第一组成面为所述目标房间在所述虚拟空间场景中的组成面;以及
根据每一所述入射方向的所述第一射线进行反射的入射能量和反射能量,确定所述目标房间的所述目标平均反射系数。
根据本公开的一个或多个实施例,示例12提供了示例11的装置,所述装置还包括:
第三确定模块,被配置为根据每一所述入射方向的所述第一射线和所述第一组成面进行射线跟踪,确定所述第一射线在所述目标房间中进行反射的第一反射路径;
第四确定模块,被配置为根据所述第一反射路径与所述第一组成面的第一交点,确定所述第一反射点。
根据本公开的一个或多个实施例,示例13提供了示例11的装置,所述第一确定模块进一步被配置为:
根据每一所述入射方向的所述第一射线的所述入射能量和所述反射能量,确定与每一所述入射方向对应的每一第二组成面的平均反射系数,所述第二组成面为所述目标房间的所述预设房间形状的组成面;
根据每一所述第二组成面的平均反射系数,确定所述目标房间的所述目标平均反射系数。
根据本公开的一个或多个实施例,示例14提供了示例10的装置,所述混响生成器包括双耳房间冲击响应和前馈延时网络;所述第一生成模块进一步被配置为:
根据所述混响时间对所述双耳房间冲击响应的参数进行调整,生成第一混响音效;
根据所述混响时间对所述前馈延时网络的参数进行调整,生成第二混响音效;
基于所述第一混响音效和所述第二混响音效进行混合处理,生成所述目标混响音效。
根据本公开的一个或多个实施例,示例15提供了示例10的装置,所述装置还包括:
第二获取模块,被配置为获取声源在所述虚拟空间场景中的第二位置;
第二发射模块,被配置为在所述第二位置处发射第二射线;
第五确定模块,被配置为根据所述第二射线在所述目标房间中进行反射,确定所述第二射线在所述目标房间的第一组成面上的第二反射点,所述第一组成面为所述目标房间在所述虚拟空间场景中的组成面;
第六确定模块,被配置为根据所述第二反射点与所述声源的第一连线和所述第一组成面之间的相交情况,确定声障程度和所述声源的等效方位,所述声障程度反映所述声源与所述音效接收端之间的空间被障碍的程度,所述等效方位反映所述声源被障碍时,所述音效接收端感知到的所述声源的位置;
第二生成模块,被配置为根据所述声障程度和所述等效方位,生成双耳直达音效,以将所述双耳直达音效发送给所述音效接收端,或者以将所述双耳直达音效和所述目标混响音效的混合音效发送给所述音效接收端。
根据本公开的一个或多个实施例,示例16提供了示例15的装置,所述第六确定模块进一步被配置为:
根据与所述第一组成面相交的第一连线对应的初始第二反射点的数量,确定所述声障程度,以及根据与所述第一组成面不相交的第一连线对应的目标第二反射点的位置,确定所述等效方位。
根据本公开的一个或多个实施例,示例17提供了示例15的装置,所述第五确定模块进一步被配置为:
根据所述第二射线和所述第一组成面进行射线跟踪,确定所述第二射线在所述目标房间中进行反射的第二反射路径;
根据所述第二反射路径与所述第一组成面的第二交点,确定所述第二反射点。
根据本公开的一个或多个实施例,示例18提供了示例15的装置,所述第二生成模块进一步被配置为:
根据所述声障程度对所述声源进行衰减处理,生成目标声源;
根据所述目标声源和所述等效方位进行编码处理和解码处理,生成所述双耳直达音效。
根据本公开的一个或多个实施例,示例19提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现示例1-9中任一项所述方法的步骤。
根据本公开的一个或多个实施例,示例20提供了一种电子设备,包括:
存储装置,其上存储有至少一个计算机程序;
至少一个处理装置,用于执行所述存储装置中的所述至少一个计算机程序,以实现示例1-9中任一项所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

Claims (12)

1.一种音效生成方法,其特征在于,包括:
获取音效接收端在虚拟空间场景中的第一位置;
根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;
根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;
根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;
根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。
2.根据权利要求1所述的音效生成方法,其特征在于,所述根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数,包括:
根据每一所述入射方向的所述第一射线在所述目标房间的第一组成面上的第一反射点进行聚类处理,确定所述目标房间的所述房间尺寸,所述第一组成面为所述目标房间在所述虚拟空间场景中的组成面;以及
根据每一所述入射方向的所述第一射线进行反射的入射能量和反射能量,确定所述目标房间的所述目标平均反射系数。
3.根据权利要求2所述的音效生成方法,其特征在于,所述方法还包括:
根据每一所述入射方向的所述第一射线和所述第一组成面进行射线跟踪,确定所述第一射线在所述目标房间中进行反射的第一反射路径;
根据所述第一反射路径与所述第一组成面的第一交点,确定所述第一反射点。
4.根据权利要求2所述的音效生成方法,其特征在于,所述根据每一所述入射方向的所述第一射线进行反射的入射能量和反射能量,确定所述目标房间的所述目标平均反射系数,包括:
根据每一所述入射方向的所述第一射线的所述入射能量和所述反射能量,确定与每一所述入射方向对应的每一第二组成面的平均反射系数,所述第二组成面为所述目标房间的所述预设房间形状的组成面;
根据每一所述第二组成面的平均反射系数,确定所述目标房间的所述目标平均反射系数。
5.根据权利要求1所述的音效生成方法,其特征在于,所述混响生成器包括双耳房间冲击响应和前馈延时网络;
所述根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,包括:
根据所述混响时间对所述双耳房间冲击响应的参数进行调整,生成第一混响音效;
根据所述混响时间对所述前馈延时网络的参数进行调整,生成第二混响音效;
基于所述第一混响音效和所述第二混响音效进行混合处理,生成所述目标混响音效。
6.根据权利要求1所述的音效生成方法,其特征在于,所述方法还包括:
获取声源在所述虚拟空间场景中的第二位置;
在所述第二位置处发射第二射线;
根据所述第二射线在所述目标房间中进行反射,确定所述第二射线在所述目标房间的第一组成面上的第二反射点,所述第一组成面为所述目标房间在所述虚拟空间场景中的组成面;
根据所述第二反射点与所述声源的第一连线和所述第一组成面之间的相交情况,确定声障程度和所述声源的等效方位,所述声障程度反映所述声源与所述音效接收端之间的空间被障碍的程度,所述等效方位反映所述声源被障碍时,所述音效接收端感知到的所述声源的位置;
根据所述声障程度和所述等效方位,生成双耳直达音效,以将所述双耳直达音效发送给所述音效接收端,或者以将所述双耳直达音效和所述目标混响音效的混合音效发送给所述音效接收端。
7.根据权利要求6所述的音效生成方法,其特征在于,所述根据所述第二反射点与所述声源的第一连线和所述第一组成面之间的相交情况,确定声障程度和所述声源的等效方位,包括:
根据与所述第一组成面相交的第一连线对应的初始第二反射点的数量,确定所述声障程度,以及根据与所述第一组成面不相交的第一连线对应的目标第二反射点的位置,确定所述等效方位。
8.根据权利要求6所述的音效生成方法,其特征在于,所述根据所述第二射线在所述目标房间中进行反射,确定所述第二射线在所述目标房间的第一组成面上的第二反射点,包括:
根据所述第二射线和所述第一组成面进行射线跟踪,确定所述第二射线在所述目标房间中进行反射的第二反射路径;
根据所述第二反射路径与所述第一组成面的第二交点,确定所述第二反射点。
9.根据权利要求6所述的音效生成方法,其特征在于,所述根据所述声障程度和所述等效方位,生成双耳直达音效,包括:
根据所述声障程度对所述声源进行衰减处理,生成目标声源;
根据所述目标声源和所述等效方位进行编码处理和解码处理,生成所述双耳直达音效。
10.一种音效生成装置,其特征在于,包括:
第一获取模块,被配置为获取音效接收端在虚拟空间场景中的第一位置;
第一发射模块,被配置为根据预设房间形状确定的多个入射方向,在所述第一位置处发射第一射线,所述预设房间形状用于表征所述第一位置在所述虚拟空间场景中所处的目标房间的形状;
第一确定模块,被配置为根据每一所述入射方向的所述第一射线在所述目标房间中进行反射的反射信息,确定所述目标房间的房间尺寸和目标平均反射系数;
第二确定模块,被配置为根据所述房间尺寸和所述目标平均反射系数,确定所述目标房间的混响时间;
第一生成模块,被配置为根据所述混响时间对所述混响生成器进行处理,生成目标混响音效,以将所述目标混响音效发送给所述音效接收端。
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-9中任一项所述方法的步骤。
12.一种电子设备,其特征在于,包括:
存储装置,其上存储有至少一个计算机程序;
至少一个处理装置,用于执行所述存储装置中的所述至少一个计算机程序,以实现权利要求1-9中任一项所述方法的步骤。
CN202210508041.6A 2022-05-10 2022-05-10 音效生成方法、装置、可读介质以及电子设备 Pending CN114979934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210508041.6A CN114979934A (zh) 2022-05-10 2022-05-10 音效生成方法、装置、可读介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210508041.6A CN114979934A (zh) 2022-05-10 2022-05-10 音效生成方法、装置、可读介质以及电子设备

Publications (1)

Publication Number Publication Date
CN114979934A true CN114979934A (zh) 2022-08-30

Family

ID=82980792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210508041.6A Pending CN114979934A (zh) 2022-05-10 2022-05-10 音效生成方法、装置、可读介质以及电子设备

Country Status (1)

Country Link
CN (1) CN114979934A (zh)

Similar Documents

Publication Publication Date Title
US11082791B2 (en) Head-related impulse responses for area sound sources located in the near field
Schissler et al. Efficient HRTF-based spatial audio for area and volumetric sources
US11688385B2 (en) Encoding reverberator parameters from virtual or physical scene geometry and desired reverberation characteristics and rendering using these
US9992602B1 (en) Decoupled binaural rendering
US9940922B1 (en) Methods, systems, and computer readable media for utilizing ray-parameterized reverberation filters to facilitate interactive sound rendering
CN110677802B (zh) 用于处理音频的方法和装置
JP2008547290A (ja) 没入型オーディオ通信
JP7210602B2 (ja) オーディオ信号の処理用の方法及び装置
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
US11062714B2 (en) Ambisonic encoder for a sound source having a plurality of reflections
CN114782613A (zh) 图像渲染方法、装置、设备及存储介质
CN114038486A (zh) 音频数据处理方法、装置、电子设备及计算机存储介质
WO2023246327A1 (zh) 音频信号处理方法、装置和计算机设备
CN114979934A (zh) 音效生成方法、装置、可读介质以及电子设备
US20200411020A1 (en) Spatial sound reproduction using multichannel loudspeaker systems
CN116390016A (zh) 虚拟场景的音效控制方法、装置、计算机设备及存储介质
US20240196159A1 (en) Rendering Reverberation
CN117581297A (zh) 音频信号的渲染方法、装置和电子设备
CN114419298A (zh) 虚拟物体的生成方法、装置、设备及存储介质
CN112927718A (zh) 感知周围环境的方法、装置、终端和存储介质
Durany et al. Analytical computation of acoustic bidirectional reflectance distribution functions
WO2023051708A1 (zh) 用于空间音频渲染的系统、方法和电子设备
US11533578B2 (en) Virtual environment audio stream delivery
US11631393B1 (en) Ray tracing for shared reverberation
CN114128312B (zh) 用于低频效果的音频渲染

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination