CN116764195A - 基于虚拟现实vr的音频控制方法、装置、电子设备及介质 - Google Patents
基于虚拟现实vr的音频控制方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN116764195A CN116764195A CN202310872758.3A CN202310872758A CN116764195A CN 116764195 A CN116764195 A CN 116764195A CN 202310872758 A CN202310872758 A CN 202310872758A CN 116764195 A CN116764195 A CN 116764195A
- Authority
- CN
- China
- Prior art keywords
- wearable
- sound
- sounding
- target
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000007613 environmental effect Effects 0.000 claims description 110
- 238000004519 manufacturing process Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 description 14
- 210000003128 head Anatomy 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000005669 field effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000010422 painting Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Stereophonic System (AREA)
Abstract
本申请公开了一种基于VR的音频控制方法、装置、电子设备及可读存储介质,属于虚拟现实领域。该方法包括:在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。
Description
技术领域
本申请属于虚拟现实领域,具体涉及一种基于VR的音频控制方法、装置、电子设备及介质。
背景技术
目前,在进行虚拟现实(Virtual Reality,VR)游戏的过程中,穿戴式VR设备模拟产生一个三维空间的虚拟空间,提供给用户关于视觉等感官的模拟,让用户感觉仿佛身历其境。
通常,与穿戴式VR设备所连接的发声设备都是固定位置的。当需要播放音源移动时,发声设备仍会按照之前固定的发声参数进行播放。如此,导致虚拟环境中的发声音源与实际画面不同步的情况,从而使得穿戴式VR设备的所连接的发声设备模拟的声场环境不够真实,对虚拟场景的发声的还原度有限,进而造成虚拟空间中所播放的音源的空间感较差的问题。
发明内容
本申请实施例的目的是提供一种基于VR的音频控制方法、装置、电子设备及可读存储介质,能够得到更加真实、更有空间方位感的声场效果,改善穿戴式VR设备的声画一致性。
第一方面,本申请实施例提供了一种基于VR的音频控制方法,该基于VR的音频控制方法包括:在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。
第二方面,本申请实施例提供了一种基于VR的音频控制装置,该基于VR的音频控制装置包括:确定模块和调整模块;该确定模块,用于在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;该调整模块,用于基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。如此,根据虚拟音源对象与穿戴式VR设备间的相对位置信息,适应性的调整目标发声设备的发声参数,从而使得目标发声设备采用发声参数发出的声音所构成的声场效果更加真实、更有空间方位感。并且,由于目标发声设备的发声参数是结合虚拟音源对象的位置调整的,可以使得目标发声设备的发声参数所发出的声音的方位与虚拟音源对象的发声位置一致,进而可以改善穿戴式VR设备的声画一致性,给用户带来更加沉浸的使用体验。
附图说明
图1是本申请实施例提供的一种基于VR的音频控制方法的流程示意图之一;
图2是本申请实施例提供的一种基于VR的音频控制方法的流程示意图之二;
图3是本申请实施例提供的一种基于VR的音频控制方法的流程示意图之三;
图4是本申请实施例中提供的根据音响设备与虚拟音源对象间的夹角确定耳机设备为目标发声设备的示意图;
图5是本申请实施例中提供的根据音响设备与虚拟音源对象间的距离确定耳机设备为目标发声设备的示意图;
图6是本申请实施例提供的一种基于VR的音频控制方法的流程示意图之四;
图7是本申请实施例中四个音响设备在房间中的摆放示意图;
图8是本申请实施例中使用穿戴式VR设备用户、虚拟音源对象以及音响设备间相对位置的示意图;
图9是本申请实施例提供的一种基于VR的音频控制装置的结构示意图;
图10是本申请实施例提供的一种电子设备的硬件结构示意图之一;
图11是本申请实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的一种基于VR的音频控制方法、装置、电子设备及介质进行详细地说明。
在本申请实施例中,VR,即虚拟和现实相互结合。是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术,其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。VR是指通过外部设备创造虚拟的空间;人们可以在虚拟空间中进行看电影以及游戏等应用。
从理论上来讲,VR是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据,通过计算机技术产生的电子信号,将其与各种输出设备结合使其转化为能够让人们感受到的现象,这些现象可以是现实中真真切切的物体,也可以是我们肉眼所看不到的物质,通过三维模型表现出来。因为这些现象不是我们直接所能看到的,而是通过计算机技术模拟出来的现实中的世界,故称为虚拟现实。
一般的,VR可以通过头部显示设备定位和跟踪用户的头部动作来改变虚拟空间中的视角,让用户感受到更加真实的体验。例如,利用头部显示上搭载的摄像头和惯性测量单元(Inertial Measurement Unit,IMU)传感器等设备,实时感知用户头部的位置和朝向。又或者在虚拟空间外部布置红外线传感器、超宽带(Ultra Wide Band,UWB)基站等设备配置头部显示的IMU来侦测用户头部的位置和朝向,并根据这些数据计算出用户在虚拟空间中的位置和方向。
目前,在进行VR游戏的过程中,VR模拟产生一个三维空间的虚拟空间,提供给用户关于视觉等感官的模拟,让用户感觉仿佛身历其境。通常,用户会使用双声道耳机设备作为穿戴式VR设备的发声设备,或者,在所处空间设置外部音响系统,即在空间内的不同位置放置环境发声设备播放穿戴式VR设备的音源。
虽然现有的双声道耳机可以带来更好的立体声音质体验,但由于需要用户穿戴在耳朵上,使得用户听觉感受有限,且缺乏声音传播的加持,因此空间感受不如环境发声设备,无法产生更强的环境感受。例如,在枪战等游戏场景中,从前面或者后方远处的一声枪响,双声道耳机很难做到精准的区分。眼见非耳听所得,破坏沉浸感,带来不够完美的用户体验。
为了解决声音空间感的问题,常见的两种解决方式是空间音频技术和外置音响系统。空间音频技术是基于人耳的听觉理解,模拟了人耳的听觉系统是如何捕捉声音的。空间音频技术的实现需要多通道音源(至少两个),并将这些音源的信号隔离,然后在播放过程中将它们重新混合,以实现空间音频效果,不仅能够区分深度、高度和宽度,还能够定位音频源的方向。不过,空间音频技术是通过软件算法虚拟的空间感,真实感还不够自然,且存在音质上的损失。而外部发声系统是通过多个环境发声设备在空间的不同位置的摆放,实现真实环绕的空间感。外部发声系统拥有更加广阔的声场,可以更好的还原声音的真实效果。但是外部发声系统往往是特定声场摆放的,默认用户是正对前方,用户移动或者VR场景内声源移动,外部发声系统是无法同步调整的。
如此,由于双声道耳机只有左右两个声道,从而使得声音的空间感较差。而不同位置摆放的外部音响设备,虽然可以尽可能还原声音的空间感,但是,外部音响设备往往是特定摆放的,且默认用户是正对前方,用户移动或者VR模拟的虚拟空间内声源移动,外部发声系统是无法同步调整的,进而容易造成声画不一致的情况。
而在本申请实施例中,在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。如此,根据虚拟音源对象与穿戴式VR设备间的相对位置信息,适应性的调整目标发声设备的发声参数,从而使得目标发声设备采用发声参数发出的声音所构成的声场效果更加真实、更有空间方位感。并且,由于目标发声设备的发声参数是结合虚拟音源对象的位置调整的,可以使得目标发声设备的发声参数所发出的声音的方位与虚拟音源对象的发声位置一致,进而可以改善穿戴式VR设备的声画一致性,给用户带来更加沉浸的使用体验。
示例性地,本申请实施例提供的基于VR的音频控制方法可以应用于各种虚拟现实应用中。例如,虚拟球类运动、虚拟多人游戏。
需要说明的是,本申请实施例提供的基于VR的音频控制方法的执行主体为基于VR的音频控制装置。该基于VR的音频控制装置可以为电子设备,也可以为该电子设备内部的功能控制模块,本申请实施例对此不作限定。以下将以电子设备,执行基于VR的音频控制方法为例进行示意。
本申请实施例提供一种基于VR的音频控制方法,图1示出了本申请实施例提供的一种基于VR的音频控制方法的流程图。如图1所示,本申请实施例提供的基于VR的音频控制方法可以包括下述的步骤201至步骤202。
步骤201、在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,电子设备确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息。
在本申请实施例中,上述穿戴式VR设备可以为眼镜式VR设备,也可以为头盔式VR设备等,本申请不做限制。
在本申请实施例中,上述目标虚拟空间是指在用户使用穿戴式VR设备的过程中,穿戴式VR设备中建立的可供使用者进行虚拟现实交互的空间。
在本申请实施例中,上述空间场景为虚拟现实交互的虚拟空间中的场景;例如,枪战游戏中游戏场景,或者电影场景。
在本申请实施例中,上述第一相对位置信息可以包括以下至少一项:穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的距离信息、目标虚拟空间中的虚拟音源对象相对于穿戴式VR设备的方向信息。
在本申请实施例中,穿戴式VR设备的位置可以通过激光、或者UWB等方式检测得到。
在本申请实施例中,上述虚拟音源对象的位置信息可以通过直接从穿戴式VR设备所显示的目标虚拟空间的空间场景中获取。
步骤202,基于穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息,电子设备调整穿戴式VR设备连接的目标发声设备的发声参数。
在本申请实施例中,上述目标发声设备包括第一环境发声设备。
在本申请实施例中,上述第一环境发声设备为穿戴式VR设备连接的环境发声设备。
在本申请实施例中,上述虚拟音源对象可以为目标虚拟空间中能够发声的音源对象。
在本申请实施例中,上述需要发声的音源对象可以是目标虚拟空间中的VR显示对象。例如,虚拟人物、水流等。
示例性地,上述虚拟音源对象可以是背景音源,可以是特效音源,也可以是人物语音音源。
在本申请实施例中,上述目标发声设备可以为耳机设备,也可以为环境发声设备,例如,音响设备,本申请不作限制。
在本申请实施例中,上述目标发声设备需要与穿戴式VR设备进行连接。
在本申请实施例中,上述目标发声设备需要与穿戴式VR设备的连接方式可以为蓝牙方式、无线传输(Wireless Fidelity,Wi-Fi)方式。
在本申请实施例中,上述发声参数可以包括但不限于:响度参数、振幅参数、频率参数。
在本申请实施例中,上述调整穿戴式VR设备连接的目标发声设备的发声参数,可以是电子设备根据穿戴式VR设备与上述虚拟音源对象间的第一相对位置信息,确定好虚拟音源对象所需要的发声参数,以根据虚拟音源对象所需要的发声参数对应调整目标发声设备的发声参数。
可选地,在本申请实施例中,电子设备在确定好虚拟音源对象所需要的发声参数之后,可以将该发声参数以蓝牙或者Wi-Fi形式发送至目标发声设备,以使得电子设备根据虚拟音源对象所需要的发声参数调整目标发声设备的发声参数。
在本申请实施例提供的基于VR的音频控制方法中,在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。如此,根据虚拟音源对象与穿戴式VR设备间的相对位置信息,适应性的调整目标发声设备的发声参数,从而使得目标发声设备采用发声参数发出的声音所构成的声场效果更加真实、更有空间方位感。并且,由于目标发声设备的发声参数是结合虚拟音源对象的位置调整的,可以使得目标发声设备的发声参数所发出的声音的方位与虚拟音源对象的发声位置一致,进而可以改善穿戴式VR设备的声画一致性,给用户带来更加沉浸的使用体验。
可选地,在本申请实施例中,电子设备在确定目标发声设备之前,可以获取穿戴式VR设备的位置信息以及用户当前所处空间内所有环境发声设备的位置信息。
示例性地,可以通过外向内追踪(outside-in tracking)和内向外追踪(inside-out tracking)两种方式对所有环境发声设备和穿戴式VR设备进行定位,以得到所有环境发声设备和穿戴式VR设备的位置信息。
方式1:基于outside-in tracking的方法,需要使用外部架设的定位基站作为定位基准,有定位基站的辅助,穿戴式VR设备的处理会更加简单,定位信息也会更加准确。以激光定位为例,需要提前在用户当前所处空间的两个对角架设激光发射器,这两个定位器会发射出激光、红外线、可见光等,来覆盖两个定位器之间的空间,并建立三维位置信息。在初始定位建模时,把头部显示设备放到各个环境发声设备所处的位置上,利用头部显示设备的定位对环境发声设备进行标定,同步把环境发声设备建立到模型当中。同时,根据初始建立的模型信息,就可以计算得到穿戴式VR设备的位置。
方式2:基于inside-out tracking的方法无需架设额外的基站作为定位基准。比如,可以直接使用头部显示设备上的多颗摄像头,通过视觉算法来获取用户的空间位置。在使用前,需要用穿戴式VR设备对房间进行初次的扫描建模,在建模的同时,把环境发声设备位置进行标定。扫描建模完成后,所有环境发声设备的模型也被同步建立。根据初始建立的模型信息,就可以计算得到穿戴式VR设备的位置。
以下以两种可能的实施例,针对不同目标发声设备,调整目标发声设备的发声参数的过程进行示例性说明。
在第一种可能的实施例中,上述穿戴式VR设备包括:用户佩戴的耳机设备,上述目标发声设备还包括耳机设备。
可选地,在本申请实施例中,结合图1,如图2所示,在上述步骤202之前,本申请实施例提供的基于VR的音频控制方法还包括步骤301和步骤302:
步骤301、电子设备基于用户面部朝向的方向信息和虚拟音源对象的位置,从耳机设备的两个发声声道中,确定第一发声声道。
可选地,上述耳机设备的两个发声声道可以包括左声道和右声道。
需要说明的是,上述用户面部朝向的方向信息可以是用户相对于初始位置的面部朝向的任意方向。例如,设定用户面部当前朝向方向为前方时,当用户向右转身90度时,用户面部朝向为右方;当用户转身180度时,用户面部朝向为后方。
可选地,上述用户面部朝向的方向信息,可以通过定位基站的定位器扫描获取,也可以通过穿戴式VR设备中头部显示设备的摄像头获取。
具体地,针对上述方式1,在使用穿戴式VR设备的过程中,穿戴式VR设备中头部显示设备的接收到定位基站的定位器发射的扫描光线,计算出用户的位置,并结合IMU获取用户面部朝向的方向信息。
针对上述方式2,在使用穿戴式VR设备的过程中,穿戴式VR设备中头部显示设备的摄像头可以直接识别用户当前空间位置以及所处环境,即可获得用户位置和面部朝向的方向信息。
可选地,上述确定第一发声声道,可以通过在穿戴式VR设备获取到用户面部朝向的方向信息和虚拟音源对象的位置后,判断虚拟音源对象位于用户的哪个方位,接着根据虚拟音源对象相对于用户的方位,来确定耳机设备的第一发声声道。
举例说明,以用户所处空间为房间为例,假设当前用户面部朝向的方向信息为前方,虚拟音源对象位于房间右侧,且相对于用户来说,虚拟音源对象位于用户的右方,那么可以确定耳机设备的第一发声声道为右声道。假设当用户面部朝向的方向信息为后方,虚拟音源对象位于房间右侧,且相对于用户来说,虚拟音源对象位于用户的左方,那么可以确定耳机设备的第一发声声道为左声道。
步骤302、电子设备基于穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息,调整第一发声声道的发声参数。
可选地,上述第一发声声道的发声参数可以包括:响度参数、强度参数、或者幅度参数等。
举例说明,当第一发声声道为右声道时,假设虚拟音源对象位于穿戴式VR设备的正右方1米距离,则基于虚拟音源对象与穿戴式VR设备间的距离,调整右声道的发声参数。此时,若虚拟音源对象向右移动至距离穿戴式VR设备正右方1.5米的距离,由于虚拟音源对象距离穿戴式VR设备的距离增加,则对应增大右声道的发声参数,例如,增加右声道的响度参数、强度参数、或者幅度参数等。
需要说明的是,除第一发声声道外,电子设备还可以根据实际情况相应调整除第一发声声道以外的其他发声声道的参数,或者不进行调整。例如,由于虚拟音源对象在穿戴式VR设备右侧,右声道为第一发声声道,增大右声道的发声参数的同时,可以减小左声道的发声参数。
需要说明的是,图2所示上述步骤301和步骤302的执行时机可以在上述步骤201之后,且在上述步骤202之前。
可选地,在本申请实施例中,结合上述步骤301和步骤302,上述步骤202具体包括包括步骤202a:
步骤202a、基于穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息和耳机设备的第一发声声道的发声参数,调整第一环境发声设备的发声参数。
如此,当目标发声设备包括耳机设备时,可以根据用户的面部朝向,切换耳机设备不同的发声声道,并根据实际虚拟音源对象和穿戴式VR设备的实际方位和距离,调整发声声道的发声参数,从而得到更有空间感的声场效果。
可选地,在本申请实施例中,结合图2,如图3所示,在上述步骤301之前,本申请实施例提供的基于VR的音频控制方法还包括步骤401:
步骤401、在穿戴式VR设备连接的第二环境发声设备的位置满足第一条件的情况下,将耳机设备作为目标发声设备。
可选地,上述第二环境发声设备可以是音响设备。
可选地,上述第一条件包括以下任一项:
条件1:第二环境发声设备相对于穿戴式VR设备所处的第一方向与虚拟音源对象相对于穿戴式VR设备所处的第二方向间的夹角大于或等于第一阈值;
条件2:第二环境发声设备与虚拟音源对象间的相对距离大于或等于第二阈值。
可选地,上述第二环境发声设备为上述至少三个环境发声设备中的至少一个。
可选地,上述第一阈值和第二阈值可以是系统自定义的,也可以是用户设置的。
举例说明,针对条件1,以第二环境发声设备为音响设备为例,如图4所示,设定箭头方向所指的正前方为用户面部朝向的方向。假设第一阈值为60度,音响设备21设置在穿戴式VR设备23的右前方,即上述第一方向,距离为L1,虚拟音源对象22在穿戴式VR设备23的左前方,即上述第二方向,距离为L2。此时,假设第一阈值为60度,则在确定音响设备21和虚拟音源对象22间的夹角,即图4中的∠1的度数大于60度时,则将耳机设备作为目标发声设备。
举例说明,针对条件2,以第二环境发声设备为音响设备为例,如图5所示,设定箭头方向所指的正前方为用户面部朝向的方向。假设第二阈值为2m,音响设备31设置在穿戴式VR设备33的右前方,虚拟音源对象32在穿戴式VR设备33的左前方,二者间的相对距离大于2m,则将耳机设备作为目标发声设备。
如此,在穿戴式VR设备连接的第二环境发声设备的位置满足第一条件的情况下,则说明穿戴式VR设备的发声位置可能与虚拟音源对象的发声位置间的偏差较大,因此,需要将耳机设备作为目标发声设备,来适应性补偿穿戴式VR设备与虚拟音源对象间的发声位置偏差的问题,从而使得耳机设备和第二环境设备在调整发声参数后的发声方向与虚拟音源对象的所在方向一致,进而得到更有空间感的声场效果。
在第二种可能的实施例中,上述目标发声设备为第一环境发声设备,该第一环境发声设备为穿戴式VR设备连接的环境发声设备。
一种示例中,穿戴式VR设备连接的环境发声设备数量为至少三个,即第一环境发声设备为穿戴式VR设备连接的至少三个环境发声设备中的至少一个。
可选地,在本申请实施例中,结合图1,如图6所示,在上述步骤202之前,本申请实施例提供的基于VR的音频控制方法还包括步骤501:
步骤501、电子设备基于虚拟音源对象与至少三个环境发声设备中的每个环境发声设备间的相对位置信息,从至少三个环境发声设备中确定第一环境发声设备。
可选地,上述第一环境发声设备可以是至少三个环境发声设备中的一个,也可以是多个。
可选地,上述至少三个环境发声设备可以为与穿戴式VR设备处于同一空间的发声设备,例如,音响设备。
可选地,上述至少三个环境发声设备可以围绕穿戴式VR设备排布。
示例性地,上述至少三个环境发声设备可以以穿戴式VR设备中心,环形围绕该排布,或者,上述至少三个环境发声设备还可以以穿戴式VR设备中心,以多边形排布方式围绕穿戴式VR设备排布。
需要说明的是,在以多边形排布方式围绕穿戴式VR设备排布时,可以按照环境发声设备的数量来选择适合的多边形排布方式。具体地,上述多边形排布方式是指上述至少三个环境发声设备位于多边形的各个顶点。
举例说明,如图7所示,以四个音响设备为例,分别为音响设备41、音响设备42、音响设备43以及音响设备44,围绕穿戴式VR设备45,四个音响设备以四边形排布方式分别设置在房间的四个角落。
可选地,上述至少三个环境发声设备中的每个环境发声设备间的相对位置信息,可以采用上述方式1或方式2获取每个环境发声设备的位置信息,基于每个环境发声设备的位置信息,得到每个环境发声设备间的相对位置信息,然后再结合虚拟音源对象的位置信息,以得到每个环境发声设备与虚拟音源对象间的相对位置信息。
可选地,上述每个环境发声设备与虚拟音源对象的相对位置信息包括:每个环境发声设备与虚拟音源对象间的距离信息、每个环境发声设备与虚拟音源对象间的方向信息。
示例性地,当某个或多个环境发声设备与虚拟音源对象间的距离小于第三阈值时,则确定该环境发声设备为目标发声设备。或者,当某个或多个环境发声设备相对于穿戴式VR设备所处的方向与虚拟音源对象相对于穿戴式VR设备所处的方向间的夹角小于第四阈值时,则确定该环境发声设备为目标发声设备。应注意的是,上述第三阈值和第四阈值可以是用户设置的,也可以是系统自定义的。
举例说明,结合图7,如图8所示,假设第四阈值为90度,穿戴式VR设备45相对于音响设备42所处的方向L4与虚拟音源对象51相对于穿戴式VR设备45所处的方向L5间的夹角,即图8中的∠3的度数小于90度,则确定音响设备42为目标发声设备。同时,穿戴式VR设备45相对于音响设备43所处的方向L6,与虚拟音源对象51相对于穿戴式VR设备45所处的方向L5间的夹角,即图8中的∠4的度数也小于90度,则确定音响设备43也为目标发声设备。
如此,可以通过每个环境发声设备和虚拟音源对象间的相对位置,选择更接近虚拟音源对象发声方向的环境发声设备作为目标发声设备,从而更精准地确定目标发声设备,进而使得电子设备可以准确的调整符合虚拟音源对象发声位置的发声设备。
可选地,在本申请实施例中,上述步骤202具体包括步骤202A:
步骤202A、基于穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息,以及穿戴式VR设备与第一环境发声设备间的第二相对位置信息,调整第一环境发声设备的发声参数。
可选地,穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息包括穿戴式VR设备与虚拟音源对象间的第一距离,和虚拟音源对象相对于穿戴式VR设备所处的第三方向。
可选地,穿戴式VR设备与第一环境发声设备间的第二相对位置信息包括穿戴式VR设备与第一环境发声设备间的第二距离,和第一环境发声设备相对于穿戴式VR设备所处的第四方向。
可选地,穿戴式VR设备可以通过蓝牙、激光、UWB等方式来检测上述目标发声设备与穿戴式VR设备间的相对位置,以获得两者之间的第二相对位置信息。
可选地,针对每个目标发声设备,电子设备可以基于穿戴式VR设备与虚拟音源对象间的第一相对位置信息,和穿戴式VR设备与一个目标发声设备间的第二相对位置信息,确定该一个目标发声设备的发声参数,然后,将该发声参数发送至该一个目标发声设备,使得该一个目标发声设备按照该发声参数进行参数调整。
如此,电子设备可以通过根据穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息,以及穿戴式VR设备与第一环境发声设备间的第二相对位置信息,确定出第一环境发声设备的发声方向与虚拟音源对象发声方向间的为位置偏差,第一环境发声设备根据二者发声方向的位置偏差,进一步调整第一环境发声设备发声参数,使得第一环境发声设备所发声的方向与满足虚拟音源对象发声方向,从而得到更有空间感的声场效果。
可选地,在本申请实施例中,上述步骤202A包括步骤202A1至步骤202A3:
步骤202A1、电子设备基于穿戴式VR设备与虚拟音源对象间的第一距离和穿戴式VR设备与第一环境发声设备间的第二距离,确定第一发声参数,并基于虚拟音源对象相对于穿戴式VR设备所处的第三方向与第一环境发声设备相对于穿戴式VR设备所处的第四方向间的夹角的角度,确定衰减比例。
可选地,上述第一距离为虚拟音源对象与穿戴式VR设备间的距离。
可选地,上述第二距离为目标发声设备与穿戴式VR设备间的距离。
可选地,第一距离越小,则发声参数越大,同时,结合上述第二距离对发声参数进行增强或衰减,得到第一发声参数。
可选地,根据第三方向与第四方向间的夹角的度数的大小,确定衰减比例。夹角越大,说明目标发声设备与虚拟音源对象间的方向差距越大,衰减比例越大,反之,夹角越小,说明目标发声设备与虚拟音源对象间的方向差距越小,衰减比例越小。
步骤202A2、电子设备基于衰减比例和上述第一发声参数,确定目标发声参数。
可选地,可以将第一发声参数与(1-衰减比例)相乘,确定最终的目标发声参数。
例如,第一发声参数包括第一音量值,则将(1-衰减比例)与第一音量值相乘,得到第二音量值,并将第二音量值作为目标发声参数对目标发声设备进行调整。
步骤202A3、电子设备基于上述目标发声参数,调整第一环境发声设备的发声参数。
可选地,电子设备可以直接按照上述目标发声参数,将第一环境发声设备的发声参数调整至该目标发声参数,也可以基于上述目标发声参数确定出目标调整量,按照该目标调整量调整第一环境发声设备的发声参数。
举例说明,参照图8所示,若确定音响设备42为第一环境发声设备,假设虚拟音源对象51与穿戴式VR设备45间的距离为0.5m,发声参数应该为MdB,由于音响设备42与穿戴式VR设备45间的距离为1m,则确定第一发声参数实际为NdB。此时,穿戴式VR设备45相对于音响设备42所处的方向L4与虚拟音源对象51相对于穿戴式VR设备45所处的方向L5间的夹角,即图8中的∠3为30度,则确定衰减比例为30%。接着,按照该衰减比例与第一发声参数进行计算,即(1-30%)*M,确定目标发声参数为70%MdB。最终,电子设备按照该目标发声参数对音响设备42进行调整。
如此,可以根据虚拟音源对象与穿戴式VR设备的角度和距离,以及虚拟音源对象与发声设备间的角度和距离,更加精准的按照比例调整发声设备的发声参数,以达到更好的声画一致的效果。
需要说明的,结合以上两种可能的实施例,在本申请中目标发声设备可以仅包括耳机设备,也可以包括耳机设备和环境发声设备,也可以仅包括环境发声设备。需要说明的是,这三种模式间可以切换,而这种模式切换可以是穿戴式VR设备根据实际情况进行自动切换的,也可以是用户自主切换的。如此,用户可以直接根据实际情况选择所需的发声模式。
需要说明的是,本申请实施例提供的基于VR的音频控制方法,执行主体可以为基于VR的音频控制装置,或者电子设备,还可以为电子设备中的功能模块或实体。本申请实施例中以基于VR的音频控制装置执行基于VR的音频控制方法为例,说明本申请实施例提供的基于VR的音频控制装置。
图9示出了本申请实施例中涉及的基于VR的音频控制装置的一种可能的结构示意图。如图9所示,该基于VR的音频控制装置700可以包括:确定模块701和调整模块702;
其中,该确定模块701,用于在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;该调整模块702,用于基于上述确定模块701确定的第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。
可选地,在本申请实施例中,第一环境发声设备为穿戴式VR设备连接的至少三个环境发声设备中的至少一个,至少三个环境发声设备围绕穿戴式VR设备排布。
可选地,在本申请实施例中,上述确定模块701,还用于在基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数之前,基于虚拟音源对象与至少三个环境发声设备中的每个环境发声设备间的相对位置信息,从至少三个环境发声设备中确定第一环境发声设备。
可选地,在本申请实施例中,上述穿戴式VR设备包括:用户佩戴的耳机设备,目标发声设备还包括耳机设备;上述确定模块701,还用于在基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数之前,基于用户面部朝向的方向信息和虚拟音源对象的位置,从耳机设备的两个发声声道中,确定第一发声声道;上述调整模块702,还用于基于第一相对位置信息,调整第一发声声道的发声参数。
可选地,在本申请实施例中,上述确定模块701,还用于在基于用户面部朝向的方向信息和虚拟音源对象的位置,从耳机设备的两个发声声道中,确定第一发声声道之前,在穿戴式VR设备连接的第二环境发声设备的位置满足第一条件的情况下,将耳机设备作为目标发声设备;
其中,第一条件包括以下任一项:
第二环境发声设备相对于穿戴式VR设备所处的第一方向与虚拟音源对象相对于穿戴式VR设备所处的第二方向间的夹角大于或等于第一阈值;
第二环境发声设备与虚拟音源对象间的相对距离大于或等于第二阈值;
其中,第二环境发声设备为至少三个环境发声设备中的至少一个。
可选地,在本申请实施例中,上述调整模块702,具体用于基于上述确定模块701确定的第一相对位置信息和第一发声声道的发声参数,调整第一环境发声设备的发声参数。
可选地,在本申请实施例中,上述调整模块702,具体用于基于上述确定模块701确定的第一相对位置信息,以及穿戴式VR设备与第一环境发声设备间的第二相对位置信息,调整第一环境发声设备的发声参数。
可选地,在本申请实施例中,第一相对位置信息包括穿戴式VR设备与虚拟音源对象间的第一距离,和虚拟音源对象相对于穿戴式VR设备所处的第三方向;第二相对位置信息包括穿戴式VR设备与第一环境发声设备间的第二距离,和第一环境发声设备相对于穿戴式VR设备所处的第四方向;上述调整模块702,具体用于:基于第一距离和第二距离,确定第一发声参数,并基于第三与第四方向间的夹角的角度,确定衰减比例;基于衰减比例和第一发声参数,确定目标发声参数;基于目标发声参数,调整第一环境发声设备的发声参数。
在本申请实施例提供的基于VR的音频控制装置中,在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。如此,根据虚拟音源对象与穿戴式VR设备间的相对位置信息,适应性的调整目标发声设备的发声参数,从而使得目标发声设备采用发声参数发出的声音所构成的声场效果更加真实、更有空间方位感。并且,由于目标发声设备的发声参数是结合虚拟音源对象的位置调整的,可以使得目标发声设备的发声参数所发出的声音的方位与虚拟音源对象的发声位置一致,进而可以改善穿戴式VR设备的声画一致性,给用户带来更加沉浸的使用体验。
本申请实施例中的基于VR的音频控制装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的基于VR的音频控制装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的基于VR的音频控制装置能够实现图1至图8的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图10所示,本申请实施例还提供一种电子设备800,包括处理器801和存储器802,存储器802上存储有可在处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述基于VR的音频控制方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,上述处理器110,用于在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;该处理器110,还用于基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。
可选地,在本申请实施例中,第一环境发声设备为穿戴式VR设备连接的至少三个环境发声设备中的至少一个,至少三个环境发声设备围绕穿戴式VR设备排布。
可选地,在本申请实施例中,上述处理器110,还用于在基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数之前,基于虚拟音源对象与至少三个环境发声设备中的每个环境发声设备间的相对位置信息,从至少三个环境发声设备中确定第一环境发声设备。
可选地,在本申请实施例中,上述穿戴式VR设备包括:用户佩戴的耳机设备,目标发声设备还包括耳机设备;上述处理器110,还用于在基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数之前,基于用户面部朝向的方向信息和虚拟音源对象的位置,从耳机设备的两个发声声道中,确定第一发声声道;上述处理器110,还用于基于第一相对位置信息,调整第一发声声道的发声参数。
可选地,在本申请实施例中,上述处理器110,还用于在基于用户面部朝向的方向信息和虚拟音源对象的位置,从耳机设备的两个发声声道中,确定第一发声声道之前,在穿戴式VR设备连接的第二环境发声设备的位置满足第一条件的情况下,将耳机设备作为目标发声设备;
其中,第一条件包括以下任一项:
第二环境发声设备相对于穿戴式VR设备所处的第一方向与虚拟音源对象相对于穿戴式VR设备所处的第二方向间的夹角大于或等于第一阈值;
第二环境发声设备与虚拟音源对象间的相对距离大于或等于第二阈值;
其中,第二环境发声设备为至少三个环境发声设备中的至少一个。
可选地,在本申请实施例中,上述处理器110,具体用于基于第一相对位置信息和第一发声声道的发声参数,调整第一环境发声设备的发声参数。
可选地,在本申请实施例中,上述处理器110,具体用于基于第一相对位置信息,以及穿戴式VR设备与第一环境发声设备间的第二相对位置信息,调整第一环境发声设备的发声参数。
可选地,在本申请实施例中,第一相对位置信息包括穿戴式VR设备与虚拟音源对象间的第一距离,和虚拟音源对象相对于穿戴式VR设备所处的第三方向;第二相对位置信息包括穿戴式VR设备与第一环境发声设备间的第二距离,和第一环境发声设备相对于穿戴式VR设备所处的第四方向;上述处理器110,具体用于:基于第一距离和第二距离,确定第一发声参数,并基于第三与第四方向间的夹角的角度,确定衰减比例;基于衰减比例和第一发声参数,确定目标发声参数;基于目标发声参数,调整第一环境发声设备的发声参数。
在本申请实施例提供的电子设备中,在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定穿戴式VR设备与目标虚拟空间中的虚拟音源对象间的第一相对位置信息;基于第一相对位置信息,调整穿戴式VR设备连接的目标发声设备的发声参数;目标发声设备包括第一环境发声设备,第一环境发声设备为穿戴式VR设备连接的环境发声设备。如此,根据虚拟音源对象与穿戴式VR设备间的相对位置信息,适应性的调整目标发声设备的发声参数,从而使得目标发声设备采用发声参数发出的声音所构成的声场效果更加真实、更有空间方位感。并且,由于目标发声设备的发声参数是结合虚拟音源对象的位置调整的,可以使得目标发声设备的发声参数所发出的声音的方位与虚拟音源对象的发声位置一致,进而可以改善穿戴式VR设备的声画一致性,给用户带来更加沉浸的使用体验。
应理解的是,本申请实施例中,输入单元104可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器109可以包括易失性存储器或非易失性存储器,或者,存储器109可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。
处理器110可包括一个或多个处理单元;可选的,处理器110集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述基于VR的音频控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述基于VR的音频控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述基于VR的音频控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (11)
1.一种基于虚拟现实VR的音频控制方法,其特征在于,所述方法包括:
在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定所述穿戴式VR设备与所述目标虚拟空间中的虚拟音源对象间的第一相对位置信息;
基于所述第一相对位置信息,调整所述穿戴式VR设备连接的目标发声设备的发声参数;
所述目标发声设备包括第一环境发声设备,所述第一环境发声设备为所述穿戴式VR设备连接的环境发声设备。
2.根据权利要求1所述的方法,所述第一环境发声设备为所述穿戴式VR设备连接的至少三个环境发声设备中的至少一个,所述至少三个环境发声设备围绕所述穿戴式VR设备排布。
3.根据权利要求2所述的方法,所述基于所述第一相对位置信息,调整所述穿戴式VR设备连接的目标发声设备的发声参数之前,所述方法还包括:
基于所述虚拟音源对象与所述至少三个环境发声设备中的每个环境发声设备间的相对位置信息,从所述至少三个环境发声设备中确定所述第一环境发声设备。
4.根据权利要求1所述的方法,其特征在于,所述穿戴式VR设备包括:用户佩戴的耳机设备,所述目标发声设备还包括所述耳机设备;
所述基于所述第一相对位置信息,调整所述穿戴式VR设备连接的目标发声设备的发声参数之前,所述方法还包括:
基于所述用户面部朝向的方向信息和所述虚拟音源对象的位置,从所述耳机设备的两个发声声道中,确定第一发声声道;
基于所述第一相对位置信息,调整所述第一发声声道的发声参数。
5.根据权利要求4所述的方法,其特征在于,所述基于所述用户面部朝向的方向信息和所述虚拟音源对象的位置,从所述耳机设备的两个发声声道中,确定第一发声声道之前,所述方法还包括:
在所述穿戴式VR设备连接的第二环境发声设备的位置满足第一条件的情况下,将所述耳机设备作为所述目标发声设备;
其中,所述第一条件包括以下任一项:
所述第二环境发声设备相对于所述穿戴式VR设备所处的第一方向与所述虚拟音源对象相对于所述穿戴式VR设备所处的第二方向间的夹角大于或等于第一阈值;
所述第二环境发声设备与所述虚拟音源对象间的相对距离大于或等于第二阈值;
其中,所述第二环境发声设备为所述至少三个环境发声设备中的至少一个。
6.根据权利要求4所述的方法,其特征在于,所述基于所述第一相对位置信息,调整所述穿戴式VR设备连接的目标发声设备的发声参数,包括:
基于所述第一相对位置信息和所述第一发声声道的发声参数,调整所述第一环境发声设备的发声参数。
7.根据权利要求1至3任一项所述的方法,其特征在于,所述基于所述第一相对位置信息,调整所述穿戴式VR设备连接的目标发声设备的发声参数,包括:
基于所述第一相对位置信息,以及所述穿戴式VR设备与所述第一环境发声设备间的第二相对位置信息,调整所述第一环境发声设备的发声参数。
8.根据权利要求7所述的方法,其特征在于,所述第一相对位置信息包括所述穿戴式VR设备与所述虚拟音源对象间的第一距离,和所述虚拟音源对象相对于所述穿戴式VR设备所处的第三方向;
所述第二相对位置信息包括所述穿戴式VR设备与所述第一环境发声设备间的第二距离,和所述第一环境发声设备相对于所述穿戴式VR设备所处的第四方向;
所述基于所述第一相对位置信息,以及所述穿戴式VR设备与所述第一环境发声设备间的第二相对位置信息,调整所述目标发声设备的发声参数,包括:
基于所述第一距离和所述第二距离,确定第一发声参数,并基于所述第三与所述第四方向间的夹角的角度,确定衰减比例;
基于所述衰减比例和所述第一发声参数,确定目标发声参数;
基于所述目标发声参数,调整所述第一环境发声设备的发声参数。
9.一种基于VR的音频控制装置,其特征在于,所述装置包括:确定模块和调整模块;
所述确定模块,用于在穿戴式VR设备显示目标虚拟空间的空间场景的情况下,确定所述穿戴式VR设备与所述目标虚拟空间中的虚拟音源对象间的第一相对位置信息;
所述调整模块,用于基于所述确定模块确定的所述第一相对位置信息,调整所述穿戴式VR设备连接的目标发声设备的发声参数;
所述目标发声设备包括第一环境发声设备,所述第一环境发声设备为所述穿戴式VR设备连接的环境发声设备。
10.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至8中任一项所述的基于VR的音频控制方法的步骤。
11.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至8中任一项所述的基于VR的音频控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310872758.3A CN116764195A (zh) | 2023-07-14 | 2023-07-14 | 基于虚拟现实vr的音频控制方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310872758.3A CN116764195A (zh) | 2023-07-14 | 2023-07-14 | 基于虚拟现实vr的音频控制方法、装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116764195A true CN116764195A (zh) | 2023-09-19 |
Family
ID=88013357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310872758.3A Pending CN116764195A (zh) | 2023-07-14 | 2023-07-14 | 基于虚拟现实vr的音频控制方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116764195A (zh) |
-
2023
- 2023-07-14 CN CN202310872758.3A patent/CN116764195A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108701371B (zh) | 用于提供虚拟现实输出和增强现实输出的方法和装置 | |
US10979845B1 (en) | Audio augmentation using environmental data | |
US20120207308A1 (en) | Interactive sound playback device | |
KR102230645B1 (ko) | 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들 | |
CN110536665A (zh) | 使用虚拟回声定位来仿真空间感知 | |
US20050275913A1 (en) | Binaural horizontal perspective hands-on simulator | |
TWI647593B (zh) | 模擬環境顯示系統及方法 | |
JP6764490B2 (ja) | 媒介現実 | |
CN105764581A (zh) | 可变音频参数设置 | |
US11758347B1 (en) | Dynamic speech directivity reproduction | |
JP2019175323A (ja) | シミュレーションシステム及びプログラム | |
Zhou et al. | An experimental study on the role of 3D sound in augmented reality environment | |
CN110622106A (zh) | 音频处理 | |
KR102190072B1 (ko) | 콘텐츠 발견 | |
CN113260954B (zh) | 基于人工现实的用户群组 | |
Zhou et al. | An experimental study on the role of software synthesized 3D sound in augmented reality environments | |
CN116764195A (zh) | 基于虚拟现实vr的音频控制方法、装置、电子设备及介质 | |
CN112927718B (zh) | 感知周围环境的方法、装置、终端和存储介质 | |
JP2019175322A (ja) | シミュレーションシステム及びプログラム | |
US11070933B1 (en) | Real-time acoustic simulation of edge diffraction | |
JP2023546839A (ja) | 視聴覚レンダリング装置およびその動作方法 | |
KR20210056414A (ko) | 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템 | |
US11924317B1 (en) | Method and system for time-aligned media playback | |
JP2020181123A (ja) | カラオケ演出システム | |
US11638111B2 (en) | Systems and methods for classifying beamformed signals for binaural audio playback |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |