CN106954127B - 一种vr场景下音频沉浸式控制方法 - Google Patents

Abstract

本发明涉及一种VR场景下音频沉浸式控制方法，为用户提供沉浸式的音频享受，其中，通过在游戏场景中通过读取游戏场景里发声的声源的方位与大小，来发给VR，再由VR判断用户与周围音响的方位，从而让对应哪个音响发声，这样就能真正实现，背后物体发声，用户切身感觉到敌人就在身后，飞机在头顶飞过，用户能感受到头顶确实有声音环绕。

Description

一种VR场景下音频沉浸式控制方法

技术领域

本发明涉及一种VR场景下音频沉浸式控制方法，属于智能识别和智能调节技术领域。

背景技术

VR给用户带来了全景的观看模式，让用户感觉到眼前的一切仿佛都是真实的，但是这一切除了音频，音频的单一化与无方向化，已经大大影响了用户的感官享受，而且这与VR的设计初衷也背道而驰，用户需要的并不只是视觉上通过提高关键技术，如刷新率，分辨率等来营造更真实的视觉沉浸感，而且他们还需要能够享受沉浸式视觉享受的同时，也能享受到沉浸式音频，只有这样用户才能在虚拟的世界里，感受如同在现实世界里。

发明内容

本发明所要解决的技术问题是提供一种能够为用户提供沉浸式音频享受的VR场景下音频沉浸式控制方法。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种VR场景下音频沉浸式控制方法，基于VR设备所处环境中，分布设置于VR设备周围的各个音响，实现音频沉浸式控制，包括如下步骤：

步骤1.采用头相关变换函数，获取VR场景空间中各声源的方位与各声源的音量；

步骤2.将所获各声源的方位和各声源的音量发送给VR设备，VR设备针对所接收到的数据进行存储；

步骤3.VR设备随场景变换，根据自身第一人称的视角，以及各声源的方位与声源的音量，向对应音响发送控制指令，控制周围对应音响进行工作。

作为本发明的一种优选技术方案：还包括分别设置于各个音响上的跟踪控制装置，各个跟踪控制装置分别均包括跟踪照相机、控制模块和转轴模块，各个跟踪控制装置中，控制模块与转轴模块相连接，控制模块控制转轴模块针对跟踪照相机或音响进行转动驱动，并且转轴模块实现跟踪照相机与音响的联动，以及跟踪照相机的工作指向方向与对应音响播放方向一致；所述步骤3之后，还包括如下步骤：

步骤4.VR设备向对应音响发送控制指令，由对应音响上的控制模块接收控制指令，控制模块首先控制转轴模块工作，实现跟踪照相机的转动控制，并随跟踪照相机的转动，控制跟踪照相机进行实时图像捕获；

步骤5.该音响上控制模块根据对应跟踪照相机所实时捕获的图像，与预存设置VR设备使用者的VR图像进行比对，判断VR设备的位置，并根据VR设备的位置，通过跟踪照相机的指向，确定该音响的面向方向，进一步实现该音响对所接收数据的播放。

作为本发明的一种优选技术方案：所述步骤1中，采用头相关变换函数，获取VR场景空间中各声源的方位与声源的音量同时，还包括获得各声源的播放半径范围；所述步骤2中，将所获各声源的方位、各声源的音量发送给VR设备的同时，将各声源的播放半径范围发送给VR设备，VR设备针对所接收到的数据进行存储；

所述步骤5之后还包括如下步骤：

步骤6.VR设备根据接收控制的音响与其之间的距离，以及该音响所接收声源的播放半径范围，基于该音响所接收声源的音量，调整该音响对所接收声源的实际播放音量，并发送给对应音响进行控制。

作为本发明的一种优选技术方案：针对VR设备所处环境中，以VR设备使用者的高度作为第一水平高度，再设置高度高于第一水平高度的第二水平高度，所有音响分为两组，一组音响分布设置于第一水平高度、VR设备的周围，另一组音响分布设置于第二水平高度、VR设备的周围。

作为本发明的一种优选技术方案：所述VR设备和各音响或各音响的控制模块之间均通过无线通信方式进行通信。

作为本发明的一种优选技术方案：所述VR设备中，以及各个音响上分别均设置GPS模块，VR设备通过自身上所设置的GPS模块，以及各个音响上分别设置的GPS模块，获得各个音响与其之间的距离。

本发明所述一种VR场景下音频沉浸式控制方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的VR场景下音频沉浸式控制方法，为用户提供沉浸式的音频享受，其中，通过在游戏场景中通过读取游戏场景里发声的声源的方位与大小，来发给VR，再由VR判断用户与周围音响的方位，从而让对应哪个音响发声，这样就能真正实现，背后物体发声，用户切身感觉到敌人就在身后，飞机在头顶飞过，用户能感受到头顶确实有声音环绕。

附图说明

图1是本发明所设计VR场景下音频沉浸式控制方法的应用模块示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

如图1所示，本发明设计了一种VR场景下音频沉浸式控制方法，基于VR设备所处环境中，分布设置于VR设备周围的各个音响，实现音频沉浸式控制，在实际应用当中，针对VR设备所处环境中，以VR设备使用者的高度作为第一水平高度，再设置高度高于第一水平高度的第二水平高度，所有音响分为两组，一组音响分布设置于第一水平高度、VR设备的周围，另一组音响分布设置于第二水平高度、VR设备的周围，具体比如，音响的摆放分为两层，地表一层为八个呈圆形排列，用户头顶上的墙壁层为五个音响，呈正方形排列，这样排列是为了更好的显示来自各个方向的声音，并通过现实世界中的音响，很真实的表现出来；不仅如此，在硬件上，各个音响上还分别设置跟踪控制装置，各个跟踪控制装置分别均包括跟踪照相机、控制模块和转轴模块，各个跟踪控制装置中，控制模块与转轴模块相连接，控制模块控制转轴模块针对跟踪照相机或音响进行转动驱动，并且转轴模块实现跟踪照相机与音响的联动，以及跟踪照相机的工作指向方向与对应音响播放方向一致；VR设备中，以及各个音响上分别均设置GPS模块；VR设备和各音响或各音响的控制模块之间均通过无线通信方式进行通信；本发明所设计VR场景下音频沉浸式控制方法，在实际执行过程中，具体包括如下步骤：

步骤1.由于VR场景空间采用HRTF DSP来处理场景空间中的音频，因此，采用头相关变换函数(HRTF)，获取VR场景空间中各声源的方位与各声源的音量；与此同时，还获得各声源的播放半径范围；其中，头相关变换函数(HRTF)是一种音频定位算法，HRTF数据包含了大量的方位信息，用HRTF对声源进行定位可以提高定位的准确性。

步骤2.将所获各声源的方位和各声源的音量发送给VR设备，同时，将各声源的播放半径范围发送给VR设备，VR设备针对所接收到的数据进行存储。

当佩戴VR设备的用户移动时，VR设备接收到声源方位信息和音量大小信息，并以此选定八台音响设备中的哪台音响用于播放声源信息，根据每个音响所负责的方位信息当主机传送过来主机中声源与用户第一视角的方位信息时，VR设备根据这些方位信息，寻找现实世界中，与之相对音响。

步骤3.VR设备随场景变换，根据自身第一人称的视角，以及各声源的方位与声源的音量，向对应音响发送控制指令，控制周围对应音响进行工作。

具体为：VR设备通过自身上所设置的GPS模块，以及各个音响上分别设置的GPS模块，首先读取VR设备的GPS信息(a1,a2),已经存储的固定的八个音响的GPS信息分别为(b1,c1),(b2,c2),(b3,c3),(b4,c4),(b5,c5),(b6,c6),(b7,c7),(b8,c8)和用户当前的朝向方位，并以面朝向方位为x轴，以与之垂直的方向为y轴，建立直角坐标系，VR设备根据主机端传送过来的方向角即哪个象限，多少角度，设为第w个象限，与x轴夹角为z，计算当前位置下，(b1-a1),与(c1-a2)的正负，来判断此时音响1相对于用户所处于用户的哪个象限内，若(b1-a1)>0同时(c1-a2)>0,则此时音响1处于用户的第一象限内，以此类推，用此方法计算出每个音响相对于用户所处的象限，寻找出满足第w个象限的所有音响，然后再继续判断满足象限条件的音响与用户位置的夹角信息，公式为 然后比较|q-z|的大小，相减后绝对值最小的那个音响，就是需要发声的音响。

步骤4.VR设备向对应音响发送控制指令，由对应音响上的控制模块接收控制指令，控制模块首先控制转轴模块工作，实现跟踪照相机的转动控制，并随跟踪照相机的转动，控制跟踪照相机进行实时图像捕获。

步骤5.该音响上控制模块根据对应跟踪照相机所实时捕获的图像，与预存设置VR设备使用者的VR图像进行比对，判断VR设备的位置，并根据VR设备的位置，通过跟踪照相机的指向，确定该音响的面向方向，进一步实现该音响对所接收数据的播放。这里，其中预存设置VR设备使用者的VR图像，通过先照相机先指定参照物，然后用照相机拍一张水平方向上用户照片，一张指定的VR照片，由此构成VR设备使用者的VR图像；并且在后续图像比对过程中，通过照片指定区域的灰度值是否相近，以此判断VR设备的位置。

上述跟踪照相机判断VR设备的位置，其过程分为左右快速查找，左右精确查找，上下快速查找，上下精确查找。同时音响的转轴也随跟踪照相机的移动而移动，即跟踪照相机上下左右移动的角度与音响设备上下左右移动角度一致；其中，

在跟踪照相机进行快速查找和精确查找时采用以下方法，首先，以跟踪照相机左右定位为例，跟踪照相机快速左右旋转，同时拍摄照片，并将拍到的照片传递给VR设备，VR分析每张照片的像素信息，并与预存设置VR设备使用者的VR图像进行比对相比对，即将两张照片的像素点的灰度值一一相减，去平均值后相加后计算出的值就是两张照片的差异度，当跟踪照相机移动时，拍摄照片与用户照片的差异度是一直在变化的，当差异度出现猛然变化时，即变化的幅度特别大时，此时说明用户正在附近，跟踪照相机停止左右快速寻找，转而开始精确寻找，当比对的差异度，出现逐渐变大，然后逐渐变小时，说明VR设备的位置就在这两个寻找点之间，然后跟踪照相机开始反方向寻找，去差异度最小的那个点时，跟踪照相机停止寻找，开始执行上下快速寻找，上下快速寻找与左右快速寻找类似，同时上下精确寻找也与左右精确寻找类似，当跟踪照相机完成这四个寻找后，音响的位置就正对用户VR的设备了，这样用户就能听到精确方向来到的声音了，高质量还原了VR游戏中声源的信息。

步骤6.VR设备通过自身上所设置的GPS模块，以及各个音响上分别设置的GPS模块，获得各个音响与其之间的距离；然后，VR设备根据接收控制的音响与其之间的距离，以及该音响所接收声源的播放半径范围，基于该音响所接收声源的音量，调整该音响对所接收声源的实际播放音量，并发送给对应音响进行控制。

其中，每个声源都有最大半径r1和最小半径r2，VR场景空间中用户第一视角处在最小半径内声源音量没有任何变化，VR场景空间中用户第一视角处在最大半径之外听不到任何该声源发出的信息，即用户听到的播放音量为0，VR场景空间中用户第一视角处在最大半径和最小半径之间时，用户听到的声音数据是逐渐递减的，其中声源发出的声音是定值d，用户与声源位置的距离为r3,用户听到声源发出的音量数据为M＝(d*(r3-r2))/((r1-r2))，将M值传递给VR设备，VR设备并将此值存储起来。音响播放的音量值D是由VR设备确定的，VR设备首先根据已选定的播放音响距自己的距离P和M值确定,公式为D＝P*M/R,这里R指的是音响圆形分布摆放的半径，VR设备将音响播放的音量值通过无线模块传递给音响。

上述技术方案所设计VR场景下音频沉浸式控制方法，为用户提供沉浸式的音频享受，其中，通过在游戏场景中通过读取游戏场景里发声的声源的方位与大小，来发给VR，再由VR判断用户与周围音响的方位，从而让对应哪个音响发声，这样就能真正实现，背后物体发声，用户切身感觉到敌人就在身后，飞机在头顶飞过，用户能感受到头顶确实有声音环绕。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种VR场景下音频沉浸式控制方法，其特征在于，基于VR设备所处环境中，分布设置于VR设备周围的各个音响，实现音频沉浸式控制，包括如下步骤：

步骤1.采用头相关变换函数，获取VR场景空间中各声源的方位与各声源的音量；

步骤2.将所获各声源的方位和各声源的音量发送给VR设备，VR设备针对所接收到的数据进行存储；

步骤3.VR设备随场景变换，根据自身第一人称的视角，以及各声源的方位与声源的音量，向对应音响发送控制指令，控制周围对应音响进行工作；

上述步骤3包括如下：

VR设备根据其自身上所设置的GPS模块，以及各个音响上分别设置的GPS模块，首先读取VR设备的GPS信息,并获得各音响的GPS信息，以及获得佩戴VR设备的用户当前的朝向方位，并以面朝向方位为x轴，以与之垂直的方向为y轴，建立直角坐标系；接着VR设备根据主机端传送过来的音频方向角，判断音频方向所在的目标象限区域，以及与x轴的夹角z，再根据各个音响的GPS信息，获得位于目标象限区域内的各个音响，作为各个待发声音响，然后再获得各个待发声音响分别与用户位置连线相对x轴的夹角信息，并获得该夹角信息与夹角z的差值，最后选择最小差值所对应的待发声音响，即为需要发声的音响，控制其发声。

2.根据权利要求1所述一种VR场景下音频沉浸式控制方法，其特征在于：还包括分别设置于各个音响上的跟踪控制装置，各个跟踪控制装置分别包括跟踪照相机、控制模块和转轴模块，各个跟踪控制装置中，控制模块与转轴模块相连接，控制模块控制转轴模块针对跟踪照相机或音响进行转动驱动，并且转轴模块实现跟踪照相机与音响的联动，以及跟踪照相机的工作指向方向与对应音响播放方向一致；所述步骤3之后，还包括如下步骤：

步骤4.VR设备向对应音响发送控制指令，由对应音响上的控制模块接收控制指令，控制模块首先控制转轴模块工作，实现跟踪照相机的转动控制，并随跟踪照相机的转动，控制跟踪照相机进行实时图像捕获；

步骤5.该音响上控制模块根据对应跟踪照相机所实时捕获的图像，与预存设置VR设备使用者的VR图像进行比对，判断VR设备的位置，并根据VR设备的位置，通过跟踪照相机的指向，确定该音响的面向方向，进一步实现该音响对所接收数据的播放。

3.根据权利要求2所述一种VR场景下音频沉浸式控制方法，其特征在于：所述步骤1中，采用头相关变换函数，获取VR场景空间中各声源的方位与声源的音量同时，还包括获得各声源的播放半径范围；所述步骤2中，将所获各声源的方位、各声源的音量发送给VR设备的同时，将各声源的播放半径范围发送给VR设备，VR设备针对所接收到的数据进行存储；

所述步骤5之后还包括如下步骤：

步骤6.VR设备根据接收控制的音响与其之间的距离，以及该音响所接收声源的播放半径范围，基于该音响所接收声源的音量，调整该音响对所接收声源的实际播放音量，并发送给对应音响进行控制。

4.根据权利要求3所述一种VR场景下音频沉浸式控制方法，其特征在于：针对VR设备所处环境中，以VR设备使用者的高度作为第一水平高度，再设置高度高于第一水平高度的第二水平高度，所有音响分为两组，一组音响分布设置于第一水平高度、VR设备的周围，另一组音响分布设置于第二水平高度、VR设备的周围。

5.根据权利要求4所述一种VR场景下音频沉浸式控制方法，其特征在于：所述VR设备和各音响或各音响的控制模块之间均通过无线通信方式进行通信。

6.根据权利要求4所述一种VR场景下音频沉浸式控制方法，其特征在于：所述VR设备中，以及各个音响上分别均设置GPS模块，VR设备通过自身上所设置的GPS模块，以及各个音响上分别设置的GPS模块，获得各个音响与其之间的距离。