CN117348721A - 虚拟现实数据处理方法、控制器及虚拟现实设备 - Google Patents

Abstract

本申请公开了一种虚拟现实数据处理方法、控制器及虚拟现实设备。该方法包括：基于视觉三维坐标系建立听觉三维坐标系；获取元素动效数据和声源声音信号；根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号。根据本申请实施例的方案，能够使得虚拟现实场景中动效元素的变化与声音音效匹配，实现实时的音画同步，强化交互感知，提高用户的视听体验。

Description

虚拟现实数据处理方法、控制器及虚拟现实设备

技术领域

本申请涉及虚拟现实技术领域，尤其是一种虚拟现实数据处理方法、控制器及虚拟现实设备。

背景技术

虚拟现实(Virtual Reality，VR)技术是一种运用计算机仿真系统创建多源信息融合的交互式三维动态实景技术可以给用户提供沉浸性、多感知性、交互性的互动体验。在以屏幕为主题的交互中，视觉感知为用户获取信息的主要渠道，同样地，在虚拟现实环境中，视觉也是用户感知的重要途径。但在虚拟现实环境中，缺少真正意义上的视觉中心，交互界面也不再限定于一个平面，用户比较难明确自己的位置和方向，容易迷失在虚拟场景之中，而且不同于传统2D界面，设计上无法控制用户视域在主交互界面内，仅仅依靠视觉感知难以为用户提供较好的沉浸式体验。例如当一些交互流程仅通过动画过渡引导或衔接，对于360度的全场景而言，眼部或者头部、身体转动范围过大，用户容易迷失方向，产生视觉疲劳，且存在提示性不足的问题，比如当一个重要的元素移动到用户的背后时，仅仅通过视觉感知则难以察觉该元素的变化，用户的沉浸式体验变差。而为了在虚拟环境中创建最接近真实物理世界的沉浸式体验，交互式方式除了利用视觉信息的单维度传递，交互时，还会利用到声音、触感、气味等其他维度，让用户的感受共通，以提升沉浸式用户体验。相关技术中，有将声音维度应用于VR应用场景的技术方案。但现有的声音的技术应用方案，偏重于将声音与用户的变化相关联，而即使与操作相关联，声音信息一般也是出现在交互操作的单一状态下，如提示定位或结束状态时。现有的技术方案中，例如当虚拟现实场景中出现一个比较大的视野范围的跳转，用户容易迷失在操作路径中，错过关键性事件，听觉感受并不能与界面变化所带来的视觉感受相匹配，难以为用户提供更丰富的沉浸式交互体验。因此，如何在虚拟现实场景中使用户的视觉感受与听觉感受匹配，强化交互感知，提高用户的视听体验，是一个亟待解决的问题。

发明内容

本申请实施例提供了一种虚拟现实数据处理方法、控制器及虚拟现实设备，能够使得虚拟现实场景中动效元素的变化与声音音效匹配，实现实时的音画同步，提高用户的视听体验。

第一方面，本申请实施例提供了一种虚拟现实数据处理方法，所述方法包括：基于视觉三维坐标系建立听觉三维坐标系；获取元素动效数据和声源声音信号；根据所述元素动效数据和所述听觉三维坐标系对所述声源声音信号进行调整，输出目标声音信号。

第二方面，本申请实施例还提供了一种控制器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的虚拟现实数据处理方法。

第三方面，本申请实施例还提供了一种虚拟现实设备，包括第二方面所述的控制器。

第四方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的虚拟现实数据处理方法。

本申请实施例包括：虚拟现实设备基于视觉三维坐标系建立听觉三维坐标系；获取元素动效数据和声源声音信号；根据所述元素动效数据和所述听觉三维坐标系对所述声源声音信号进行调整，输出目标声音信号。根据本申请实施例的方案，虚拟现实设备基于视觉三维坐标系建立听觉三维坐标系；而后获取元素动效数据和声源声音信号，随后根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号，即是说：本申请实施例的方案能够通过虚拟现实设备，生成并输出与动效元素的变化相匹配的目标声音信号，使得虚拟现实场景中动效元素的变化与声音音效匹配，实现实时的音画同步，强化交互感知，提高用户的视听体验。

附图说明

图1是本申请一个实施例提供的虚拟现实数据处理系统的功能模块示意图；

图2是本申请一个实施例提供的虚拟现实数据处理方法的流程示意图；

图3是图2中步骤S210的具体方法的流程示意图；

图4是本申请一个实施例提供的视觉三维坐标系的示意图；

图5是本申请一个实施例提供的听觉三维坐标系的示意图；

图6是本申请另一个实施例提供的虚拟现实数据处理方法的流程示意图；

图7是图2中步骤S230的具体方法的流程示意图；

图8是本申请一个实施例提供的虚拟现实场景中的烟花效果示意图；

图9是本申请一个实施例提供的控制器的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本申请。

需要说明的是，在本申请的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数。此外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

视觉感知可以追踪可见物体，人类的听觉感知和视觉感知都可以追踪声音的位置和速度。基于此，本申请提供了一种虚拟现实数据处理方法、控制器、虚拟现实设备及计算机可读存储介质。根据本申请实施例的方案，虚拟现实设备基于视觉三维坐标系建立听觉三维坐标系；而后获取元素动效数据和声源声音信号，随后根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号，即是说：本申请实施例的方案能够通过虚拟现实设备，生成并输出与动效元素的变化相匹配的目标声音信号，使得虚拟现实场景中动效元素的变化与声音音效匹配，实现实时的音画同步，强化交互感知，提高用户的视听体验。

下面结合附图，对本申请实施例作进一步阐述。

参照图1，图1是本申请一个实施例提供的虚拟现实数据处理系统的功能模块示意图。该虚拟现实数据处理系统应用于虚拟现实设备。虚拟现实数据处理系统包括：信息采集模块110、图像处理模块120、声音处理模块130、声音输出模块140和计算存储模块150。计算存储模块150分别与信息采集模块110、图像处理模块120、声音处理模块130通信连接，信息采集模块110与图像处理模块120通信连接，图像处理模块120与声音处理模块130通信连接，声音处理模块130与声音输出模块140通信连接。

其中，信息采集模块110用于获取用户的在虚拟环境中操作数据，例如点击、滑动等等，具体地，是通过虚拟现实(Virtual Reality，VR)设备中的传感器来获取用户操作指令。获取到用户操作指令后，将获取的数据信息传输至计算存储模块中进行存储。

图像处理模块120用于采集到用户的操作信息之后，根据用户的操作在界面内生成动效元素动画，分析操作后的界面状态，将界面内每一刻的动效元素图像与前一刻动效元素图像进行逐帧比较，从动画开始到动画结束，提取出每一刻动效元素图像的元素动效数据，具体地，元素动效数据包括动效元素的元素空间位置信息、元素尺寸、透明度和形状锐度。而在没有采集到的用户的操作信息的情况下，而是根据系统预写好的动画脚本预生成动效元素动画，根据动效元素动画预判每一个瞬时的图像所对应的元素动效数据，即可以预判每一个瞬时的动效元素图像的元素动效数据，即动效元素的元素空间位置信息、元素尺寸、透明度和形状锐度。

声音处理模块130用于获取元素动效数据和声源声音信号，而后根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号，具体地，声音处理模块130获取图像处理模块120经过图像数据提取处理后得到的元素动效数据，元素动效数据包括元素空间位置信息、元素尺寸、透明度和形状锐度。而后，声音处理模块130获取声源声音信号的第一声音参数信息；根据元素动效数据和听觉三维坐标系得到声音调整参数信息，声音调整参数信息至少为如下之一：声源位置调整信息、声音响度调整信息和声音音色调整信息；根据声音调整参数信息将第一声音参数信息调整为第二声音参数信息。当声音调整参数信息为声源位置调整信息时，根据元素动效数据获取元素空间位置信息，而后根据元素空间位置信息和听觉三维坐标系获得声源位置调整信息；或者当声音调整参数信息为声音响度调整信息时，则根据元素动效数据获取元素空间位置信息和元素尺寸，再根据元素空间位置信息、元素尺寸和预设声音响度值设置规则确定声音响度调整信息；或者当声音调整参数信息为声音音色调整信息时，根据元素动效数据获取透明度和形状锐度，而后根据透明度、形状锐度和预设声音频率值设置规则确定声音音色调整信息，最后根据声音调整参数信息将第一声音参数信息调整为第二声音参数信息，最后根据调整的第二声音参数信息输出目标声音信号。

声音输出模块140用于将声音处理模块处理合成的目标声音信号输出。声音输出模块包括声音输出设备，声音输出设备可以是耳机也可以是外部音箱设备，本申请对所使用声音输出设备的种类和数量不作具体的限制。

计算存储模块150用于记录和存储用户的操作信息，同时也存储动效元素动画变化中的元素动效数据，将其发送给声音处理模块使声音处理模块进行相应的声音合成处理。

根据本申请一实施例提供的虚拟现实数据处理系统，虚拟现实场景中当动效元素变化时，虚拟现实数据处理系统通过各个功能模块之间的协作，能够根据用户操作指令生成动效元素动画，或者根据预设动画脚本生成动效元素动画；从动效元素动画中以帧为单位获取每一时刻的动效元素图像，获取动效元素图像中的动效元素的元素动效数据和前一帧动效元素图像的声源声音信号，根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号。通过虚拟现实数据处理系统，从用户的听觉感官体验考虑，在虚拟现实场景中实现音画同步，使用户的视觉感受与听觉感受匹配，提高用户的交互引导体验，降低机器学习成本，同时增强虚拟现实环境的真实感和沉浸感。

用户使用具有该虚拟现实数据处理系统的虚拟现实设备进入虚拟现实场景，当虚拟现实场景中的动效元素变化时，虚拟现实设备基于视觉三维坐标系建立听觉三维坐标系，而后获取元素动效数据和声源声音信号，随后根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，最后输出目标声音信号。虚拟现实设备生成并输出与动效元素的变化相匹配的目标声音信号，使得虚拟现实场景中动效元素的变化与声音音效匹配，实现实时的音画同步，强化交互感知，提高用户的视听体验。用户能够有较好的交互引导体验，即使虚拟现实场景中发生比较大的视野范围的跳转，在视觉感知以及与视觉感知相匹配的听觉感知的共同引导下，用户也不容易迷失在操作路径中，不容易错过关键性事件；从用户的体感而言，听觉感受与界面变化所带来的视觉感受相匹配，能够为用户提供更丰富的沉浸式交互体验。

本申请实施例描述的系统功能模块示意以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着系统功能模块的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。本领域技术人员可以理解的是，图1中示出的系统功能模块并不构成对本申请实施例的限定，可以包括比图示更多或更少的模块，或者组合某些模块，或者不同的组合模块设置。

基于上述系统功能模块示意图、具有该系统的虚拟现实设备以及虚拟现实场景，下面提出本申请的虚拟现实数据处理方法的各个实施例。

参照图2，图2是本申请一个实施例提供的虚拟现实数据处理方法的流程示意图；该虚拟现实数据处理方法应用于具有如图1所示的虚拟现实数据处理系统的虚拟现实设备中，虚拟现实数据处理方法包括但不限于有步骤S210、步骤S220和步骤S230。

步骤S210：基于视觉三维坐标系建立听觉三维坐标系。

本步骤中，虚拟现实设备基于视觉三维坐标系建立听觉三维坐标系。本申请的一个实施例中，虚拟现实设备中还基于视觉三维坐标系建立三维操作界面，用户可以通过三维操作界面进行操作，如点击，滑动等，具体地，利用虚拟现实设备中的传感器，来获取用户操作指令。

步骤S220：获取元素动效数据和声源声音信号。

本步骤中，虚拟现实设备获取元素动效数据。具体地，虚拟现实设备基于视觉三维坐标系获取三维操作界面内动效元素的元素动效数据和声源声音信号，以及前一帧动效元素图像所对应输出的声源声音信号。

本申请的一个实施例中，根据预设动态元素动画脚本或者用户操作指令生成动效元素动画；根据动效元素动画获取每一帧动效元素图像；基于视觉三维坐标系，对当前帧动效元素图像进行图像数据提取处理得到元素动效数据，此外还获取前一帧图像所对应的声源声音信号。

具体地，获取动效元素的三维空间位置信息和元素动效数据的方式有两种，一类是虚拟现实数据处理系统中具有预设动画脚本，通过预设动画脚本可以生成动效元素动画，可以根据动效元素动画预判每一个瞬时的动效元素的元素动效数据，即可以预判每一个瞬时的动效元素的三维空间位置、形状锐度、元素尺寸以及透明度。另一类是不具有预设动画脚本，需要获取用户的操作，根据用户操作指令而判断生成的动画效果，可以通过记录每一时刻的图像，将每一时刻的图像都分别与其前一时刻的图像进行比对，得到三维空间位置、形状锐度、元素尺寸以及透明度的变化值，进而得到每一时刻的图像的三维空间位置、形状锐度、元素尺寸以及透明度。以动效元素A的三维空间位置为例，获取动效元素A的中心点在动画起始位置处的空间坐标(X1,Y1,Z1)以及动效元素A的中心点在动画结束位置处的空间坐标(X2,Y2,Z2)，将这个动画过程无限细分，获取每一时刻的A的空间坐标值，这些坐标位置相连接，即获得该元素在空间中的运动路径。

步骤S230：根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号。

根据本发明实施例的步骤S210至步骤S240，虚拟现实设备基于视觉三维坐标系建立听觉三维坐标系；而后获取元素动效数据和声源声音信号；根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号，输出的目标声音信号的声音音效与虚拟现实场景中动效元素的变化相匹配，实现实时的音画同步，强化交互感知，提高用户的视听体验。

参照图3，图3是图2中步骤S210的具体方法的流程示意图。步骤S210：基于视觉三维坐标系建立听觉三维坐标系包括但不限于有步骤S310、步骤S320和步骤S330。

步骤S310：获取初始空间位置信息。

本步骤中，虚拟现实设备获取初始空间位置信息。在本申请的一个实施例中，虚拟现实设备可以获取用户的初始空间位置信息、或是预设初始空间位置信息、或是调用上次使用时所记录的空间位置信息作为初始空间位置信息。可以理解的是，初始空间位置信息包括但不限于有空间坐标位置和空间方向信息。

步骤S320：根据初始空间位置信息建立视觉三维坐标系。

本步骤中，虚拟现实设备根据初始空间位置信息建立视觉三维坐标系。在本申请的一个实施例中，虚拟现实设备可以获取用户的初始空间位置信息，以用户所在的初始位置作为坐标中心建立视觉三维坐标系。根据初始空间位置信息使三维操作界面朝向用户，为用户提供交互体验。

图4是本申请一个实施例提供的视觉三维坐标系的示意图，在图4的示例中，以用户所在的位置为坐标中心建立动效元素的三维空间坐标系，以最大可视半径进行划分得到前、后、左、右最远可视范围。

步骤S330：对视觉三维坐标系的坐标轴做倍数化处理，建立听觉三维坐标系。

本步骤中，虚拟现实设备对视觉三维坐标系的坐标轴做倍数化处理，建立听觉三维坐标系。在本申请一个实施例中，虚拟现实设备对视觉三维坐标系的第一方向坐标轴以及第二方向坐标轴做倍数化处理，从而建立听觉三维坐标系。听觉三维坐标系具有X方向、Y方向和Z方向的坐标轴。在本申请的一个实施例中，第一方向坐标轴可以指Y方向坐标轴，第二方向坐标轴可以指Z方向坐标轴。对Y方向坐标轴和Z方向坐标轴，可以强化用户对上下方向和前后方向的声音信号的感知。可以理解的是，可以根据实际的视听需求，对视觉三维坐标系的方向坐标轴有选择地进行倍数化处理。

可以理解的是，在虚拟现实场景中，需要把握声音信号的空间性，即声音的方向、距离和移动。真实世界中声音信号是从四面八方传来的，声音输出的方向是通过调节声音到达用户两只耳朵的时间差、方位差、强度差来改变。由于双耳效应，用户对于上下、左右等不同方位的声音感知敏锐度是不同的。三维立体空间中，如果将声音信号的输出坐标位置以及声音输出路径按照视觉三维坐标系按照比例一比一还原，用户对于上下、前后的感知难度大。因此对视觉三维坐标系的第一方向坐标轴以及第二方向坐标轴做倍数化处理，具体地，对上下和前后这两个方向增加一定比例倍数。例如，可让用户在初次使用时，通过试听方位效果，用户自行设定Y方向以及Z方向上的音量大小，或者采用系统默认的倍数设定值。

参照图5，图5是本申请一个实施例提供的听觉三维坐标系的示意图。在图5的示例中，以用户为中心，对应于视觉三维坐标系，将前、后、左右最远可听见的范围，以最大半径进行划分，建立听觉三维坐标系，即3D全景声场。可以理解的是，视觉三维坐标系和听觉三维坐标系有相同的坐标中心。可以理解的是，人能听到的范围是有限的，如果该元素的视觉超出了可听最大距离，则声音输出响度为0。因此，对于建立的听觉三维坐标系，用户可以自行设定最大(最近)音量及最小(最远)音量，也可以采用系统默认的设定值。在听觉三维坐标系中的坐标仅表示声音信号输出的模拟坐标位置，具体声音响度需要计算当前坐标位置与用户中心的距离，还需结合动效元素的元素尺寸大小来确定。

参照图6，图6是本申请另一个实施例提供的虚拟现实数据处理方法的流程示意图，即在步骤S220：获取元素动效数据和声源声音信号之前，还包括步骤S610、步骤S620、步骤S630、步骤S640、步骤S650和步骤S660。

步骤S610：判断用户是否发生移动和/或旋转。

本步骤中，虚拟现实设备判断用户是否发生移动和/或旋转。当判断用户发生移动和/或旋转时则执行步骤S620，当判断用户未发生移动和/或旋转时则执行步骤S620。

步骤S620：视觉三维坐标系和听觉三维坐标系不变。

本步骤中，虚拟现实设备在未检测到用户发生移动和/或旋转的情况下，维持视觉三维坐标系和听觉三维坐标系不变。即在检测到用户的第一位移距离和/或第一转动角度为0的情况下，视觉三维坐标系和听觉三维坐标系不发生移动和/或旋转。

步骤S630：判断视觉交互模式是否为跟随用户模式。

本步骤中，虚拟现实设备判断视觉交互模式是否为跟随用户模式。当判断视觉交互模式不是跟随用户模式时，则执行上述的步骤S620，即当视觉交互模式为不跟随用户模式时，即使在虚拟现实终端的第一位移距离和/或第一转动角度不为0的情况下，虚拟现实设备也继续维持视觉三维坐标系和听觉三维坐标系不变。

而当判断视觉交互模式为跟随用户模式时，则依次执行步骤S640、步骤S650和步骤S660。

具体地，步骤S640：获取虚拟现实终端的第一位移距离和/或第一转动角度。

本步骤中，虚拟现实设备获取虚拟现实终端的第一位移距离和/或第一转动角度。具体地，在虚拟现实场景中，用户佩戴虚拟现实设备。虚拟现实设备通过传感器会不断获取虚拟现实终端所在位置和角度，即虚拟现实设备可以获取用户的第一位移距离和/或第一转动角度。

步骤S650：根据虚拟现实终端的第一位移距离和/或第一转动角度进行换算处理，得到视觉三维坐标系和听觉三维坐标系的第二位移距离和/或第二转动角度。

步骤S660：根据第二位移距离和/或第二转动角度对视觉三维坐标系和听觉三维坐标系进行移动和/或旋转。

本步骤中，虚拟现实设备根据第二位移距离和/或第二转动角度对视觉三维坐标系和听觉三维坐标系进行移动和/或旋转。在用户发生移动的情况下，视觉三维坐标系和听觉三维坐标系的坐标中心发生改变，以用户的位移最终位置作为坐标中心；在用户仅发生转动的情况下，视觉三维坐标系和听觉三维坐标系的坐标中心未发生改变，而是跟随用户转动。可以理解的是，视觉三维坐标系和听觉三维坐标系的转动是一致的。

在本申请的一个实施例中，当虚拟现实场景中的视觉交互模式设定为跟随用户模式，即视觉三维坐标系和听觉三维坐标系跟随用户的位移或转动进行同步跟随运动，空间中声音信号输出位置的使用要与元素视觉坐标位置相匹配，则该声音输出与动效元素同步进行移动。通过虚拟现实获取用户的位移距离和转动角度，换算为用户所在的虚拟现实界面的移动和旋转，将之前构建的三维操作界面进行跟随位移和/转动，保证三维操作界面和用户肩关节点的位置保持相对一致。实现三维操作界面在用户移动和转动过程中的跟随效果，同时动效元素的方向与距离都是基于该动效元素与用户之间的角度和距离，若用户在体验过程中发生了转动或位移，则需要按照最终三维操作界面的所在位置，即按照最终的视觉三维坐标系和听觉三维坐标系，匹配动效元素的变化按照声音路径进行目标声音信号的输出。

在本申请的一个实施例中，在建立了视觉三维坐标系之后，当虚拟现实场景中的视觉交互模式设定为不跟随用户模式，即视觉三维坐标系与听觉三维坐标系不以用户的转动或位移进行移动，则该声音信号的输出与用户的位移或者转动无关，只与动效元素在三维空间中的相对于虚拟空间中心的坐标位置及运动路径有关。当该视觉三维坐标系以初始位置为坐标中心时，即使用户移动，该坐标中心则作为虚拟空间中心。在视觉交互模式设定为不跟随用户模式的情况下，如果动效元素在用户背后，则目标声音信号也会输出在用户背后。这种设定符合一半真实的环境情况，也就是虚拟现实场景不以用户的状态为标准，而以自己原本设定好的参数进行运动和发声。

参照图7，图7是图2中步骤S230的具体方法的流程示意图。步骤S230：根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号包括但不限于有步骤S710、步骤S720和步骤S730。

步骤S710：获取声源声音信号的第一声音参数信息；

步骤S720：根据元素动效数据和听觉三维坐标系得到声音调整参数信息，声音调整参数信息至少为如下之一：声源位置调整信息、声音响度调整信息和声音音色调整信息；

步骤S730：根据声音调整参数信息将第一声音参数信息对应调整为第二声音参数信息。

本申请实施例中，在根据元素动效数据和听觉三维坐标系对声源声音信号进行调整，输出目标声音信号的过程中，通过步骤S710至步骤S730，虚拟现实设备获取声源声音信号的第一声音参数信息，而后根据元素动效数据和听觉三维坐标系得到声音调整参数信息，声音调整参数信息包括至少如下之一：声源位置调整信息、声音响度调整信息和声音音色调整信息，最后根据声音调整参数信息将第一声音参数信息调整为第二声音参数信息，根据第二声音参数信息和声源声音信号输出目标声音信号，使得目标声音信号的声音音效与动效元素图像匹配，提高用户使用虚拟现实设备时的视听体验。可以理解的是，第一声音参数信息中需要做调整处理的声音参数包括至少为如下之一：声源位置信息、声音响度信息和声音音色信息，因此需要根据元素动效数据和听觉三维坐标系得到声音调整参数信息，声音调整参数信息包括至少如下之一：声源位置调整信息、声音响度调整信息和声音音色调整信息。根据声音调整参数信息对应调整第一声音参数信息，得到第二声音参数信息；并且元素动效数据包括元素空间位置信息、元素尺寸、透明度和形状锐度。

在本申请一个实施例中，当声音调整参数信息为声源位置调整信息时，根据元素动效数据和听觉三维坐标系得到声音调整参数信息，包括：根据元素动效数据获取元素空间位置信息；根据元素空间位置信息和听觉三维坐标系得到声源位置调整信息。

具体地，虚拟现实设备根据元素空间位置信息和听觉三维坐标系得到声源位置信息。在本申请的一个实施例中，元素动效数据包括动效元素的元素空间位置信息、元素尺寸、透明度和形状锐度。虚拟现实设备能够获取元素空间位置信息、元素尺寸、透明度和形状锐度，以便于后续得到声音信号的声音响度调整信息和声音音色调整信息。例如，当动效元素在视觉三维坐标系中的元素空间位置信息为(1,1,1)，且Y轴坐标方向和Z轴坐标方向上的倍数设定值为系统默认值2，则声源位置信息为(1,2,2)。

在本申请一个实施例中，当声音调整参数信息为声音响度调整信息时，根据元素动效数据和听觉三维坐标系得到声音调整参数信息，包括：根据元素动效数据获取元素空间位置信息和元素尺寸；根据元素空间位置信息获得动效元素与视觉坐标系的坐标中心之间的间隔距离；根据间隔距离和元素尺寸和预设声音响度值设置规则得到声音响度调整信息。

具体地，虚拟现实设备根据元素动效数据获取元素空间位置信息和元素尺寸，而后元素空间位置信息获得动效元素与视觉坐标系的坐标中心之间的间隔距离；最后虚拟现实设备根据间隔距离和元素尺寸和预设声音响度值设置规则得到声音响度调整信息。可以理解的是，视觉三维坐标系的和听觉三维坐标系的坐标中心是否变化与视觉交互模式以及用户的运动情况有关，在此不再赘述。其中，在一实施例中，声音响度调整信息包括声音响度值，预设声音响度值设置规则设置间隔距离与声音响度值为负相关关系，元素尺寸与声音响度值为正相关关系。

在本申请一个实施例中，当声音调整参数信息为声音响度调整信息时，根据元素动效数据和听觉三维坐标系得到声音调整参数信息，包括：根据元素动效数据获取透明度和形状锐度；根据透明度、形状锐度和预设声音频率值设置规则得到声音音色调整信息。

具体地，虚拟现实设备根据元素动效数据获取透明度和形状锐度；根据透明度、形状锐度和预设声音频率值设置规则得到声音音色调整信息。其中，在一实施例中，声音音色调整信息包括声音频率值，预设声音频率值设置规则设置透明度与声音频率值为负相关关系，形状锐度与声音频率值为正相关关系。

可以理解的是，目标声音信号要与动效元素的变化的匹配需要从两个维度进行，即音源的空间性和音色合理性。可以将目标声音信号的特征参数拆解为：音源位置信息、声音响度值、声音频率值。

动效元素的动效参数可以拆解为：移动(位置)、缩放、旋转、透明度、形状和颜色。在本申请一个实施例中，选择元素空间位置信息、元素尺寸、透明度、形状锐度这四个要素进行对应声音信号输出。声音信号与动效元素维度的对应关系需提前建立，对应关系如下：

音源位置信息与动效元素的元素空间位置信息实时对应。元素空间位置信息指视觉三维坐标系中动效元素与用户或者虚拟空间中心相对应的位置和角度，此时需要模拟出动效元素在该位置和角度时所具有的声音效果。即动效元素在变化过程中所涉及的每一个坐标位置，都有一个对应的声音信号输出。

声音响度值与元素空间位置信息、元素尺寸相对应。根据动效元素的元素空间位置信息得到音源位置信息，根据音源位置信息计算出模拟音源与用户之间的间隔距离。与用户距离越近，则响度越高，距离越远，则响度越低。若间隔距离相同时，元素尺寸越大则响度越高，元素尺寸越小，则响度越低。

声音频率值与动效元素的形状锐度以及透明度相匹配。如果元素形状更为尖锐，即锚点数量越多，形状锐度越高，则声音频率更高,若元素形状更为圆润，即形状锐度越低，则声音频率越低。如果元素形状相同，则透明度越低，声音频率越高，透明度越高，则声音频率越低。

其它的声音的辅助特效，在实际使用中，可以根据虚拟场景的特性进行选择，如针对空旷场景、小的封闭场景进行音效的空间衰减和混响，在此发明中不做详述。

在本申请的一个实施例中，建立虚拟环境的声音维度值，则如果当前虚拟场景为以500米为半径的场景。虚拟现实场景中，用户在做出一个操作后，如点击，则视觉范围内有一个正圆形元素从相对于用户所在位置的空间底部出现，向上移动到用户正前方停下变为同等尺寸的三角形元素，则设备根据动效元素变化输出相应的声音信号。则用户在看到动效元素变化的同时，耳朵所感知到的声音效果为：声音从底部开始响起，并且声音的位置不断向上移动，且声音的响度由远及近，越来越大，声音的频率呈线性增加，声音效果越来越尖锐，当元素到达用户的正前方停下时，声音消失。

在本申请的一个实施例中，用户进行一个操作后，一个元素相对于用户，从其正前方，以用户为中心，以R为半径，沿顺时针方向旋转180度移动到用户的正后方，则设备输出的声音效果为：从正前方响起，沿着R为半径的路径，逐渐向右移动，由于元素与用户之间的距离为半径R，且在元素运动过程中半径R不改变，故声音的响度大小不变，当元素到达用户的正后方时，声音消失。

在本申请的一个实施例中，图8是本申请一个实施例提供的虚拟现实场景中的烟花效果示意图。在虚拟现实环境，以用户进行了放烟花的操作为例，系统根据烟花的动画效果自动进行声音匹配。整个动画过程是，烟花向从下往上升起，形状从点状逐渐拉伸为长条状，在空中爆炸开来，最后消失。系统跟随动画的变化进行声音匹配，声音信号的声源位置随着烟花的位置逐渐上移；烟花形态越来越尖锐，故声音的频率越来越高，从线性形状变为炸开的烟花形态，烟花的形态从相对圆润变为极度尖锐，声音的频率在短时间内会有明显的递增；而烟花炸开后，元素的形状从小瞬间变大，声音的响度也会从小瞬间变大，当烟花消失后，整个动效元素的透明度会降低，声音的频率就会逐渐降低，当动效元素透明度降低到消失不见，则声音的频率也会降低为0。这样的设计不需要系统事先预置所有动画匹配的声音，根据动画变化而输出，而用户感知到的声音与真实生活中的认知逻辑相匹配的，降低了设计成本，同时提升了虚拟环境的沉浸感和真实感。

参照图9，图9是本申请一个实施例提供的控制器的示意图。本申请实施例的控制器900，包括一个或多个处理器910和存储器920，图9中以一个处理器910及一个存储器920为例。处理器910和存储器920可以通过总线或者其他方式连接，图9中以通过总线连接为例。

存储器920作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器920可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器920可选包括相对于处理器910远程设置的存储器920，这些远程存储器920可以通过网络连接至该控制器900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本领域技术人员可以理解，图9中示出的装置结构并不构成对控制器900的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

实现上述实施例中应用于控制器900的虚拟现实数据处理方法所需的非暂态软件程序以及指令存储在存储器920中，当被处理器910执行时，执行上述实施例中应用于控制器900的虚拟现实数据处理方法，例如，执行以上描述的图2中的方法步骤S210至步骤S230、图3中的方法步骤S310至步骤S330、图6中的方法步骤S610至步骤S660及图7中的方法步骤S710至步骤S730。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本申请一个实施例还提供了一种虚拟现实设备，该虚拟现实设备包括如图9所示的控制器。用户在佩戴具体的虚拟现实设备后，该虚拟现实设备基于视觉三维坐标系建立听觉三维坐标系，而后获取元素动效数据和声源声音信号，随后根据元素动效数据和听觉三维坐标系，对声源声音信号进行调整，输出目标声音信号；即能够生成并输出与动效元素的变化相匹配的声音信号，使得虚拟现实场景中动效元素的变化与声音音效匹配，实现实时的音画同步，强化交互感知，提高用户的视听体验。

此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，被图9中的一个处理器910执行，可使得上述一个或多个处理器910执行上述方法实施例中的控制方法，例如，执行以上描述的图2中的方法步骤S210至步骤S230、图3中的方法步骤S310至步骤S330、图6中的方法步骤S610至步骤S660及图7中的方法步骤S710至步骤S730。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (15)

1.一种虚拟现实数据处理方法，所述方法包括：

基于视觉三维坐标系建立听觉三维坐标系；

获取元素动效数据和声源声音信号；

根据所述元素动效数据和所述听觉三维坐标系对所述声源声音信号进行调整，输出目标声音信号。

2.根据权利要求1所述的虚拟现实数据处理方法，其特征在于，所述基于视觉三维坐标系建立听觉三维坐标系包括：

获取初始空间位置信息；

根据所述初始空间位置信息建立所述视觉三维坐标系；

对所述视觉三维坐标系的坐标轴做倍数化处理，建立所述听觉三维坐标系。

3.根据权利要求2所述的虚拟现实数据处理方法，其特征在于，所述对所述视觉三维坐标系的坐标轴做倍数化处理，包括：

对所述视觉三维坐标系的第一方向坐标轴以及第二方向坐标轴做倍数化处理。

4.根据权利要求2所述的虚拟现实数据处理方法，其特征在于，所述获取元素动效数据和声源声音信号之前，包括：

当视觉交互模式预设为跟随用户模式，获取虚拟现实终端的第一位移距离和/或第一转动角度；

根据所述第一位移距离和/或所述第一转动角度进行换算处理，得到所述视觉三维坐标系和所述听觉三维坐标系的第二位移距离和/或第二转动角度；

根据所述第二位移距离和/或所述第二转动角度对所述视觉三维坐标系和所述听觉三维坐标系进行移动和/或旋转。

5.根据权利要求2所述的虚拟现实数据处理方法，其特征在于，所述获取元素动效数据和声源声音信号之前，还包括：

当所述视觉交互模式预设为不跟随用户模式时，在所述虚拟现实终端的所述第一位移距离和/或第一转动角度不为0的情况下，所述视觉三维坐标系和所述听觉三维坐标系不变。

6.根据权利要求1所述的虚拟现实数据处理方法，其特征在于，所述根据所述元素动效数据和所述听觉三维坐标系对所述声源声音信号进行调整，包括：

获取所述声源声音信号的第一声音参数信息；

根据所述元素动效数据和所述听觉三维坐标系得到声音调整参数信息，所述声音调整参数信息包括至少为如下之一：声源位置调整信息、声音响度调整信息和声音音色调整信息；

根据所述声音调整参数信息将所述第一声音参数信息调整为第二声音参数信息。

7.根据权利要求6所述的虚拟现实数据处理方法，其特征在于，当所述声音调整参数信息为所述声源位置调整信息时，所述根据所述元素动效数据和所述听觉三维坐标系得到声音调整参数信息，包括：

根据所述元素动效数据获取元素空间位置信息；

根据所述元素空间位置信息和所述听觉三维坐标系得到所述声源位置调整信息。

8.根据权利要求6所述的虚拟现实数据处理方法，其特征在于，当所述声音调整参数信息为所述声音响度调整信息时，所述根据所述元素动效数据和所述听觉三维坐标系得到声音调整参数信息，包括：

根据所述元素动效数据获取元素空间位置信息和元素尺寸；

根据所述元素空间位置信息获得动效元素与所述视觉坐标系的坐标中心之间的间隔距离；

根据所述间隔距离、所述元素尺寸和预设声音响度值设置规则得到所述声音响度调整信息。

9.根据权利要求6所述的虚拟现实数据处理方法，其特征在于，当所述声音调整参数信息为所述声音响度调整信息时，所述根据所述元素动效数据和所述听觉三维坐标系得到声音调整参数信息，包括：

根据所述元素动效数据获取透明度和形状锐度；

根据所述透明度、所述形状锐度和预设声音频率值设置规则得到所述声音音色调整信息。

10.根据权利要求8所述的虚拟现实数据处理方法，其特征在于，所述声音响度调整信息包括声音响度值，且所述预设声音响度值设置规则设置所述间隔距离与所述声音响度值为负相关关系，所述元素尺寸与所述声音响度值为正相关关系。

11.根据权利要求9所述的虚拟现实数据处理方法，其特征在于，所述声音音色调整信息包括声音频率值，所述预设声音频率值设置规则设置所述透明度与所述声音频率值为负相关关系，所述形状锐度与所述声音频率值为正相关关系。

12.根据权利要求1所述的虚拟现实数据处理方法，其特征在于，所述获取元素动效数据，包括：

根据预设动态元素动画脚本或者用户操作指令生成动效元素动画；

根据所述动效元素动画获取每一帧动效元素图像；

基于所述视觉三维坐标系，对所述动效元素图像进行图像数据提取处理得到所述元素动效数据。

13.一种控制器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至12任意一项所述的虚拟现实数据处理方法。

14.一种虚拟现实设备，其特征在于，包括如权利要求13所述的控制器。

15.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至12任意一项所述的虚拟现实数据处理方法。