CN112198959A - 虚拟现实交互方法、装置及系统 - Google Patents

Abstract

本发明适用于虚拟现实技术领域，提供了一种虚拟现实交互方法、装置及系统，所述交互方法包括：接收第一用户的第一图像信息以及来自采集器的第一用户的第一传感信息，所述第一图像信息标识所述第一用户在虚拟场景中的第一位置信息；根据所述第一传感信息确定所述第一用户在虚拟场景中的第一用户行为；根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户。应用本发明的技术方案，能够解决现有虚拟现实交互方法实现过程中交互行为不自然、不形象生动等问题。

Description

虚拟现实交互方法、装置及系统

技术领域

本发明属于虚拟现实技术领域，尤其涉及一种虚拟现实交互方法、装置以及系统。

背景技术

由于虚拟现实个人娱乐设备的发展以及电脑图像处理性能的迅速发展，多人虚拟现实互动或娱乐的需求也越来越迫切。

目前，现有的虚拟现实交互的基本原理是：获取用户的三维空间位置，然后根据用户的三维空间位置映射至在虚拟场景中，以获取用户在虚拟场景中的位置信息，并根据该位置信息进行相应虚拟场景的渲染以及显示给用户。现有虚拟现实交互过程中，存在着交互行为不够自然，形象，生动等问题，如用户操作行为无法准确反映到虚拟场景中。因此，有必要对现有的虚拟现实交互技术进行改进。

发明内容

有鉴于此，本发明实施例提供了一种虚拟现实交互方法、装置及系统，旨在解决现有虚拟现实交互实现过程中交互行为不自然、不形象生动等问题。

鉴于此，本发明实施例提供了一种虚拟现实交互方法，用于现实用户与虚拟场景之间的交互，包括：

接收第一用户的第一图像信息以及来自采集器的第一用户的第一传感信息，所述第一图像信息标识所述第一用户在虚拟场景中的第一位置信息；

根据所述第一传感信息确定所述第一用户在虚拟场景中的第一用户行为；

根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户。

其中，所述根据所述第一传感信息确定所述第一用户在虚拟场景中的第一用户行为，包括：

根据所述传感信息，识别所述第一用户的姿态信息；

判断所述姿态信息是否满足预设条件；

若是，则确定所述第一用户在虚拟场景中的用户行为为所述预设条件对应的用户行为。

其中，所述预设条件包括：距离阈值条件，骨骼弯曲阈值条件、骨骼伸展阈值以及速度阈值条件中的至少一个。

其中，在所述接收第一图像信息以及来自采集器的第一传感信息之前，所述交互方法还包括：

定义所述预设条件对应的用户行为；

所述用户行为包括：伸展动作、弯曲动作或晃动动作。

其中，所述接收第一图像信息，包括：

接收所述动捕相机采集的并通过相机服务器传来的所述第一位置信息。

其中，当现实用户为至少两个时，在所述根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户之前，所述方法还包括：

将所述第一传感信息上传至虚拟场景服务器；以及，

接收所述虚拟场景服务器传来的第二用户的第二用户行为和第二位置信息；第二用户行为是根据所述第二用户的第二传感信息确定的；

所述根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户，包括：

根据所述第一位置信息、第二位置信息、所述第一用户行为、第二用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户。

相应地，本发明还提供了一种虚拟现实交互装置，用于现实用户与虚拟场景之间的交互，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时上述任一项虚拟现实交互方法的步骤。

本发明实施例还提供了一种虚拟现实交互系统，所述系统包括：图像采集装置，采集器，客户端以及头盔显示器；

所述图像采集装置，用于采集第一图像信息并传给所述客户端；所述第一图像信息标识：所述第一用户在虚拟场景中的第一位置信息；

所述采集器，用于采集第一用户的第一传感信息并传给所述客户端；

所述客户端，用于根据所述第一传感信息确定所述第一用户在虚拟场景中的第一用户行为，以及根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并通过所述头盔显示器显示给所述第一用户。

其中，所述图像采集装置具体为光学动捕图像采集装置，包括：至少两个动捕相机，以及相机服务器；

所述动捕相机，用于采集所述第一用户的第一图像信息并传输给所述相机服务器；

所述相机服务器用于将所述第一图像信息传输给所述客户端。

其中，当现实用户为至少两个时，所述系统还包括：虚拟场景服务器；

所述客户端用于将所述第一传感信息上传至虚拟场景服务器；以及接收所述虚拟场景服务器传来的第二用户的第二用户行为和第二位置信息；第二用户行为是根据所述第二用户的第二传感信息确定的；并根据所述第一位置信息、第二位置信息、所述第一用户行为、第二用户行为以及所述第一用户的视角信息渲染虚拟场景，并通过所述头盔显示器显示给所述第一用户。

本发明实施例与现有技术相比存在的有益效果是：

通过动捕相机的图像信息确定用户在虚拟场景中的位置信息，并通过采集器采集的传感信息确定用户在虚拟场景中的用户行为，结合用户视角信息便可渲染出适合用户视角观看的虚拟场景。与现有技术相比，客户端在进行虚拟场景渲染时，结合了动捕数据和传感数据，并特别强调了对用户行为的渲染，因此本发明的虚拟现实交互方法能够准确将用户的操作反馈至虚拟场景中，增强虚拟现实交互过程中的用户行为的精细性、形象性以及生动性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的虚拟现实交互方法的第一实施例的流程示意图；

图2是本发明提供的虚拟现实交互方法的第二实施例的流程示意图；

图3是本发明提供的界面交互的实施例的示意图；

图4是本发明提供的虚拟现实交互方法的第三实施例的流程示意图；

图5是本发明提供的虚拟现实交互装置的实施例的结构框图；

图6是本发明提供的虚拟现实交互系统的实施例的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在描述本发明的具体实施例之前，先对虚拟现实交互流程进行简单说明，以便于更好地理解本发明。虚拟现实的交互流程一般是：获取用户的动捕数据(三维空间位置)，根据动捕数据确定用户在虚拟场景中的位置信息，然后根据接收到的用户的传感信息以及用户在虚拟场景中的位置信息，进行相应的交互响应，并将响应结果同步显示给用户。将响应结果显示给用户的操作方式一般是：根据响应结果和用户的视角，进行相应虚拟场景的调整，然后将调整后的虚拟场景通过用户所戴的头盔显示给用户。

需要说明的一点是，在虚拟交互过程中，用户的动捕数据的采集方式可以有多种，例如惯性动捕、激光动捕或光学动捕，在本发明后续的实施例中，将以光学动捕为例进行说明。

本发明实施例的虚拟现实交互具体是基于光学动捕的虚拟现实交互。在基于光学动捕技术的虚拟现实交互中，可以利用光学成像系统(多个动捕相机)识别被观察对象(1个或多个人)上附着的光学标记点，通过动捕相机的图像采集系统处理计算出标记点的坐标位置信息，然后经网络(有线，无线，USB等)传输给动捕相机的服务器(简称相机服务器)。相机服务器接收来自动捕相机的坐标位置信息(该坐标位置信息为用户在物理场景中的位置信息)，根据该位置坐标信息识别被观察对象，获取用户的位置信息，实现对用户进行定位。可以理解的是，若相机服务器要对用户进行定位，那么接收到的同一用户的图像信息必须来自于两个不同的动捕相机。

具体地，相机服务器根据接收到的位置坐标信息确定某一用户在物理场景中的三维位置信息之后，还将该三维位置信息发送给对应用户的虚拟场景客户端(当虚拟交互中只有一个用户时，虚拟场景客户端同时也是虚拟场景服务器；当虚拟交互中有多个用户时，虚拟场景客户端和虚拟场景服务器分开，虚拟场景服务器用于控制各个虚拟场景客户端的工作逻辑)。即是说，虚拟场景客户端接收到的是动捕相机采集的，经相机服务器处理后的用户在物理场景中的三维位置信息。虚拟场景客户端可以将该三维位置信息映射至虚拟场景中的某一位置，从而可以确定该用户在虚拟场景中的位置信息。当虚拟交互中有多个用户时，虚拟场景客户端在确定用户在虚拟场景中的位置信息之后，会将该位置信息上传至虚拟场景服务器。

下面通过具体实施例来进行说明。

图1示出了本发明提供的虚拟现实交互方法的第一实施例的流程示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

步骤101，接收来自动捕相机的图像信息以及来自采集器的传感信息，该图像信息标识用户在虚拟场景中的位置信息。

当虚拟交互中只有一个用户时，由于此时不存在用户相互间的信息传递，因此可以不用再另外引入虚拟场景的服务器(或者说，此时虚拟场景的服务器和客户端合二为一)。当虚拟交互中有两个或更多的用户时，由于此时存在用户相互间的信息传递，因此需要单独引入虚拟场景的服务器，以实现各个用户之间的信息传递。在本发明实施例中，以虚拟交互中只有一个用户为例进行说明。

本实施例的执行主体可以是虚拟场景的客户端。在虚拟现实交互中，虚拟场景客户端的数量与用户数量相同。现有虚拟现实交互中，虚拟场景主要以游戏为主。可以理解的是，本发明实施例的虚拟场景不限于游戏，还可以是其他应用领域的虚拟场景，如直播室、教育培训，军事演习等。

本步骤中接收到的图像信息具体是用户在物理场景中的三维位置信息，根据物理场景与虚拟场景之间的对应关系，即可将该三维位置信息映射至虚拟场景中的某个位置，从而可以得到用户在虚拟场景中的位置信息。

另外，采集器具体可以为惯性导航单元如陀螺仪，其附着在用户身上，通过陀螺仪获取用户的传感信息(传感信息包括速度和加速度信息)之后，可通过有线或无线如蓝牙的方式发送给该用户对应的虚拟场景客户端，一个用户对应一个虚拟场景的客户端。其中，传感信息可以包括所有用户的速度和加速度信息，而加速度信息可以具体为六轴加速度。

步骤102，根据传感信息确定该用户在虚拟场景中的用户行为。

客户端根据接收到的传感信息可以确定该用户在虚拟场景中的用户行为。其中用户行为是用户的各种动作，例如：用户的伸展动作、弯曲动作、点击动作或晃动动作等。当然，也可以包括用户的其他的动作行为。而客户端可以是背包主机，使用时可以由用户背在背上，这样用户在进行虚拟交互时便可摆脱传统线材的束缚，扩展了活动空间。

步骤103，根据该位置信息、用户行为以及该用户的视角信息渲染虚拟场景并显示给该用户。

根据前文的描述可知，一个用户对应一个客户端(一个用户背一个背包主机)。客户端在接收到用户的在虚拟场景中的位置信息和用户行为之后，再结合用户的视角信息，便可渲染出适合用户视角的游戏虚拟场景并通过用户佩戴的头盔显示给用户。

本发明实施例的虚拟现实交互方法，客户端通过动捕相机的图像信息确定用户在虚拟场景中的位置信息，并通过采集器采集的传感信息确定用户在虚拟场景中的用户行为，结合用户视角信息便可渲染出适合用户视角观看的虚拟场景。与现有技术相比，客户端在进行虚拟场景渲染时，结合了动捕数据和传感数据，并特别强调了对用户行为的渲染，因此本发明的虚拟现实交互方法能够准确将用户的操作反馈至虚拟场景中，增强虚拟现实交互过程中的用户行为的精细性、形象性以及生动性。

需要说明的是，由于用户在交互过程中是持续运动的，故系统还需采集下一帧的图像信息和下一时刻的传感信息，并获取用户下一时刻的位置信息和用户行为，且根据用户实时的运动状态及时更新虚拟场景，以实现交互的沉浸感，所以在执行步骤103后，可以返回继续执行步骤101。

另外，根据前文的描述可知，客户端需要根据传感信息确定用户在虚拟场景中的用户行为。那么在执行步骤102具体可以为：根据传感信息，识别用户的姿态信息，然后根据姿态信息确定用户在虚拟场景中的用户行为。下面，将通过图2的实施例进行详细描述。

图2是本发明提供的虚拟现实交互方法的第二实施例的流程示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

步骤201，接收来自动捕相机的图像信息以及来自采集器的传感信息，该图像信息标识用户在虚拟场景中的位置信息。

步骤202，根据传感信息，识别用户的姿态信息。

由于传感信息中包括用户的速度和加速度信息，因此根据该速度和加速度信息，便可识别该用户的姿态信息。

步骤203，判断步骤202中识别出的姿态信息是否满足预设条件。

步骤204，若判断结果为是，则确定用户在虚拟场景中的用户行为为预设条件对应的用户行为；以及进入步骤205。

步骤205，根据位置信息、用户行为以及用户的视角信息渲染虚拟场景并显示给用户。

步骤206，若判断结果为否，则根据该位置信息、以及用户的视角信息渲染虚拟场景并显示给用户。

步骤203中，预设条件可以是虚拟现实交互过程中预设的各种阈值条件，以用于判断用户的操作是否满足某种行为动作。其中，预设条件可以是：距离阈值条件，骨骼弯曲阈值条件、骨骼伸展阈值以及速度阈值条件中的一个或多个。通过判断姿态信息是否满足上述阈值条件中的一个或多个，便可对用户的行为动作进行识别。

举例来说，若预设条件为：拇指与中指之间的距离小于预设阈值且手指骨骼弯曲大于预设阈值，则定义该预设条件对应的用户行为为弯曲手指的动作。此时，若根据姿态信息判断到用户的拇指与中指之间的距离满足小于预设阈值且手指骨骼的弯曲度满足大于预设阈值时，则确定该用户在虚拟场景中的用户行为为弯曲手指的动作，例如握住虚拟场景中的某个物体的行为。那么步骤205中渲染虚拟场景时，则需要根据位置信息、用户行为以及用户的视角信息渲染虚拟场景(虚拟场景中包括用户握住虚拟场景中的某个物体的动作)并显示给用户，如图3所示。

可以理解的是，上述识别用户行为的例子并未穷举，在实际使用中，可以根据实际需求分析用户行为的特点，并提前预设该用户行为对应的距离信息、骨骼弯曲信息、骨骼伸展信息以及速度信息的阈值条件，以达到对用户行为进行识别的目的。

本发明实施例的虚拟现实交互方法，客户端在接收到来自采集器的传感信息之后，根据传感信息识别用户的姿态信息；以及通过判断该姿态信息是否满足预设条件来识别用户行为。在识别用户行为之后，便可根据用户在虚拟场景中的位置信息，用户行为以及结合用户视角信息便可渲染出适合用户视角观看的虚拟场景。与现有技术相比，客户端在进行虚拟场景渲染时，结合了动捕数据和传感数据，并特别强调了对用户行为的渲染，因此本发明的虚拟现实交互方法能够准确将用户的操作反馈至虚拟场景中，增强虚拟现实交互过程中的用户行为的精细性、形象性以及生动性。而在未识别到用户行为时，便可根据用户在虚拟场景中的位置信息以及用户视角信息便可渲染出适合用户视角观看的虚拟场景，同样也能达到虚拟交互的目的。

上述两个实施例中，主要描述的是单人实现虚拟交互的场景(即虚拟交互中只有一个用户的情况)，然而在实际的虚拟交互应用中，场景中进行虚拟交互的往往不止一个人。因此，还需要考虑多人虚拟交互的场景。在多人交互场景中，客户端除了要识别自身对应用户的用户行为，还需要知道场景中其他用户的用户行为。同时，客户端除了要对自身对应的用户进行定位，同时还需要获取场景中其他用户的位置信息。客户端在获取了场景中所有用户的位置信息与用户行为之后，才能够完全渲染出与现实对应的虚拟场景。

也即是说，在上述单人虚拟交互的基础上，客户端还需要进行一些数据的传输与处理，才能获取场景中其他用户的位置信息与用户行为。需要说明的是，针对虚拟场景中的所有客户端，每一个客户端的工作原理以及流程类似，下面以一个客户端的工作流程进行说明。

如图4所示，是本发明提供的虚拟现实交互方法的第三实施例的流程示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

步骤401，接收来自动捕相机的第一图像信息以及来自采集器的第一传感信息，该第一图像信息标识第一用户在虚拟场景中的第一位置信息。

本步骤的操作方式与上述两个实施例中相应步骤的操作类似，在此不赘述。

步骤402，根据第一传感信息，识别第一用户的姿态信息。

由于第一传感信息中包括第一用户的速度和加速度信息，因此，根据该速度和加速度信息，便可识别该第一用户的姿态信息。

步骤403，根据第一传感信息确定第一用户在虚拟场景中的第一用户行为；本步骤的操作可通过图2实施例中的步骤202至步骤204实现，不再赘述。

步骤404，将第一传感信息上传至虚拟场景服务器，以及接收虚拟场景服务器传来的第二用户的第二用户行为和第二位置信息。第二位置信息为第二用户在虚拟场景中的位置信息。

本步骤的目的是：通过虚拟场景服务器，实现虚拟场景中所有用户的传感信息、位置信息的更新与同步。可以理解的是，本步骤中与步骤502至步骤503并没有明确的先后顺序，他们可以同步执行，也可以先后执行。

需要说明的是，接收到的第二用户行为是根据第二用户的第二传感信息确定的。第二传感信息是采集器采集的第二用户的传感信息。在采集到第二用户的第二传感信息之后，将第二传感信息传给第二用户对应的客户端。此时，客户端可以根据该第二传感信息识别第二用户的第二用户行为并将识别的第二用户行为上传至虚拟场景服务器。当然，客户端也可以将该第二传感信息传输至虚拟场景服务器，然后由虚拟场景服务器来根据该第二传感信息识别第二用户的第二用户行为。识别用户行为的方式在前文已经介绍，此处不赘述。此外，第二用户的客户端还需要把第二用户的第二位置信息同步给虚拟场景服务器。以便虚拟场景服务器能够将第二用户的位置信息和用户行为同步给其他用户的客户端，从而实现各个客户端之前用户行为与位置信息的同步与更新。

步骤405，根据第一位置信息、第二位置信息、第一用户行为、第二用户行为以及第一用户的视角信息渲染虚拟场景并显示给第一用户。

本发明实施例的虚拟现实交互方法，客户端渲染多人交互的场景时，需要根据第一用户在虚拟场景中的第一位置信息，第二用户在虚拟场景中的第二位置信息，第一用户的第一用户行为，第二用户的第二用户行为，以及结合第一用户的视角信息，来进行相应的虚拟场景的渲染。与现有技术相比，客户端在进行虚拟场景渲染时，结合了动捕数据和传感数据，并特别强调了对场景中各个用户行为的渲染，因此本发明的虚拟现实交互方法能够准确将各个用户的操作反馈至虚拟场景中，增强虚拟现实交互过程中的用户行为的精细性、形象性以及生动性。

上述三个实施例对虚拟现实交互方法进行了详细的描述，下面将结合附图，对采用上述虚拟现实交互方法的装置进行详细描述，需要说明的是，关于一些术语的描述与定义，若在虚拟现实交互方法中已经进行了详细的描述的，在装置实施例中将不再赘述。

为了实现上述虚拟现实交互方法，本发明实施例还提供了一种虚拟现实交互装置，如图5所示，该交互装置500包括：存储器501、处理器502以及存储在所述存储器中并可在所述处理器上运行的计算机程序503。

其中，处理器502在执行所述计算机程序503时，实现如下步骤：

接收第一图像信息以及来自采集器的第一用户的第一传感信息，所述第一图像信息标识所述第一用户在虚拟场景中的第一位置信息；

根据所述第一传感信息确定所述第一用户在虚拟场景中的第一用户行为；

根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户。

本发明实施例提供的交互装置500，通过图像信息确定用户在虚拟场景中的位置信息，并通过采集器采集的传感信息确定用户在虚拟场景中的用户行为，结合用户视角信息便可渲染出适合用户视角观看的虚拟场景。与现有技术相比，客户端在进行虚拟场景渲染时，结合了动捕数据和传感数据，并特别强调了对用户行为的渲染，因此本发明的虚拟现实交互方法能够准确将用户的操作反馈至虚拟场景中，增强虚拟现实交互过程中的用户行为的精细性、形象性以及生动性。

需要说明的是，处理器502在根据所述第一传感信息确定所述第一用户在虚拟场景中的第一用户行为时，具体执行如下步骤：

根据所述传感信息，识别所述第一用户的姿态信息；

判断所述姿态信息是否满足预设条件；

若是，则确定所述第一用户在虚拟场景中的用户行为为所述预设条件对应的用户行为。预设条件包括：距离阈值条件，骨骼弯曲阈值条件、骨骼伸展阈值以及速度阈值条件中的至少一个。

其中，所述处理器502在执行接收第一图像信息以及来自采集器的第一传感信息的步骤之前，还执行如下步骤：定义所述预设条件对应的用户行为；所述用户行为包括：伸展动作、弯曲动作或晃动动作。

其中，所述处理器502在执行接收第一图像信息，具体执行：接收所述动捕相机采集的并通过相机服务器传来的所述第一位置信息。

其中，当现实用户为至少两个时，处理器502在执行根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户的步骤之前，还执行如下步骤：

将所述第一传感信息上传至虚拟场景服务器；以及，

接收所述虚拟场景服务器传来的第二用户的第二用户行为和第二位置信息；第二用户行为是根据所述第二用户的第二传感信息确定的。

处理器502在执行根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户的步骤时，具体执行：

根据所述第一位置信息、第二位置信息、所述第一用户行为、第二用户行为以及所述第一用户的视角信息渲染虚拟场景并显示给所述第一用户。

本发明实施例的虚拟现实交互装置，在接收到来自采集器的传感信息之后，根据传感信息识别用户的姿态信息；以及通过判断该姿态信息是否满足预设条件来识别用户行为。在识别用户行为之后，便可根据用户在虚拟场景中的位置信息，用户行为以及结合用户视角信息便可渲染出适合用户视角观看的虚拟场景。与现有技术相比，在进行虚拟场景渲染时，结合了动捕数据和传感数据，并特别强调了对用户行为的渲染，因此本发明的虚拟现实交互装置能够准确将用户的操作反馈至虚拟场景中，增强虚拟现实交互过程中的用户行为的精细性、形象性以及生动性。而在未识别到用户行为时，便可根据用户在虚拟场景中的位置信息以及用户视角信息便可渲染出适合用户视角观看的虚拟场景，同样也能达到虚拟交互的目的。

相应地，本发明实施例还提供了一种虚拟现实交互系统，如图6所示，该交互系统600包括：图像采集装置601，采集器602，客户端603以及头盔显示器604。

其中，图像采集装置601，用于采集第一图像信息并传给客户端603；所述第一图像信息标识：所述第一用户在虚拟场景中的第一位置信息。

采集器602，用于采集第一用户的第一传感信息并传给所述客户端603。

客户端603，则用于根据接收到的第一传感信息确定所述第一用户在虚拟场景中的第一用户行为，以及根据所述第一位置信息、所述第一用户行为以及所述第一用户的视角信息渲染虚拟场景并通过所述头盔显示器604显示给所述第一用户。

具体实现时，图像采集装置601可以是基于光学动捕的额图像采集装置，具体可以包括：动捕相机和动捕相机服务器。其中，动捕相机作为学成像系统识别被观察对象(1个或多个人)上附着的光学标记点，并通过动捕相机的图像采集系统处理计算出标记点的坐标位置信息，然后经网络(有线，无线，USB等)传输给动捕相机的服务器(简称相机服务器)。相机服务器接收来自动捕相机的坐标位置信息(该坐标位置信息为用户在物理场景中的位置信息)，根据该位置坐标信息识别被观察对象，获取用户的位置信息，实现对用户进行定位。具体地，相机服务器根据接收到的位置坐标信息确定某一用户在物理场景中的三维位置信息之后，还将该三维位置信息发送给对应用户的客户端603。

具体实现中，采集器602例如可以是：惯性导航单元如陀螺仪，其附着在用户身上，通过陀螺仪获取用户的传感信息(传感信息包括速度和加速度信息)之后，可通过有线或无线如蓝牙的方式发送给该用户对应的虚拟场景客户端，一个用户对应一个虚拟场景的客户端。其中，传感信息可以包括所有用户的速度和加速度信息，而加速度信息可以具体为六轴加速度。

根据前文的描述可知，一个用户对应一个客户端(一个用户背一个背包主机)。客户端在接收到用户的在虚拟场景中的位置信息和用户行为之后，再结合用户的视角信息，便可渲染出适合用户视角的游戏虚拟场景并通过用户佩戴的头盔显示给用户。

本发明实施例的虚拟现实交互系统，客户端通过动捕相机的图像信息确定用户在虚拟场景中的位置信息，并通过采集器采集的传感信息确定用户在虚拟场景中的用户行为，结合用户视角信息便可渲染出适合用户视角观看的虚拟场景。与现有技术相比，客户端在进行虚拟场景渲染时，结合了动捕数据和传感数据，并特别强调了对用户行为的渲染，因此本发明的虚拟现实交互系统能够准确将用户的操作反馈至虚拟场景中，增强虚拟现实交互过程中的用户行为的精细性、形象性以及生动性。

上述主要描述的是单人实现虚拟交互的场景(即虚拟交互中只有一个用户的情况)，然而在实际的虚拟交互应用中，场景中进行虚拟交互的往往不止一个人。因此，还需要考虑多人虚拟交互的场景。

需要说明的是，当虚拟交互中只有一个用户时，由于此时不存在用户相互间的信息传递，因此可以不用再另外引入虚拟场景的服务器(或者说，此时虚拟场景的服务器和客户端合二为一)。当虚拟交互中有两个或更多的用户时，由于此时存在用户相互间的信息传递，因此需要单独引入虚拟场景的服务器，以实现各个用户之间的信息传递。因此，在实现多人交互时，虚拟现实交互系统600还包括：虚拟场景服务器605。并且，由于一个用户对应一个客户端603，一个用户使用一个头盔显示器602，那么当有多个用户时，客户端的数量和头盔显示器的数量也会相应增加。

在多人交互场景中，客户端除了要识别自身对应用户的用户行为，还需要知道场景中其他用户的用户行为。同时，客户端除了要对自身对应的用户进行定位，同时还需要获取场景中其他用户的位置信息。客户端在获取了场景中所有用户的位置信息与用户行为之后，才能够完全渲染出与现实对应的虚拟场景。针对虚拟场景中的所有客户端，每一个客户端的工作原理以及流程类似，下面以一个客户端的工作流程进行说明。

在上述单人交互的基础上，客户端603还需要将第一传感信息上传至虚拟场景服务器605；以及接收所述虚拟场景服务器605传来的第二用户的第二用户行为和第二位置信息；第二用户行为是根据所述第二用户的第二传感信息确定的；并根据所述第一位置信息、第二位置信息、所述第一用户行为、第二用户行为以及所述第一用户的视角信息渲染虚拟场景，并通过所述头盔显示器604显示给所述第一用户。

本发明实施例的虚拟现实交互系统，客户端渲染多人交互的场景时，需要根据第一用户在虚拟场景中的第一位置信息，第二用户在虚拟场景中的第二位置信息，第一用户的第一用户行为，第二用户的第二用户行为，以及结合第一用户的视角信息，来进行相应的虚拟场景的渲染。与现有技术相比，客户端在进行虚拟场景渲染时，结合了动捕数据和传感数据，并特别强调了对场景中各个用户行为的渲染，因此本发明的虚拟现实交互系统能够准确将各个用户的操作反馈至虚拟场景中，增强虚拟现实交互过程中的用户行为的精细性、形象性以及生动性。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟现实交互方法，用于多个现实用户与虚拟场景之间的交互，其中，一个用户对应一个客户端，其特征在于，包括：

接收来自动捕相机的第一用户的第一图像信息以及来自采集器的第一用户的第一传感信息，所述第一图像信息标识所述第一用户在虚拟场景中的第一位置信息；

根据所述第一传感信息确定所述第一用户在虚拟场景中的第一用户行为；

将所述第一传感信息上传至虚拟场景服务器，以及接收虚拟场景服务器传来的第二用户的第二用户行为和第二位置信息，所述第二位置信息为第二用户在虚拟场景中的位置信息；

根据所述第一位置信息、所述第二位置信息、所述第一用户行为、所述第二用户行为以及所述第一用户的视角信息，通过所述客户端渲染虚拟场景并显示给所述第一用户。

2.如权利要求1所述的虚拟现实交互方法，其特征在于，所述根据所述第一传感信息确定所述第一用户在虚拟场景中的第一用户行为，包括：

根据所述传感信息，识别所述第一用户的姿态信息；

判断所述姿态信息是否满足预设条件；

若是，则确定所述第一用户在虚拟场景中的用户行为为所述预设条件对应的用户行为，其中，所述预设条件为：拇指与中指之间的距离小于预设阈值且手指骨骼弯曲大于预设阈值，则定义所述预设条件对应的用户行为为弯曲手指的动作。

3.如权利要求2所述的虚拟现实交互方法，其特征在于，所述预设条件包括：距离阈值条件，骨骼弯曲阈值条件、骨骼伸展阈值以及速度阈值条件中的至少一个。

4.如权利要求2所述的虚拟现实交互方法，其特征在于，所述用户行为包括：伸展动作、弯曲动作、点击动作、晃动动作、握住虚拟场景中物体的动作。

5.如权利要求1所述的虚拟现实交互方法，其特征在于，所述接收虚拟场景服务器传来的第二用户的第二用户行为和第二位置信息，所述第二位置信息为第二用户在虚拟场景中的位置信息，包括：

所述第二用户行为根据第二用户的第二传感信息确定；

采集到所述第二传感信息之后，将所述第二传感信息传给第二用户对应的客户端，所述客户端根据所述第二传感信息识别第二用户的第二用户行为并将所述第二用户行为上传至虚拟场景服务器；

所述第二用户的客户端把第二用户的第二位置信息同步给所述虚拟场景服务器，以便所述虚拟场景服务器将所述第二用户的位置信息和用户行为同步给其他用户的客户端。

6.如权利要求1至5中任一项所述的虚拟现实交互方法，其特征在于，在未识别到用户行为时，可根据用户在虚拟场景中的位置信息以及用户视角信息，渲染出适合用户视角观看的虚拟场景。

7.一种虚拟现实交互装置，其特征在于，用于多个现实用户与虚拟场景之间的交互，其中，一个用户对应一个客户端，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

8.一种虚拟现实交互系统，其特征在于，所述系统包括：图像采集装置，采集器，客户端、虚拟场景服务器以及头盔显示器；

所述图像采集装置，用于采集第一图像信息、第二图像信息并传给所述客户端；所述第一图像信息、第二图像信息标识：所述第一用户、第二用户在虚拟场景中的第一位置信息、第二位置信息；

所述采集器，用于采集第一用户的第一传感信息、第二用户的第二传感信息并传给所述客户端；

所述客户端，用于将所述第一传感信息上传至所述虚拟场景服务器；以及接收所述虚拟场景服务器传来的第二用户的第二用户行为和第二位置信息；第二用户行为是根据所述第二用户的第二传感信息确定的；并根据所述第一位置信息、第二位置信息、所述第一用户行为、第二用户行为以及所述第一用户的视角信息渲染虚拟场景，并通过所述头盔显示器显示给所述第一用户。

9.如权利要求8所述的虚拟现实交互系统，其特征在于，所述图像采集装置具体为光学动捕图像采集装置，包括：至少两个动捕相机，以及相机服务器；

所述动捕相机，用于采集所述用户的图像信息并传输给所述相机服务器；

所述相机服务器用于将所述图像信息传输给所述客户端。

10.一种计算机可读取存储介质，其特征在于，包括程序，所述程序在被处理器执行时，可实现权利要求1至6中任一项所述的方法的步骤。

Images