CN108255294A - 一种虚拟现实环境中的用户接触反馈系统、方法及设备 - Google Patents

Abstract

本发明公开了一种虚拟现实环境中的用户接触反馈系统、方法及设备，其中，该用户接触反馈系统包括：用户交互动作反馈设备，用于获取用户的交互动作信息，并向用户提供动作反馈信息；光学动捕系统模块，用于采集用户的交互动作信息，并获取用户交互动作反馈设备的位置信息；建模模块，用于根据交互动作信息及位置信息创建三维数字模型。本发明通过用户交互动作反馈设备获取用户的操作，并向用户提供了动作反馈，可以使用户确实感受到适当的触觉反馈，极大加强了用户在虚拟现实环境中的浸入感和整体体验。

Description

一种虚拟现实环境中的用户接触反馈系统、方法及设备

技术领域

本发明涉及虚拟现实领域，具体涉及在一种虚拟现实环境中的用户接触反馈系统、方法及设备。

背景技术

在现有的虚拟现实环境当中，用户在佩戴上虚拟现实头显之后，看到的各种可以进行接触和反馈的装置或开关都是完全虚拟的，用户通常使用游戏控制器或带有位置追踪系统的专用操作器来进行交互，但交互方式为了易于理解和表现，通常使用模拟真实反馈的方式来进行，例如拿起，握持小件物体，推拉大型物体，以及打开或关闭各种形式的开关和装置，如闸刀，按钮，旋钮等形式。但由于交互时手中的控制器和操作器无法提供真实的触觉反馈，往往造成用户有脱离沉浸感或意识到虚拟现实环境的非真实性等局限性。

发明内容

因此，本发明为了解决现有技术中用户与虚拟环境中的装置无法进行交互产生真实的触觉反馈体验的缺点，提供一种虚拟现实环境中的用户接触反馈系统、方法及设备。

本发明提供的一种虚拟现实环境中的用户接触反馈系统，包括：用户交互动作反馈设备，用于获取用户的交互动作信息，并向用户提供动作反馈信息；光学动捕系统模块，用于采集所述用户的交互动作信息，并获取所述用户交互动作反馈设备的位置信息；建模模块，用于根据所述交互动作信息及位置信息创建三维数字模型。

进一步地，所述虚拟现实环境中的用户接触反馈系统，还包括：虚拟现实环境显示模块，用于显示所述三维数字模型。

进一步地，所述用户交互动作反馈设备包括：固定部件和活动部件，所述固定部件支撑所述活动部件，所述活动部件接收用户的交互动作信息，并根据所述交互动作信息生成所述动作反馈信息，所述活动部件上设置有具有多个反射标记点的标准测量物，所述光学动捕系统模块捕获所述标准测量物，生成所述位置信息。

进一步地，所述活动部件为输入设备，用户通过所述输入设备输入所述交互动作信息，并获取所述动作反馈信息。

本发明还提供一种虚拟现实环境中的用户接触反馈方法，包括如下步骤：接收用户交互动作反馈设备获取的用户的交互动作信息，并通过所述用户交互动作反馈设备向用户提供动作反馈信息；采集所述用户的交互动作信息，并获取所述用户交互动作反馈设备的位置信息；根据所述交互动作信息及位置信息创建三维数字模型。

进一步地，在所述用户交互动作反馈设备上设置有至少一个标准测量物，所述标准测量物具有多个反射标记点，所述用户交互动作反馈设备获取的用户的交互动作信息，包括：获取所述多个反射标记点的坐标信息及各所述反射标记点与标准量测物之间的连接关系；根据所述坐标信息及各所述反射标记点与标准量测物之间的连接关系生成用户与所述用户交互动作反馈设备的所述交互动作信息。

进一步地，获取所述用户交互动作反馈设备的位置信息，包括：根据所述坐标信息及各所述反射标记点与标准量测物之间的连接关系计算生成所述位置信息。

相应地，本发明还提供一种虚拟现实环境中的用户接触反馈的设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的虚拟现实环境中的用户接触反馈方法。

本发明技术方案，具有如下优点：通过采用配合含有光学追踪反射标记点的刚体作为标准测量物，精确确定了互动装置在光学动捕环境中的精确位置，并使之和完全相同尺寸，外观的三维数字模型精确吻合，通过用户交互动作反馈设备获取用户的操作，并向用户提供了动作反馈，可以使用户确实感受到适当的触觉反馈，极大加强了用户在虚拟现实环境中的浸入感和整体体验。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中虚拟现实环境中的用户接触反馈系统的组成图；

图2为本发明实施例1中在鼠标上设置刚体的进行反馈信息的示意图；

图3为本发明实施例2中虚拟现实环境中的用户接触反馈方法的一个具体示例的流程图；

图4为本发明实施例2中用户交互动作反馈设备获取的用户的交互动作信息的一个具体示例的流程图；

图5为本发明实施例3中虚拟现实环境中的用户接触反馈设备的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种虚拟现实环境中的用户接触反馈系统，如图1所示，包括：

用户交互动作反馈设备1，用于获取用户的交互动作信息，并向用户提供动作反馈信息；光学动捕系统模块2，用于采集用户的交互动作信息，并获取用户交互动作反馈设备的位置信息；建模模块3，用于根据交互动作信息及位置信息创建三维数字模型。

本发明实施例需要将虚拟现实环境中对用户交互动作反馈设备1，即用户与之进行交互的装置，完全放置于光学动捕系统模块2中进行精确的测量，建立与之完全相符的三维数字模型。

可选地，在一实施例中，该用户交互动作反馈设备1包括：固定部件和活动部件，固定部件支撑活动部件，活动部件接收用户的交互动作信息，并根据交互动作信息生成动作反馈信息，活动部件上设置有具有多个反射标记点的标准测量物，光学动捕系统模块2捕获标准测量物，生成位置信息。

在一较佳实施例中，该活动部件可以是输入设备，用户通过输入设备输入交互动作信息，并获取动作反馈信息。例如，用户佩戴虚拟现实头显，在虚拟现实环境中进行操作时，看到自己在操作虚拟触屏，而在实际环境中，用户的手指可确实触碰到一个和虚拟触屏大小相同位置相同的操作板(即上述的用户交互动作反馈设备1)上，从而为用户在进行虚拟现实操作时，提供了真实的触觉反馈。

本发明实施例中，用户与虚拟现实环境中进行交互的装置的活动部分上设置设有反射标记物的刚体作为标准测量，刚体一般设置在相对于固定点或固定轴的垂直方向延长线上的，不阻碍交互的，不易被遮挡的适当位置，使之和活动部件的运动方向保持精确一致，例如设置在拉杆式开关的拉杆中部，或者在装置固定不动的部分的某个垂直方向上，不阻碍交互的，不易被遮挡的适当位置，使之和固定部件的空间位置保持精确一致。

在一实施例中，上述虚拟现实环境中的用户接触反馈系统，还包括：虚拟现实环境显示模块4，用于显示三维数字模型。在实际应用中，该虚拟现实环境显示模块4，可以例如是虚拟现实头显等显示设备。

通过虚拟现实环境显示模块4，用户可以在虚拟现实环境中可以看到并精准通过身体特别是双手和装置的活动部分进行互动，此时光学动捕系统模块3获知装置活动部件的三维信息变化，并将这一变化反馈到用户所使用的虚拟现实程序当中，使程序中对应的装置的三维数字模型，随之进行相应的运动；在虚拟现实环境中的用户，就会观察到和自己交互的活动部分，精准地随自己的交互行为而发生了位置或形态的变化，从而获得准确而适当的体验。

在一实施例中，如图2所示，该活动部件可以是鼠标，在鼠标的垂直方向上放置设有反射标记物11的刚体12作为标准测量物，当鼠标在移动时，标准测量物的位置信息变化就会反馈给三维数字模型的程序，对应的虚拟鼠标也会获得对应的位置信息，这样用户操作鼠标时，虚拟的三维模型和实际的鼠标运动就是完全同步的。在另一实施例中，该活动部件可以例如是模拟虚拟环境中的门把手及门框等部件，刚体设置在门把手及门边缘位置，用户打开门时，通过虚拟现实头显看到的门把手，门框，门板，门槛的位置都和实际情况完全对应。

实施例2

本发明还提供一种虚拟现实环境中的用户接触反馈方法，如图3所示，包括如下步骤：

步骤S1：接收用户交互动作反馈设备获取的用户的交互动作信息，并通过用户交互动作反馈设备向用户提供动作反馈信息。用户交互动作反馈设备上设置有至少一个标准测量物，标准测量物具有多个反射标记点。一般一个标准测量物对应3-6个反射标记点。

在一实施例中，如图4所示，用户交互动作反馈设备获取的用户的交互动作信息的步骤，具体包括：

步骤S11：获取多个反射标记点的坐标信息及各反射标记点与标准量测物之间的连接关系。用户交互动作反馈设备设置于光学动捕环境中，其范围内的所有反射标记点都可以被光学动捕系统主机实时获得其坐标，通过多次校准设置好反射标记点与标准量测物之间的位置对应关系。

步骤S12：根据坐标信息及各反射标记点与标准量测物之间的连接关系生成用户与用户交互动作反馈设备的交互动作信息。根据光学动捕系统捕捉的反射标记点坐标信息变化数据得到标准量测物的位置变化数据，来得到用户与用户交互动作反馈设备的交互信息。

步骤S2：采集用户的交互动作信息，并获取用户交互动作反馈设备的位置信息。具体地，是根据坐标信息及各反射标记点与标准测量无之间的连接关系计算生成位置信息。在光学动捕环境中得到反射标记点的坐标信息后，根据反射标记点和标准量测物之间的位置连接关系可以得到标准量测物的坐标信息和朝向，继而得到用户交互动作反馈设备的位置信息。

步骤S3：根据交互动作信息及位置信息创建三维数字模型。光学动捕系统获知用户交互动作反馈设备活动部分的三维信息变化，并将这一变化反馈到用户所使用的虚拟现实程序当中，使程序中对应的装置的三维数字模型，随之进行相应的运动。由此，用户通过身体，例如是双手和用户交互动作反馈设备的活动部件进行互动，可以确实感受到适当的触觉反馈，并可在虚拟现实环境中看到根据该活动部件构建的模型，精准地随自己的交互行为而发生了位置或形态的变化，极大加强了用户在虚拟现实环境中的浸入感和整体体验。

实施例3

本发明实施例还提供一种虚拟现实环境中的用户接触反馈的设备，如图5所示，包括：至少一个处理器210以及与至少一个处理器通信连接的存储器220；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行图3及图4所示的方法。该系统还可以包括：输入单元230。

处理器210、存储器220、输入单元230可以通过总线200或者其他方式连接，图5中以通过总线200连接为例。

存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如实施例2中的虚拟现实环境中的用户接触反馈方法对应的程序指令/模块。

处理器210通过运行存储在存储器220中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实施例2中的方法。

输入单元230可接收输入的数字或字符信息，以及产生与列表项操作的处理装置的用户设置以及功能控制有关的键信号输入。

所述一个或者多个模块存储在所述存储器220中，当被所述一个或者多个处理器210执行时，执行如图3及图4所示的方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图3及图4所示的实施例中的相关描述。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种虚拟现实环境中的用户接触反馈系统，其特征在于，包括：

用户交互动作反馈设备，用于获取用户的交互动作信息，并向用户提供动作反馈信息；

光学动捕系统模块，用于采集所述用户的交互动作信息，并获取所述用户交互动作反馈设备的位置信息；

建模模块，用于根据所述交互动作信息及位置信息创建三维数字模型。

2.根据权利要求1所述的虚拟现实环境中的用户接触反馈系统，其特征在于，还包括：虚拟现实环境显示模块，用于显示所述三维数字模型。

3.根据权利要求1所述的虚拟现实环境中的用户接触反馈系统，其特征在于，所述用户交互动作反馈设备包括：固定部件和活动部件，所述固定部件支撑所述活动部件，所述活动部件接收用户的交互动作信息，并根据所述交互动作信息生成所述动作反馈信息，所述活动部件上设置有具有多个反射标记点的标准测量物，所述光学动捕系统模块捕获所述标准测量物，生成所述位置信息。

4.根据权利要求3所述的虚拟现实环境中的用户接触反馈系统，其特征在于，所述活动部件为输入设备，用户通过所述输入设备输入所述交互动作信息，并获取所述动作反馈信息。

5.一种虚拟现实环境中的用户接触反馈方法，其特征在于，包括如下步骤：

接收用户交互动作反馈设备获取的用户的交互动作信息，并通过所述用户交互动作反馈设备向用户提供动作反馈信息；

采集所述用户的交互动作信息，并获取所述用户交互动作反馈设备的位置信息；

根据所述交互动作信息及位置信息创建三维数字模型。

6.根据权利要求5所述的虚拟现实环境中的用户接触反馈方法，其特征在于，在所述用户交互动作反馈设备上设置有至少一个标准测量物，所述标准测量物具有多个反射标记点，

所述用户交互动作反馈设备获取的用户的交互动作信息，包括：

获取所述多个反射标记点的坐标信息及各所述反射标记点与标准量测物之间的连接关系；

根据所述坐标信息及各所述反射标记点与标准量测物之间的连接关系生成用户与所述用户交互动作反馈设备的所述交互动作信息。

7.根据权利要求6所述的虚拟现实环境中的用户接触反馈方法，其特征在于，获取所述用户交互动作反馈设备的位置信息，包括：

根据所述坐标信息及各所述反射标记点与标准量测物之间的连接关系计算生成所述位置信息。

8.一种虚拟现实环境中的用户接触反馈的设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求5-7中任一项所述的虚拟现实环境中的用户接触反馈方法。