CN107193371A - 一种基于虚拟现实的实时人机交互系统及方法 - Google Patents

Abstract

本发明提供了一种基于虚拟现实的实时人机交互系统，三维图像采集模块对真实场景进行图像采集，并将三维图像信息传输至虚拟场景处理模块；虚拟场景处理模块对真实场景虚拟构建与实时渲染，为控制者提供真实场景三维实时模拟；控制模块对各模块统筹控制与信息传输，同时接收控制者的控制指令并将其发送至运动反馈模块和外接设备；运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的实时反馈；虚拟现实头盔作为虚拟场景呈现设备，佩戴于控制者并在其中实现沉浸式的实时人机交互。同时提供了一种实时人机交互方法。本发明实现了虚拟现实环境下的实时人机交互。

Description

一种基于虚拟现实的实时人机交互系统及方法

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种在虚拟现实环境中实现实时人机交互的基于虚拟现实的实时人机交互系统及方法。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。通过对虚拟现实技术的应用，可以采用更为自然的人机交互手段实现对控制过程的模拟，塑造出更具沉浸感的控制环境和现实情况下难以实现的条件，并赋予控制模拟以新的含义。

经调研，目前发现没有其他专利实现了虚拟环境下的实时人机交互。专利CN201610365024.6“一种虚拟现实实时交互中虚拟对现实自主响应方法”实现了虚拟场景与真实场景的实时交互，但是并没有涉及到人机交互的功能。CN201520627434.4“一种基于虚拟现实技术的人机交互系统”实现了纯粹虚拟环境下的人机交互，但是并不具备实时性。

利于虚拟现实技术进行实时人机交互这一功能在许多领域都具有很高的应用价值，例如在控制模拟领域，在控制无人机进行飞行模拟的过程中，借助于在虚拟环境中进行的实时人机交互，一方面可以及时地获取当前的飞行环境信息，避免不必要的操作失误；另一方面，可以为控制者带来身临其境的控制体验，提高可操作性。此外，这一功能还可应用于应急救灾，勘探等场合，控制者可通过虚拟环境中的实时模拟了解当前场合的详细情况，做出最准确的判断，同时还可以控制外接设备实现相应的操作，完成某一具体的任务。

因此，如何实现虚拟现实环境中的人机实时交互，成为本领域亟待解决的问题。

发明内容

针对上述现有技术中存在的上述不足，本发明的目的是提出一种基于虚拟现实的实时人机交互系统及方法。

本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于虚拟现实的实时人机交互系统，包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备；其中：

所述三维图像采集模块搭载于外接设备，用于实现对真实场景的三维图像采集，并将采集到的三维图像信息传输至虚拟场景处理模块；

所述虚拟场景处理模块与虚拟现实头盔相连接，用于实现真实场景的虚拟构建与实时渲染，为控制者提供真实场景的三维实时模拟；

所述控制模块主要用于实现对三维图像采集模块、虚拟场景处理模块、运动反馈模块的统筹控制与信息传输，同时接收来自控制者的控制指令并将控制指令发送至运动反馈模块和外接设备；

所述运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的实时反馈；

所述虚拟现实头盔作为虚拟场景的呈现设备，佩戴于控制者，并在其中实现沉浸式的实时人机交互。

优选地，所述三维图像采集模块包括双目摄像机和图传模块，其中：

所述双目摄像机用于实现真实场景的三维图像采集，通过搭载于不同的外接设备实现不同运动视角下的三维图像采集；

所述图传模块用于实现采集到的三维图像信息与虚拟场景处理模块之间的传输。

优选地，所述外界设备采用如下任意一项或多项：

-无人机；

-小车；

-机械手。

优选地，所述虚拟场景处理模块基于软件虚幻引擎4编程实现，所述虚拟场景处理模块根据所接收到的三维图像信息，在虚拟环境内完成真实场景的构建，并根据不断更新传输的三维图像信息完成对场景的实时渲染。

优选地，所述虚拟场景处理模块基于软件虚幻引擎4编程实现，是通过虚幻引擎4的蓝图功能，将特定的底层函数进行封装实现模块化，再利用节点将不同的模块进行连接完成一系列相应的功能。

优选地，所述控制模块主要由指令输入端和数传模块组成，其中：

所述指令输入端用于指代不同形式的控制指令输入设备；

所述数传模块用于接收控制指令并将控制指令发送至运动反馈模块和外接设备处，同时服务于三维图像采集模块、虚拟场景处理模块、运动反馈模块之间的信息传输，实现统筹控制。

优选地，所述运动反馈模块基于软件虚幻引擎4编程实现，通过外接设备预先设定特定的运动方式和指令对应关系，保证真实与虚拟条件下场景变换方式的一致性以及准确的实时控制对应关系。

优选地，所述运动反馈模块基于软件虚幻引擎4编程实现，是通过虚幻引擎4的蓝图功能，将特定的底层函数进行封装实现模块化，再利用节点将不同的模块进行连接完成一系列相应的功能。

优选地，所述运动反馈模块还用于记录控制对象的运动轨迹，并与实际的指令操作进行比对，得到的比对结果用于判断控制方式的效果以及为控制策略的制定提供参考。

根据本发明的另一个方面，提供了一种基于虚拟现实的实时人机交互方法，通过上述系统完成，包括步骤如下：

步骤S1、选定外接设备，搭载三维图像采集模块，并在运动反馈模块中设定虚拟控制对象的运动方式与指令对应关系；

步骤S2、控制者佩戴虚拟现实头盔，启动三维图像采集模块的双目摄像机，在虚拟环境内完成真实场景的构建；

步骤S3、控制者发送控制指令，运动反馈模块接收到控制指令，操纵虚拟控制对象完成相应动作；同时，外接设备接收到控制指令，操纵搭载着双目摄像机的外接设备完成同样的动作；

步骤S4、在步骤S3的过程中，虚拟场景处理模块根据双目摄像机在运动过程中所采集得到的三维图像信息对虚拟场景进行实时渲染；

重复步骤S1～S4，完成虚拟场景下的实时人机交互。

优选地，所述步骤S1中，虚拟控制对象根据外接设备进行三维模型建模，通过对运动反馈模块的设置，使虚拟控制对象具备与外接设备一致的运动方式，为控制者提供实时的控制反馈。

优选地，所述步骤S2中，虚拟现实头盔利用双目视觉的成像原理为控制者提供三维立体的虚拟环境。

与现有技术相比，本发明具有如下的有益效果：

1、本发明实现了虚拟环境下的人机实时交互，为虚拟现实技术与其他领域交叉结合运用提供了新的思路；

2、本发明同时具有较高的实用价值，可用于控制模拟、应急救灾、勘探等多种场合。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的系统结构示意图；

图2是本发明实施例效果示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例

本实施例提供了一种基于虚拟现实的实时人机交互系统及方法，包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备。所述三维图像采集模块搭载于外接设备，主要实现对真实场景的图像采集，并将三维图像信息传输至虚拟场景渲染模块；所述虚拟场景处理模块实现真实场景的虚拟构建与实时渲染，为控制者提供真实场景的三维实时模拟；所述控制模块主要用于实现各模块(三维图像采集模块、虚拟场景处理模块、运动反馈模块)的统筹控制与信息传输，同时接收来自控制者的控制指令并将其发送至运动反馈模块和外接设备处；所述运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的反馈；所述虚拟现实头盔作为虚拟场景的呈现设备，控制者在佩戴之后即可在其中实现沉浸式的实时人机交互。

进一步地，所述三维图像采集模块包括双目摄像机和图传模块，所述双目摄像机实现真实场景的三维图像采集，搭载于不同的外接设备(如无人机，小车，机械手)时可实现不同运动视角下的图像采集；所述图传模块实现图像信息至虚拟场景处理模块的传输。

进一步地，所述虚拟场景处理模块基于软件虚幻引擎4编程实现，该模块可根据所接收到的三维图像信息，在虚拟环境内实现真实场景的构建，并根据不断更新传输的图像信息完成对场景的实时渲染。

进一步地，所述控制模块主要由指令输入端和数传模块组成，所述指令输入端可指代不同形式的控制指令输入设备；所述数传模块接受控制指令并将其发送至运动反馈模块和外接设备，同时服务于各模块(三维图像采集模块、虚拟场景处理模块、运动反馈模块)之间的信息传输，实现统筹控制。

进一步地，所述运动反馈模块基于软件虚幻引擎4编程实现，可根据双目摄像机的搭载设备(即外接设备)预先设定特定的运动方式和指令对应关系，保证真实与虚拟条件下场景变换方式的一致性，确保准确的实时控制对应关系。。

进一步地，所述运动反馈模块还用于记录控制对象的运动轨迹，并与实际的指令操作进行比对，得到的比对结果用于判断控制方式的效果以及为控制策略的制定提供参考。

本实施例提供的一种基于虚拟现实的实时人机交互系统，其交互方法，通过上述的系统完成，包括步骤如下：

步骤S1、选定外接设备，搭载三维图像采集模块，并在运动反馈模块中设定虚拟控制对象的运动方式与指令对应关系；

步骤S2、控制者佩戴虚拟现实头盔，启动双目摄像机，在虚拟环境内完成真实场景的构建；

步骤S3、控制者发送控制指令，运动反馈模块接收到控制指令，操纵虚拟控制对象完成相应动作；同时，外接设备接收到控制指令，操纵搭载着双目摄像头的外接设备完成同样的动作；

步骤S4、在步骤S3的过程中，虚拟场景处理模块根据双目摄像机在运动过程中所采集得到的图像信息对虚拟场景进行实时渲染；

重复以上步骤，即可完成虚拟现实环境下的实时人机交互。

所述步骤S1中所述虚拟控制对象根据外接设备进行建模，通过对运动反馈模块的设置，可使虚拟控制对象具备与外接设备一致的运动方式，为控制者提供实时的反馈。

所述步骤S2中虚拟现实头盔利用双目视觉的成像原理为控制者提供三维立体的虚拟环境。

下面结合具体实例，对本实施例进一步详细说明。

本实施例所提供的基于虚拟现实的实时人机交互系统及方法，主要采用了虚拟场景实时渲染反馈真实场景变换的概念思路。具体描述如下：

1、三维图像采集模块搭载于特定的外接设备，如无人机、小车、机械手等，可以根据所搭载的特定设备完成特定运动视角下的图像采集。在外接设备接收到控制指令运动的过程中，其视角发生相应的变化，所采集得到的三维图像信息经由虚拟场景处理模块处理后对虚拟场景进行实时渲染，保证虚拟场景与真实场景的一致性与变化的实时性，为控制者提供真实的环境反馈。

2、根据外接设备的选定，可以在运动反馈模块中为虚拟场景中的控制对象设置相应的运动方式。进而，在运动反馈模块与外接设备同时接收到控制指令时使虚拟控制对象与外接设备保证动作响应的一致性，为控制者提供控制效果方面的反馈。

优选的，上述虚拟控制对象根据实际外接设备建模而成，具备与真实设备同样的运动方式，可为控制者带来真实的控制体验。

优选的，运动反馈模块同时具备记录控制对象运动轨迹的功能，可实现全程的轨迹记录，如系统应用于控制模拟的过程中，该功能可用于记录目标对象的运动轨迹，并与实际的指令操作进行比对，判断控制方式的效果，为控制策略的制定提供参考。

3、三维图像采集模块中双目摄像机用于采集真实环境的三维图像信息，并通过数传模块发送至计算机端的虚拟场景处理模块。虚拟场景处理模块基于软件虚幻引擎4编程实现，通过可视化编程的形式在三维场景中进行构建与渲染。在接收到所采集得到的三维图像信息后，该模块以双目摄像机所在位置作为原点构建三维虚拟场景，初次构建全部场景需耗费一定时间，在后续场景变换的过程中可实现实时渲染，故在使用过程中，初次需要为场景构建预留一定时间，完成后可进行实时的场景变换渲染。

在本实施例中，选择无人机作为外接设备，首先在虚拟场景中建模外接设备，构建虚拟控制对象，并在运动反馈模块中设置其相应的运动方式，具体为：上升、下降、前进、左转、右转。

三维图像采集模块搭载于无人机，采集周围环境三维图像信息并通过图传模块传输至虚拟场景处理模块。处理模块花费一定时间完成初始场景的构建，并在虚拟现实头盔中完成显示。

控制者通过指令输入端输入某一指令，经由数传模块发送至无人机端和运动反馈模块。无人机端接收到指令完成相应动作，其视角发生一定变化，经由三维图像采集模块进行采集，发送至三维图像处理模块，进行处理并完成实时渲染。与此同时，在虚拟场景内的虚拟控制对象接收到控制指令完成同样的动作，控制者可从虚拟控制对象的动作获得操作效果的反馈。

经评价，在整个过程中，首先，外接设备与虚拟控制对象在指令接收，动作执行，运动方式等方面都保证了极高的一致性；其次，在外接设备执行控制指令的过程中，其视角范围内的虚拟场景反馈也实现了实时性与高效性。故可以得出，本实施例提供的系统及方法，能够很好地在虚拟环境下实现实时的人机交互，且该系统及方法可以在实际领域中得到较好的应用，具有较高的实用价值。

本实施例提供的系统基于虚拟现实技术实现了一种全新的实时人机交互方式，在控制模拟方面具有很高的应用价值。现有的控制方式多基于二维形式的图像反馈，受限于环境因素，容易造成操作失误与不必要的损失；或者基于纯虚拟环境下的模拟，难以在实际场合中实现应用。而本实施例建立于虚拟现实环境中的实时场景反馈完美地解决了这一问题，三维立体的虚拟现实场景不仅可以为控制者带来真实直观的信息反馈，也能为控制者带来沉浸式的操作体验。此外，实际控制对象的相应动作也得以在虚拟场景中得到反馈，本实施例所运用的运动反馈模块与实际控制对象在同时间接收来自控制者的指令，并将该指令施加于虚拟控制对象进行执行，故控制者也可得到控制效果方面的实时反馈。综上所述，本实施例在模拟控制领域具有较高的实用价值，但不仅限于这一领域，本实施例也可应用于应急救灾、勘探等领域，帮助控制者进入条件恶劣的现场，了解真实的环境情况，并帮助控制者做出准确的判断，达成特定的任务等。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于虚拟现实的实时人机交互系统，其特征在于，包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备；其中：

所述三维图像采集模块搭载于外接设备，用于实现对真实场景的三维图像采集，并将采集到的三维图像信息传输至虚拟场景处理模块；

所述虚拟场景处理模块与虚拟现实头盔相连接，用于实现真实场景的虚拟构建与实时渲染，为控制者提供真实场景的三维实时模拟；

所述控制模块主要用于实现对三维图像采集模块、虚拟场景处理模块、运动反馈模块的统筹控制与信息传输，同时接收来自控制者的控制指令并将控制指令发送至运动反馈模块和外接设备；

所述运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的实时反馈；

所述虚拟现实头盔作为虚拟场景的呈现设备，佩戴于控制者，并在其中实现沉浸式的实时人机交互。

2.根据权利要求1所述的基于虚拟现实的实时人机交互系统，其特征在于，所述三维图像采集模块包括双目摄像机和图传模块，其中：

所述双目摄像机用于实现真实场景的三维图像采集，通过搭载于不同的外接设备实现不同运动视角下的三维图像采集；

所述图传模块用于实现采集到的三维图像信息与虚拟场景处理模块之间的传输。

3.根据权利要求2所述的基于虚拟现实的实时人机交互系统，其特征在于，所述外界设备采用如下任意一项或多项：

-无人机；

-小车；

-机械手。

4.根据权利要求1所述的基于虚拟现实的实时人机交互系统，其特征在于，所述虚拟场景处理模块基于软件虚幻引擎4编程实现，所述虚拟场景处理模块根据所接收到的三维图像信息，在虚拟环境内完成真实场景的构建，并根据不断更新传输的三维图像信息完成对场景的实时渲染。

5.根据权利要求1所述的基于虚拟现实的实时人机交互系统，其特征在于，所述控制模块主要由指令输入端和数传模块组成，其中：

所述指令输入端用于指代不同形式的控制指令输入设备；

所述数传模块用于接收控制指令并将控制指令发送至运动反馈模块和外接设备处，同时服务于三维图像采集模块、虚拟场景处理模块、运动反馈模块之间的信息传输，实现统筹控制。

6.根据权利要求1所述的基于虚拟现实的实时人机交互系统，其特征在于，所述运动反馈模块基于软件虚幻引擎4编程实现，通过外接设备预先设定特定的运动方式和指令对应关系，保证真实与虚拟条件下场景变换方式的一致性以及准确的实时控制对应关系。

7.根据权利要求6所述的基于虚拟现实的实时人机交互系统，其特征在于，所述运动反馈模块还用于记录控制对象的运动轨迹，并与实际的指令操作进行比对，得到的比对结果用于判断控制方式的效果以及为控制策略的制定提供参考。

8.根据权利要求4或6所述的基于虚拟现实的实时人机交互系统，其特征在于，所述基于软件虚幻引擎4编程实现，是通过虚幻引擎4的蓝图功能，将特定的底层函数进行封装实现模块化，再利用节点将不同的模块进行连接完成相应的功能。

9.一种基于虚拟现实的实时人机交互方法，其特征在于，通过权利要求1至6中的任一项所述的系统完成，包括步骤如下：

步骤S1、选定外接设备，搭载三维图像采集模块，并在运动反馈模块中设定虚拟控制对象的运动方式与指令对应关系；

步骤S2、控制者佩戴虚拟现实头盔，启动三维图像采集模块的双目摄像机，在虚拟环境内完成真实场景的构建；

步骤S3、控制者发送控制指令，运动反馈模块接收到控制指令，操纵虚拟控制对象完成相应动作；同时，外接设备接收到控制指令，操纵搭载着双目摄像机的外接设备完成同样的动作；

步骤S4、在步骤S3的过程中，虚拟场景处理模块根据双目摄像机在运动过程中所采集得到的三维图像信息对虚拟场景进行实时渲染；

重复步骤S1～S4，完成虚拟场景下的实时人机交互。

10.根据权利要求9所述的基于虚拟现实的实时人机交互方法，其特征在于，所述步骤S1中，虚拟控制对象根据外接设备进行三维模型建模，通过对运动反馈模块的设置，使虚拟控制对象具备与外接设备一致的运动方式，为控制者提供实时的控制反馈；和/或

所述步骤S2中，虚拟现实头盔利用双目视觉的成像原理为控制者提供三维立体的虚拟环境。