CN110673743A - 一种基于三维空间场景的虚实交互系统及方法 - Google Patents

Abstract

本申请实施例公开了一种基于三维空间场景的虚实交互系统。所述系统包括：三维处理模块，用于提供三维场景及虚实交互媒介，基于所述虚实交互媒介接收用户对所述三维场景的输入信息；虚实交互模块，用于在所述三维场景中嵌入信息融合接口及信息接收接口，所述信息融合接口用于实时接收对应实体及其周围环境的实时感应状态信息，将所述状态信息融合入所述三维场景中，所述信息接收接口用于处理对所述三维场景的输入信息，生成控制指令以控制改变对应实体的功能状态。本申请实施例提供的技术方案，能够实现虚实环境双向响应的虚实交互。

Description

一种基于三维空间场景的虚实交互系统及方法

技术领域

本申请实施例涉及虚实交互技术领域，尤其涉及一种基于三维空间场景的虚实交互系统及方法。

背景技术

虚实交互技术指的是虚拟物体与真实场景、物体或交互工具间的交互技术。目前，虚实交互技术广泛应用于娱乐、训练、测试、监控、医疗和教育等各个方面，通过真实环境与虚拟环境的融合，来实现较好地虚实交互效果。但是，现有的虚实交互系统，其虚实交互主要体现在虚拟环境对用户输入的响应，其虚实交互较为局限，虚拟环境与真实环境的互动比较单调。

发明内容

本申请实施例提供一种基于三维空间场景的虚实交互系统及方法，能够实现虚拟环境与现实环境双向响应的虚实交互。

在第一方面，本申请实施例提供了一种基于三维空间场景的虚实交互系统，包括：

三维处理模块，用于提供三维场景及虚实交互媒介，基于所述虚实交互媒介接收用户对所述三维场景的输入信息；

虚实交互模块，用于在所述三维场景中嵌入信息融合接口及信息接收接口，所述信息融合接口用于实时接收对应实体及其周围环境的实时感应状态信息，将所述状态信息融合入所述三维场景中，所述信息接收接口用于处理对所述三维场景的输入信息，生成控制指令以控制改变对应实体的功能状态。

优选的，还包括：视频投影模块，用于将实体环境拍摄的视频信息融合至所述三维场景的对应位置中。

优选的，还包括：视频解码模块，用于接收前端摄像机实时回传的压缩视频数据，对所述压缩视频数据进行实时解码得到对应实体环境拍摄的视频信息并实时上传至所述视频投影模块。

优选的，所述三维处理模块包括：数据管理单元，用于三维场景数据的创建、加载、移除、归类、查询、编辑修改、格式转换以及序列化；图形渲染单元，用于渲染三维场景内容；用户交互单元，用于提供虚实交互媒介，接收用户通过输入设备操作所述三维场景的输入信息。

优选的，所述图形渲染单元基于OSG开源图形渲染框架构建。

优选的，所述状态信息由实体感应模块进行实时感应，所述实体感应模块包括若干感应器，所述感应器为物理感应器、生物传感器和化学传感器中的一种或多种。

优选的，所述控制指令发送至实体响应模块进行响应以改变对应实体的功能状态，所述实体响应模块包括继电器、阀门、闸机、发动机开关中的一种或多种。

优选的，所述信息接收接口基于用户对所述三维场景的输入信息确定用户操作所述三维场景中的对应坐标位置，生成与所述坐标位置对应的实体响应模块的控制指令。

优选的，所述信息融合接口将所述状态信息显示在所述三维场景中对应实体的位置或根据所述状态信息改变所述三维场景中对应实体的状态，以使所述状态信息融合入所述三维场景中。

在第二方面，本申请实施例提供了一种基于三维空间场景的虚实交互方法，包括：

虚实交互模块的信息融合接口实时接收对应实体及其周围环境的实时感应状态信息，将所述状态信息融合入三维场景中；

三维处理模块接收用户根据所述状态信息对所述三维场景的输入信息或者用户主动对所述三维场景的输入信息，将对所述三维场景的输入信息发送至所述虚实交互模块；

所述虚实交互模块的信息接收接口接收并处理对所述三维场景的输入信息，生成控制指令以控制改变对应实体的功能状态。

本申请实施例通过虚实交互模块实时处理用户对三维场景的输入信息，生成对应实体的控制指令以控制改变对应实体的功能状态，通过实时接收对应实体及其周围环境的实时感应状态信息，将状态信息融合入三维场景中，使实体状态的变化在三维场景中得到体现，以此来实现虚拟环境与现实环境双向响应的虚实交互，优化用户的虚实交互体验。

附图说明

图1是本申请实施例一提供的一种基于三维空间场景的虚实交互系统的结构连接示意图；

图2是本申请实施例一中虚实交互模块双向响应示意图；

图3是本申请实施例一中的双向响应场景示意图；

图4是本申请实施例一中视频融合示意图；

图5是本申请实施例一中三维处理模块的结构示意图；

图6是本申请实施例二提供的一种基于三维空间场景的虚实交互方法流程示意图。

图中：11、三维处理模块；111、数据管理单元；112、图形渲染单元；113、用户交互单元；12、实体感应模块；13、虚实交互模块；14、实体响应模块；15、视频投影模块；16、视频解码模块；17、摄像机。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的基于三维空间场景的虚实交互系统，旨在构建一个实现实体环境及虚拟环境双向响应的虚实交互场景，使得用户对三维场景中的输入操作，能够在实体环境的对应实体上得到响应，而实体环境实体的状态变换，也可以在三维场景中对应位置体现状态变换，以此来增强虚实交互的体验。通过实体感应配合实体响应的虚实融合技术以有效增强参与者(人)、真实环境(实物)和虚拟环境(虚物)三者之间的无缝融合，最终达到自然逼真的和谐人机交互。通过构建这一虚实融合环境，为解决数字孪生应用、高端装备研制、复杂任务规划与培训、创新数字娱乐与教育等提供了全新的技术途径，使得本申请实施例提供的三维空间场景的虚实交互系统能够广泛应用于数字孪生、智慧城市、虚拟现实、增强现实、混合现实和游戏工业等领域中。

实施一：

图1给出了本申请实施例一提供的一种基于三维空间场景的虚实交互系统的结构示意图，本申请实施例提供的基于三维空间场景的虚实交互系统，可应用于娱乐、训练、测试、监控、医疗和教育等各个方面，具体的，通过构建相关应用环境的三维场景，基于本申请实施例提供的虚实交互系统，可实现对相关应用环境的实时监控及对应实体的控制。下面，参照图1，对该基于三维空间场景的虚实交互系统进行描述。该虚实交互系统具体包括：三维处理模块11、虚实交互模块13、视频投影模块15及视频解码模块16，其中，三维处理模块11主要是用于提供三维场景及虚实交互媒介，基于虚实交互媒介来接收用户对三维场景的输入信息，三维处理模块11通过获取实体环境的三维点云数据，构建对应实体环境的三维场景模型。三维处理模块11再通过全景相机获取对应实体环境的全景图像数据，通过图形渲染构建一个对应实体环境的实景三维模型。另一方面，为了方便用户进行虚实交互，提供一个虚实交互媒介用于用户进行虚实交互。三维处理模块11通过视屏界面将三维场景进行显示，并通过鼠标键盘等输入设备供用户对三维场景进行交互输入。用户通过输入设备，可以调整三维场景的显示区域，同时，通过键入输入信息，来实现对三维场景的输入操作。虚实交互系统的虚实交互模块13分别外接实体感应模块12和实体响应模块14，实体感应模块12用于实时感应对应实体及其周围环境的状态信息，实体感应模块12设置在实体应用环境中，其实质是一系列对应不同感应功能的感应单元，通过实时感应所关注实体以及周围环境的状态信息并将感应到的状态信息实时回传到虚实交互模块。这些感应单元中有物理感应器、生物传感器和化学传感器等。在实体应用环境中，根据对不同状态信息的监控，安装对应功能的感应器，实现对实体应用环境中各个实体的实时监控。需要注意的是，在本申请的一些实施例中，对应虚实交互系统不同的应用场景，可安装不同实体传感器，作为对应不同场景下不同实体的监控媒介。实体感应模块12实时感应的状态信息，需通过虚实交互模块13上传至三维处理模块11进行三维场景的响应。虚实交互模块13用于在三维场景中嵌入信息融合接口及信息接收接口，信息融合接口用于实时接收所述状态信息，将所述状态信息融合入所述三维场景中，所述信息接收接口用于处理对所述三维场景的输入信息，生成所述控制指令并发送至对应的实体响应模块14。虚实交互模块13一方面将实体环境中对应实体的状态变化响应在三维场景中，另一方面则根据上述用户通过输入设备操作三维场景的输入信息生成对应的控制指令，控制指令发送给对应的实体响应模块14。实体响应模块14则用于接收控制指令并作出响应，以改变对应实体的功能状态。实体响应模块14包括继电器、阀门、闸机、发动机开关中的一种或多种，各实体响应模块14分布于实体环境中，当用户需要改变这些开关的状态时，通过输入设备如鼠标点击视频界面中三维场景的对应位置，则根据用户点击的位置确定用户选择操作的实体，控制对应的实体响应模块14改变对应这一实体的功能状态。例如，用户在点击视频界面中的对应实体时，三维处理模块11的虚实交互媒介可根据用户的鼠标单击将实体开关的状态从“开”调至“关”或从“关”调至“开”。三维处理模块11的虚实交互媒介也可根据用户的鼠标单击弹出操作弹窗，供用户通过弹窗选择对应的操作以改变对应实体的功能状态。

示例性的，参照图2，虚实交互系统在进行双向响应过程中，对应虚拟环境的响应，通过设置在实体环境中的实体感应模块12来实时感应实体环境的实时状态信息。这些实时状态信息通过不同的传感器感应实时监测并上传至虚实交互模块13，虚实交互模块13读取这一状态信息，将这一状态信息通过嵌入在三维场景的信息融合接口融入到三维场景中。在将状态信息融入三维场景过程中，可通过确定状态信息对应的传感器在三维场景中所对应的位置，将这一状态信息显示在三维场景的对应位置中。虚实交互模块13预先存储各个传感器在三维场景中的对应位置，以文字显示的方式将感应信息显示在视频界面供用户查看。用户通过虚实交互媒介提供的视频界面可查看不同监控实体的状态信息的实时变化情况。而在虚实交互系统的一些应用场景中，也可以将根据传感器的状态信息变化，改变三维场景中对应位置的模型状态。例如，对应一个阀门状态由“关”转变至“开”，虚实交互模块13接收对应实体感应模块12(阀门)的状态信息“开”，根据预先存储对应实体在三维场景中的位置信息，改变三维场景中对应位置的模型状态。虚实交互模块13需保存对应实体感应模块12(阀门)在不同状态下的模型数据，根据对应实体状态信息的变化，通过模型数据重新构建三维模型，使得三维场景中对应阀门的状态得以对应状态信息进行改变。以此，用户通过三维场景中对应位置的状态变化的画面，即可了解对应实体的实时状态信息。

对应实体环境的响应，三维处理模块11通过虚实交互媒介提供输入设备供用户键入输入信息，借以输入信息控制对应实体。在进行三维场景的构建时，会预先确定对应实体环境内不同实体的位置信息，每一实体在三维场景中的坐标点均对应实体进行保存。三维场景在通过视频界面进行显示时，视频界面的每一个点，则对应三维场景中的不同坐标位置。当用户需要改变实体环境内的某一实体的状态时，通过鼠标点击三维场景中对应实体的位置，虚实交互模块13根据鼠标点击视频界面的位置，确定这一位置所对应三维场景中的坐标位置，根据坐标位置即可确定用户需要操作的实体，那么根据用户的点击操作，虚实交互模块13生成对应这一实体的控制指令，控制指令发送至相应的虚实响应模块执行以改变对应实体的状态。例如，当用户需要调整实体环境中空调的温度，则通过点击三维场景中空调温度调整按键的位置，虚实交互模块13根据用户的点击操作，生成温度调整指令发送至相应的实体响应模块以对应控制空调升温或降温。

以此，虚实交互系统实现对实体环境与虚拟环境的双向响应。示例性的，在生产车间应用中，参照图3，当车间对应传感器的状态信息发生变化，用户通过视频界面获知这一状态信息变化，即可通过输入设备点击三维场景中的对应位置以控制车间内的对应实体，通过对对应实体的控制，以实现对车间某一状态信息改变所造成的影响进行应对。用户通过鼠标点击视频界面对应位置，即可操作三维场景内的对应实体。譬如，当用户需要打开车间的门时，点击三维场景“门”所处的位置，通过虚实交互模块，生成开门的控制指令，作用在对应“门”的开关上，实现操作虚拟环境后实体环境的响应。又譬如，当车间的门由“关”变为“开”后，此时对应门的感应模块获取这一状态变化，将这一状态变化通过虚实交互模块体现在三维场景中。实现实体环境状态变化后虚拟环境的响应。

可选的，该虚实交互系统还包括视频投影模块15，用于将实体环境拍摄的视频信息融合至所述三维场景的对应位置中。视频解码模块16，用于实时接收前端摄像机17回传的压缩视频数据，对所述压缩视频数据进行实时解码得到对应实体环境拍摄的视频信息并实时上传至所述视频投影模块15。为了增强现实环境，本申请实施例的虚实交互系统通过对VR进行建模，构成虚拟景物，并融入真实场景视频流，从而呈现给用户一个虚拟对象与真实环境融为一体的增强现实环境，以扩展了虚拟现实应用。通过视频融合的增强手段，用户可直接通过与视频中感兴趣的目标进行互动，实现对应实体的控制。参照图4，视频解码模块16与摄像机17信号连接，摄像机17将实体环境内对应某一关注区域的压缩视频流发送至视频解码模块16，视频解码模块16对前端摄像机17回传的压缩视频信息进行实时解码，之后视频投影模块15将视频解码模块16解码后的影像信息融合到对应三维场景位置中。具体的，摄像机17实时回传的压缩视频信息，视频解码模块16通过FFMPEG库进行接收，提取出视频流的每一帧，发送给NVIDIA解码器解码。本申请实施例使用NVIDIA的硬件编解码器，也称为NVDEC，来对常见的视频压缩格式进行解码，尤其支持H.264和H.265格式的高效编解码，最大分辨率可达8K。对应硬件解码器，NVIDIA公司开发了NVDECODEC作为解码器的驱动API，可以通过调用这些API完成视频解码模块16的主要功能。对应经解码后的视频流，进行虚拟场景的视频融合。

具体的，视频融合步骤如下：

(1)使虚拟场景中模型空间位置和模型间的相对位置、朝向、大小与现实场景保持一致；

(2)获取多段真实拍摄视频流并记录对应进行拍摄的摄像机的位姿信息；

(3)将摄像机所处地球表面的经纬度坐标转换为虚拟场景中使用笛卡尔坐标表示的世界坐标，并对应在虚拟场景中加入虚拟投影机模型以及虚拟投影机模型相对应的视见体，虚拟投影机模型在虚拟场景中与现实场景中的摄像机对应设置，用于在虚拟场景中投影视频纹理，同时根据摄像机位姿信息设定虚拟场景中虚拟投影机模型的初始位姿值；

(4)对真实拍摄的视频流的图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将预处理后的视频数据投影到虚拟环境中；

(5)将虚拟环境中模型的静态纹理和/或地表原有的遥感影像纹理与动态视频纹理进行融合；

(6)对虚拟投影机模型中不同投影机有相交覆盖区域采用纹理融合。

另外，参照图5，三维处理模块11包括：数据管理单元111，用于三维场景数据的创建、加载、移除、归类、查询、编辑修改、格式转换以及序列化，数据管理单元111基于实体环境的点云数据进行三维模型的构建及管理，通过记录对应实体不同状态下的点云数据，构建不同状态下的三维模型，用于后续实体环境发生变化时，三维场景对应位置的模型状态进行改变。图形渲染单元112，用于渲染三维场景内容，图形渲染单元基于OSG开源图形渲染框架构建。图形渲染单元通过建立一个面向对象的开发框架，使得开发者可以摆脱繁杂的底层编程细节，能够快速高效的完成三维场景的构建和渲染，便于应用程序的开发和管理。进一步能实现实时交互、动态裁剪和渲染图元，支持海量数据的渲染和交互操作。基于OSG开源图形渲染框架构建图形渲染单元的方式为现有较成熟技术，这里不多赘述。用户交互单元113，用于提供虚实交互媒介，接收用户通过输入设备操作所述三维场景的输入信息。输入设备可以是鼠标、键盘、触摸屏等输入设备，用户交互单元113基于用户通过输入设备对视频界面中三维场景的操作，确定生成对应位置的输入信息。

上述，通过虚实交互模块13实时处理用户对三维场景的输入信息，生成对应实体的控制指令以控制实体响应模块14做出对应的响应操作，通过实时接收实体感应模块12的感应状态信息，将状态信息融合入三维场景中，使实体状态的变化在三维场景中得到体现，以此来实现虚拟环境与现实环境双向响应的虚实交互，优化用户的虚实交互体验。通过实体感应配合实体响应的虚实融合技术以有效增强参与者(人)、真实环境(实物)和虚拟环境(虚物)三者之间的无缝融合，最终达到自然逼真的和谐人机交互。

实施例二：

在上述实施例的基础上，图6为本申请实施例二提供的一种基于三维空间场景的虚实交互方法的流程图。参考图6，本实施例提供的基于三维空间场景的虚实交互方法具体包括：

S210.虚实交互模块的信息融合接口实时接收对应实体及其周围环境的实时感应状态信息，将所述状态信息融合入三维场景中；

S220.三维处理模块接收用户根据所述状态信息对所述三维场景的输入信息或者用户主动对所述三维场景的输入信息，将对所述三维场景的输入信息发送至所述虚实交互模块；

S230.所述虚实交互模块的信息接收接口接收并处理对所述三维场景的输入信息，生成控制指令以控制改变对应实体的功能状态。

对应上述实施例一的基于三维空间场景的虚实交互系统，本申请实施例二的虚实交互方法，通过设置在实体环境内的实体感应模块来实时感应实体环境的实时状态信息。这些实时状态信息通过不同的传感器感应实时监测并上传至虚实交互模块，虚实交互模块读取这一状态信息，将这一状态信息通过嵌入在三维场景的信息融合接口融入到三维场景中。在将状态信息融入三维场景过程中，可通过确定状态信息对应的传感器在三维场景中所对应的位置，将这一状态信息显示在三维场景的对应位置中。虚实交互模块预先存储各个传感器在三维场景中的对应位置，以文字显示的方式将感应信息显示在视频界面供用户查看。用户通过虚实交互媒介提供的视频界面可查看不同监控实体的状态信息的实时变化情况。而在虚实交互系统的一些应用场景中，也可以将根据传感器的状态信息变化，改变三维场景中对应位置的模型状态。例如，对应一个阀门状态由“关”转变至“开”，虚实交互模块接收对应实体感应模块(阀门)的状态信息“开”，根据预先存储对应实体在三维场景中的位置信息，改变三维场景中对应位置的模型状态。虚实交互模块需保存对应实体感应模块(阀门)在不同状态下的模型数据，根据对应实体状态信息的变化，通过模型数据重新构建三维模型，使得三维场景中对应阀门的状态得以对应状态信息进行改变。另一方面，三维处理模块通过虚实交互媒介提供输入设备供用户键入输入信息，借以输入信息控制对应实体。在进行三维场景的构建时，会预先确定对应实体环境内不同实体的位置信息，每一实体在三维场景中的坐标点均对应实体进行保存。三维场景在通过视频界面进行显示时，视频界面的每一个点，则对应三维场景中的不同坐标位置。当用户需要改变实体环境内的某一开关的状态时，通过鼠标点击三维场景中对应鼠标的位置，虚实交互模块根据鼠标点击视频界面的位置，确定这一位置所对应三维场景中的坐标位置，根据坐标位置即可确定用户需要操作的开关，那么根据用户的点击操作，虚实交互模块生成对应这一开关的控制指令，控制指令发送至对应开关执行以改变开关的状态。

上述，通过虚实交互模块实时处理用户对三维场景的输入信息，生成对应实体的控制指令以控制实体响应模块做出对应的响应操作，通过实时接收实体感应模块的感应状态信息，将状态信息融合入三维场景中，使实体状态的变化在三维场景中得到体现，以此来实现虚拟环境与现实环境双向响应的虚实交互，优化用户的虚实交互体验。通过实体感应配合实体响应的虚实融合技术以有效增强参与者(人)、真实环境(实物)和虚拟环境(虚物)三者之间的无缝融合，最终达到自然逼真的和谐人机交互。

实施例三

本申请实施例三提供了一种电子设备，该电子设备包括：处理器、存储器、通信模块。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块可以通过总线或者其他方式连接。

存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于三维空间场景的虚实交互方法对应的程序指令/模块。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块用于进行数据传输。

处理器通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于三维空间场景的虚实交互方法。

上述提供的电子设备可用于执行上述实施例二提供的基于三维空间场景的虚实交互方法，以实现上述实施例一提供的基于三维空间场景的虚实交互系统，同时具备相应的功能和有益效果。

实施例四：

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于三维空间场景的虚实交互方法，该基于三维空间场景的虚实交互方法包括：虚实交互模块的信息融合接口实时接收对应实体及其周围环境的实时感应状态信息，将所述状态信息融合入三维场景中；三维处理模块接收用户根据所述状态信息对所述三维场景的输入信息或者用户主动对所述三维场景的输入信息，将对所述三维场景的输入信息发送至所述虚实交互模块；所述虚实交互模块的信息接收接口接收并处理对所述三维场景的输入信息，生成控制指令以控制改变对应实体的功能状态。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于三维空间场景的虚实交互方法，还可以执行本申请任意实施例所提供的基于三维空间场景的虚实交互系统中的相关操作。

上述实施例中提供的基于三维空间场景的虚实交互装置、存储介质及电子设备可执行本申请任意实施例所提供的基于三维空间场景的虚实交互系统和方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于三维空间场景的虚实交互系统和方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于三维空间场景的虚实交互系统，其特征在于，包括：

三维处理模块，用于提供三维场景及虚实交互媒介，基于所述虚实交互媒介接收用户对所述三维场景的输入信息；

虚实交互模块，用于在所述三维场景中嵌入信息融合接口及信息接收接口，所述信息融合接口用于实时接收对应实体及其周围环境的实时感应状态信息，将所述状态信息融合入所述三维场景中，所述信息接收接口用于处理对所述三维场景的输入信息，生成控制指令以控制改变对应实体的功能状态。

2.根据权利要求1所述的基于三维空间场景的虚实交互系统，其特征在于，还包括：

视频投影模块，用于将实体环境拍摄的视频信息融合至所述三维场景的对应位置中。

3.根据权利要求2所述的基于三维空间场景的虚实交互系统，其特征在于，还包括：

视频解码模块，用于接收前端摄像机实时回传的压缩视频数据，对所述压缩视频数据进行实时解码得到对应实体环境拍摄的视频信息并实时上传至所述视频投影模块。

4.根据权利要求1所述的基于三维空间场景的虚实交互系统，其特征在于，所述三维处理模块包括：

数据管理单元，用于三维场景数据的创建、加载、移除、归类、查询、编辑修改、格式转换以及序列化；

图形渲染单元，用于渲染三维场景内容；

用户交互单元，用于提供虚实交互媒介，接收用户通过输入设备操作所述三维场景的输入信息。

5.根据权利要求4所述的基于三维空间场景的虚实交互系统，其特征在于，所述图形渲染单元基于OSG开源图形渲染框架构建。

6.根据权利要求1所述的基于三维空间场景的虚实交互系统，其特征在于，所述状态信息由实体感应模块进行实时感应，所述实体感应模块包括若干感应器，所述感应器为物理感应器、生物传感器和化学传感器中的一种或多种。

7.根据权利要求1所述的基于三维空间场景的虚实交互系统，其特征在于，所述控制指令发送至实体响应模块进行响应以改变对应实体的功能状态，所述实体响应模块包括继电器、阀门、闸机、发动机开关中的一种或多种。

8.根据权利要求1所述的基于三维空间场景的虚实交互系统，其特征在于，所述信息接收接口基于用户对所述三维场景的输入信息确定用户操作所述三维场景中的对应坐标位置，生成与所述坐标位置对应的实体响应模块的控制指令。

9.根据权利要求1所述的基于三维空间场景的虚实交互系统，其特征在于，所述信息融合接口将所述状态信息显示在所述三维场景中对应实体的位置或根据所述状态信息改变所述三维场景中对应实体的状态，以使所述状态信息融合入所述三维场景中。

10.一种基于三维空间场景的虚实交互方法，其特征在于，包括：

虚实交互模块的信息融合接口实时接收对应实体及其周围环境的实时感应状态信息，将所述状态信息融合入三维场景中；

三维处理模块接收用户根据所述状态信息对所述三维场景的输入信息或者用户主动对所述三维场景的输入信息，将对所述三维场景的输入信息发送至所述虚实交互模块；

所述虚实交互模块的信息接收接口接收并处理对所述三维场景的输入信息，生成控制指令以控制改变对应实体的功能状态。

Images