CN108109207B - 一种可视化立体建模方法及系统 - Google Patents

Abstract

本发明公开了一种可视化立体建模方法及系统，其中该方法包括：获取各个终端设备对其所处环境采集的环境数据；对所述环境数据进行融合处理，得到各个所述终端设备的位姿，并基于各个所述终端设备的位姿及所述环境数据构建所述终端设备所处环境的三维立体模型；利用AR技术对所述三维立体模型进行虚拟重构，得到所述终端设备所处环境的虚拟立体场景。由此，通过将各个终端设备采集的环境数据的融合处理得到可以得到虚拟立体场景，该场景将场景建模与真实的环境数据完美融合，使得对于终端设备所处环境的展现全面且立体，使得用户能够通过该虚拟立体场景直接、有效且全面的获取到对应的环境的相关信息，从而解决了现有技术中存在的问题。

Description

一种可视化立体建模方法及系统

技术领域

本发明涉及信息技术领域，更具体地说，涉及一种可视化立体建模方法及系统。

背景技术

当前物联网实现物物相联，对不同种类设备的信息的采集形成庞大的数据量，这些数据涵盖了多种信息。

但是，现有的智能家居平台通常是针对单一类型的数据进行处理、响应及反馈等操作的，如仅仅对激光雷达测距仪获取的其所处环境中物体布置信息进行上述操作，这种方式获取的对场景进行描述的信息不够全面及立体，进而导致用户无法直观、有效及全面的进行场景的信息判断。

综上所述，现有技术中存在获取的对场景进行描述的信息不够全面及立体的问题。

发明内容

本发明的目的是提供一种可视化立体建模方法及系统，以解决现有技术中存在的获取的对场景进行描述的信息不够全面及立体的问题。

为了实现上述目的，本发明提供如下技术方案：

一种可视化立体建模方法，包括：

获取各个终端设备对其所处环境采集的环境数据；

对所述环境数据进行融合处理，得到各个所述终端设备的位姿，并基于各个所述终端设备的位姿及所述环境数据构建所述终端设备所处环境的三维立体模型；

利用AR技术对所述三维立体模型进行虚拟重构，得到所述终端设备所处环境的虚拟立体场景。

优选的，还包括：

定期对所述终端设备的状态进行检测，如果检测出任一终端设备存在故障，则将对应的保修指令信息发送至指定服务器。

优选的，定期对所述终端设备的状态进行检测并确定每个所述终端设备的状态，包括：

定时发送状态检测信息至每个所述终端设备，如果在发送所述状态检测信息之后的指定时间内未接收到任一所述终端设备返回的响应信息，则确定该终端设备存在故障。

优选的，获取各个所述终端设备对其所处环境采集的环境数据之后，还包括：

将所述环境数据转换成具有统一网络传输数据格式的数据。

优选的，还包括：

如果检测到任一所述终端设备存在故障，则删除获取该终端设备采集的环境数据并将其转换成具有统一网络传输数据格式的数据对应的通信通道；如果检测到出现新的终端设备，则增加获取该终端设备采集的环境数据并将其转换成具有统一网络传输数据格式的数据对应的通信通道。

优选的，还包括：

当基于所述虚拟立体场景确定出所述终端设备所处环境出现异常情况时，控制指定可移动的终端设备移动至所述异常情况所处位姿，并将针对该位姿采集到的环境数据发送至指定服务器。

优选的，利用AR技术对所述三维立体模型进行虚拟重构，得到所述终端设备所处环境的虚拟立体场景，包括：

接收外界输入的虚拟重构指令，并将所述三维立体模型中与所述虚拟重构指令对应的部分进行虚拟重构，得到对应的虚拟立体场景。

优选的，构建所述三维立体模型及所述虚拟立体场景，包括：

将构建所述三维立体模型及所述虚拟立体场景过程中需要进行的数据融合的任务按照负载均衡原则分配至服务器集群中的不同服务器上。

优选的，还包括：

当基于所述虚拟立体场景确定出所述终端设备所处环境出现异常情况时，基于所述虚拟立体场景规划出可供人员逃离的避障求生路线。

一种可视化立体建模系统，包括：

数据获取模块，用于获取各个终端设备对其所处环境采集的环境数据；

模型构建模块，用于对所述环境数据进行融合处理，得到各个所述终端设备的位姿，并基于各个所述终端设备的位姿及所述环境数据构建所述终端设备所处环境的三维立体模型；

虚拟重构模块，用于利用AR技术对所述三维立体模型进行虚拟重构，得到所述终端设备所处环境的虚拟立体场景。

本发明提供了一种可视化立体建模方法及系统，其中该方法包括：获取各个终端设备对其所处环境采集的环境数据；对所述环境数据进行融合处理，得到各个所述终端设备的位姿，并基于各个所述终端设备的位姿及所述环境数据构建所述终端设备所处环境的三维立体模型；利用AR技术对所述三维立体模型进行虚拟重构，得到所述终端设备所处环境的虚拟立体场景。本申请公开的上述技术特征中，获取各个终端设备采集的环境数据，并基于该环境数据构建三维立体模型，进而在此基础上进行虚拟重构，得到终端设备所处环境的虚拟立体场景，由此，通过将各个终端设备采集的环境数据的融合处理得到可以得到虚拟立体场景，该场景将场景建模与真实的环境数据完美融合，使得对于终端设备所处环境的展现全面且立体，使得用户能够通过该虚拟立体场景直接、有效且全面的获取到对应的环境的相关信息，从而解决了现有技术中存在的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种可视化立体建模方法的流程图；

图2为本发明实施例提供的一种可视化立体建模系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种可视化立体建模方法的流程图，可以包括以下步骤：

S11：获取各个终端设备对其所处环境采集的环境数据。

其中，终端设备可以包括烟雾报警传感器、红外光传感器、声控传感器、摄像头、智能门锁控制器、智能保险柜、激光雷达测距仪以及一切与智能家居服务有关的智能化终端设备，当然，也可以是实现其他服务的智能化终端设备，均在本发明的保护范围之内。对应的获取的用于构建三维立体模型及虚拟立体场景的环境数据通常可以包括两类信息，一类为对终端设备所处环境进行拍摄得到的图片或视频，一类为对终端设备所处环境中包含的物体进行测距得到的该终端设备与对应物体之间的距离信息；这两类信息分别可以通过摄像头及激光雷达测距仪(或者其他测距仪器)获得。

本申请中所采用的摄像头可以为具有一定智能化分析能力的深度摄像头，内含红外光传感器及处理芯片，由此红外光传感器发出经过调制的红外信号，遇到物体后反射，该红外光传感器通过计算红外信号发送和反射的时间差或者相位差来换算被拍摄物体据摄像头的距离，具体来说，红外光传感器利用红外信号遇到障碍物距离的不同反射的强度以不同的原理进行障碍物远近检测。红外光传感器具有一对红外信号发射与接收二极管，发射二级管发射特定频率的红外信号，接收二级管接收这种频率的红外信号，当红外光传感器的检测方向遇到障碍物时，由发射二极管发射出的红外信号反射回来被接收二级管接收，经过处理后，返回到处理芯片中，处理芯片按照下列公式计算出障碍物距离红外光传感器的距离：v*Δt/2；v为发射及接收的红外信号的传播速度，Δt为发射该红外信号及接收该红外信号的时间差，均为正数；当然还可以按照其他公式基于发射的红外信号及接收的红外信号的相位差等计算上述距离，均在本发明的保护范围之内，由于与现有技术中的计算原理一致，在此不再赘述。而激光雷达测距仪的工作原理与上述红外光传感器的工作原理类似，即激光发射到物体上被反射后通过其发射及反射的时间差或者相位差来换算对应物体距离激光雷达测距仪的距离。

另外，上述摄像头也可以称之为机器人感知引擎，它可以是一个多传感器融合、优化数据关联与前端异构处理器的集成体；其不仅能够通过上述红外光传感器获取到与其他物体的距离，还可以对采集到的视频或者图片数据进行优化处理，如对采集到的视频或图片进行人脸识别、车牌识别及智能分析等，以提高后端处理效率，提升后端建模的鲁棒性与精度。其中，智能分析指与视频图像处理相关的一切智能分析手段，包括行为分析、视频质量检测、视频浓缩、人脸识别等，比如机器人感知引擎前端摄像头出现视频质量问题(如视频偏色、亮度异常、抖动等异常情况出现时)，前端机器人感知引擎即自带处理器的前端智能摄像头能够及时的分析并对这些问题进行处理，达到视频增强的效果从何输出稳定可靠的用于后端分析的视频数据，其中对于上述问题的处理与现有技术中对上述情况的对应处理原理一致，在此不再赘述。前端机器人感知引擎旨在于增加前端智能摄像头的分析处理能力，提前解决部分分析业务，以免所有数据都传递到后端服务器进行处理，后端主要目的为SLAM地图的构建。

S12：对环境数据进行融合处理，得到各个终端设备的位姿，并基于各个终端设备的位姿及环境数据构建终端设备所处环境的三维立体模型。

对上述各个终端设备采集到的环境数据进行融合处理，可以是将不同的数据类型、时间戳、坐标系通过数据转换融合进行统一的处理，进而通过这些数据确定出各个终端设备的位姿，以确定每个终端设备的位姿与其所获取的数据对应物体之间的相对位姿关系，最终构建三维立体模型。还可以包括以下过程：环境数据包括距离信息、图片或视频等，对于任一终端设备，通过环境数据中的距离信息可以获知其距离每个物体的距离，通过环境数据中的图片或视频可以获知每个物体之间的相对位置关系，进而可以确定出该终端设备与每个物体的相对位姿，如任一终端设备为测距仪器，环境中的物体包括桌子、椅子及门，则通过距离信息可以获知测距仪器分别与桌子、椅子及门之间的距离，而通过对应的图片和视频可以获知桌子、椅子及门之间的相对位置关系，因此，可以由图片或者视频中确定出与桌子、椅子及门的距离和测距仪器与桌子、椅子及门的距离相等的点，并确定该点为测距仪器；再如另一终端设备为摄像头，则通过距离信息可以获知其与测距仪器的距离，并通过其拍摄到的桌子、椅子及门可以获知该摄像头的拍摄角度，进而可以确定出拥有此拍摄角度且距离已经确定出位姿的测距仪器的点为摄像头。构建三维立体模型，首先在该模型中确定出各个终端设备的位姿，然后基于已经获知的每个物体与终端设备的相对位姿确定出各个物体在模型中的位姿，最终构建完成三维立体模型。当然，构建三维立体模型也可以根据实际需要设置其他的实现过程，还可以与现有技术中对应技术方案的实现原理一致，均在本发明的保护范围内。

S13：利用AR技术对三维立体模型进行虚拟重构，得到终端设备所处环境的虚拟立体场景。

其中，AR技术即为增强现实技术，其是在虚拟现实的基础上发现起来的新技术，也被称之为混合现实；其为通过提供的环境信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。本申请中将终端设备所处环境内的信息真实的还原成现实与虚拟现实统一融合的结合体，将各类终端设备还原在环境的对应位姿，能够在用户端较好的呈现出真实的场景还原效果；具体来说，在实现三维立体模型构建以及终端设备(处于包括但不局限于购物中心、办公室、家庭以及该系统可用的任何地方)定位后，将通过拍摄真实环境形成的图像匹配到该三维立体模型中进行融合显示，并对其进行虚拟重构以增强人眼视觉对像素细节的分辨率要求。具体来说，现实增强技术中，一部分是真实的场景，一部分是根据环境内的物体进行建模，然后将真实场景和建模得到的三维立体模型进行融合，比如有些手机APP拍照，可以把一些立体的卡通人物跟拍摄的照片融合到一起，此处虚拟重构也是如此，一半是真实的场景(即通过拍摄真实环境得到的图像)，一半是虚拟的环境(即基于环境数据构建的三维立体模型)，作为真实场景的延伸，有真实场景的真实性，又有虚拟场景的拓展延伸性，最终得到对应的虚拟立体环境。本申请中利用VR技术对三维立体模型进行虚拟重构的实现原理可以与现有技术中对应技术的实现原理一致，在此不再赘述。

另外需要说明的是，当用户改变终端设备的状态时，该状态的改变会实时体现在虚拟立体场景中，并且用户可以通过虚拟立体场景或者对应环境中终端设备的状态等信息，还可以通过对应的用户控制设备实现对终端设备的查看、管理、控制、报警信息处理等操作。具体来说，用于展现虚拟立体场景的现实增强设备可以是头盔，戴上头盔后用户可以看到立体的虚拟场景，在该场景中很多现实世界无法展现的细节可以体现出来，然后用户通过对应的用户控制设备，如遥控器等，实现对终端设备的控制，并通过虚拟立体场景观察到控制的结果。

本申请公开的上述技术特征中，获取各个终端设备采集的环境数据，并基于该环境数据构建三维立体模型，进而在此基础上进行虚拟重构，得到终端设备所处环境的虚拟立体场景，由此，通过将各个终端设备采集的环境数据的融合处理得到可以得到虚拟立体场景，该场景将场景建模与真实的环境数据完美融合，使得对于终端设备所处环境的展现全面且立体，使得用户能够通过该虚拟立体场景直接、有效且全面的获取到对应的环境的相关信息，从而解决了现有技术中存在的问题。

本发明实施例提供的一种可视化立体建模方法，还可以包括：

定期对终端设备的状态进行检测，如果检测出任一终端设备存在故障，则将对应的保修指令信息发送至指定服务器。

指定服务器可以是预先设定的与管理者对应的服务器，定期对终端设备的状态进行检测，如果任一终端设备存在故障，则将对应的保修指令信息发送至指定服务器，以供该指定服务器的管理者获知到保修指令信息对应的终端设备出现故障的信息，以对其进行维修等工具，进而保证终端设备的正常运行。其中，终端设备存在的故障可以包括无法与系统建立正常连接，即无法正常获取到终端设备采集的环境数据，或者其无法实现正常的数据采集工作等，当然还可以根据实际需要包括其他情况，均在本发明的保护范围之内。另外，还可以根据不同终端设备的情况获取对应的终端设备状态列表，该列表中包括每个终端设备对应的名称及状态等信息，以供工作人员或者其他设备随时查看以获知各终端设备的工作状态。

其中，定期对终端设备的状态进行检测并确定每个终端设备的状态，可以包括：

定时发送状态检测信息至每个终端设备，如果在发送状态检测信息之后的指定时间内未接收到任一终端设备返回的响应信息，则确定该终端设备存在故障。

其中，指定时间可以根据实际需要进行设定，如果发送状态检测信息之后的指定时间内未接收到任一终端设备返回的响应信息，则说明该终端设备存在导致其无法与系统连接的故障，也即无法获取该终端设备的环境数据，如果发送状态检测信息之后的指定时间内接收到全部终端设备返回的响应信息，则说明终端设备全部为正常工作状态，能够正常提供其采集的环境数据。通过周期性的发送心跳(即状态检测信息)来判断是否能够正常接收到终端设备返回的响应信息的方式判断终端设备是否存在故障，简单有效。另外，对于摄像头还可以通过分析其采集的视频是否完整来判断该摄像头是否被遮挡、黑屏等，即采集的视频如果不完整或者无法正常显示则说明摄像头被遮挡或者黑屏等，此时可判断出摄像头存在对应的故障，并发送对应的保修指令信息至指定服务器。

本发明实施例提供的一种可视化立体建模方法，获取各个终端设备对其所处环境采集的环境数据之后，还可以包括：

将环境数据转换成具有统一网络传输数据格式的数据。

由于不同终端设备所获取的环境数据的格式可能并不相同，因此，本申请中在处理上述环境数据之前将其转换成具有统一网络传输数据格式的数据，能够方便对其的融合处理等操作。具体来说，由于不同终端设备的数据接口没有统一的标准，不同生产商或者同一生产商不同时期采用的接口标准也可能不同，因此本申请中可以通过通信接口协议适配装置将种类繁多的多种通讯协议的终端设备无缝接入，具体可以通过检测到的设备列表确定接入的各个终端设备的类型，进而由通信协议适配器中调取相应的通信接口协议适配组件，建立相应的通信通道，然后利用该组件解析终端设备发送的环境数据并将其转换成统一的网络传输数据格式。另外，通信接口协议适配装置中的通信接口协议适配组件是根据不同终端设备类型开发出的对应组件，因此只要将终端设备类型对应的通信接口协议适配组件增加到通信接口协议适配装置中，通信接口协议适配装置即可实现对该终端设备类型的终端设备的环境数据的获取及处理，因此，可以根据更多未知类型的终端设备进行组件的封装与扩展，具有强大的扩展性。

本发明实施例提供的一种可视化立体建模方法，还可以包括：

如果检测到任一终端设备存在故障，则删除获取该终端设备采集的环境数据并将其转换成具有统一网络传输数据格式的数据对应的通信通道；如果检测到出现新的终端设备，则增加获取该终端设备采集的环境数据并将其转换成具有统一网络传输数据格式的数据对应的通信通道。

需要说明的是，利用通信协议适配器实现不同通信协议、数据格式或语言的终端设备之间通信协议的解析与转换，最终得到具有统一标准的环境数据时，每个终端设备均具有对应的通信协议适配器，且不同的终端设备具有不同的通信协议适配器；当确定任一终端设备存在故障时，可以将该通信协议适配器获取到环境数据的通信通道并将转换后的环境数据发送出去的通信通道进行删除，也即将存在故障的终端设备对应的通信协议适配器删除；而当出现新的终端设备接入时，增加对应的通过通信协议适配器对其采集的环境数据进行转换的通信通道，也即增加新的终端设备对应的通信协议适配器。也就是说，通过不同通信信道的增加及删除(或者说通过不同通信协议适配器的增加及删除)实现多线程通道并行的处理方式，支持多个不同接口类型的终端设备接入及环境的数据的同时处理，从而实现了对于环境数据的高效处理。

本发明实施例提供的一种可视化立体建模方法，可以包括：

当基于虚拟立体场景确定出终端设备所处环境出现异常情况时，控制指定可移动的终端设备移动至异常情况所处位姿，并将针对该位姿采集到的环境数据发送至指定服务器。

其中，异常情况可以是指火灾、水灾等各种环境出现需要报警的异常的情况，当虚拟立体场景中确定对应环境存在异常情况时，可以控制可移动的终端设备，通过为可移动摄像头移动至异常情况所处位姿，对该位姿进行环境数据采集，并将采集到的数据发送至指定服务器，以供指定服务器的管理者对异常情况进行对应的处理，保证环境安全。由此能够通过终端设备获取的环境数据进行互动式报警控制、刑侦现场记录以及对终端设备的控制等，形成较好的沉浸式互动体验，增强在客观物理世界中所经历的身临其境的逼真性。

本发明实施例提供的一种可视化立体建模方法，利用AR技术对三维立体模型进行虚拟重构，得到终端设备所处环境的虚拟立体场景，可以包括：

接收外界输入的虚拟重构指令，并将三维立体模型中与虚拟重构指令对应的部分进行虚拟重构，得到对应的虚拟立体场景。

需要说明的是，虚拟重构指令可以包括用户需要获取其对应虚拟立体场景的环境范围，通过该虚拟重构指令的控制，可以将三维立体模型中与该指令对应的部分进行虚拟重构，进而得到该部分的环境范围对应的虚拟立体场景。比如，用户只需要检测柜子是否上了锁，则其只需要还原柜子对应的场景信息就可以达到目的，相对于将全部场景信息进行还原大大减少了虚拟重构的工作量，提高了工作效率。

另外，在还原对应场景信息时，还可以将该场景中的终端设备一同展现出来，具体可以按照终端设备的地理位姿与机器人感知引擎位姿的相对关系来构建虚拟立体场景，在该场景中终端设备所处位姿与其所处实际物理位姿是一致的，由此用户可以通过虚拟立体场景获取到对应终端设备及环境的各项信息。

本发明实施例提供的一种可视化立体建模方法，构建三维立体模型及虚拟立体场景，可以包括：

将构建三维立体模型及虚拟立体场景过程中需要进行的数据融合的任务按照负载均衡原则分配至服务器集群中的不同服务器上。

通过将上述处理任务按照负载均衡原则分配到服务器集群的不同服务器上，使得多台服务器应用程序能够通过网络共享内存、进行消息传递、进程通信，实现分布式计算处理，进而使得不同类型的终端设备所采集到的数据快速、有效、高性能的被处理。具体来说，本申请中的服务器集群中可以包括有多个服务器，形成一个松耦合的多处理器系统，便于对其的管理；将需要被融合处理的环境数据分配到服务器集群中的每台服务器上，减轻对主服务器的压力，并且当集群中某个服务器出现故障时，可以按照负载均衡原则将该服务器需完的任务转移到其他服务器上，从而实现服务器不间断的提供高质量的服务。

需要说明的是，在分配任务及任务转移过程中所利用的负载均衡原则算法主要是基于负载探查及服务器主动上报负载信息的方式，获知服务器集群中每台服务器的状态，可以包括CPU使用率、内存消耗、运算处理能力及业务处理速度等指标，然后基于上述指标对每台服务器的性能及工作状态进行汇总，进而对每台服务器的负载能力进行综合评估，如CPU使用率及内存消耗越高，综合评估所得分数越低，运算处理能力及业务处理速度越高，综合评估所得分数越高，从而得到每台服务器的综合评估分数，进而将任务分配给综合评估分数最高，即相对空闲的一台或者几台服务器。另外，如果任一服务器的CPU使用率或内存消耗太高，高于预先设定的对应阈值，即使其运算处理能力及业务处理速度很高，也确定其对应综合评估分数为0，也就是说，要优选选取空闲的服务器进行任务的执行，从而保证了任务的高效率执行。另外，上述负载均衡算法的实现可以通过服务器集群中指定的均衡服务器实现，当然也可以进行其他设定，均在本发明的保护范围之内。

另外，还可以对终端设备获取的环境数据进行分类，进而将分类后的环境数据分配至服务器集群中的不同服务器上，供服务器利用该数据实现数据融合，也可以将分类后的环境数据进行存储，以供查询或者用作其他操作。具体来说，对环境数据的分类具体可以按照下列方式实现：数据传输过程中不同的数据会指定不同的协议，该协议指定对应数据需要具有一定的数据格式，包括包头、包尾、时间、标志位、校验位、内容及包的长度等，因此不同的环境数据具有不同的长度或者格式，具体可以根据实际需要进行设定，如视频数据及文字数据对应的字节长度大小不同、标识符等也不同，由此，可以基于不同环境数据的数据格式判断出该环境数据的类型，进而实现环境数据的分类。

另外需要说明的是，用户在基于虚拟立体场景获取对应环境中的状态时，还可以通过用户控制设备发送控制指令，该控制指令可以由服务器集群进行解析，进而确定解析出的结果对应信息，如果为报警信息，则直接呼叫监控指挥中心来部署附近警力进行处理，如果为安防信息，则通知附近安保人员迅速赶往事发现场处理，如果为对终端设备的控制信息，则将其发送至终端设备，或者通过通信协议适配器将其发送至终端设备，实现对终端设备的控制，从而实现用户基于虚拟立体场景对环境的控制。

本发明实施例提供的一种可视化立体建模方法，还可以包括：

当基于虚拟立体场景确定出终端设备所处环境出现异常情况时，基于虚拟立体场景规划出可供人员逃离的避障求生路线。

其中，异常情况可以包括火灾、水灾或者恶性伤害事件等警情出现，此时，基于虚拟立体场景能够迅速规划出避障求生路线，既能避免逃离过程中撞击物体，又能够快速实现逃离，保证了人员的人身安全。另外，还可以在出现上述异常情况时，联动的控制附近的终端设备响应配合并及时的接警、处警等。

本发明实施例还提供了一种可视化立体建模系统，如图2所示，可以包括：

数据获取模块11，用于获取各个终端设备对其所处环境采集的环境数据；

模型构建模块12，用于基于环境数据确定各个终端设备的位姿，并基于各个终端设备的位姿及环境数据构建终端设备所处环境的三维立体模型；

虚拟重构模块13，用于利用AR技术对三维立体模型进行虚拟重构，得到终端设备所处环境的虚拟立体场景。

本发明实施例提供的一种可视化立体建模系统，还可以包括：

状态检测模块，用于定期对终端设备的状态进行检测，如果检测出任一终端设备存在故障，则将对应的保修指令信息发送至指定服务器。

本发明实施例提供的一种可视化立体建模系统，状态检测模块包括：

状态检测单元，用于定时发送状态检测信息至每个终端设备，如果在发送状态检测信息之后的指定时间内未接收到任一终端设备返回的响应信息，则确定该终端设备存在故障。

本发明实施例提供的一种可视化立体建模系统，还可以包括：

数据转换模块，用于将环境数据转换成具有统一网络传输数据格式的数据。

本发明实施例提供的一种可视化立体建模系统，还可以包括：

通信管理模块，用于如果检测到任一终端设备存在故障，则删除获取该终端设备采集的环境数据并将其转换成具有统一网络传输数据格式的数据对应的通信通道；如果检测到出现新的终端设备，则增加获取该终端设备采集的环境数据并将其转换成具有统一网络传输数据格式的数据对应的通信通道。

本发明实施例提供的一种可视化立体建模系统，还可以包括：

控制移动模块，用于当基于虚拟立体场景确定出终端设备所处环境出现异常情况时，控制指定可移动的终端设备移动至异常情况所处位姿，并将针对该位姿采集到的环境数据发送至指定服务器。

本发明实施例提供的一种可视化立体建模系统，虚拟重构模块可以包括：

虚拟重构单元，用于接收外界输入的虚拟重构指令，并将三维立体模型中与虚拟重构指令对应的部分进行虚拟重构，得到对应的虚拟立体场景。

本发明实施例提供的一种可视化立体建模系统，模型构建模块及虚拟重构模块均可以包括：

任务分配单元，用于将构建三维立体模型及虚拟立体场景过程中需要进行的数据融合的任务按照负载均衡原则分配至服务器集群中的不同服务器上。

本发明实施例提供的一种可视化立体建模系统，还可以包括：

路线规划模块，用于当基于虚拟立体场景确定出终端设备所处环境出现异常情况时，基于虚拟立体场景规划出可供人员逃离的避障求生路线。

本发明实施例提供的一种可视化立体建模系统中相关部分的说明请参见本发明实施例提供的一种可视化立体建模方法中对应部分的详细说明，在此不再赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种可视化立体建模方法，其特征在于，包括：

获取各个终端设备对其所处环境采集的环境数据；其中，所述环境数据包括对所述终端设备所处环境进行拍摄得到的图片或视频，以及对所述终端设备所处环境中包含的物体进行测距得到的该终端设备与对应物体之间的距离信息；

对所述环境数据进行融合处理，得到各个所述终端设备的位姿，并基于各个所述终端设备的位姿及所述环境数据构建所述终端设备所处环境的三维立体模型；

利用AR技术对所述三维立体模型进行虚拟重构，得到所述终端设备所处环境的虚拟立体场景；

利用AR技术对所述三维立体模型进行虚拟重构，得到所述终端设备所处环境的虚拟立体场景，包括：

接收外界输入的虚拟重构指令，并将所述三维立体模型中与所述虚拟重构指令对应的部分进行虚拟重构，得到对应的虚拟立体场景；

基于各个所述终端设备的位姿及所述环境数据构建所述终端设备所处环境的三维立体模型，包括：

对于每个终端设备中的任意终端设备，基于所述环境数据中的距离信息确定该任意终端设备与每个物体之间的距离，基于所述环境数据中的图片或视频确定每个物体之间的相对位置关系，基于该任意终端设备与每个物体之间的距离及每个物体之间的相对位置关系，确定该任意终端设备与每个物体之间的相对位姿；

基于各个终端设备的位姿确定各个终端设备在三维立体模型中的位姿，然后基于每个终端设备与每个物体之间的相对位姿完成三维立体模型的构建。

2.根据权利要求1所述的方法，其特征在于，还包括：

定期对所述终端设备的状态进行检测，如果检测出任一终端设备存在故障，则将对应的保修指令信息发送至指定服务器。

3.根据权利要求2所述的方法，其特征在于，定期对所述终端设备的状态进行检测并确定每个所述终端设备的状态，包括：

定时发送状态检测信息至每个所述终端设备，如果在发送所述状态检测信息之后的指定时间内未接收到任一所述终端设备返回的响应信息，则确定该终端设备存在故障。

4.根据权利要求2所述的方法，其特征在于，获取各个所述终端设备对其所处环境采集的环境数据之后，还包括：

将所述环境数据转换成具有统一网络传输数据格式的数据。

5.根据权利要求4所述的方法，其特征在于，还包括：

如果检测到任一所述终端设备存在故障，则删除获取该终端设备采集的环境数据并将其转换成具有统一网络传输数据格式的数据对应的通信通道；如果检测到出现新的终端设备，则增加获取该终端设备采集的环境数据并将其转换成具有统一网络传输数据格式的数据对应的通信通道。

6.根据权利要求1所述的方法，其特征在于，还包括：

当基于所述虚拟立体场景确定出所述终端设备所处环境出现异常情况时，控制指定可移动的终端设备移动至所述异常情况所处位姿，并将针对该位姿采集到的环境数据发送至指定服务器。

7.根据权利要求1所述的方法，其特征在于，构建所述三维立体模型及所述虚拟立体场景，包括：

将构建所述三维立体模型及所述虚拟立体场景过程中需要进行的数据融合的任务按照负载均衡原则分配至服务器集群中的不同服务器上。

8.根据权利要求1所述的方法，其特征在于，还包括：

当基于所述虚拟立体场景确定出所述终端设备所处环境出现异常情况时，基于所述虚拟立体场景规划出可供人员逃离的避障求生路线。

9.一种可视化立体建模系统，其特征在于，包括：

数据获取模块，用于获取各个终端设备对其所处环境采集的环境数据；其中，所述环境数据包括对所述终端设备所处环境进行拍摄得到的图片或视频，以及对所述终端设备所处环境中包含的物体进行测距得到的该终端设备与对应物体之间的距离信息；

模型构建模块，用于对所述环境数据进行融合处理，得到各个所述终端设备的位姿，并基于各个所述终端设备的位姿及所述环境数据构建所述终端设备所处环境的三维立体模型；

虚拟重构模块，用于利用AR技术对所述三维立体模型进行虚拟重构，得到所述终端设备所处环境的虚拟立体场景；

所述虚拟重构模块包括：

虚拟重构单元，用于：接收外界输入的虚拟重构指令，并将所述三维立体模型中与所述虚拟重构指令对应的部分进行虚拟重构，得到对应的虚拟立体场景；

所述模型构建模块基于各个所述终端设备的位姿及所述环境数据构建所述终端设备所处环境的三维立体模型，包括：对于每个终端设备中的任意终端设备，基于所述环境数据中的距离信息确定该任意终端设备与每个物体之间的距离，基于所述环境数据中的图片或视频确定每个物体之间的相对位置关系，基于该任意终端设备与每个物体之间的距离及每个物体之间的相对位置关系，确定该任意终端设备与每个物体之间的相对位姿；基于各个终端设备的位姿确定各个终端设备在三维立体模型中的位姿，然后基于每个终端设备与每个物体之间的相对位姿完成三维立体模型的构建。

Images