CN106909215A - 基于精确定位和增强现实的消防作战三维可视化指挥系统 - Google Patents

Abstract

本发明提供基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，包括增强现实采集与呈现终端、增强现实支撑平台和增强现实处理中心，增强现实采集与呈现终端用于采集视频信息和传感信息；增强现实支撑平台用于根据视频信息和传感信息、目标与外界信息和场景知识进行信息融合，构建由实体三维模型组成的增强现实场景；增强现实采集与呈现终端还用于展示增强现实场景给用户；增强现实处理中心用于提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库。本发明可以精确的对每个消防员进行运动跟踪和定位，并利用增强现实技术为其提供精准的三维态势信息和可视化指挥信息，以便更好地进行监控管理和调度。

Description

基于精确定位和增强现实的消防作战三维可视化指挥系统

技术领域

本发明涉及消防指挥系统技术领域，尤其涉及一种基于精确定位和增强现实的消防作战三维可视化指挥系统。

背景技术

随着通信和定位技术的发展，在消防作战的具体应用场合，指挥员面临这样这三个问题：一是必须考虑在无通信基础设施地域的恶劣环境下，各消防作战人员之间、作战人员与指挥所或指挥员之间如何实现宽带无线通信；二是消防是一项极其危险和复杂的工作，在救火过程中消防员时刻都面临着生命的威胁，尤其是在室内执行任务的状况下；三是消防员视觉受火场光线影响较大，对消防员的作战效能有极大消极影响。

发明内容

本发明的目的在于提供一种基于精确定位和增强现实的消防作战三维可视化指挥系统。

一方面，本发明实施例提供一种基于精确定位和增强现实的消防作战三维可视化指挥系统，包括增强现实采集与呈现终端、增强现实支撑平台和增强现实处理中心，

所述增强现实采集与呈现终端用于采集视频信息和传感信息，并发送至所述增强现实支撑平台；

所述增强现实支撑平台用于根据来自所述增强现实采集与呈现终端的所述视频信息和所述传感信息，来自所述增强现实处理中心的目标与外界信息和场景知识进行信息融合，构建由实体三维模型组成的增强现实场景，并将所述增强现实场景发送至所述增强现实采集与呈现终端；

所述增强现实采集与呈现终端还用于展示所述增强现实场景给用户；

所述增强现实处理中心用于提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库。

优选地，所述增强现实采集与呈现终端包括摄像头、头戴式显示器、头部动作跟踪模块、定位模块、投射器、无线通信模块和信息处理模块，

所述摄像头用于采集所述视频信息；

所述头部动作跟踪模块用于跟踪用户头部转动信息；

所述定位模块用于对用户的位置进行定位，将位置信息经所述信息处理模块处理后发送至所述头戴式显示器进行显示，并将所述位置信息通过所述无线通信模块发送至所述增强现实处理中心；

所述投射器用于将所述增强现实场景投射到所述头戴式显示器上进行显示。

优选地，所述头部动作跟踪模块包括重力感应传感器、陀螺仪和红外传感器。

优选地，所述定位模块包括卫星定位系统芯片和传感器芯片所述传感器芯片包括六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片。

优选地，所述增强现实支撑平台包括信息引接存储模块、信息整编处理模块和增强现实场景构建模块，

所述信息引接存储模块用于接收来自所述增强现实处理中心的所述目标与外界信息、所述场景知识信息，还由于接收来自所述增强现实采集与呈现终端的所述视频信息和所述传感信息，并存储所述目标与外界信息、所述场景知识信息、所述视频信息和所述传感信息；

所述信息整编处理模块用于对存储的所述视频信息进行图像识别，根据图像识别的结果对标识物进行跟踪生成识别后的视频信息，用于根据所述传感信息跟踪用户头部动作，通过所述识别后的视频信息和所述场景知识信息进行场景知识关联，根据用户头部动作跟踪结果和场景知识关联结果进行三维模型调用生成三维模型信息，还用于对所述目标信息和外界信息进行整编与转换，对整编与转换后的结果进行融合叠加以生成外界信息和目标信息；

所述增强现实场景构建模块用于利用所述外界信息、所述目标信息、所述三维模型信息和所述识别后的视频信息进行三维空间场景构建与转换。

优选地，所述增强现实场景构建模块包括信息引接单元、信息处理单元和实体三维模型构建单元，

所述信息引接单元用于根据所述三维模型库，提取所述识别后的视频信息中的地形数据、模型数据和纹理数据；

所述信息处理单元用于根据实体管理表建立实体显示表，结合所述识别后的视频信息和定位信息进行模型调用、特效处理，预测所需纹理信息；

所述实体三维模型构建单元用于根据所述所需纹理信息，加载所述地形数据、所述模型数据和所述纹理数据以构建所述实体三维模型。

优选地，所述所需纹理信息包括分辨率、经纬度范围、时间。

优选地，所述增强现实场景为包括基础地理模型、静态地物模型、运动标识物模型和三维队标四个层次标识的多层模型信息。

优选地，所述基础地理模型层用于展现数字高程模型、数字正射影像图、数字表面模型、基础地形要素矢量数据；所述静态地物模型层主用于展现重要建筑物、工事的三维模型；所述运动标识物模型用于展现车辆、飞行器、人员的运动；所述三维队标用于展现战场要素标识模型。

优选地，所述增强现实处理中心还用于实现多用户协同操作，将不具约束冲突的模型信息呈现给多个用户。

实施本发明实施例，具有如下有益效果：本发明提供的基于精确定位和增强现实的消防作战三维可视化指挥系统可以精确的对每个消防员进行运动跟踪和定位，并在此基础上利用增强现实技术为其提供精准的三维态势信息和可视化指挥信息，以便更好地进行监控管理和调度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的基于精确定位和增强现实的消防作战三维可视化指挥系统的原理图。

图2是图1所示的增强现实采集与呈现终端的结构示意图。

图3是图1所示的增强现实支撑平台的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例提供了一种基于精确定位和增强现实的消防作战三维可视化指挥系统。参见图1，该基于精确定位和增强现实的消防作战三维可视化指挥系统包括增强现实采集与呈现终端100、增强现实支撑平台200和增强现实处理中心300。

具体地，在本实施例中，所述增强现实采集与呈现终端100用于采集视频信息、传感信息，并发送至所述增强现实支撑平台200；所述增强现实支撑平台200用于根据来自所述增强现实采集与呈现终端100的所述视频信息和所述传感信息，来自所述增强现实处理中心300的目标与外界信息和场景知识进行信息融合，构建由实体三维模型组成的增强现实场景，并将所述增强现实场景发送至所述增强现实采集与呈现终端100；所述增强现实采集与呈现终端100还用于展示所述增强现实场景给用户；所述增强现实处理中心300用于提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库。

图2是图1所示的增强现实采集与呈现终端的结构示意图。如图2所示，所述增强现实采集与呈现终端100包括摄像头110、头戴式显示器120、头部动作跟踪模块130、定位模块140、投射器150、无线通信模块160和信息处理模块170，其中，所述摄像头110用于采集所述视频信息；所述头部动作跟踪模块130用于跟踪用户头部转动信息；所述定位模块140用于对用户的位置进行定位，将位置信息经信息处理模块170处理后发送至所述头戴式显示器120进行显示，并将所述位置信息通过所述无线通信模块160发送至所述增强现实处理中心300；所述投射器150用于将所述增强现实场景投射到所述头戴式显示器120上进行显示。

头盔式显示器(Head-mounted displays，简称HMD)被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。根据具体实现原理，HMD又划分为两大类，分别是基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(VideoSee-through HMD)。在本实施例中，头戴式显示器120采用基于视频合成技术的穿透式HMD。

在本实施例中，头部动作跟踪模块130包括重力感应传感器、陀螺仪和红外传感器，主要跟踪用户头部上下左右转动，发送到增强现实支撑平台，用于增强现实场景构建。

在本实施例中，所述定位模块140包括卫星定位系统芯片和传感器芯片所述传感器芯片包括六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片。具体地，采用北斗、GPS和格洛纳斯芯片的解决方案实现人员室外位置的定位。在军用场合，采用北斗方式实现位置定位；在消防等其他场合，可使用任意一种或两种卫星定位系统实现联合定位。针对室内定位，采用六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片，实时采集人员的加速度信息、行走角度可信息和高程信息并将传感信息实时传送到显示终端上，通过显示终端的处理能力进行算法定位并在界面地图上进行显示。同时还可通过无线通信模块将自身的位置信息实时回传至增强现实处理中心的指挥员，为指挥员的指挥调度提供重要辅助决策。定位模块可做成手环或脚环等可穿戴设备样式，供消防人员直接进行佩戴。

在使用时，消防人员佩戴定位终端(脚环)，在进入室内之前，定位终端获得最后一个GPS位置信息，作为室内定位的起始坐标点。而后，依靠六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片完成对人员航行位置信息的采集，同时传送至消防人员所佩戴的显示终端上，依靠显示终端强大的处理能力，通过室内定位算法算出人员目前所处的位置，并同步显示在显示终端的室内平面地图上。同时，位置信息和视频信息还可通过自组网台将自身的位置信息实时回传至指挥员，为指挥员的指挥调度和决策提供重要辅助手段。

消防定位设备的运用，使得现场指挥中心能够非常方便的了解消防队员在火灾现在的相对位置，从而能够快速引导救援人员以最佳路线赶赴事发点，为灭火和救援赢得宝贵的时间。其次，详尽明确的全员位置信息还利于现场指挥中心根据火情的发展进行合理人员调配，并向相关位置人员发送预警和疏导撤离信息。

图3是图1所示的增强现实支撑平台的结构示意图。如图3所示，所述增强现实支撑平台200包括信息引接存储模块210、信息整编处理模块220和增强现实场景构建模块230。

所述信息引接存储模块210用于接收来自所述增强现实处理中心300的所述目标与外界信息、所述场景知识信息，还由于接收来自所述增强现实采集与呈现终端100的所述视频信息和所述传感信息，并存储所述目标与外界信息、所述场景知识信息、所述视频信息和所述传感信息。

所述信息整编处理模块220用于对存储的所述视频信息进行图像识别，根据图像识别的结果对标识物进行跟踪生成识别后的视频信息，用于根据所述传感信息跟踪用户头部动作，通过所述识别后的视频信息和所述场景知识信息进行场景知识关联，根据用户头部动作跟踪结果和场景知识关联结果进行三维模型调用生成三维模型信息，还用于对所述目标信息和外界信息进行整编与转换，对整编与转换后的结果进行融合叠加以生成外界信息和目标信息.

所述增强现实场景构建模块230用于利用所述外界信息、所述目标信息、所述三维模型信息和所述识别后的视频信息进行三维空间场景构建与转换。

进一步地，如图3所示，所述增强现实场景构建模块230包括信息引接单元232、信息处理单元234和实体三维模型构建单元236，所述信息引接单元用于根据所述三维模型库，提取所述识别后的视频信息中的地形数据、模型数据和纹理数据；所述信息处理单元用于根据实体管理表建立实体显示表，结合所述识别后的视频信息和定位信息进行模型调用、特效处理，预测所需纹理信息；所述实体三维模型构建单元用于根据所述所需纹理信息，加载所述地形数据、所述模型数据和所述纹理数据以构建所述实体三维模型。所述所需纹理信息包括分辨率、经纬度范围、时间。

在本发明中，将增强实体定义为实体本体和实体状态。实体本体是现实世界中能被感知的本体属性，包含了想定中各作战单元类型型号、所配置的武器装备类型型号和数量；实体状态包含了实体本体的部署位置、高度、方向和速度等，以及当前处于激活状态的各作战单元(兵力、发射武器等)的位置姿态，另外，还包含对目标三维发现、处理与威胁估计等信息。因此，增强实体建模一般分为三个步骤：第一，通过信息引接，提取地形(分辨率、经纬度范围)、模型、纹理(各纹理数据块分辨率、经纬度范围)三种数据；第二，根据实体管理表建立实体显示表，结合视频信息和定位信息进行模型调用、特效处理，预测所需纹理(分辨率、经纬度范围、时间)；第三，加载地形数据、模型数据和纹理数据进行实体三维模型构建。

进一步地，在本实施例中，所述增强现实场景为包括基础地理模型、静态地物模型、运动标识物模型和三维队标四个层次标识的多层模型信息。所述基础地理模型层用于展现数字高程模型、数字正射影像图、数字表面模型、基础地形要素矢量数据；所述静态地物模型层主用于展现重要建筑物、工事的三维模型；所述运动标识物模型用于展现车辆、飞行器、人员的运动；所述三维队标用于展现战场要素标识模型。

进一步地，在增强现实采集与呈现终端上呈现的信息主要包括视频信息、三维模型信息、目标信息和外界信息。视频信息是从增强现实采集与呈现终端采集的视频；三维模型信息主要是包括单位、人员、装备、设施、部署和行动6个主要因素，显示的内容与之对应，也包括了上述6个主要内容；目标信息主要包括目标定位、目标识别、威胁估计和态势估计信息等；外界信息主要包括社会政治信息、战场环境信息、先验历史数据和任务目标信息等。

在本发明中，增强现实处理中心要提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库等。识别图像库是战场图像识别的训练数据库，可为视频图像识别提供支撑；场景知识库分不同场景存储不同作战地域、不同作战样式、训练和演练的历史数据；三维模型库是三维场景构建中需要用到的各种三维模型；目标信息库是敌方固定和运动目标的实体类型、特征、运动轨迹、威胁估计和历史数据等信息；外界信息库包括和战场环境相关的知识信息。

进一步地，所述增强现实处理中心还用于实现多用户协同操作，将不具约束冲突的模型信息呈现给多个用户。

在使用时，各消防人员可以通过自己佩戴的显示终端进行自身的定位和路线导航，同时将自己的位置信息通过无线自组网台实时回传并显示在指挥员的显示终端上，并可实现消防人员和指挥员之间、消防人员之间可以实现语音通信指挥调度，佩戴视频终端的消防人员还可以将火场视频实时回传至指挥员。因此，在多用户协同时，需要区分用户集、角色集、权限集和资源集，通过约束集实现四个集之间的映射关系。约束1是用户角色分配约束，主要规定什么样的用户能分配什么样的角色；约束2是角色权限分配约束，规定什么样的角色能分配什么样的权限；约束3是资源访问权限约束，主要规定什么资源能够被什么权限的角色访问。整个系统通过用户会话分配用户角色、角色权限和权限资源，从而产生用户实例。每个信息用户在系统内都有且仅有一个实例，通过这个实例发送请求，系统将请求转化为任务并进行任务排队，按照序化方式访问资源。

特别地，在进行模型资源访问过程中，当某个约束被用户操作违反时，这个信息将发送给所有其他用户，而约束冲突的处理将由所有用户通过讨论方式产生，随后编辑用户将被要求按照约束冲突的处理意见进行模型的再编辑，之后约束分析将会被再次执行并且将执行信息发送给其他用户，当不再有约束冲突后模型信息以及参数修改将会在所有用户客户端呈现。从而保证模型的一致性。

有利地，本发明提供的基于精确定位和增强现实的消防作战三维可视化指挥系统可以精确的对每个消防员进行运动跟踪和定位，并在此基础上利用增强现实技术为其提供精准的三维态势信息和可视化指挥信息，以便更好地进行监控管理和调度。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，包括增强现实采集与呈现终端、增强现实支撑平台和增强现实处理中心，

所述增强现实采集与呈现终端用于采集视频信息和传感信息，并发送至所述增强现实支撑平台；

所述增强现实支撑平台用于根据来自所述增强现实采集与呈现终端的所述视频信息和所述传感信息，来自所述增强现实处理中心的目标与外界信息和场景知识进行信息融合，构建由实体三维模型组成的增强现实场景，并将所述增强现实场景发送至所述增强现实采集与呈现终端；

所述增强现实采集与呈现终端还用于展示所述增强现实场景给用户；

所述增强现实处理中心用于提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库。

2.根据权利要求1中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述增强现实采集与呈现终端包括摄像头、头戴式显示器、头部动作跟踪模块、定位模块、投射器、无线通信模块和信息处理模块，

所述摄像头用于采集所述视频信息；

所述头部动作跟踪模块用于跟踪用户头部转动信息；

所述定位模块用于对用户的位置进行定位，将位置信息经所述信息处理模块处理后发送至所述头戴式显示器进行显示，并将所述位置信息通过所述无线通信模块发送至所述增强现实处理中心；

所述投射器用于将所述增强现实场景投射到所述头戴式显示器上进行显示。

3.根据权利要求2中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述头部动作跟踪模块包括重力感应传感器、陀螺仪和红外传感器。

4.根据权利要求2中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述定位模块包括卫星定位系统芯片和传感器芯片所述传感器芯片包括六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片。

5.根据权利要求1中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述增强现实支撑平台包括信息引接存储模块、信息整编处理模块和增强现实场景构建模块，

所述信息引接存储模块用于接收来自所述增强现实处理中心的所述目标与外界信息、所述场景知识信息，还由于接收来自所述增强现实采集与呈现终端的所述视频信息和所述传感信息，并存储所述目标与外界信息、所述场景知识信息、所述视频信息和所述传感信息；

所述信息整编处理模块用于对存储的所述视频信息进行图像识别，根据图像识别的结果对标识物进行跟踪生成识别后的视频信息，用于根据所述传感信息跟踪用户头部动作，通过所述识别后的视频信息和所述场景知识信息进行场景知识关联，根据用户头部动作跟踪结果和场景知识关联结果进行三维模型调用生成三维模型信息，还用于对所述目标信息和外界信息进行整编与转换，对整编与转换后的结果进行融合叠加以生成外界信息和目标信息；

所述增强现实场景构建模块用于利用所述外界信息、所述目标信息、所述三维模型信息和所述识别后的视频信息进行三维空间场景构建与转换。

6.根据权利要求5中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述增强现实场景构建模块包括信息引接单元、信息处理单元和实体三维模型构建单元，

所述信息引接单元用于根据所述三维模型库，提取所述识别后的视频信息中的地形数据、模型数据和纹理数据；

所述信息处理单元用于根据实体管理表建立实体显示表，结合所述识别后的视频信息和定位信息进行模型调用、特效处理，预测所需纹理信息；

所述实体三维模型构建单元用于根据所述所需纹理信息，加载所述地形数据、所述模型数据和所述纹理数据以构建所述实体三维模型。

7.根据权利要求6中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述所需纹理信息包括分辨率、经纬度范围、时间。

8.根据权利要求1中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述增强现实场景为包括基础地理模型、静态地物模型、运动标识物模型和三维队标四个层次标识的多层模型信息。

9.根据权利要求8中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述基础地理模型层用于展现数字高程模型、数字正射影像图、数字表面模型、基础地形要素矢量数据；所述静态地物模型层主用于展现重要建筑物、工事的三维模型；所述运动标识物模型用于展现车辆、飞行器、人员的运动；所述三维队标用于展现战场要素标识模型。

10.根据权利要求1中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述增强现实处理中心还用于实现多用户协同操作，将不具约束冲突的模型信息呈现给多个用户。