CN106909215B - 基于精确定位和增强现实的消防作战三维可视化指挥系统 - Google Patents

基于精确定位和增强现实的消防作战三维可视化指挥系统 Download PDF

Info

Publication number
CN106909215B
CN106909215B CN201611249332.9A CN201611249332A CN106909215B CN 106909215 B CN106909215 B CN 106909215B CN 201611249332 A CN201611249332 A CN 201611249332A CN 106909215 B CN106909215 B CN 106909215B
Authority
CN
China
Prior art keywords
information
augmented reality
model
dimensional
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611249332.9A
Other languages
English (en)
Other versions
CN106909215A (zh
Inventor
姜飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Howah Network Communication Co ltd
Original Assignee
Shenzhen Howah Network Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Howah Network Communication Co ltd filed Critical Shenzhen Howah Network Communication Co ltd
Priority to CN201611249332.9A priority Critical patent/CN106909215B/zh
Publication of CN106909215A publication Critical patent/CN106909215A/zh
Application granted granted Critical
Publication of CN106909215B publication Critical patent/CN106909215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，包括增强现实采集与呈现终端、增强现实支撑平台和增强现实处理中心，增强现实采集与呈现终端用于采集视频信息和传感信息；增强现实支撑平台用于根据视频信息和传感信息、目标与外界信息和场景知识进行信息融合，构建由实体三维模型组成的增强现实场景；增强现实采集与呈现终端还用于展示增强现实场景给用户；增强现实处理中心用于提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库。本发明可以精确的对每个消防员进行运动跟踪和定位，并利用增强现实技术为其提供精准的三维态势信息和可视化指挥信息，以便更好地进行监控管理和调度。

Description

基于精确定位和增强现实的消防作战三维可视化指挥系统
技术领域
本发明涉及消防指挥系统技术领域，尤其涉及一种基于精确定位和增强现实的消防作战三维可视化指挥系统。
背景技术
随着通信和定位技术的发展，在消防作战的具体应用场合，指挥员面临这样这三个问题：一是必须考虑在无通信基础设施地域的恶劣环境下，各消防作战人员之间、作战人员与指挥所或指挥员之间如何实现宽带无线通信；二是消防是一项极其危险和复杂的工作，在救火过程中消防员时刻都面临着生命的威胁，尤其是在室内执行任务的状况下；三是消防员视觉受火场光线影响较大，对消防员的作战效能有极大消极影响。
发明内容
本发明的目的在于提供一种基于精确定位和增强现实的消防作战三维可视化指挥系统。
一方面，本发明实施例提供一种基于精确定位和增强现实的消防作战三维可视化指挥系统，包括增强现实采集与呈现终端、增强现实支撑平台和增强现实处理中心，
所述增强现实采集与呈现终端用于采集视频信息和传感信息，并发送至所述增强现实支撑平台；
所述增强现实支撑平台用于根据来自所述增强现实采集与呈现终端的所述视频信息和所述传感信息，来自所述增强现实处理中心的目标与外界信息和场景知识进行信息融合，构建由实体三维模型组成的增强现实场景，并将所述增强现实场景发送至所述增强现实采集与呈现终端；
所述增强现实采集与呈现终端还用于展示所述增强现实场景给用户；
所述增强现实处理中心用于提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库。
优选地，所述增强现实采集与呈现终端包括摄像头、头戴式显示器、头部动作跟踪模块、定位模块、投射器、无线通信模块和信息处理模块，
所述摄像头用于采集所述视频信息；
所述头部动作跟踪模块用于跟踪用户头部转动信息；
所述定位模块用于对用户的位置进行定位，将位置信息经所述信息处理模块处理后发送至所述头戴式显示器进行显示，并将所述位置信息通过所述无线通信模块发送至所述增强现实处理中心；
所述投射器用于将所述增强现实场景投射到所述头戴式显示器上进行显示。
优选地，所述头部动作跟踪模块包括重力感应传感器、陀螺仪和红外传感器。
优选地，所述定位模块包括卫星定位系统芯片和传感器芯片所述传感器芯片包括六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片。
优选地，所述增强现实支撑平台包括信息引接存储模块、信息整编处理模块和增强现实场景构建模块，
所述信息引接存储模块用于接收来自所述增强现实处理中心的所述目标与外界信息、所述场景知识信息，还由于接收来自所述增强现实采集与呈现终端的所述视频信息和所述传感信息，并存储所述目标与外界信息、所述场景知识信息、所述视频信息和所述传感信息；
所述信息整编处理模块用于对存储的所述视频信息进行图像识别，根据图像识别的结果对标识物进行跟踪生成识别后的视频信息，用于根据所述传感信息跟踪用户头部动作，通过所述识别后的视频信息和所述场景知识信息进行场景知识关联，根据用户头部动作跟踪结果和场景知识关联结果进行三维模型调用生成三维模型信息，还用于对所述目标信息和外界信息进行整编与转换，对整编与转换后的结果进行融合叠加以生成外界信息和目标信息；
所述增强现实场景构建模块用于利用所述外界信息、所述目标信息、所述三维模型信息和所述识别后的视频信息进行三维空间场景构建与转换。
优选地，所述增强现实场景构建模块包括信息引接单元、信息处理单元和实体三维模型构建单元，
所述信息引接单元用于根据所述三维模型库，提取所述识别后的视频信息中的地形数据、模型数据和纹理数据；
所述信息处理单元用于根据实体管理表建立实体显示表，结合所述识别后的视频信息和定位信息进行模型调用、特效处理，预测所需纹理信息；
所述实体三维模型构建单元用于根据所述所需纹理信息，加载所述地形数据、所述模型数据和所述纹理数据以构建所述实体三维模型。
优选地，所述所需纹理信息包括分辨率、经纬度范围、时间。
优选地，所述增强现实场景为包括基础地理模型、静态地物模型、运动标识物模型和三维队标四个层次标识的多层模型信息。
优选地，所述基础地理模型层用于展现数字高程模型、数字正射影像图、数字表面模型、基础地形要素矢量数据；所述静态地物模型层主用于展现重要建筑物、工事的三维模型；所述运动标识物模型用于展现车辆、飞行器、人员的运动；所述三维队标用于展现战场要素标识模型。
优选地，所述增强现实处理中心还用于实现多用户协同操作，将不具约束冲突的模型信息呈现给多个用户。
实施本发明实施例，具有如下有益效果：本发明提供的基于精确定位和增强现实的消防作战三维可视化指挥系统可以精确的对每个消防员进行运动跟踪和定位，并在此基础上利用增强现实技术为其提供精准的三维态势信息和可视化指挥信息，以便更好地进行监控管理和调度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的基于精确定位和增强现实的消防作战三维可视化指挥系统的原理图。
图2是图1所示的增强现实采集与呈现终端的结构示意图。
图3是图1所示的增强现实支撑平台的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种基于精确定位和增强现实的消防作战三维可视化指挥系统。参见图1，该基于精确定位和增强现实的消防作战三维可视化指挥系统包括增强现实采集与呈现终端100、增强现实支撑平台200和增强现实处理中心300。
具体地，在本实施例中，所述增强现实采集与呈现终端100用于采集视频信息、传感信息，并发送至所述增强现实支撑平台200；所述增强现实支撑平台200用于根据来自所述增强现实采集与呈现终端100的所述视频信息和所述传感信息，来自所述增强现实处理中心300的目标与外界信息和场景知识进行信息融合，构建由实体三维模型组成的增强现实场景，并将所述增强现实场景发送至所述增强现实采集与呈现终端100；所述增强现实采集与呈现终端100还用于展示所述增强现实场景给用户；所述增强现实处理中心300用于提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库。
图2是图1所示的增强现实采集与呈现终端的结构示意图。如图2所示，所述增强现实采集与呈现终端100包括摄像头110、头戴式显示器120、头部动作跟踪模块130、定位模块140、投射器150、无线通信模块160和信息处理模块170，其中，所述摄像头110用于采集所述视频信息；所述头部动作跟踪模块130用于跟踪用户头部转动信息；所述定位模块140用于对用户的位置进行定位，将位置信息经信息处理模块170处理后发送至所述头戴式显示器120进行显示，并将所述位置信息通过所述无线通信模块160发送至所述增强现实处理中心300；所述投射器150用于将所述增强现实场景投射到所述头戴式显示器120上进行显示。
头盔式显示器(Head-mounted displays，简称HMD)被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。根据具体实现原理，HMD又划分为两大类，分别是基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(VideoSee-through HMD)。在本实施例中，头戴式显示器120采用基于视频合成技术的穿透式HMD。
在本实施例中，头部动作跟踪模块130包括重力感应传感器、陀螺仪和红外传感器，主要跟踪用户头部上下左右转动，发送到增强现实支撑平台，用于增强现实场景构建。
在本实施例中，所述定位模块140包括卫星定位系统芯片和传感器芯片所述传感器芯片包括六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片。具体地，采用北斗、GPS和格洛纳斯芯片的解决方案实现人员室外位置的定位。在军用场合，采用北斗方式实现位置定位；在消防等其他场合，可使用任意一种或两种卫星定位系统实现联合定位。针对室内定位，采用六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片，实时采集人员的加速度信息、行走角度可信息和高程信息并将传感信息实时传送到显示终端上，通过显示终端的处理能力进行算法定位并在界面地图上进行显示。同时还可通过无线通信模块将自身的位置信息实时回传至增强现实处理中心的指挥员，为指挥员的指挥调度提供重要辅助决策。定位模块可做成手环或脚环等可穿戴设备样式，供消防人员直接进行佩戴。
在使用时，消防人员佩戴定位终端(脚环)，在进入室内之前，定位终端获得最后一个GPS位置信息，作为室内定位的起始坐标点。而后，依靠六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片完成对人员航行位置信息的采集，同时传送至消防人员所佩戴的显示终端上，依靠显示终端强大的处理能力，通过室内定位算法算出人员目前所处的位置，并同步显示在显示终端的室内平面地图上。同时，位置信息和视频信息还可通过自组网台将自身的位置信息实时回传至指挥员，为指挥员的指挥调度和决策提供重要辅助手段。
消防定位设备的运用，使得现场指挥中心能够非常方便的了解消防队员在火灾现在的相对位置，从而能够快速引导救援人员以最佳路线赶赴事发点，为灭火和救援赢得宝贵的时间。其次，详尽明确的全员位置信息还利于现场指挥中心根据火情的发展进行合理人员调配，并向相关位置人员发送预警和疏导撤离信息。
图3是图1所示的增强现实支撑平台的结构示意图。如图3所示，所述增强现实支撑平台200包括信息引接存储模块210、信息整编处理模块220和增强现实场景构建模块230。
所述信息引接存储模块210用于接收来自所述增强现实处理中心300的所述目标与外界信息、所述场景知识信息，还由于接收来自所述增强现实采集与呈现终端100的所述视频信息和所述传感信息，并存储所述目标与外界信息、所述场景知识信息、所述视频信息和所述传感信息。
所述信息整编处理模块220用于对存储的所述视频信息进行图像识别，根据图像识别的结果对标识物进行跟踪生成识别后的视频信息，用于根据所述传感信息跟踪用户头部动作，通过所述识别后的视频信息和所述场景知识信息进行场景知识关联，根据用户头部动作跟踪结果和场景知识关联结果进行三维模型调用生成三维模型信息，还用于对所述目标信息和外界信息进行整编与转换，对整编与转换后的结果进行融合叠加以生成外界信息和目标信息.
所述增强现实场景构建模块230用于利用所述外界信息、所述目标信息、所述三维模型信息和所述识别后的视频信息进行三维空间场景构建与转换。
进一步地，如图3所示，所述增强现实场景构建模块230包括信息引接单元232、信息处理单元234和实体三维模型构建单元236，所述信息引接单元用于根据所述三维模型库，提取所述识别后的视频信息中的地形数据、模型数据和纹理数据；所述信息处理单元用于根据实体管理表建立实体显示表，结合所述识别后的视频信息和定位信息进行模型调用、特效处理，预测所需纹理信息；所述实体三维模型构建单元用于根据所述所需纹理信息，加载所述地形数据、所述模型数据和所述纹理数据以构建所述实体三维模型。所述所需纹理信息包括分辨率、经纬度范围、时间。
在本发明中，将增强实体定义为实体本体和实体状态。实体本体是现实世界中能被感知的本体属性，包含了想定中各作战单元类型型号、所配置的武器装备类型型号和数量；实体状态包含了实体本体的部署位置、高度、方向和速度等，以及当前处于激活状态的各作战单元(兵力、发射武器等)的位置姿态，另外，还包含对目标三维发现、处理与威胁估计等信息。因此，增强实体建模一般分为三个步骤：第一，通过信息引接，提取地形(分辨率、经纬度范围)、模型、纹理(各纹理数据块分辨率、经纬度范围)三种数据；第二，根据实体管理表建立实体显示表，结合视频信息和定位信息进行模型调用、特效处理，预测所需纹理(分辨率、经纬度范围、时间)；第三，加载地形数据、模型数据和纹理数据进行实体三维模型构建。
进一步地，在本实施例中，所述增强现实场景为包括基础地理模型、静态地物模型、运动标识物模型和三维队标四个层次标识的多层模型信息。所述基础地理模型层用于展现数字高程模型、数字正射影像图、数字表面模型、基础地形要素矢量数据；所述静态地物模型层主用于展现重要建筑物、工事的三维模型；所述运动标识物模型用于展现车辆、飞行器、人员的运动；所述三维队标用于展现战场要素标识模型。
进一步地，在增强现实采集与呈现终端上呈现的信息主要包括视频信息、三维模型信息、目标信息和外界信息。视频信息是从增强现实采集与呈现终端采集的视频；三维模型信息主要是包括单位、人员、装备、设施、部署和行动6个主要因素，显示的内容与之对应，也包括了上述6个主要内容；目标信息主要包括目标定位、目标识别、威胁估计和态势估计信息等；外界信息主要包括社会政治信息、战场环境信息、先验历史数据和任务目标信息等。
在本发明中，增强现实处理中心要提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库等。识别图像库是战场图像识别的训练数据库，可为视频图像识别提供支撑；场景知识库分不同场景存储不同作战地域、不同作战样式、训练和演练的历史数据；三维模型库是三维场景构建中需要用到的各种三维模型；目标信息库是敌方固定和运动目标的实体类型、特征、运动轨迹、威胁估计和历史数据等信息；外界信息库包括和战场环境相关的知识信息。
进一步地，所述增强现实处理中心还用于实现多用户协同操作，将不具约束冲突的模型信息呈现给多个用户。
在使用时，各消防人员可以通过自己佩戴的显示终端进行自身的定位和路线导航，同时将自己的位置信息通过无线自组网台实时回传并显示在指挥员的显示终端上，并可实现消防人员和指挥员之间、消防人员之间可以实现语音通信指挥调度，佩戴视频终端的消防人员还可以将火场视频实时回传至指挥员。因此，在多用户协同时，需要区分用户集、角色集、权限集和资源集，通过约束集实现四个集之间的映射关系。约束1是用户角色分配约束，主要规定什么样的用户能分配什么样的角色；约束2是角色权限分配约束，规定什么样的角色能分配什么样的权限；约束3是资源访问权限约束，主要规定什么资源能够被什么权限的角色访问。整个系统通过用户会话分配用户角色、角色权限和权限资源，从而产生用户实例。每个信息用户在系统内都有且仅有一个实例，通过这个实例发送请求，系统将请求转化为任务并进行任务排队，按照序化方式访问资源。
特别地，在进行模型资源访问过程中，当某个约束被用户操作违反时，这个信息将发送给所有其他用户，而约束冲突的处理将由所有用户通过讨论方式产生，随后编辑用户将被要求按照约束冲突的处理意见进行模型的再编辑，之后约束分析将会被再次执行并且将执行信息发送给其他用户，当不再有约束冲突后模型信息以及参数修改将会在所有用户客户端呈现。从而保证模型的一致性。
有利地，本发明提供的基于精确定位和增强现实的消防作战三维可视化指挥系统可以精确的对每个消防员进行运动跟踪和定位，并在此基础上利用增强现实技术为其提供精准的三维态势信息和可视化指挥信息，以便更好地进行监控管理和调度。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (8)

1.一种基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，包括增强现实采集与呈现终端、增强现实支撑平台和增强现实处理中心，
所述增强现实采集与呈现终端用于采集视频信息和传感信息，并发送至所述增强现实支撑平台；
所述增强现实支撑平台用于根据来自所述增强现实采集与呈现终端的所述视频信息和所述传感信息，来自所述增强现实处理中心的目标与外界信息和场景知识信息进行信息融合，构建由实体三维模型组成的增强现实场景，并将所述增强现实场景发送至所述增强现实采集与呈现终端；
所述增强现实采集与呈现终端还用于展示所述增强现实场景给用户；
所述增强现实处理中心用于提供识别图像库、场景知识库、三维模型库、目标信息库和外界信息库；
所述增强现实支撑平台包括信息引接存储模块、信息整编处理模块和增强现实场景构建模块，
所述信息引接存储模块用于接收来自所述增强现实处理中心的所述目标与外界信息、所述场景知识信息，还由于接收来自所述增强现实采集与呈现终端的所述视频信息和所述传感信息，并存储所述目标与外界信息、所述场景知识信息、所述视频信息和所述传感信息；
所述信息整编处理模块用于对存储的所述视频信息进行图像识别，根据图像识别的结果对标识物进行跟踪生成识别后的视频信息，用于根据所述传感信息跟踪用户头部动作，通过所述识别后的视频信息和所述场景知识信息进行场景知识关联，根据用户头部动作跟踪结果和场景知识关联结果进行三维模型调用生成三维模型信息，还用于对所述目标信息和外界信息进行整编与转换，对整编与转换后的结果进行融合叠加以生成外界信息和目标信息；
所述增强现实场景构建模块用于利用所述外界信息、所述目标信息、所述三维模型信息和所述识别后的视频信息进行三维空间场景构建与转换；
所述增强现实场景构建模块包括信息引接单元、信息处理单元和实体三维模型构建单元，
所述信息引接单元用于根据所述三维模型库，提取所述识别后的视频信息中的地形数据、模型数据和纹理数据；
所述信息处理单元用于根据实体管理表建立实体显示表，结合所述识别后的视频信息和定位信息进行模型调用、特效处理，预测所需纹理信息；
所述实体三维模型构建单元用于根据所述所需纹理信息，加载所述地形数据、所述模型数据和所述纹理数据以构建所述实体三维模型。
2.根据权利要求1中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述增强现实采集与呈现终端包括摄像头、头戴式显示器、头部动作跟踪模块、定位模块、投射器、无线通信模块和信息处理模块，
所述摄像头用于采集所述视频信息；
所述头部动作跟踪模块用于跟踪用户头部转动信息；
所述定位模块用于对用户的位置进行定位，将位置信息经所述信息处理模块处理后发送至所述头戴式显示器进行显示，并将所述位置信息通过所述无线通信模块发送至所述增强现实处理中心；
所述投射器用于将所述增强现实场景投射到所述头戴式显示器上进行显示。
3.根据权利要求2中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述头部动作跟踪模块包括重力感应传感器、陀螺仪和红外传感器。
4.根据权利要求2中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述定位模块包括卫星定位系统芯片和传感器芯片，所述传感器芯片包括六轴陀螺仪传感器、加速度传感器、地磁传感器和气压传感器芯片。
5.根据权利要求1中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述所需纹理信息包括分辨率、经纬度范围、时间。
6.根据权利要求1中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述增强现实场景为包括基础地理模型、静态地物模型、运动标识物模型和三维队标四个层次标识的多层模型信息。
7.根据权利要求6中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述基础地理模型层用于展现数字高程模型、数字正射影像图、数字表面模型、基础地形要素矢量数据；所述静态地物模型层主用于展现重要建筑物、工事的三维模型；所述运动标识物模型用于展现车辆、飞行器、人员的运动；所述三维队标用于展现战场要素标识模型。
8.根据权利要求1中所述的基于精确定位和增强现实的消防作战三维可视化指挥系统，其特征在于，所述增强现实处理中心还用于实现多用户协同操作，将不具约束冲突的模型信息呈现给多个用户。
CN201611249332.9A 2016-12-29 2016-12-29 基于精确定位和增强现实的消防作战三维可视化指挥系统 Active CN106909215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611249332.9A CN106909215B (zh) 2016-12-29 2016-12-29 基于精确定位和增强现实的消防作战三维可视化指挥系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611249332.9A CN106909215B (zh) 2016-12-29 2016-12-29 基于精确定位和增强现实的消防作战三维可视化指挥系统

Publications (2)

Publication Number Publication Date
CN106909215A CN106909215A (zh) 2017-06-30
CN106909215B true CN106909215B (zh) 2020-05-12

Family

ID=59207220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611249332.9A Active CN106909215B (zh) 2016-12-29 2016-12-29 基于精确定位和增强现实的消防作战三维可视化指挥系统

Country Status (1)

Country Link
CN (1) CN106909215B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107462994A (zh) * 2017-09-04 2017-12-12 浙江大学 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法
CN108957504A (zh) * 2017-11-08 2018-12-07 北京市燃气集团有限责任公司 室内外连续定位的方法和系统
CN108318029A (zh) * 2017-11-27 2018-07-24 中国电子科技集团公司电子科学研究院 姿态跟踪与图像叠加方法及显示设备
CN108334538A (zh) * 2017-12-08 2018-07-27 国网浙江省电力有限公司信息通信分公司 一种基于三维实景的输变电设备知识可视化方法和系统
CN108279419A (zh) * 2018-01-18 2018-07-13 上海瀚莅电子科技有限公司 火场环境显示方法、装置、头戴设备及可读存储介质
CN108464554A (zh) * 2018-04-03 2018-08-31 深圳市晨芯成科技有限公司 基于人工智能图像识别的消防ar头盔、警用ar眼镜及应用
CN108600367A (zh) * 2018-04-24 2018-09-28 上海奥孛睿斯科技有限公司 物联网系统及方法
CN108650245A (zh) * 2018-04-24 2018-10-12 上海奥孛睿斯科技有限公司 基于增强现实技术的物联网系统及运行方法
CN108810093A (zh) * 2018-05-17 2018-11-13 重庆豪山办公家具有限责任公司 一种应急指挥平台
CN109634409A (zh) * 2018-11-26 2019-04-16 深圳增强现实技术有限公司 Ar控制方法及分离式ar设备
CN109636907A (zh) * 2018-12-13 2019-04-16 谷东科技有限公司 一种基于ar眼镜的地形重建方法及系统
CN109997172A (zh) * 2019-02-20 2019-07-09 深圳市汇顶科技股份有限公司 三维场景建模方法、装置、设备及存储介质
CN109920063B (zh) * 2019-03-11 2023-04-28 中船第九设计研究院工程有限公司 一种船舶分段堆场引导系统构建方法
CN110990506A (zh) * 2019-11-25 2020-04-10 新智道枢(上海)科技有限公司 一种融合ar技术的多维合成指挥系统
CN110930485B (zh) * 2019-12-09 2023-11-14 米哈游科技（上海）有限公司 基于动画的角色旋转方法、装置、服务器及存储介质
CN111369667A (zh) * 2020-03-05 2020-07-03 西安奥卡云数据科技有限公司 一种三维场景生成方法及系统
CN111984751B (zh) * 2020-07-13 2023-11-10 北京华如科技股份有限公司 一种基于多域作战可视化展现的系统及方法
CN112099620A (zh) * 2020-08-11 2020-12-18 中国人民解放军军事科学院国防科技创新研究院 一种面向士兵及班组作战的战斗协同系统及方法
CN112764530A (zh) * 2020-12-30 2021-05-07 中国人民解放军32181部队 一种基于触控手柄和增强现实眼镜的弹药识别方法
CN116634102B (zh) * 2023-05-25 2024-02-06 广州融生信息技术有限公司 一种基于前端指挥设备的数据处理方法及前端指挥设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003043483A2 (en) * 2001-11-20 2003-05-30 Avi Peled System and method for diagnosis of mental disorders
CN105096685A (zh) * 2015-08-13 2015-11-25 中国石油化工股份有限公司 石化火灾场景多感知应急训练系统
CN105183823A (zh) * 2015-08-28 2015-12-23 上海永为科技有限公司 一种虚拟对象和实景影像的互动展示系统
CN105405168A (zh) * 2015-11-19 2016-03-16 青岛黑晶信息技术有限公司 一种实现三维增强现实的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504753B (zh) * 2014-12-18 2018-07-27 深圳先进技术研究院 一种基于增强现实的互联网三维ip地图系统及方法
CN105516654B (zh) * 2015-11-25 2018-10-26 华中师范大学 一种基于场景结构分析的城市监控视频融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003043483A2 (en) * 2001-11-20 2003-05-30 Avi Peled System and method for diagnosis of mental disorders
CN105096685A (zh) * 2015-08-13 2015-11-25 中国石油化工股份有限公司 石化火灾场景多感知应急训练系统
CN105183823A (zh) * 2015-08-28 2015-12-23 上海永为科技有限公司 一种虚拟对象和实景影像的互动展示系统
CN105405168A (zh) * 2015-11-19 2016-03-16 青岛黑晶信息技术有限公司 一种实现三维增强现实的方法及装置

Also Published As

Publication number Publication date
CN106909215A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106909215B (zh) 基于精确定位和增强现实的消防作战三维可视化指挥系统
US11093026B2 (en) Electronic device displays an image of an obstructed target
CN106454209B (zh) 基于时空信息融合技术的无人机应急快反数据链系统及方法
CN204465738U (zh) 一种救灾救援可视系统
CN104660995A (zh) 一种救灾救援可视系统
EP1712981A1 (en) Interactive augmented reality system
CN116308944B (zh) 一种面向应急救援的数字战场实战指控平台及架构
US20080218331A1 (en) Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US20150054826A1 (en) Augmented reality system for identifying force capability and occluded terrain
KR20050070042A (ko) 3차원의 초정밀 실시간 추적 및 위치파악 시스템 및 방법
JP7432595B2 (ja) 連携仮想インターフェース
Oskiper et al. Augmented reality binoculars
CN107966136B (zh) 基于主无人机视觉的从无人机位置显示方法、装置及系统
CN114140528A (zh) 数据标注方法、装置、计算机设备及存储介质
Gans et al. Augmented reality technology for day/night situational awareness for the dismounted soldier
CN205796291U (zh) 消防保护设备
KR20200025960A (ko) 지능형 인지기술기반 제조현장의 증강현실시스템
TWI755834B (zh) 視覺圖資定位系統
CN108957504A (zh) 室内外连续定位的方法和系统
Walker et al. A mixed reality supervision and telepresence interface for outdoor field robotics
CN111569414A (zh) 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN104501798A (zh) 一种基于增强现实ip地图的网络对象定位追踪方法
CN208921868U (zh) 头戴设备
Perez-Mato et al. Real-time autonomous wildfire monitoring and georeferencing using rapidly deployable mobile units
CN113868468A (zh) 一种目标场景的信标识别、处理系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant