CN107479705A - 一种基于HoloLens的指挥所协同作业电子沙盘系统 - Google Patents

Abstract

本发明公开一种基于HoloLens的指挥所协同作业电子沙盘系统，包括硬件支撑层、资源管理层、应用支撑层和业务功能层，硬件支撑层通过系统中的硬件采集指挥员的交互信息并将交互信息传输至资源管理层；资源管理层管理系统中的资源数据并向应用支撑层提供系统管理、资源管控和数据访问接口；应用支撑层实现全息影像计算以及为业务功能层提供应用开发和运行环境支撑；业务功能层实现全息态势展示、多角色作战人员互动、自然交互、协同标绘、研讨过程管控和全息影像生成。本发明支持电子沙盘的整体场景全息显示与军事要素全息显示，在全息电子沙盘协同作业环境中由指挥人员进行态势标绘操作，还支持指挥内部指挥员之间角色互动；采集环境和态势与作战人员进行角色互动。

Description

一种基于HoloLens的指挥所协同作业电子沙盘系统

技术领域

本发明涉及一种人机交互技术，具体涉及一种基于HoloLens的指挥所协同作业电子沙盘系统。

背景技术

随着环境设备的不断增强，用于满足交互的基础设施逐渐完善，出现大、中、小、无多类型智能终端，一方面，体现在环境中多尺度显示屏的普及，以智能手机为代表的小型交互屏幕解决了交互屏的便携性问题，提供无处不在的交互界面；以电子沙盘、数据墙、智能电视为代表的大型屏幕则具有较好的视觉效果和沉浸感，为基于肢体动作的交互提供可能。而大型投影屏提供大范围多用户信息共享和协作的可能，并可借助智能手机等终端设备进行远程交互。另一方面，可穿戴设备的普及带来了交互体验的提升，将交互设备隐藏于无形，通过隐藏在眼镜、手表、鞋子，甚至植入于体内的芯片，提供无缝的感知和自然交互体验，用户无需借助专用设备即可通过自然的方式使得设备理解其行为意图。

全息技术按照出现的时间顺序，先后分为物理全息、数字全息和计算全息。物理全息是利用干涉和衍射原理记录并再现物体真实的三维图像的记录和再现的技术，需要真实物体的存在。数字全息将记录的全息图通过数字技术进行重建或光学再现。相较于普通光学技术而言，具有成本低、灵活运用、速度快、储存空间大、实时处理等优势。计算全息是基于波前再现的真三维显示技术，它的显示技术与光学全息显示相同，它的显示效果可与人眼三维视觉特性完全匹配，提供人眼视觉系统所需全部深度信息，它是信息时代光学全息发展的必然结果。计算全息技术具有极大的灵活性和独特的优点，它不仅可以把实际光波的振幅和相位全面地编码出来，还能把物理空间不存在的物体波前综合出来，因此计算全息被认为是最有潜力的三维显示技术。与光学全息显示相比，计算全息三维投影显示具有制作简单、效率高、成本低和便于信息的存储和传输等显著优点，不仅可以显示静态的实物，而且可以显示虚拟动态物体。计算全息三维投影显示能够完整记录和重建三维物体的波前，提供人眼视觉系统所需全部深度信息，因而是国际上裸视真三维显示技术的研究热点。与光学全息显示相比，计算全息三维投影显示具有制作简单、效率高、成本低和便于信息的存储和传输等显著优点，不仅可以显示静态的实物，而且可以显示虚拟动态物体。HoloLens是当今全球最好的计算全息设备。

电子沙盘以计算机模拟实景模型，涵盖了地理信息系统、计算机图形图像与人机交互技术，在指挥所中用来展示兵力部署、武器配备及阵地组成等战场态势，以供指挥员研究地形、敌情、作战方案等，从而组织协同，实施演练和总结作战经验。除了在军事方面的应用，也应用在城市规划、仿古建筑、应急抢险等方面。

传统电子沙盘虽然也可展现三维场景，但是展示手段是二维电脑屏幕，不符合人的视觉习惯。受物理显示设备限制，所有指挥人员都只能从同一视角观察态势，信息展示不充分，不能满足成组研讨的需求。全息影像技术的发展，使得真实展示态势实景、协同操控电子沙盘成为可能。以全息方式展示电子沙盘实时态势，逼真再现陆、海、空、天、电、火箭等各军兵种联合战场全要素、多种类、多层级、多粒度的三维实景，为指挥员提供更加直观的战场地理、气象、水文、电磁环境，敌我双方的兵力部署、当前作战行动、后续行动计划及敌方行动对我军的威胁等信息，有助于指挥员客观观察整个战场态势的全貌，把握全局，更加深刻地理解战场态势。

指挥所是指挥控制的核心场所，其灵活扩展、敏捷机动是其能够应对未来作战精确打击，提高抗毁顽存能力的需要。然而，在目前的指挥所中，特别是老旧指挥所中，往往需要数百米的线缆、不计其数的周转箱和帐篷，复杂笨重的机器等，并且需要一个排的士兵耗费整天时间才能搭建完成，场所固定、设备繁重、人员冗杂，指挥所体积庞大。当前，电子沙盘作为指挥所中重要的筹划研讨工具，其物理形式通常是大型屏幕或者投影，体量大，维护难，不利于指挥所灵活扩展与敏捷机动。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于HoloLens的指挥所协同作业电子沙盘系统，本发明能够用于全息显示三维战场的地理、气象、水文、电磁环境，敌我双方的兵力部署、当前作战行动、后续作战计划、敌方行动对我军的威胁、作战损耗等信息，并且能够根据用户身份角色、操作习惯、交互动作等进行自然人机交互；本发明增强态势感知的逼真度和沉浸感的同时提升了系统的智能化水平，智能高效地为指挥人员和参谋人员提供形象、直观的战场态势和可视化的交互界面的方法，用于支撑不同作战人员、不同作战形式的未来先进指挥所指控系统的构建。

技术方案：本发明一种基于HoloLens的指挥所协同作业电子沙盘系统，依次包括硬件支撑层、资源管理层、应用支撑层和业务功能层；所述硬件支撑层通过系统中的硬件采集指挥员的交互信息，并将交互信息传输至资源管理层；所述资源管理层管理系统中的资源数据，并向应用支撑层提供系统管理、资源管控和数据访问接口；所述应用支撑层实现全息影像计算以及为业务功能层提供应用开发和运行环境支撑；所述业务功能层实现全息态势展示、多角色作战人员互动、自然交互、协同标绘、研讨过程管控和全息影像生成。

进一步的，所述硬件支撑层采用HoloLens综合集成设备，包括计算设备、传感设备、显示设备、控制设备和网络通信设备；所述计算设备包括计算服务器以及与计算服务器相连的移动计算设备，所述传感设备包括红外传感器、光学传感器和语音采集器，所述显示设备包括全息投影装置，所述网络通信设备包括本地无线局域网和跨地域大容量传输网络。所述Hololens综合集成设备集成了计算、传感、全息显示和网络等硬件功能，其中计算、全息显示和网络传输硬件集成在一个主板上；传感器包括6个摄像头：中间(1个深度摄像头、1个彩色摄像头)、左、右两侧分别有2个(环境感知)以及惯性传感器、加速器等。

进一步的，所述资源管理层中：数据资源管理是指管理来自本地数据库、外部接入的指控系统和指挥员操作命令的数据；系统管理是指对协同指挥用户的组织架构提供详细数据描述，并进行严格的权限设定；所述资源管控接口支持是指通过人机交互界面使得支撑用户与仿真资源管理系统进行交互，且用户可通过操作界面实现对数据资源进行控制；所述数据访问接口支持其他功能模块(全息图像显示模块、协同标绘模块、多角色互动模块、研讨过程管控模块等)通过数据资源管理实现对数据资源的统一透明访问，实现功能和数据的分离，以达到程序模块之间高内聚，低耦合。

进一步的，所述应用支撑层中包括全息影像生成单元、自然交互单元和应用开发和运行环境单元；

全息影像生成单元整体基于穿戴式计算全息显示设备(hololens)的HPU，通过视觉传感器和光学传感器实现对真实场景的理解和结构分析，并根据自然的人体动作行为实现跟踪定位和场景重构，实时分析虚拟场景和真实场景的相对位置，实现坐标系的对齐，然后根据显示需要和交互操作要求动态完成全息电子沙盘虚拟场景的建模、管理、绘制计算，最终将计算结果传递给全息投影设备生成全息影像并叠加到真实场景中，形成虚实融合的电子沙盘研讨可视化环境。总体来说，全息影像生成单元完成全息影像的构建。

自然交互单元基于多体感、多传感器设备以及相关的手势识别、语音识别、视线和眼动跟踪技术和算法，实现视线和头部跟踪、语音识别、手势输入、空气触控等多种人与全息电子沙盘之间的自然交互方式；

应用开发和运行环境单元是用于创建和运行交互式三维应用程序的综合虚拟现实开发工具(例如Unity3D或者unigine)，整合图形、音频、物理交互设备和网络功能专业游戏引擎，集成大量常用的人工智能、数据存储和加载、寻路、引导行为(避碰等)、输入跟踪和网络一致性保持常用软件功能组件，便于用户快速开发应用程序。开发和运行环境应支持通用的OpenGL和DX11，Physics图形化接口，支持完善的光照、渲染计算，支持多线程、具有较高运行效率。开发和运行环境尤其需要和选用的全息影像显示设备具有良好的适配性，开发效率高、运行稳定。

进一步的，所述业务功能层包括全息态势展示单元、多角色互动单元、协同标绘单元和研讨过程管控单元；

全息态势展示单元，首先通过透射式头戴显示器上的光学和视觉传感器采集真实场景的视频或者图像，传入后台的全息影像生成单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；虚拟场景图像会实时地投射到视网膜上与观察到的真实场景叠加展现在人的视野中。全息影像态势展示单元完成全息影像的显示。

多角色互动单元以全息影像展现异地作战人员的环境和态势，实现实时战况交流；

协同标绘单元在全息电子沙盘协同作业环境中，基于协同感知模型和感知实现方法，实现态势标绘操作的感知和形式描述，并以合适的方式发布和呈现给相关参与研讨的人员；

研讨过程管控单元在研讨过程中有序采集记录态势标绘操作描述和语音信息，在操作过程中执行多操作并行控制和冲突消解，并控制特定操作发布的人员范围。

进一步的，所述移动计算设备为分布式计算需求提供计算资源，包括头戴式计算机或背负式计算机；所述计算服务器是整个系统数据资源的存储载体和大计算量软件的运行载体；所述传感设备独立安装或安装于移动计算设备；所述显示设备中的全息投影装置将三维沙盘的图形图像计算结果投射形成全息影像；所述控制设备包括按钮和可编程手柄；所述网络通信设备中的本地局域网将连接本指挥所内的各类计算、传感、控制和显示设备，跨地域的传输网络实现异地沙盘态势同步和包括语音、动作在内的人员协同交流信息通信。

有益效果：本发明支持电子沙盘的整体场景全息显示与军事要素全息显示，包括地形地貌、典型装备、典型地物、军标等的静态和动态展示。使指挥员能够对战场态势进行全息观察，态势浏览，仿真推演。支持在全息电子沙盘协同作业环境中，由指挥人员进行态势标绘操作，并发布和呈现给相关参与研讨的人员。支持指挥内部指挥员之间角色互动；同时，支持采集环境和态势，与作战人员进行角色互动。支持研讨过程中的态势标绘操作记录、对多人并发操作进行冲突消解。

与现有技术相比，具有以下优点：

本发明首次将基于移动智能可穿戴设备的三维全息显示技术引入到军用战场态势电子沙盘系统构建中，与现有技术相比，其显著优点为：

(1)轻量灵活机动：移动可穿戴设备HoloLens不占用大面积实际物理空间，便于携带和开设，在确保具备传统电子沙盘功能的基础上，支持战场态势信息的高度共享，允许各级指挥员同时观看、讨论、规划战场态势并与之交互，真正实现各种战场信息的全息三维逼真展现与协同指挥，为指挥员提供可以不受物理空间限制的指挥方式，提高联合作战指挥的效能。

(2)完全真实三维直观：以全息方式展示电子沙盘实时态势，逼真再现陆、海、空、天、电、火箭等各军兵种联合战场全要素、多种类、多层级、多粒度的三维实景，为指挥员提供更加直观的战场地理、气象、水文、电磁环境，敌我双方的兵力部署、当前作战行动、后续行动计划及敌方行动对我军的威胁等信息，有助于指挥员客观观察整个战场态势的全貌，把握全局，更加深刻地理解战场态势。为指挥员提供多视角多方位观察态势的能力，提高指挥员对态势的洞察能力，保证作战任务的及时完成，提高作战的效能。

(3)协同研讨和协同作战：基于移动智能设备的全息电子沙盘能够为指挥员提供“虚拟作战研讨”环境，支持多个指挥人员协同作业，实现实时共享态势数据，共同商讨、决策、修改作战方案，提升不同角色作战人员的参与感，最大程度保证作战沟通无障碍、信息无延迟、决策无失误，提高指挥员的指挥效能。

(4)自然交互：基于HoloLens的全息电子沙盘能够符合指挥员真实沙盘操作习惯的交互技术，实现指挥员对沙盘中真实三维军事要素的自然操控，提高指挥员的作业效率。针对不同指挥员的指挥习惯、风格，自主学习并记录常用的交互模式，适时为各个指挥员提供便捷的交互模式、自然友好的交互界面、和谐高效的交互方式，提升指挥效率，充分发挥指挥员的指挥艺术。

附图说明

图1为本发明的整体框架示意图；

图2为本发明的系统组成示意图；

图3为本发明的硬件环境示意图；

图4为本发明的自然交互框架示意图；

图5为本发明的自然交互语义映射模型示意图；

图6为本发明的应用开发与运行框架示意图；

图7为本发明的态势同步流程示意图；

图8为本发明的系统概念图示意图；

图9为本发明的技术体系结构示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1和图2所示，本发明的一种基于HoloLens的指挥所协同作业电子沙盘系统，依次包括硬件支撑层、资源管理层、应用支撑层和业务功能层；硬件支撑层通过系统中的硬件采集指挥员的交互信息，并将交互信息传输至资源管理层；资源管理层管理系统中的资源数据，并向应用支撑层提供系统管理、资源管控和数据访问接口；应用支撑层实现全息影像计算以及为业务功能层提供应用开发和运行环境支撑；业务功能层实现全息态势展示、多角色作战人员互动、自然交互、协同标绘、研讨过程管控和全息影像生成。

如图3所示，硬件支撑层采用HoloLens综合集成设备，包括计算设备、传感设备、显示设备、控制设备和网络通信设备；所述计算设备包括计算服务器以及与计算服务器相连的移动计算设备，所述传感设备包括红外传感器、光学传感器和语音采集器，所述显示设备包括全息投影装置，所述网络通信设备包括本地无线局域网和跨地域大容量传输网络。并且，移动计算设备为分布式计算需求提供计算资源，包括头戴式计算机或背负式计算机；所述计算服务器是整个系统数据资源的存储载体和大计算量软件的运行载体；所述传感设备独立安装或安装于移动计算设备；所述显示设备中的全息投影装置将三维沙盘的图形图像计算结果投射形成全息影像；所述控制设备包括按钮和可编程手柄；所述网络通信设备中的本地局域网将连接本指挥所内的各类计算、传感、控制和显示设备，跨地域的传输网络实现异地沙盘态势同步和包括语音、动作在内的人员协同交流信息通信。

如表1所示，本发明的整体系统层次功能组件描述如下。

表1系统层次功能组件描述

资源管理层管理维护全息电子沙盘研讨环境下所需的战场环境、作战态势、系统运行管控方面的数据，为便于数据操作访问和管理维护，应以统一目录结构管理上述多源异构数据资源，实现以数据资源维护和消费为中心的按需数据动态绑定，对外提供透明数据存取访问能力；

其中，数据资源管理是指管理来自本地数据库、外部接入的指控系统和指挥员操作命令的数据；系统管理是指对协同指挥用户的组织架构提供详细数据描述，并进行严格的权限设定，为业务系统运行提供支持，各种基于数据平台的业务应用将统一使用基础平台提供的用户及权限体系，实现资源的统一管理；资源管控接口支持是指通过人机交互界面使得支撑用户与仿真资源管理系统进行交互，且用户可通过操作界面实现对数据资源进行控制，实现对数据集中管理控制；数据访问接口能够实现其他功能模块通过数据资源管理实现对数据资源的统一透明访问，实现功能和数据的分离，以达到程序模块之间高内聚，低耦合。

应用支撑层中包括全息影像生成单元、自然交互单元和应用开发和运行环境单元；全息影像生成单元通过视觉传感器和光学传感器实现对真实场景的理解和结构分析，并根据自然的人体动作行为实现跟踪定位和场景重构，实时分析虚拟场景和真实场景的相对位置，实现坐标系的对齐，然后根据显示需要和交互操作要求动态完成全息电子沙盘虚拟场景的建模、管理、绘制计算，最终将计算结果传递给投射显示设备生成全息影像并叠加到真实场景中，形成虚实融合的电子沙盘研讨可视化环境；

自然交互单元基于多体感、多传感器设备以及相关的手势识别、语音识别、视线和眼动跟踪技术和算法，实现视线和头部跟踪、语音识别、手势输入、空气触控等多种人与全息电子沙盘之间的自然交互方式。

如图4所示，按照分层思想，把整个系统按照信息输入、处理、任务融合和提交执行这样的流程来划分，可以分为输入层、融合层和应用层。输入层表示不同方式的信息进入系统的最初状态，融合层中整个融合过程所处理的信息均来自硬件层，与具体应用无关。只有成功融合出的任务提交给应用层由应用层执行时才与具体应用语义相关。将具体的融合算法流程单独封装起来，并定义好输入输出接口，可以实现多种交互输入的融合模板。

如图5所示，为了从不同类型设备的原始通道输入信息中提取交互语义，获得计算机可以识别并运行的特定交互任务，是语义的分层和提取模型，该模型将各通道输入的原始信息到填充到语义槽的语义信息抽象出四个不同层次进行表达，按顺序在每一层抽离出它的具体意图，最终获得用户目的并用来表达。简要概括为：在词法层对输入的交互原语进行整合，在语法层完成动作对象的一致性处理并利用特殊功能参数实现修正以及语义层的语义槽填充等操作，在以上步骤中消除了交互语义在输入过程中产生的重复性以及具有异议的消息内涵，最终获得能够表示用户具体想法的语义槽。

如图6所示，应用开发和运行环境单元是用于创建和运行交互式三维应用程序的综合虚拟现实开发工具，整合图形、音频、物理交互设备和网络功能专业游戏引擎，集成大量常用的人工智能、数据存储和加载、寻路、引导行为(避碰等)、输入跟踪和网络一致性保持常用软件功能组件，便于用户快速开发应用程序。开发和运行环境应支持通用的OpenGL和DX11，Physics图形化接口，支持完善的光照、渲染计算，支持多线程、具有较高运行效率。开发和运行环境尤其需要和选用的全息影像显示设备具有良好的适配性，开发效率高、运行稳定。

业务功能层包括全息态势展示单元、多角色互动单元、协同标绘单元和研讨过程管控单元。

全息态势展示单元，首先通过透射式头戴显示器上的光学和视觉传感器采集真实场景的视频或者图像，传入后台的全息影像生成单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；虚拟场景图像会实时地投射到视网膜上与观察到的真实场景叠加展现在人的视野中；多角色互动单元以全息影像展现异地作战人员的环境和态势，实现实时战况交流；

协同标绘单元在全息电子沙盘协同作业环境中，基于协同感知模型和感知实现方法，实现态势标绘操作的感知和形式描述，并以合适的方式发布和呈现给相关参与研讨的人员；研讨过程管控单元在研讨过程中有序采集记录态势标绘操作描述和语音信息，在操作过程中执行多操作并行控制和冲突消解，并控制特定操作发布的人员范围。

如图7所示，首先，根据各用户的角色类型(指挥人员和作战人员)，在服务器端设置各节点身份，包括节点类型、节点级别和服务器类型，进行服务器注册，并自动获取节点初始权限；然后，配置每个作战席位身份，进行作战席位注册和数据需求发布，获取初始权限。当服务器生成统一数据后，注册信息和数据需求自动进行数据过滤，并向作战席位推送数据。如果某个作战席位提出数据更改需求，并与服务器数据发生冲突，则服务器通过比较数据来源和可信度，根据预设冲突处理原则进行数据更新，并重新进行数据发布。数据更新触发分为时间触发和事件触发两种情况：时间触发指根据时间要求周期性发布数据；事件触发是某事件发生时才更新数据。

本发明的具体工作原理为：

首先，在指挥所内部署计算、传感、显示、控制和网络设备环境。传感设备包括独立部署或者附着在移动计算设备上的光学传感器、语音采集等。全息投影设备，将三维沙盘的图形图像计算结果投射形成全息影像。手势识别设备、语音识别设备等传感器将采集到的指挥员交互信息(视线/头部、手势、语音)提供给人机交互服务器，人机交互服务器生成相应的手势、语音等指令集成到全息投影设备，装载在全息投影设备上的全息电子沙盘程序对交互指令进行响应。

然后，如图8和图9所示，指挥员可以查询作战阵地及作战目标的详细信息，后台信息服务中心将结果反馈，并在指挥员佩戴的全息投影设备上全息显示。数据资源库提供战场环境数据、基础数据、实体数据、三维模型、操作数据、态势数据等。多个指挥员之间通过态势同步服务器实现协同作业。综上所述，本发明整体基于移动智能终端的电子沙盘，不占用大面积实际物理空间，便于携带和开设的全息电子沙盘，在确保具备传统电子沙盘功能的基础上，支持战场态势信息的高度共享，允许各级指挥员同时观看、讨论、规划战场态势并与之交互，真正实现各种战场信息的全息三维逼真展现与协同指挥，为指挥员提供可以不受物理空间限制的指挥方式，提高联合作战指挥的效能。并且，基于移动智能终端的电子沙盘能够过提供符合指挥员真实沙盘操作习惯的交互技术，实现指挥员对沙盘中真实三维军事要素的自然操控，提高指挥员的作业效率。针对不同指挥员的指挥习惯、风格，自主学习并记录常用的交互模式，适时为各个指挥员提供便捷的交互模式、自然友好的交互界面、和谐高效的交互方式，提升指挥效率，充分发挥指挥员的指挥艺术。

Claims (7)

1.一种基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：依次包括硬件支撑层、资源管理层、应用支撑层和业务功能层；所述硬件支撑层通过系统中的硬件采集指挥员的交互信息，并将交互信息传输至资源管理层；所述资源管理层管理系统中的资源数据，并向应用支撑层提供系统管理、资源管控和数据访问接口；所述应用支撑层实现全息影像计算以及为业务功能层提供应用开发和运行环境支撑；所述业务功能层实现全息态势展示、多角色作战人员互动、自然交互、协同标绘、研讨过程管控和全息影像生成。

2.根据权利要求1所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述硬件支撑层采用HoloLens综合集成设备，包括计算设备、传感设备、显示设备、控制设备和网络通信设备；所述计算设备包括计算服务器以及与计算服务器相连的移动计算设备，所述传感设备包括红外传感器、光学传感器和语音采集器，所述显示设备包括全息投影装置，所述网络通信设备包括本地无线局域网和跨地域大容量传输网络。

3.根据权利要求1所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述资源管理层中：数据资源管理是指管理来自本地数据库、外部接入的指控系统和指挥员操作命令的数据；系统管理是指对协同指挥用户的组织架构提供详细数据描述，并进行严格的权限设定；所述资源管控接口支持是指通过人机交互界面使得支撑用户与仿真资源管理系统进行交互，且用户可通过操作界面实现对数据资源进行控制；数据访问接口实现其他功能模块通过数据资源管理实现对数据资源的统一透明访问。

4.根据权利要求1所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述应用支撑层中包括全息影像生成单元、自然交互单元和应用开发和运行环境单元；

全息影像生成单元通过视觉传感器和光学传感器实现对真实场景的理解和结构分析，并根据自然的人体动作行为实现跟踪定位和场景重构，实时分析虚拟场景和真实场景的相对位置，实现坐标系的对齐，然后根据显示需要和交互操作要求动态完成全息电子沙盘虚拟场景的建模、管理、绘制计算，最终将计算结果传递给全息投影设备生成全息影像并叠加到真实场景中，形成虚实融合的电子沙盘研讨可视化环境；

自然交互单元基于多体感、多传感器设备以及相关的手势识别、语音识别、视线和眼动跟踪技术和算法，实现视线和头部跟踪、语音识别、手势输入、空气触控等多种人与全息电子沙盘之间的自然交互方式；

应用开发和运行环境单元是用于创建和运行交互式三维应用程序的综合虚拟现实开发工具，整合图形、音频、物理交互设备和网络功能专业游戏引擎，集成大量常用的人工智能、数据存储和加载、寻路、引导行为、输入跟踪和网络一致性保持常用软件功能组件。

5.根据权利要求1所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述业务功能层包括全息态势展示单元、多角色互动单元、协同标绘单元和研讨过程管控单元；

全息态势展示单元，首先通过透射式头戴显示器上的光学和视觉传感器采集真实场景的视频或者图像，传入后台的全息影像生成单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；虚拟场景图像会实时地投射到视网膜上与观察到的真实场景叠加展现在人的视野中；

多角色互动单元以全息影像展现异地作战人员的环境和态势，实现实时战况交流；

协同标绘单元在全息电子沙盘协同作业环境中，基于协同感知模型和感知实现方法，实现态势标绘操作的感知和形式描述，并以合适的方式发布和呈现给相关参与研讨的人员；

研讨过程管控单元在研讨过程中有序采集记录态势标绘操作描述和语音信息，在操作过程中执行多操作并行控制和冲突消解，并控制特定操作发布的人员范围。

6.根据权利要求2所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述移动计算设备为分布式计算需求提供计算资源，包括头戴式计算机或背负式计算机；所述计算服务器是整个系统数据资源的存储载体和大计算量软件的运行载体；所述传感设备独立安装或安装于移动计算设备；所述显示设备中的全息投影装置将三维沙盘的图形图像计算结果投射形成全息影像；所述控制设备包括按钮和可编程手柄；所述网络通信设备中的本地局域网将连接本指挥所内的各类计算、传感、控制和显示设备，跨地域的传输网络实现异地沙盘态势同步和包括语音、动作在内的人员协同交流信息通信。

7.根据权利要求4所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述开发和运行环境应支持通用的OpenGL和DX11，Physics图形化接口，支持完善的光照和渲染计算以及多线程。