CN107479706B - 一种基于HoloLens的战场态势信息构建与交互实现方法 - Google Patents
一种基于HoloLens的战场态势信息构建与交互实现方法 Download PDFInfo
- Publication number
- CN107479706B CN107479706B CN201710689821.4A CN201710689821A CN107479706B CN 107479706 B CN107479706 B CN 107479706B CN 201710689821 A CN201710689821 A CN 201710689821A CN 107479706 B CN107479706 B CN 107479706B
- Authority
- CN
- China
- Prior art keywords
- interaction
- model
- information
- task
- battlefield
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000010276 construction Methods 0.000 title claims abstract description 18
- 230000002452 interceptive effect Effects 0.000 claims abstract description 46
- 239000004576 sand Substances 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 230000008447 perception Effects 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 230000007812 deficiency Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000011410 subtraction method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 14
- 238000007654 immersion Methods 0.000 abstract description 4
- 235000019587 texture Nutrition 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 235000015842 Hesperis Nutrition 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种基于HoloLens的战场态势信息构建与交互实现方法，依次包括以下步骤：(1)先依次构建地形模型、三维地物模型和三维军标，然后采用几何特征优化和纹理优化相结合的方式进行模型优化；(2)依次解决战场态势动态展现的流畅性和真实性问题以及三维虚实融合问题；(3)用户交互。本发明能够根据用户身份角色、操作习惯、交互动作趋势等行自然人机交互的全息战场态势电子沙盘信息构建与交互方法，增强态势感知的逼真度和沉浸感，智能高效地为指挥人员和参谋人员提供形象、直观的战场态势和可视化的信息交互界面的方法，用于支撑不同作战人员、不同作战形式的未来先进指挥所智能信息服务系统的构建。
Description
技术领域
本发明涉及基于移动智能可穿戴设备的信息服务技术，具体涉及一种基于HoloLens的战场态势信息构建与交互实现方法。
背景技术
战场态势显示作为战场态势信息的可视化表达，其显示内容由完整准确表达战场态势信息的需要决定。根据作战指挥学的基本理论，战场态势信息包括单位、人员、装备、设施、部署和行动等主要因素，因此，战场态势显示的内容与之对应，也包括了上述六个主要内容。战场态势显示的形式，由作战人员直观、高效、无歧义的获取战场态势信息的需要决定。
传统的战场态势显示系统多在二维军事战场地形图的基础上展现和进行态势符号信息的标绘，随着计算机图形图像技术的发展，三维战场环境可视化仿真技术，以更加形象直观的优势成为仿真训练系统中战场环境呈现的基本形式。三维可视化技术及计算机相关技术研究在联合作战指挥、联合作战模拟训练、武器装备研制和武器装备显示设备等方面具有重要的军事应用价值。真三维、大尺寸、裸视、彩色、动态、实时显示技术可以最直观、最全面、最及时地反映战场信息，可以使指挥员准确把握战场地形、大气状况、兵力位置、人员伤亡、战况与战果等重要情报，也可以使指挥员全面了解战斗人员士气、战场纪律等主观信息，因此，此技术可以为指挥员更加直观、全面洞悉复杂战场环境提供强大的技术支撑。传统基于屏幕的战场电子沙盘虽然也可展现三维场景，但是展示手段是二维电脑屏幕，不符合人的视觉习惯。受物理显示设备限制，所有指挥人员都只能从同一视角观察态势，信息展示不充分，不能满足成组研讨的需求。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于HoloLens的战场态势信息构建与交互实现方法，能够根据用户身份角色、操作习惯、交互动作趋势等进行自然人机交互的全息战场态势电子沙盘信息构建与交互方法，增强态势感知的逼真度和沉浸感的同时提升了系统的智能化信息服务水平，智能高效地为指挥人员和参谋人员提供形象、直观的战场态势和可视化的信息交互界面的方法，用于支撑不同作战人员、不同作战形式的未来先进指挥所智能信息服务系统的构建。
技术方案：本发明一种基于HoloLens的战场态势信息构建与交互实现方法，依次包括以下步骤：
(1)三维全息模型建模与优化：先依次构建地形模型、三维地物模型和三维军标，然后采用几何特征优化和纹理优化相结合的方式进行模型优化；
(2)虚实融合显示；依次解决战场态势动态展现的流畅性和真实性问题，以及三维虚实融合问题；
(3)用户交互：
(3.1)构建全息电子自然交互框架和层次模型；
(3.2)分别从手势、语音、头部跟踪和空气触控4个人机交互方式入手，实现指挥作业自然流畅的交互；
(3.3)将交互语义提取，提出交互模式定义和语义映射模型。
步骤(1)中三维建模与优化技术实施方式如下：
基于三维注册和坐标系转换方法，采用组件化建模方法，对多分辨率地形模型构建、三维地物模型构建、三维军标构建。三维模型优化方面，采用几何特征优化和纹理优化相结合的方式进行模型优化：基于模型几何特征的优化可以从模型的点、线、面等特征方面进行优化。根据战场指挥应用场景下需展现模型的几何特征和精细程度需求，综合使用删减法、边折叠法和三角形折叠法等优化方法，在保证模型精细程度需求的基础上尽量减少计算量。
利用纹理映射技术可以在减少模型表面特性计算、不增加多边形数目的情况下，对场景模型的表面特性进行描述，增强了场景的沉浸性、提高了渲染速度。材质和贴图是纹理映射技术常用的实现形式。利用材质可以为三维几何体设置透明、漫反射、自发光等表面特性贴图则可以使用图片代替三维几何体的表面纹理，使三维几何体在不增加模型复杂度的情况下增强其表面细微效果。要最大限度地压缩数据量，可以在整理纹理图像数据时使用一些重复贴图、子纹理技术以及公告牌等方法，提高建模的效率和系统资源的利用率。
步骤(2)的虚实融合技术实施方式如下：
首先通过解决移动和遮挡条件下的虚实融合、全要素和大数据量的数据加载、图像渲染等问题，实现战场态势动态展现的流畅性和真实性；然后通过采用特征跟踪法和空间定位法相结合的方式解决三维虚实融合问题。
步骤(3)的用户交互技术实施方式如下：
步骤1、首先，从战场电子沙盘作业的任务空间视图看，战场全息电子沙盘交互系统中，指挥人员下达任务时可能使用多种交互方式，同一任务信息可能来源于不同的交互方式，将这些信息根据交互上下文进行分解、重组和抽象，整合形成形式化任务描述，形成多种交互方式互补的高效、自然的交互环境。指挥所环境中存在交互数据断续、遮挡、噪声、模糊、不完备等苛刻条件下，本发明在任务空间模板和情景上下文中进行数据融合和意图感知，以实现交互的连续、精准、自然、流畅。为了实施从交互动作到交互意图的转化，针对各种交互方式建立面向指挥空间任务的操作描述模型，将不同交互方式产生的语义按照根据任务文法重构和映射，形成机器能够理解的形式化任务信息。
其次，从指挥任务角度出发，指挥人员下达任务时可能使用到多种交互方式，因此同一个任务的相关信息可能来源于不同的通道，需要将这些相关信息整合起来才能形成机器能够识别的任务描述。采用多输入整合的方法，将来自不同输入方式的任务信息结合交互上下文进行分解、重组和抽象，利用多种输入之间的信息冗余进行互补。采用上下层结构融合方法实现多输入整合：首先，在上层的信息融合过程中，维护一个系统中唯一的多通道信息整合器的状态机，使用它控制是激活情况下的段分析器，接收的信息只发送到激活的器件下，提高运行的效率。其次，在下层的融合过程中，每一个任务都有一个自己的状态机，收到信息，先判断其能否改变对应的状态机的原有性状，不能则舍弃，若相反，则先改变它的性状，再进行相应的填充操作。
步骤2、为了满足指挥作业自然流畅的交互要求，分别从手势、语音、头部跟踪和空气触控4个人机交互方式入手。以下是实施方式：
①手势交互实施方式如下：考虑到样本的有限性和识别的准确性，采用SVM分类器进行手势的分类识别。基于投影模板法的手势识别主要是将三种手势图像分别投影到水平和垂直坐标轴上，与标准模板进行比较，得出手势识别结果，但是由于深度图本身的分辨率低，以及算法的抗干扰性弱，因此该算法受到距离的限制。对手部图像进行平滑降噪等处理，并且去掉一些干扰的孤立点块，获取满足条件的手部轮廓。随后计算以下几个手势特征：
圆形度Circularity：
该特征描述手型与圆形接近的程度，该数值越接近于1，表示该手型更近似于圆形，其中L表示手部轮廓的周长，A表示手部轮廓的面积。填充率FillingRatio：
该特征描述手型在其外界最小面积矩形中占据的面积比率，该数值越大，表明该手势更加聚拢，其中A_R表示手型外界最小矩形的面积。
周长比PerimeterRatio:
该特征描述了手型轮廓周长与其外界最小圆周长的比值，该数值越大，表明该手型更开放，其中L_C表示手型外界最小圆的周长。
最后，对样本分别提取其上述三个特征组成特征向量利用SVM分类器对深度图像进行手势识别。
②语音识别实施方式如下：首先，基于战场指挥所任务空间模型，分析常用战场沙盘作业语音指令，建立沙盘作业语音指令集，并针对指令采集语音语料样本库。采用神经网络基本原理与语音信号处理基础理论技术相结合的方式，得出用于语音识别的神经网络。首先基于语音识别的原理，加强语音识别的认知，识别的过程可以大致可分为两个阶段。第一个阶段是特征提取，包括语音信号数字化采样和进行数字化后的声学信号分析。下一阶段是音素、音素组和字词的识别。把时间规整后的时域和频域特征及混合参数作为输入数据，通过中间隐藏层扩展数据维度，并在输出端构建分类完成识别，依据限制玻尔兹曼机设置规则对网络模型进行优化，增强模型的学习效果。
③头部跟踪交互方式实施方式如下：头部姿态参数包括头部的位置信息和方向信息，采用MEMS惯性传感器进行数据采集；在运动跟踪系统中，需要进行精确的方向控制，利用地磁作为参考，通过测量地球磁场的方向，计算出人体各个肢体部位与地球磁场方向的夹角，进而获取部分姿态信息。三轴磁强计罗盘精度控制在之间，具有灵敏度高和可靠性的特点。
④空气触控交互方式实施方式如下：
(a)根据复杂系统数字界面设计原则设计各种任务情景下适合手势触控交互的界面要素；
(b)识别操作者交互语义，将当前情景下的界面显示在三维空间中适合观察的位置；
(c)基于视线和头部跟踪，更新当前兴趣区域，同时保持交互界面始终处于视线前方稳定的位置，并实现自适应比例缩放；
(d)实时追踪和识别操作员手部运动，辨识交互语义，检测指尖位置，与交互要素进行基于上下文的碰撞检测，选取合适的界面要素；
(e)根据交互上下文解释语义，实现语义映射，完成动作解释和反馈。
通过视觉检测算法提取出手指指尖的图像坐标，进而通过双目视觉测距原理计算出指尖的三维坐标，并判断其是否接触到了虚拟界面，当指尖的三维坐标与全息虚拟界面坐标接近重合时，则启动触点定位算法，将触点坐标转化为交互坐标，并实现相应的触控操作。
步骤3、解决了自然交互的问题之后，将自然交互语义提取，提出交互模式定义和语义映射模型。为了从不同类型设备的原始通道输入信息中提取交互语义，获得计算机可以识别并运行的特定交互任务，提出语义的分层和提取模型，该模型将各通道输入的原始信息到填充到语义槽的语义信息抽象出四个不同层次进行表达，按顺序在每一层抽离出它的具体意图，最终获得用户目的并用来表达。简要概括为：在词法层对输入的交互原语进行整合，在语法层完成动作对象的一致性处理并利用特殊功能参数实现修正以及语义层的语义槽填充等操作，在以上步骤中消除了交互语义在输入过程中产生的重复性以及具有异议的消息内涵，最终获得能够表示用户具体想法的语义槽。图7是战场态势沙盘自然交互语义映射模型。
有益效果：与现有技术相比，本发明具有以下优点：
(1)针对在指挥所真实物理环境下以虚实融合方式展现全息电子沙盘的需要，研究指挥所物理空间三维重构方法，实现全息电子沙盘与物理空间的无缝融合；着重解决部分遮挡条件下跟踪定位和三维重构计算的鲁棒性问题。
(2)针对战场条件下电子沙盘全要素、多层次模型需快速构建和实时响应人机交互操作的需求，突破多分辨率地形模型构建、多源时空数据驱动的模型加载、战场环境全息建模和投射等方面的技术，实现快速加载合适的地形、作战实体、军标，在高效利用移动计算能力的前提下保证电子沙盘模型加载计算的动态实时性和准确性。
(3)针对全息电子沙盘任务空间模型和态势研判场景中的并行、非精确交互方式，分析自然交互中的交互流程和任务空间交互要素；针对视线和头部跟踪、语音识别、手势输入、空气触控等多种交互方式，提出基于任务模板的分层感知和效能评价模型；形成面向任务空间的自然交互框架，增强输入的有效性，提高交互的自然性、高效性。
(4)针对指挥作业自然流畅的交互要求与指挥所环境断续、遮挡、噪声、模糊、不完备等苛刻条件之间的矛盾，提出遮挡条件下多传感器人体动作识别方法，基于多源数据的手势识别方法，基于深度学习的指挥员沙盘作业指令识别方法，头部跟踪和空气触控交互方法，实现部分遮挡条件下的动作连续识别、精细手势识别、指挥员沙盘作业指令识别，提升自然交互对指挥所环境的适应能力。
附图说明
图1为本发明的整体流程图；
图2为本发明的战场态势动态展现的流畅性和真实性解决示意图；
图3为本发明的角点跟踪三维配准方案示意图；
图4为本发明中自然交互框架示意图；
图5为本发明中自然交互的层次模型示意图；
图6为本发明中语音识别深度信念网络模型示意图
图7为本发明交互语义映射模型示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
本实施例的一种基于HoloLens的战场态势信息构建与交互实现方法，依次包括以下步骤：
(1)三维全息模型建模与优化：先依次构建地形模型、三维地物模型和三维军标，然后采用几何特征优化和纹理优化相结合的方式进行模型优化；
(2)虚实融合显示；依次解决战场态势动态展现的流畅性和真实性问题，以及三维虚实融合问题；
(3)用户交互：
(3.1)构建全息电子自然交互框架和层次模型；
(3.2)分别从手势、语音、头部跟踪和空气触控4个人机交互方式入手，实现指挥作业自然流畅的交互；
(3.3)将交互语义提取，提出交互模式定义和语义映射模型
图1中所述的三维建模与优化技术实施方式如下：基于三维注册和坐标系转换方法，采用组件化建模方法，对多分辨率地形模型构建、三维地物模型构建、三维军标构建。本发明中涉及的战场地形模型、态势目标模型、军标模型见表1。每一个战场态势目标都有关联的信息可供查询：①以航母为例，可供查询的信息有：基本信息(舰长、舷宽、吃水、排水量、编制人数、动力系统、续航力、航速、推重比、自持力等)、舰长信息、舰载武装(防空、反潜、舰载机、雷达、干扰弹发射器等)、所属部队、周围敌方目标；②以反潜巡逻机为例，可供查询的信息有：基本信息(类型、翼展、机长、载弹量、巡航速度、实用升限、最大航程、任务半径、续航时间等)、机长信息、机载武装(导弹等)、所属部队、周围敌方目标。表2至表4是态势信息特性。
表1战场目标模型类型
表2装备信息特性
| 属性名称 | 长度(字节) | 类型 |
| 名称 | 50 | char[] |
| 数量 | 10 | char[] |
| 类型 | 100 | char[] |
| 状态 | 8 | char[] |
表3部队信息特性
表4敌方目标信息特性
三维模型优化方面，采用几何特征优化和纹理优化相结合的方式进行模型优化：基于模型几何特征的优化可以从模型的点、线、面等特征方面进行优化。根据战场指挥应用场景下需展现模型的几何特征和精细程度需求，综合使用删减法、边折叠法和三角形折叠法等优化方法，在保证模型精细程度需求的基础上尽量减少计算量。三维模型的模型外观属性，尤其是纹理的使用，在提高模型的真实感，增加模型的准确性方面有很大的优越性。使用纹理可以有效的控制模型的多边形数目，降低模型的复杂度，在提高屏幕的刷新频率的同时，减少文件量。因此，在模型中，纹理成为影响数据量的重要因素之一。利用纹理映射技术可以在减少模型表面特性计算、不增加多边形数目的情况下，对场景模型的表面特性进行描述，增强了场景的沉浸性、提高了渲染速度。材质和贴图是纹理映射技术常用的实现形式。利用材质可以为三维几何体设置透明、漫反射、自发光等表面特性贴图则可以使用图片代替三维几何体的表面纹理，使三维几何体在不增加模型复杂度的情况下增强其表面细微效果。要最大限度地压缩数据量，可以在整理纹理图像数据时使用一些重复贴图、子纹理技术以及公告牌等方法，提高建模的效率和系统资源的利用率。
图1中所述的虚实融合技术实施方式如下：涉及到两个问题：一是战场态势动态展现的流畅性和真实性问题；二是三维虚实融合问题。第一个问题，通过解决移动和遮挡条件下的虚实融合、全要素和大数据量的数据加载、图像渲染等问题，实现战场态势动态展现的流畅性和真实性。图2是战场态势动态展现流畅性和真实性问题的解决方案图。第二个问题：通过采用特征跟踪法和空间定位法相结合的方式解决。一般来说，电子沙盘投影到办公桌等典型区域上，以办公桌的典型特征点，如四个角加桌中心专门建立基准标志，在电子沙盘投影中首先识别出这四点的位置，在部分遮挡情况下，可基于投影算法，判定出遮挡点的位置，从而保证电子沙盘投影的准确。基准标志法实现简单，但在多个基准标志遮挡情况下，依然会出现误差，相对而言，使用特征法更能有效解决遮挡问题，除利用标识块的四个边缘角点之外，还可以利用标识内部图案所提供的角点对应关系来完成单应性矩阵的计算。图3是遮挡条件下的角点跟踪三维配准方案。
图1中所述的用户交互技术实施方式如下：
步骤1、首先，从战场电子沙盘作业的任务空间视图看，战场全息电子沙盘交互系统中，指挥人员下达任务时可能使用多种交互方式，同一任务信息可能来源于不同的交互方式，将这些信息根据交互上下文进行分解、重组和抽象，整合形成形式化任务描述，形成多种交互方式互补的高效、自然的交互环境。指挥所环境中存在交互数据断续、遮挡、噪声、模糊、不完备等苛刻条件下，本发明在任务空间模板和情景上下文中进行数据融合和意图感知，以实现交互的连续、精准、自然、流畅。为了实施从交互动作到交互意图的转化，针对各种交互方式建立面向指挥空间任务的操作描述模型，将不同交互方式产生的语义按照根据任务文法重构和映射，形成机器能够理解的形式化任务信息。图4是战场态势沙盘自然交互框架。
其次，从指挥任务角度出发，指挥人员下达任务时可能使用到多种交互方式，因此同一个任务的相关信息可能来源于不同的通道，需要将这些相关信息整合起来才能形成机器能够识别的任务描述。采用多输入整合的方法，将来自不同输入方式的任务信息结合交互上下文进行分解、重组和抽象，利用多种输入之间的信息冗余进行互补。采用上下层结构融合方法实现多输入整合：首先，在上层的信息融合过程中，维护一个系统中唯一的多通道信息整合器的状态机，使用它控制是激活情况下的段分析器，接收的信息只发送到激活的器件下，提高运行的效率。其次，在下层的融合过程中，每一个任务都有一个自己的状态机，收到信息，先判断其能否改变对应的状态机的原有性状，不能则舍弃，若相反，则先改变它的性状，再进行相应的填充操作。图5是战场全息电子沙盘自然交互的层次模型。
步骤2、为了满足指挥作业自然流畅的交互要求，分别从手势、语音、头部跟踪和空气触控4个人机交互方式入手。以下是实施方式：
①手势交互实施方式如下：考虑到样本的有限性和识别的准确性，采用SVM分类器进行手势的分类识别。基于投影模板法的手势识别主要是将三种手势图像分别投影到水平和垂直坐标轴上，与标准模板进行比较，得出手势识别结果，但是由于深度图本身的分辨率低，以及算法的抗干扰性弱，因此该算法受到距离的限制。对手部图像进行平滑降噪等处理，并且去掉一些干扰的孤立点块，获取满足条件的手部轮廓。随后计算以下几个手势特征：
圆形度Circularity：
该特征描述了手型与圆形接近的程度，该数值越接近于1，表示该手型更近似于圆形，其中L表示手部轮廓的周长，A表示手部轮廓的面积。填充率FillingRatio：
该特征描述了手型在其外界最小面积矩形中占据的面积比率，该数值越大，表明该手势更加聚拢，其中A_R表示手型外界最小矩形的面积。
周长比PerimeterRatio:
该特征描述了手型轮廓周长与其外界最小圆周长的比值，该数值越大，表明该手型更开放，其中L_C表示手型外界最小圆的周长。
对样本分别提取其上述三个特征组成特征向量F{Circularity，FillingRatio，PerimeterRatio}，训练SVM分类器，进一步利用该分类器对深度图像进行手势识别。
②语音识别实施方式如下：首先，基于战场指挥所任务空间模型，分析常用战场沙盘作业语音指令，建立沙盘作业语音指令集，并针对指令采集语音语料样本库。采用神经网络基本原理与语音信号处理基础理论技术相结合的方式，得出用于语音识别的神经网络。首先基于语音识别的原理，加强语音识别的认知，识别的过程可以大致可分为两个阶段。第一个阶段是特征提取，包括语音信号数字化采样和进行数字化后的声学信号分析。下一阶段是音素、音素组和字词的识别。把时间规整后的时域和频域特征及混合参数作为输入数据，通过中间隐藏层扩展数据维度，并在输出端构建分类完成识别，依据限制玻尔兹曼机设置规则对网络模型进行优化，增强模型的学习效果。图6是语音识别采用的深度信念网络模型。
③头部跟踪交互方式实施方式如下：头部姿态参数包括头部的位置信息和方向信息，采用MEMS惯性传感器进行数据采集，选择的MEMS惯性传感器的体积为20mm*15mm*5mm，具有体积较小，便于携带、采集效率高等优点，可以安装在人体的不同位置，对人体的运动范围没有限制。MEMS惯性传感器由三轴陀螺仪、三轴加速度计、三轴磁强计构成。MPU9150惯性传感器整合了三轴陀螺仪和三轴加速度计。在数据处理时可以减少复杂的数据融合算法带来的负荷，可以移除陀螺仪轴和加速器间敏感度，降低感测器的漂移带来的误差。
在运动跟踪系统中，需要进行精确的方向控制，利用地磁作为参考，通过测量地球磁场的方向，计算出人体各个肢体部位与地球磁场方向的夹角，进而获取部分姿态信息。三轴磁强计罗盘精度控制在之间，具有灵敏度高和可靠性的特点。
④空气触控交互方式实施方式如下：
a)根据复杂系统数字界面设计原则设计各种任务情景下适合手势触控交互的界面要素；
b)识别操作者交互语义，将当前情景下的界面显示在三维空间中适合观察的位置；
c)基于视线和头部跟踪，更新当前兴趣区域，同时保持交互界面始终处于视线前方稳定的位置，并实现自适应比例缩放；
d)实时追踪和识别操作员手部运动，辨识交互语义，检测指尖位置，与交互要素进行基于上下文的碰撞检测，选取合适的界面要素；
e)根据交互上下文解释语义，实现语义映射，完成动作解释和反馈。
通过视觉检测算法提取出手指指尖的图像坐标，进而通过双目视觉测距原理计算出指尖的三维坐标，并判断其是否接触到了虚拟界面，当指尖的三维坐标与全息虚拟界面坐标接近重合时，则启动触点定位算法，将触点坐标转化为交互坐标，并实现相应的触控操作。
步骤3、解决了自然交互的问题之后，本发明将自然交互语义提取，提出交互模式定义和语义映射模型。为了从不同类型设备的原始通道输入信息中提取交互语义，获得计算机可以识别并运行的特定交互任务，提出语义的分层和提取模型，该模型将各通道输入的原始信息到填充到语义槽的语义信息抽象出四个不同层次进行表达，按顺序在每一层抽离出它的具体意图，最终获得用户目的并用来表达。简要概括为：在词法层对输入的交互原语进行整合，在语法层完成动作对象的一致性处理并利用特殊功能参数实现修正以及语义层的语义槽填充等操作，在以上步骤中消除了交互语义在输入过程中产生的重复性以及具有异议的消息内涵，最终获得能够表示用户具体想法的语义槽。图7是战场态势沙盘自然交互语义映射模型。
综上可以看出，本发明利用HoloLens全息三维显示设备，对战场态势电子沙盘进三维全息显示、态势目标信息的查询与主动推荐、多元多类数据分类实时查看与动态更新显示。以真实直观形式有效展示战场态势信息，为指挥员提供多视角多方位观察态势信息的能力，提高指挥员对态势的洞察能力，保证作战任务的及时完成，提高作战的效能。逼真再现陆、海、空、天、电、火箭等各军兵种联合战场全要素、多种类、多层级、多粒度的三维实景，为指挥员提供更加直观的战场地理、气象、水文、电磁环境，敌我双方的兵力部署、当前作战行动、后续行动计划及敌方行动对我军的威胁等信息，有助于指挥员客观观察整个战场态势的全貌，把握全局，更加深刻地理解战场态势。
Claims (7)
1.一种基于HoloLens的战场态势信息构建与交互实现方法，其特征在于：依次包括以下步骤：
(1)三维全息模型建模与优化：构建三维全息模型时，基于三维注册和坐标系转换方法，采用组件化建模方法，对多分辨率地形模型、三维地物模型和三维军标进行构建；在进行几何特征优化时，分别对模型的点、线和面特征方面进行优化：根据战场指挥应用场景下需展现模型的几何特征和精细程度需求，综合使用删减法、边折叠法和三角形折叠法优化方法，在保证模型精细程度需求的基础上减少计算量；在进行纹理特征优化时采用纹理映射技术对三维全息模型表面特性进行描述，然后利用材质为模型的三维几何体设置透明、漫反射和自发光表面特性，同时利用贴图代替三维几何体的表面纹理；
(2)虚实融合显示；首先通过解决移动和遮挡条件下的虚实融合、全要素和大数据量的数据加载和图像渲染问题，实现战场态势动态展现的流畅性和真实性；然后通过特征跟踪法和空间定位法相结合的方式实现三维虚实融合；
(3)用户交互：
(3.1)构建全息电子自然交互框架和层次模型；
(3.1.1)在任务空间模板和情景上下文中进行数据融合和意图感知，然后针对相应交互方式建立面向指挥空间任务的操作描述模型，将相应交互方式产生的语义根据任务文法重构和映射，形成机器能够理解的形式化任务信息；
(3.1.2)采用多输入整合的方法将来自不同输入方式的任务信息结合交互上下文进行分解、重组和抽象，利用多种输入之间的信息冗余进行互补：首先，在上层的信息融合过程中，维护一个系统中唯一的多通道信息整合器的状态机；其次，在下层的融合过程中，每一个任务都有一个自己的状态机，收到信息，先判断其能否改变对应的状态机的原有性状，不能则舍弃，若相反，则先改变它的性状，再进行相应的填充操作；
(3.2)分别从手势、语音、头部跟踪和空气触控4个人机交互方式入手，实现指挥作业自然流畅的交互；
(3.3)将交互语义提取，提出交互模式定义和语义映射模型。
2.根据权利要求1所述的基于HoloLens的战场态势信息构建与交互实现方法，其特征在于：所述步骤(3.2)中手势交互的具体方法为：
首先，基于投影模板法的手势识别将三种手势图像分别投影到水平和垂直坐标轴上，与标准模板进行比较得出手势识别结果；然后对手部图像进行平滑降噪处理，并去掉干扰的孤立点块获取满足条件的手部轮廓，随后计算相应手势特征；最后对手势样本分别提取相应特征组成特征向量，利用训练SVM分类器对深度图像进行手势识别。
3.根据权利要求1所述的基于HoloLens的战场态势信息构建与交互实现方法，其特征在于：所述手势特征包括：
A)、圆形度Circularity：
该特征描述手型与圆形接近的程度，该数值越接近于1，表示该手型更近似于圆形，其中L表示手部轮廓的周长，A表示手部轮廓的面积；填充率FillingRatio：
B)、
该特征描述手型在其外界最小面积矩形中占据的面积比率，该数值越大，表明该手势更加聚拢，其中A_R表示手型外界最小矩形的面积；
C)、周长比PerimeterRatio:
该特征描述手型轮廓周长与其外界最小圆周长的比值，该数值越大，表明该手型更开放，其中L_C表示手型外界最小圆的周长。
4.根据权利要求1所述的基于HoloLens的战场态势信息构建与交互实现方法，其特征在于：所述步骤(3.2)中语音识别的方法为：首先，基于战场指挥所任务空间模型分析常用战场沙盘作业语音指令，建立沙盘作业语音指令集，并针对指令采集语音语料样本库；然后进行语音特征提取，包括语音信号数字化采样和进行数字化后的声学信号分析；接着进行音素、音素组和字词的识别，把时间规整后的时域和频域特征及混合参数作为输入数据，通过中间隐藏层扩展数据维度，并在输出端构建分类完成识别，依据限制玻尔兹曼机设置规则对网络模型进行优化。
5.根据权利要求1所述的基于HoloLens的战场态势信息构建与交互实现方法，其特征在于：所述步骤(3.2)中头部跟踪交互的方法为：头部姿态参数包括头部的位置信息和方向信息，采用MEMS惯性传感器进行数据采集；然后利用地磁作为参考，通过测量地球磁场的方向，计算出人体各个肢体部位与地球磁场方向的夹角，进而获取部分姿态信息。
6.根据权利要求1所述的基于HoloLens的战场态势信息构建与交互实现方法，其特征在于：所述步骤(3.2)中空气触控交互的方法如下：
(a)根据复杂系统数字界面设计原则设计各种任务情景下适合手势触控交互的界面要素；
(b)识别操作者交互语义，将当前情景下的界面显示在三维空间中适合观察的位置；
(c)基于视线和头部跟踪，更新当前兴趣区域，同时保持交互界面始终处于视线前方稳定的位置，并实现自适应比例缩放；
(d)实时追踪和识别操作员手部运动，辨识交互语义，检测指尖位置，与交互要素进行基于上下文的碰撞检测，选取合适的界面要素；
(e)根据交互上下文解释语义，实现语义映射，完成动作解释和反馈。
7.根据权利要求1所述的基于HoloLens的战场态势信息构建与交互实现方法，其特征在于：所述步骤(3.3)的详细过程为：从不同类型设备的原始通道输入信息中提取交互语义，获得计算机可以识别并运行的特定交互任务，提出语义的分层和提取模型；所述模型将各通道输入的原始信息到填充到语义槽的语义信息抽象出四个不同层次进行表达，按顺序在每一层抽离出它的具体意图，最终获得用户目的并用来表达。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710689821.4A CN107479706B (zh) | 2017-08-14 | 2017-08-14 | 一种基于HoloLens的战场态势信息构建与交互实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710689821.4A CN107479706B (zh) | 2017-08-14 | 2017-08-14 | 一种基于HoloLens的战场态势信息构建与交互实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107479706A CN107479706A (zh) | 2017-12-15 |
| CN107479706B true CN107479706B (zh) | 2020-06-16 |
Family
ID=60599528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710689821.4A Active CN107479706B (zh) | 2017-08-14 | 2017-08-14 | 一种基于HoloLens的战场态势信息构建与交互实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107479706B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399427A (zh) * | 2018-02-09 | 2018-08-14 | 华南理工大学 | 基于多模态信息融合的自然交互方法 |
| CN108398049B (zh) * | 2018-04-28 | 2023-12-26 | 上海亿湾特训练设备科技有限公司 | 一种联网互战式投影对抗射击训练系统 |
| CN108985463B (zh) * | 2018-07-15 | 2021-10-26 | 大国创新智能科技(东莞)有限公司 | 基于知识库和深度学习的人工智能作战方法和作战系统 |
| CN109063819B (zh) * | 2018-08-02 | 2021-09-14 | 中国人民解放军32153部队 | 基于贝叶斯网络的任务共同体的识别方法 |
| CN109783870B (zh) * | 2018-12-18 | 2020-12-29 | 北京航空航天大学 | 一种基于形式化验证的人机交互风险场景识别方法 |
| CN110164224A (zh) * | 2019-05-14 | 2019-08-23 | 重庆埃默科技有限责任公司 | 一种语音标图方法、装置及系统 |
| CN110609616B (zh) * | 2019-06-21 | 2020-04-10 | 哈尔滨拓博科技有限公司 | 一种具有智能交互功能的立体投影沙盘系统 |
| CN110648396A (zh) * | 2019-09-17 | 2020-01-03 | 西安万像电子科技有限公司 | 图像处理方法、装置和系统 |
| CN111402885A (zh) * | 2020-04-22 | 2020-07-10 | 北京万向新元科技有限公司 | 一种基于语音和空气成像技术的交互方法及其系统 |
| CN112040215B (zh) * | 2020-08-30 | 2022-05-03 | 河北军云软件有限公司 | 电磁环境裸眼立体显示系统 |
| CN112099627B (zh) * | 2020-09-04 | 2021-03-30 | 东南大学 | 一种基于人工智能的城市设计虚拟现实即时交互平台 |
| CN112131742A (zh) * | 2020-09-22 | 2020-12-25 | 中国人民解放军陆军装甲兵学院 | 一种作战指挥控制流程建模方法 |
| CN112509151B (zh) | 2020-12-11 | 2021-08-24 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
| CN112613123A (zh) * | 2020-12-25 | 2021-04-06 | 成都飞机工业（集团）有限责任公司 | 一种飞机管路ar三维注册方法及装置 |
| CN113961080B (zh) * | 2021-11-09 | 2023-08-18 | 南京邮电大学 | 一种基于手势交互的三维建模软件框架及设计方法 |
| CN114546548A (zh) * | 2022-01-19 | 2022-05-27 | 中国航空研究院 | 一种体系协同下的舰船人机交互方法 |
| CN116136873B (zh) * | 2023-04-04 | 2023-06-23 | 中国电子科技集团公司第十五研究所 | 融合上下文及军事语义的军事标绘智能评判装置与方法 |
| CN116880732B (zh) * | 2023-07-14 | 2024-02-02 | 中国人民解放军海军潜艇学院 | 海图作业投影辅助的交互方法及交互装置 |
| CN116820379A (zh) * | 2023-08-31 | 2023-09-29 | 中国电子科技集团公司第十五研究所 | 基于人因工程的装备显示控制方法、服务器及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050859A (zh) * | 2014-05-08 | 2014-09-17 | 南京大学 | 可交互数字化立体沙盘系统 |
| CN105184017A (zh) * | 2015-09-30 | 2015-12-23 | 成都赫尔墨斯科技有限公司 | 一种基于OpenSceneGraph的实时战场仿真系统及方法 |
| CN106569613A (zh) * | 2016-11-14 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种多模态人机交互系统及其控制方法 |
| CN106997236A (zh) * | 2016-01-25 | 2017-08-01 | 亮风台（上海）信息科技有限公司 | 基于多模态输入进行交互的方法和设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160299565A1 (en) * | 2015-04-07 | 2016-10-13 | Siemens Aktiengesellschaft | Eye tracking for registration of a haptic device with a holograph |
-
2017
- 2017-08-14 CN CN201710689821.4A patent/CN107479706B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050859A (zh) * | 2014-05-08 | 2014-09-17 | 南京大学 | 可交互数字化立体沙盘系统 |
| CN105184017A (zh) * | 2015-09-30 | 2015-12-23 | 成都赫尔墨斯科技有限公司 | 一种基于OpenSceneGraph的实时战场仿真系统及方法 |
| CN106997236A (zh) * | 2016-01-25 | 2017-08-01 | 亮风台（上海）信息科技有限公司 | 基于多模态输入进行交互的方法和设备 |
| CN106569613A (zh) * | 2016-11-14 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种多模态人机交互系统及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107479706A (zh) | 2017-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107479706B (zh) | 一种基于HoloLens的战场态势信息构建与交互实现方法 | |
| Zhang et al. | Recent developments in game-based virtual reality educational laboratories using the microsoft kinect | |
| WO2022121645A1 (zh) | 一种教学场景中虚拟对象的真实感生成方法 | |
| US11461958B2 (en) | Scene data obtaining method and model training method, apparatus and computer readable storage medium using the same | |
| Kraus et al. | Immersive analytics with abstract 3D visualizations: A survey | |
| CN105378796B (zh) | 可伸缩体积3d重构 | |
| US9383895B1 (en) | Methods and systems for interactively producing shapes in three-dimensional space | |
| CN107132912B (zh) | 一种gis与bim增强现实在建筑规划的互动演示方法及系统 | |
| CN110340890A (zh) | 一种空间机械臂全局无碰轨迹规划系统 | |
| EP2973433A2 (en) | Mapping augmented reality experience to various environments | |
| Zhong et al. | The application of virtual reality technology in the digital preservation of cultural heritage | |
| Manovich | The automation of sight: from photography to computer vision | |
| Zhang et al. | The discussion on interior design mode based on 3D virtual vision technology | |
| Zhang et al. | Collaborative virtual laboratory environments with hardware in the loop | |
| Lin et al. | Virtual geographic environments | |
| Albertini et al. | Designing natural gesture interaction for archaeological data in immersive environments | |
| Zhuang | Optimization of building model based on 5G virtual reality technology in computer vision software | |
| CN112596659B (zh) | 一种基于智能语音和图像处理的绘画方法和装置 | |
| Wang et al. | Design and implementation of virtual reality interactive product software based on artificial intelligence deep learning algorithm | |
| Hong et al. | Preliminary Exploration of Three-Dimensional Visual Variables in Virtual Reality | |
| Yu et al. | A Space-Time Interactive Visualization Approach for Managing Remote Sensing Data. | |
| Fu et al. | Development and Application of Marine Environment Data Visualization Technology | |
| Zhang et al. | A smart method for developing game-based virtual laboratories | |
| Bhatti et al. | Door Detection and Distance Estimation in Habitat Simulator for 3D Environments | |
| Xu et al. | Research on computer graphics and image design and visual communication design |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |