CN108509031A - 一种基于增强现实的空间科学任务展示系统 - Google Patents

Abstract

本发明涉及一种基于增强现实的空间科学任务展示系统，该展示系统具体包括：虚拟展示素材制作模块，用于收集不同的空间科学任务的展示素材，并转化为统一的数据格式的虚拟展示素材，将其发送至展示素材管理库；展示素材管理库，用于将所述虚拟展示素材按照空间科学任务类别、卫星类别分别进行存储和组织管理，并提供对应的访问接口；若干增强现实设备，用于扫描和识别现实世界，获取现实世界中的现实场景的数据信息，识别需要展示的科学任务，生成现实场景；同时获取需要展示的科学任务所对应的虚拟展示素材，生成虚拟场景；将虚拟场景与现实场景进行配准定位、透视关系、遮挡关系处理，再进行融合并展示，实现增强现实展示。

Description

一种基于增强现实的空间科学任务展示系统

技术领域

本发明属于空间科学的技术领域，具体涉及一种基于增强现实的空间科学任务展示系统。

背景技术

增强现实是指将计算机系统提供的信息或图像与现实世界信息进行叠加呈现给用户，从而提升用户对现实世界的感知能力。其中，该计算机系统提供的信息或图像是叠加到现实世界上的，是一种“实中有虚”的表现效果，对用户来说，相当于“增强”了其对现实世界的理解和感知。增强现实在工业、交通、医疗、教育等领域已经进行了不少研究应用，在空间科学领域同样具有广阔的前景。

随着空间科学先导专项各项任务的成功实施，空间科学在全国范围内知名度及影响力也将逐步提升。近期先导专项十二·五期间量子、暗物质、硬X射线等任务的成功发射运行，以及十三·五计划的新科学探测任务的研制启动，如何进行未来空间科学任务的汇报、宣传以及科普，是面临的一个紧迫问题。目前，空间科学任务展示均在以往论证大厅、运控大厅中采用传统的方式进行，传统的空间科学任务展示主要采用展板、实物结合演示文稿的方式进行。但是，展示内容受限、形式单一。因此，急需研制一套围绕空间科学任务的最新成果、重大科学价值、研制进展进行系统性展示、汇报与宣传的综合性系统。

发明内容

本发明的目的在于，为解决现有的空间科学任务展示所存在的上述缺陷，本发明提供出了一种基于增强现实的空间科学任务展示系统，将虚拟信息、图形赋予实际的卫星模型、展板和展台，解决了现有技术在空间科学任务展示中的虚实配准、高精度定位与场景语义认知的难题，为空间科学任务展示引入新方式同时推动增强现实的进一步发展，提升用户对现实世界的感知能力。

为实现上述目的，本发明提出了一种基于增强现实的空间科学任务展示系统，该展示系统基于增强现实的空间科学任务虚拟展示技术，通过增强现实设备，获取三维配准的增强场景的同时，把在一个科学任务中对过去、现在和将来三个时间维度上的相关信息展示出来。该展示系统不是将用户与现实世界隔离，而是对现实世界中现实场景的增强，通过增强现实设备中的展示子系统对虚拟展示素材中的空间科学任务进行展示，实现现实场景与虚拟场景的无缝融合。

该展示系统具体包括：

虚拟展示素材制作模块，用于收集不同的空间科学任务的展示素材，并转化为统一的数据格式的虚拟展示素材，将其发送至展示素材管理库；

展示素材管理库，用于将所述虚拟展示素材按照空间科学任务类别、卫星类别分别进行存储和组织管理，并提供对应的访问接口；

若干增强现实设备，其与展示素材管理库处于同一个局域网，所述增强现实设备包括：展示子系统，用于扫描和识别现实世界，获取现实世界中的现实场景的数据信息，识别和决定需要展示的科学任务，生成现实场景；同时获取需要展示的科学任务所对应的虚拟展示素材，生成虚拟场景；将现实场景与虚拟场景进行配准定位、透视关系、遮挡关系处理，再进行融合并展示，实现增强现实展示。其中，增强现实设备与展示素材管理库中的数据传输通过数据通道来实现。

所述增强现实设备中，通过识别现实世界中的展台上的展台实物或展板上的展板标志，识别和决定需要展示的科学任务。

所述增强现实设备中，获取需要展示的科学任务所对应的虚拟展示素材具体包括：根据需要展示的科学任务，向展示素材管理库提出数据请求；展示素材管理库响应该数据请求，再进行解析和检索，获取对应的虚拟展示素材，将该虚拟展示素材返回至增强现实展示设备。

所述展示子系统具体包括：现实场景生成子模块、跟踪注册子模块、虚拟资源获取子模块、虚拟场景生成子模块、虚实融合子模块、显示子模块和人机交互子模块。其中，

所述现实场景生成子模块，用于扫描和识别现实世界，获取现实世界中的现实场景的数据信息，识别需要展示的科学任务，生成现实场景；其中，所述数据信息包括：现实世界中现实场景的图像信息及其深度信息；具体地，通过识别现实世界中的展台上的展台实物或展板上的展板标志，决定需要展示的科学任务；通过采集并获取现实世界中现实场景的图像信息及其深度信息，完成对现实场景的三维感知，再构建现实场景中的坐标系，并对现实场景进行三维建模；生成现实场景。

所述跟踪注册子模块，用于确定虚拟场景与现实场景之间的对准关系，将虚拟场景注册到现实场景中；要实现所述虚拟信息在现实场景中的精确注册，则需要从当前的现实场景中获取所述虚拟信息与增强现实设备之间的位置关系，实时检测和刷新增强现实设备在现实场景中的位置和方向，通过增强现实设备的位置，确定虚拟场景的位置，再将虚拟场景中的虚拟信息与现实场景进行配准并注册。因此，通过确定佩戴增强现实设备的参观者位置，并根据参观者位置，实时刷新和跟踪现实场景中的视场内的虚拟场景的位置，将虚拟场景所对应的虚拟信息与现实世界中现实场景的真实环境无缝匹配。

所述虚拟资源获取子模块，用于获取需要展示的科学任务所对应的虚拟展示素材；具体地，根据需要展示的科学任务，向展示素材管理库提出数据请求；展示素材管理库响应该数据请求，再进行解析和检索，获取对应的虚拟展示素材，将该虚拟展示素材返回至增强现实展示设备；

所述虚拟场景生成子模块，用于根据跟踪注册子模块获得的虚拟场景的位置和虚拟资源获取子模块获得的虚拟展示素材，生成虚拟场景；具体地，根据跟踪注册子模块的虚拟场景的位置、视场方向或者用户交互命令来构建虚拟场景坐标系，并从素材展示管理库中调取需要展示的科学任务所对应的虚拟展示素材，生成虚拟场景。

所述虚实融合子模块，用于将虚拟场景与现实场景进行配准定位、透视关系、遮挡关系处理，完成虚拟场景与现实场景的整合，实现虚实一致性融合。比如，通过走廊墙面时，墙面上贴有展板标志的展板时，增强现实设备通过展示子系统弹出与该展板相关联的海量信息，并以文字、图片、视频或三维模型等方式加以展示。

所述显示子模块，用于展示虚实融合后的场景内容，并指导用户与虚拟场景进行交互。

所述人机交互子模块，用于识别用户的凝视、手势、语音或者解析流程脚本，并将其作为命令，通知虚拟场景生成子模块响应用户发出的命令。

该展示系统包括三种展示方式：虚拟大场景的科普展示、科学任务展台展示和虚拟多媒体展板展示；

所述虚拟大场景的科普展示是基于空间领域背景知识来构建空间任务大场景，通过公众易于理解、接受和参与的方式向公众介绍空间科学知识、传播科学思想。

具体地，通过增强现实设备中的虚拟资源获取子模块从展示素材管理库中获取虚拟展示素材，其中，所述虚拟展示素材包括：星表、太阳风、辐射带和磁场等空间场景基础数据，构建虚拟星空背景和空间环境场景；并获取相关空间科学卫星的概要信息，主要包括：卫星模型、总体介绍、轨道根数等，在虚拟空间背景的基础上构建当前科学卫星的概览场景。然后将虚拟场景与真实场景融合通过大场景展示方式展示最终的场景效果。磁场、辐射带等空间环境的表达一般可以采用数据可视化或者空间环境模型来实现，考虑到增强现实设备的处理能力，本文采用基于空间环境模型简化展示的方式来实现，在效果与效率之间寻找一个平衡点。

所述科学任务展台展示是通过在实物展台周边构建虚拟场景，通过虚拟场景的运行、交互来展示空间科学任务的概况和生命周期。

具体地，通过增强现实设备中的虚拟资源获取子模块从展示素材管理库中获取虚拟展示素材，其中，所述虚拟展示素材包括：科学目标、卫星模型、历史数据、探测成果等一系列任务相关数据形成虚拟任务场景，也可以叠加星空背景和空间环境场景，通过仿真推演来展示卫星任务的历史、现在和探测成果等。实物识别是展台展示的难点之一，需要识别标识或者卫星实际模型，本文通过图像的特征提取算法来识别标识，通过三维模型的特征提取算法来匹配卫星实际模型；科学目标的表达是展台展示的另一个难点，科学卫星的探测目标的可视化都是比较难的比如暗物质，本文目前对大多数探测目标采用相对通用的展示手段，即在三维场景中嵌入科学目标的介绍视频来讲解整个科学任务，同时针对特定的科学目标比如地球辐射带、太阳风形成了相应的三维可视化方法。在展台展示中，增强现实设备与展示素材管理库交互数据会很频繁，为了保证渲染效率，本文在增强现实设备中的虚拟资源获取子模块中增加数据预测的功能，提高交互数据中渲染所需数据的命中率。

所述虚拟多媒体展板展示是通过定位或识别标志等方式来自主选择展示内容，通过文字、图片、视频、语音等多种方式基于展板的形式来展示空间科学任务。

具体地，通过增强现实设备中的虚拟资源获取模块从展示素材管理库中获取虚拟展示素材，其中，所述虚拟展示素材包括：空间科学任务相关文字、图片、视频等多媒体信息，在识别展板标志的基础上提取相应展示内容进行展板形式的展示。

本发明的优点在于：

本发明增强空间科学任务总体对研制运行各环节产生数据、模型、成果的管理能力，提高任务概念描述、研制阶段总结以及成果提炼的能力水平，加深各级领导与研制人员对任务了解和认知，对空间科学任务的构思立项、设计研制、创新评奖产生重要的支撑和推动意义。另外，本发明推动增强现实在空间科学领域的应用与发展，突破现有技术在较大开放环境下的虚实配准、高精度定位与场景语义认知的难题，为空间科学展示引入新方式同时推动增强现实的进一步发展。此外，本发明构建基于增强现实的创意展示系统，将虚拟信息、图形赋予实际的卫星模型、展板、展台，是一种将信息知识与现实环境进行融合的全新尝试，本质上增强了人对未知事物的认知能力与水平，未来能够继续拓展，为空间任务的论证、研制、运行等各个环节带来运行模式的全新变革。

附图说明

图1是本发明的一种基于增强现实的空间科学任务展示系统的结构示意图；

图2是本发明的一种基于增强现实的空间科学任务展示系统的增强现实设备的展示子系统的结构示意图。

具体实施方式

本发明主要围绕空间科学各项任务的汇报展示与科普宣传的需求，开展基于增强现实的空间科学任务展示方法与技术研究，突破空间科学任务虚拟场景构建、环境感知与定位、目标与行为识别、人机交互等关键技术，建设空间科学任务增强现实展示系统，实现虚拟空间科学任务场景与真实世界的无缝协同展示，为空间任务的展板及展台展示、空间科学的虚拟大场景宣传、空间科学任务的虚拟设计提供技术支撑。通过引入虚拟场景、增强显示等新技术对空间科学任务进行全方位的展示，使人在真实展厅参观过程中身临其境的感受到虚拟的空间任务运行流程、科学目标与成果等内容，并通过构建支持各类空间科学任务演示的素材内容的制作管理与多平台网络发布系统，极大增强空间科学各项任务的演示汇报水平，提高各级空间科学任务展示场所在空间科学方面的宣传与科普能力，为增强现实在空间科学任务论证和运控中的应用奠定基础。

本发明提出了一种基于增强现实的空间科学任务展示系统，该展示系统基于增强现实的空间科学任务虚拟展示技术，通过增强现实设备，获取三维配准的增强场景的同时，把在一个科学任务中对过去、现在和将来三个时间维度上的相关信息展示出来。该展示系统不是将用户与现实世界隔离，而是对现实世界中现实场景的增强，通过增强现实设备中的展示子系统对虚拟展示素材中的空间科学任务进行展示，实现现实场景与虚拟场景的无缝融合，提升用户对现实世界的感知能力。

如图1所示，该展示系统具体包括：

虚拟展示素材制作模块，用于收集不同的空间科学任务的展示素材，并转化为统一的数据格式的虚拟展示素材，将其发送至展示素材管理库；

展示素材管理库，用于将所述虚拟展示素材按照空间科学任务类别、卫星类别分别进行预先存储和组织管理，并提供对应的访问接口；

若干增强现实设备，其与展示素材管理库处于同一个局域网，所述增强现实设备包括：展示子系统，用于扫描和识别现实世界，获取现实世界中的现实场景的数据信息，识别和决定需要展示的科学任务，生成现实场景；同时获取需要展示的科学任务所对应的虚拟展示素材，生成虚拟场景；将现实场景与虚拟场景进行配准定位、透视关系、遮挡关系处理，再进行融合并展示，实现增强现实展示。其中，在本实施例中，所述增强现实设备优选为头戴式增强现实设备。

所述增强现实设备中，通过识别现实世界中的展台上的展台实物或展板上的展板标志，识别和决定需要展示的科学任务。

所述增强现实设备中，获取需要展示的科学任务所对应的虚拟展示素材具体包括：根据需要展示的科学任务，向展示素材管理库提出数据请求；展示素材管理库响应该数据请求，再进行解析和检索，获取对应的虚拟展示素材，将该虚拟展示素材返回至增强现实展示设备。其中，增强现实设备与展示素材管理库中的数据传输通过数据通道来实现。

如图2所示，所述展示子系统具体包括：现实场景生成子模块、跟踪注册子模块、虚拟资源获取子模块、虚拟场景生成子模块、虚实融合子模块、显示子模块和人机交互子模块。其中，

所述现实场景生成子模块，用于扫描和识别现实世界，获取现实世界中的现实场景的数据信息，识别需要展示的科学任务，生成现实场景；其中，所述数据信息包括：现实世界中现实场景的图像信息及其深度信息；具体地，通过识别现实世界中的展台上的展台实物或展板上的展板标志，决定需要展示的科学任务；通过采集并获取现实世界中现实场景的图像信息及其深度信息，完成对现实场景的三维感知，再构建现实场景中的坐标系，并对现实场景进行三维建模；生成现实场景。

所述跟踪注册子模块，用于确定虚拟场景与现实场景之间的对准关系，将虚拟场景注册到现实场景中；要实现所述虚拟信息在现实场景中的精确注册，则需要从当前的现实场景中获取所述虚拟信息与增强现实设备之间的位置关系，实时检测和刷新增强现实设备在现实场景中的位置和方向，通过增强现实设备的位置，确定虚拟场景的位置，再将虚拟场景中的虚拟信息与现实场景进行配准并注册。因此，通过确定佩戴增强现实设备的参观者位置，并根据参观者位置，实时刷新和跟踪现实场景中的视场内的虚拟场景的位置，将虚拟场景所对应的虚拟信息与现实世界中现实场景的真实环境无缝匹配。

所述虚拟资源获取子模块，用于获取需要展示的科学任务所对应的虚拟展示素材；具体地，根据需要展示的科学任务，向展示素材管理库提出数据请求；展示素材管理库响应该数据请求，再进行解析和检索，获取对应的虚拟展示素材，将该虚拟展示素材返回至增强现实展示设备；

所述虚拟场景生成子模块，用于根据跟踪注册子模块获得的虚拟场景的位置和虚拟资源获取子模块获得的虚拟展示素材，生成虚拟场景；具体地，根据跟踪注册子模块的虚拟场景的位置、视场方向或者用户交互命令来构建虚拟场景坐标系，并从素材展示管理库中调取需要展示的科学任务所对应的虚拟展示素材，生成虚拟场景。

所述虚实融合子模块，用于将虚拟场景与现实场景进行配准定位、透视关系、遮挡关系处理，完成虚拟场景与现实场景的整合，实现虚实一致性融合。比如，通过走廊墙面时，墙面上贴有展板标志的展板时，增强现实设备通过展示子系统弹出与该展板相关联的海量信息，并以文字、图片、视频或三维模型等方式加以展示。

所述显示子模块，用于展示虚实融合后的场景内容，并指导用户与虚拟场景进行交互。

所述人机交互子模块，用于识别用户的凝视、手势、语音或者解析流程脚本，并将其作为命令，通知虚拟场景生成子模块响应用户发出的命令。

该展示系统包括三种展示方式：虚拟大场景的科普展示、科学任务展台展示和虚拟多媒体展板展示；

所述虚拟大场景的科普展示是基于空间领域背景知识来构建空间任务大场景，通过公众易于理解、接受和参与的方式向公众介绍空间科学知识、传播科学思想。

具体地，通过增强现实设备中的虚拟资源获取子模块从展示素材管理库中获取虚拟展示素材，其中，所述虚拟展示素材包括：星表、太阳风、辐射带和磁场等空间场景基础数据，构建虚拟星空背景和空间环境场景；并获取相关空间科学卫星的概要信息，主要包括：卫星模型、总体介绍、轨道根数等，在虚拟空间背景的基础上构建当前科学卫星的概览场景。然后将虚拟场景与真实场景融合通过大场景展示方式展示最终的场景效果。磁场、辐射带等空间环境的表达一般可以采用数据可视化或者空间环境模型来实现，考虑到增强现实设备的处理能力，本文采用基于空间环境模型简化展示的方式来实现，在效果与效率之间寻找一个平衡点。

所述科学任务展台展示是通过在实物展台周边构建虚拟场景，通过虚拟场景的运行、交互来展示空间科学任务的概况和生命周期。

具体地，通过增强现实设备中的虚拟资源获取子模块从展示素材管理库中获取虚拟展示素材，其中，所述虚拟展示素材包括：科学目标、卫星模型、历史数据、探测成果等一系列任务相关数据形成虚拟任务场景，也可以叠加星空背景和空间环境场景，通过仿真推演来展示卫星任务的历史、现在和探测成果等。实物识别是展台展示的难点之一，需要识别标识或者卫星实际模型，本文通过图像的特征提取算法来识别标识，通过三维模型的特征提取算法来匹配卫星实际模型；科学目标的表达是展台展示的另一个难点，科学卫星的探测目标的可视化都是比较难的比如暗物质，本文目前对大多数探测目标采用相对通用的展示手段，即在三维场景中嵌入科学目标的介绍视频来讲解整个科学任务，同时针对特定的科学目标比如地球辐射带、太阳风形成了相应的三维可视化方法。在展台展示中，增强现实设备与展示素材管理库交互数据会很频繁，为了保证渲染效率，本文在增强现实设备中的虚拟资源获取子模块中增加数据预测的功能，提高交互数据中渲染所需数据的命中率。

所述虚拟多媒体展板展示是通过定位或识别标志等方式来自主选择展示内容，通过文字、图片、视频、语音等多种方式基于展板的形式来展示空间科学任务。

具体地，通过增强现实设备中的虚拟资源获取模块从展示素材管理库中获取虚拟展示素材，其中，所述虚拟展示素材包括：空间科学任务相关文字、图片、视频等多媒体信息，在识别展板标志的基础上提取相应展示内容进行展板形式的展示。

在上述技术方案中，所述虚拟场景可以是一个虚拟物体，也可以是具有两个以上虚拟物体组成的虚拟场景。

基于增强现实展示空间科学任务的系统主旨在于如何更直观、更生动、更震撼的表达空间科学任务目的意义与成果，针对双星探测、火星探测、空间科学先导专项等各种探测任务，开展科学任务探测对象、科学目标、探测机理、任务过程、科学成果的综合演示方式的研究，突破增强现实在空间科学应用中的“虚实融合”创意场景构建与声光电联动演示的关键技术，建设互动性强的演示汇报系统，对提升空间科学领域的宣传能力、增强我国空间科学探测在世界范围的影响力都具有重要意义，可以说，研究增强现实展示空间科学任务的方法与系统：

1、是更好的对空间科学各项任务进行成果展示与汇报的需求。能够为空间科学任务的成果汇报提供更有展示度、更有吸引力、更有科技感的内容及技术支撑，加强参观人员对任务的了解与重视，提高空间科学任务部门的整体形象。

2、是更好的为民众开展空间科学原理科普，增强空间科学探测影响力与投入的需求。通过增强现实新技术对空间科学现象在各类活动和媒体中进行宣传展示，推动空间科学任务展示成为国内科学科普的重要窗口之一，扩大空间科学在国内外社会中各个层次的重要性和影响力。

3、是在全世界范围内宣传我国空间科学探测能力与水平的需求。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于增强现实的空间科学任务展示系统，其特征在于，该展示系统具体包括：

虚拟展示素材制作模块，用于收集不同的空间科学任务的展示素材，并转化为统一的数据格式的虚拟展示素材，将其发送至展示素材管理库；

展示素材管理库，用于将所述虚拟展示素材按照空间科学任务类别、卫星类别分别进行存储和组织管理，并提供对应的访问接口；

若干增强现实设备，所述增强现实设备包括：展示子系统，用于扫描和识别现实世界，获取现实世界中的现实场景的数据信息，识别和决定需要展示的科学任务，生成现实场景；同时获取需要展示的科学任务所对应的虚拟展示素材，生成虚拟场景；将现实场景与虚拟场景进行配准定位、透视关系、遮挡关系处理，再进行融合并展示。

2.根据权利要求1所述的展示系统，其特征在于，通过识别现实世界中的展台上的展台实物或展板上的展板标志，识别和决定需要展示的科学任务。

3.根据权利要求1所述的展示系统，其特征在于，获取需要展示的科学任务所对应的虚拟展示素材具体包括：根据需要展示的科学任务，向展示素材管理库提出数据请求；展示素材管理库响应该数据请求，再进行解析和检索，获取对应的虚拟展示素材，将该虚拟展示素材返回至增强现实展示设备。

4.根据权利要求1所述的展示系统，其特征在于，所述展示子系统具体包括：

现实场景生成子模块，用于扫描和识别现实世界，获取现实世界中的现实场景的数据信息，识别需要展示的科学任务，生成现实场景；其中，所述数据信息包括：现实世界中现实场景的图像信息及其深度信息；

跟踪注册子模块，用于确定虚拟场景与现实场景之间的对准关系，将虚拟场景注册到现实场景中；另外，通过确定佩戴增强现实设备的参观者位置，并根据参观者位置，实时刷新和跟踪现实场景中的视场内的虚拟场景的位置，将虚拟场景所对应的虚拟信息与现实世界中现实场景的真实环境无缝匹配；

虚拟资源获取子模块，用于获取需要展示的科学任务所对应的虚拟展示素材；

虚拟场景生成子模块，用于根据跟踪注册子模块获得的虚拟场景的位置和虚拟资源获取子模块获得的虚拟展示素材，生成虚拟场景；

虚实融合子模块，用于将虚拟场景与现实场景进行配准定位、透视关系、遮挡关系处理，完成虚拟场景与现实场景的整合，实现虚实一致性融合；

显示子模块，用于展示虚实融合后的场景内容，并指导用户与虚拟场景进行交互；

人机交互子模块，用于识别用户的凝视、手势、语音或者解析流程脚本，并将其作为命令，通知虚拟场景生成子模块响应用户发出的命令。