CN108776543A - 一种沉浸式时空数据可视分析多视图布局方法和系统 - Google Patents

Abstract

本发明属于地理空间信息系统技术领域，提供了一种沉浸式时空数据可视分析多视图布局方法和系统，旨在解决现有技术存在的分析者在多个视图间认知的不连续性和低效性等问题。所述方法包括建立视图的可布局空间；计算可视分析任务当前阶段的各视图的被关注程度；计算可视分析任务当前阶段的各视图之间的关联程度；根据分析者对一个视图关于视图位置的注视变化信息，或者根据分析者对一个视图关于视图数据的分析变化信息，依据其他视图与该视图之间的关联程度和其他视图的被关注程度，从其他视图中确定相应视图并使之联动响应。所述方法动态优化多视图布局，实现可视分析任务相关的认知聚焦，以保持分析者在多个视图间认知的连续性和高效性。

Description

一种沉浸式时空数据可视分析多视图布局方法和系统

技术领域

本发明属于地理空间信息系统技术领域，主要涉及一种沉浸式时空数据可视分析多视图布局方法和系统。

背景技术

随着AR/VR技术的飞速发展，沉浸式体验被逐渐应用于数据分析领域，时空大数据沉浸式可视分析目前已成为学术界和工业界研究的热点前沿。

传统多视图方法从不同侧面以不同形式表征信息，实现对数据多维特征的可视化，其布局设计标准主要考虑分析者对不同特征认知的连续性。而不同于传统可视分析多个视图主要布局于二维平面内，沉浸式可视分析的多视图布局空间是以分析者为中心、360度围绕分析者。由于布局空间从二维平面向360度环绕分析者立体空间的转变，分析任务从数据可视化向分析过程可视推理的发展，使得传统多视图布局方法已无法满足沉浸式可视分析的需要。

同时，由于时空数据多源、多粒度、多模态和时空复杂关联的特点，既是“信息过载”问题，又是数据密集型科学的发展机遇。如何在提供“身临其境+全息感知”沉浸式体验的同时避免信息过载、保持分析者在多个视图间认知的连续性和高效性，是沉浸式时空大数据可视分析多视图布局的难点。

发明内容

为了解决上述问题，本发明提供了一种沉浸式时空数据可视分析多视图布局方法和系统，所述方法通过将多层次视图组件进行沉浸式动态布局与优化，以保持分析者在多个视图间认知的连续性和高效性。

为了实现上述目的，本发明提供以下技术方案：

一方面，本发明实施例提供了一种沉浸式时空数据可视分析多视图动态布局方法，所述方法包括：

S101.建立可布局空间，所述可布局空间作为若干视图的载体；

S102.计算可视分析任务当前阶段的各视图的被关注程度；

S103.根据可视分析任务当前阶段的任务需求，计算可视分析任务当前阶段的各视图之间的关联程度；

S104.根据分析者对一个视图关于视图位置的注视变化信息，或者根据分析者对一个视图关于视图数据的分析变化信息，依据其他视图与该视图之间的关联程度和其他视图的被关注程度，从其他视图中确定相应视图并使之联动响应。

进一步地，所述若干视图是由与分析任务相关的时空数据经可视化而得，所述若干视图包括时间序列视图、数据位置视图、可视描述性分析视图、可视解释性分析视图、多层关联网络视图和可视推理分析视图；

所述方法在S101之前还可以包括S001.构建时空数据可视分析多层次视图组件，所述视图组件包括场景模块、分析模块和线索模块；其中，所述场景模块包括所述时间序列视图和数据位置视图，所述分析模块包括所述可视描述性分析视图和可视解释性分析视图，所述线索模块包括所述多层关联网络视图和可视推理分析视图。

另一方面，本发明实施例还提供了一种沉浸式时空数据可视分析多视图动态布局系统，所述系统包括：

布局空间建立单元，用于建立可布局空间，所述可布局空间作为若干视图的载体；

计算单元，用于计算可视分析任务当前阶段的各视图的被关注程度，用于根据可视分析任务当前阶段的任务需求，计算可视分析任务当前阶段的各视图之间的关联程度，用于根据分析者对一个视图关于视图位置的注视变化信息，或者根据分析者对一个视图关于视图数据的分析变化信息，依据其他视图与该视图之间的关联程度和其他视图的被关注程度，从其他视图中确定相应视图，并向视图展示单元发送关于所述相应视图的视图联动信号或指令；以及

所述视图展示单元，用于在所述可布局空间上展示所述若干视图，用于接受所述计算单元发送的关于所述相应视图的视图联动信号或指令，并根据所述信号或指令控制相应视图联动。

进一步地，所述系统还包括数据存储单元，用于存储所述时空数据。

与现有技术相比，本发明依据任务需求和待可视化信息的特点，选择适宜的可视化形式，构建时空数据可视分析多层次视图组件，基于语义级视觉变量对多个视图进行优化布局，进行沉浸式交互分析，动态优化多视图布局，实现可视分析任务相关的认知聚焦，以保持分析者在多个视图间认知的连续性和高效性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简要介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关附图。

图1所示为实施例中提供的沉浸式时空数据可视分析多视图动态布局方法的流程示意图。

图2所示为实施例中所述可布局空间中划分的聚焦区域和提示区域的示意图。

图3所示为实施例中提供的又一种沉浸式时空数据可视分析多视图动态布局方法的流程示意图。

图中标号说明：

100-球面；110-聚焦区域；120-提示区域。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚完整的描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。基于本发明的实施例，本领域技术人员在没有创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

请参阅图1所示，本发明实施例提供了一种沉浸式时空数据可视分析多视图动态布局方法，所述方法主要包括图1中所示的S101～S104这四步。其中，步骤S102和步骤S103之间的顺序不作限定。

其中，所述若干视图可以是由与分析任务相关的时空数据经可视化而得，所述若干视图可以是根据不同类型的分析任务事先生成并存储的，在对某一类型的分析任务时，直接调用即可。例如所述所述若干视图可以包括时间序列视图、数据位置视图、可视描述性分析视图、可视解释性分析视图、多层关联网络视图、可视推理分析视图、空间拓扑关系视图、语义关联关系视图和多模态特征关联关系视图。其中，所述时间序列视图和数据位置视图构成场景模块，所述可视描述性分析视图和可视解释性分析视图构成分析模块，所述多层关联网络视图和可视推理分析视图构成线索模块，所述各模块之间具有相应的映射关系。其中，所述空间拓扑关系、语义关联关系和多模态特征关联关系构成所述多层关联网络。应当理解的，所述若干视图中包括的具体视图并不局限于上述举例。

上述各视图中，其中所述时间序列是按照时间顺序的一系列观测值，例如所述时间序列视图可以是统计图表、树图、热力图、日历图、螺旋图等等；例如所述数据位置视图可以是三维场景或地图；所述描述性分析主要为数据驱动，通过不同类型时空数据(场景数据、时序数据、轨迹数据、多变元网络数据等)符号化或真实感的专题地图或逼真动态场景等形式表达，直观展现多模态时空数据的分布、异常、聚集、演化等多维动特征，所述可视描述性分析视图即为将所述描述性分析经过可视化后形成的视图；所述解释性分析是数据驱动与模型驱动结合，通过示意性与沉浸式协同的增强现实可视化表达，进行深度挖掘分析，以实现对数据蕴含的规律和模式的分析与解释，所述可视解释性分析视图即为将所述解释性分析可视化后形成的附图；所述多层关联网络视图由多层关联关系网络经过可视化后形成；所述可视推理分析视图由可视推理分析过程经可视化后形成。

本发明实施例对上述S101～S104四步作详细说明：

S101.建立可布局空间，所述可布局空间作为若干视图的载体。

不同于传统可视分析中多个视图主要布局于二维平面内，本发明实施例为了为分析者提供了“身临其境+全息感知”的沉浸式体验，将可布局空间设定为以分析者为中心、360度围绕分析者的球面。S101具体包括：

S101-1.获取分析者的双目位置信息并以所述双目位置为球心，获取分析者的有效认知距离信息并以所述有效认知距离为半径，建立球面，所述球面作为所述可布局空间。其中，可利用动捕系统捕捉分析者的双目位置；对于分析者的有效认知半径，可事先录入并存储，建立可布局空间时直接调用即可。此外，还可以在S101-1之后扫描周围环境，将视觉刺激强烈等妨碍视线聚焦的场景因素弱可视化。

S101-2.从所述球面100上划分出聚焦区域110和提示区域120。通过划分所述聚焦区域110和提示区域120，可用于辅助计算步骤S102中各视图的被关注程度。具体的，围绕人类视觉认知中心环绕机制和视觉信息处理机制中视线关注度与停留频率受到视线角度和视线距离两因素影响的特点，获取分析者的视线方向，以所述视线方向的35～50°夹角方向为母线所形成的圆锥在所述球面100上截取的弧面作为所述聚焦区域；根据分析者视觉不会自然关注聚焦区域向四周延伸25～30°的区域的特点，将以所述视线方向的60～80°夹角方向为母线所形成的圆锥在所述球面100上截取的弧面与所述聚焦区域110的差集作为所述提示区域120，请参阅图2所示。其中35～50°中优选为45°，60～80°中优选为70°。其中，可利用现有的注视点标定捕捉技术获取视线方向。

S102.计算可视分析任务当前阶段的各视图的被关注程度。

由于分析者在所述可布局空间内进行分析任务是一个动态过程，分析者对各视图的关注程度会动态变化，为了实现多视图动态布局，需要实时计算可视分析任务当前阶段的各视图的被关注程度，当分析者的分析过程动态变化时，可根据分析者对各视图的关注程度，使相应视图联动。S102具体包括：

S102-1.建立关于所述场景模块的树形结构TREE1，所述时间序列视图和数据位置视图作为所述TREE1中同一阶度的两个节点；建立关于所述分析模块的树形结构TREE2，所述可视描述性分析视图和可视解释性分析视图作为所述TREE2中同一阶度的两个节点；建立关于所述线索模块的树形结构TREE3，所述多层关联网络视图和可视推理分析视图作为所述TREE3中同一阶度的两个节点，所述空间拓扑关系视图、语义关联关系视图和多模态特征关联关系视图作为所述多层关联网络视图的三个子节点。该步骤在可视分析任务的当前阶段，构建了以模块为划分依据的多种树型结构，并将视图与节点一一对应。

S102-2.遍历TREE1、TREE2和TREE3中的各个节点，计算并存储各个节点对应视图的关注度因子值。其中，各树形结构的遍历顺序不作限定，可以是先序遍历、中序遍历或后序遍历等等。

S102-3.构建各树形结构与对应模块间的映射关系，映射TREE1中计算的各节点关注度因子值到场景模块的对应视图中，映射TREE2中计算的各节点关注度因子值到分析模块的对应视图中，映射TREE3中计算的各节点关注度因子值到线索模块的对应视图中，以算得分析任务当前阶段的各视图的被关注程度。

S103.根据可视分析任务当前阶段的任务需求，计算可视分析任务当前阶段的各视图之间的关联程度。

由于分析者在所述可布局空间内进行分析任务是一个动态过程，可视分析过程中依据任务需求进行交互，为了实现多视图动态布局，需要实时根据可视分析任务当前阶段的任务需求，计算可视分析任务当前阶段的各视图之间的关联程度，当分析者的分析过程动态变化时，可根据各视图之间的关联程度，确定相应的视图联动。S103具体包括：

S103-1.以所述各视图为顶点创建图形结构。

S103-2.分别以各视图为开始顶点，遍历并计算其与其余各个视图顶点的关联度因子值，所述关联度因子值可表征所述关联程度。具体应用中，在分析者分析某一视图期间期间，分析者在该视图上的视图位置变化时，或者视图数据的分析变化时，即以该视图为顶点，遍历并计算该视图与其余各个视图顶点的关联度因子值，以表征所述关联程度。所述关联程度作为判定哪些视图应联动，以及联动幅度的参考因素。

S104.根据分析者对一个视图关于视图位置的注视变化信息，或者根据分析者对一个视图关于视图数据的分析变化信息，依据其他视图与该视图之间的关联程度和其他视图的被关注程度，从其他视图中确定相应视图并使之联动响应。

该步骤的作用在于，根据当前分析任务相应的各视图的被关注程度和各视图之间的关联程度，使各视图实现了可根据用户进行视图上的交互操作进行自适应关联操作。例如当分析者对某一视图进行视图位置上的变化，对与该视图关联程度高的视图和分析者关注程度高的视图进行联动响应，并依附在该视图四周进行自适应布局。当分析者对某一视图进行视图数据上的分析变化，对与该视图关联程度高、关注程度高、可视形式变化大的视图进行联动响应，并依附在该视图四周进行自适应布局。

重复上述S102～S104步骤，即实现视图布局的动态优化，保持分析者在多个视图间认知的连续性和高效性。

上述方法中，所述若干视图可以是根据不同类型的分析任务事先生成并存储的，在对某一类型的分析任务时直接调用。

此外，所述若干视图也可以是根据相应的分析任务临时生成的，因此所述方法还可以包括S001，即构建时空数据可视分析多层次视图组件，所述视图组件包括场景模块、分析模块和线索模块；其中，所述场景模块包括时间序列视图和数据位置视图，所述分析模块包括可视描述性分析视图和可视解释性分析视图，所述线索模块包括多层关联网络视图和可视推理分析视图；所述多个视图上述所述的若干视图，或者为上述方法中所述的若干视图中的一部分。请参阅图3所示。

由于S001通过获取任务相关的时空数据，依据任务需求和待可视化信息的特点，选择适宜的可视化形式，构建时空数据可视分析多层次视图组件，因此S001具有更好适应性，能适用于更复杂灵活类型的任务分析。S001具体包括：

S001-1.从数据存储单元中抽取与分析任务相关的数据时间标签和数据位置标签，形成数据时间序列和数据位置序列，并将其可视化，形成所述时间序列视图和数据位置视图，所述各视图构建所述场景模块。例如，首先根据分析者对数据时间和数据位置的查询请求，在数据库内对任务相关的数据时间标签进行抽取和序列化存储处理，形成数据时间序列集合Ot。同时抽取数据位置标签以建立数据位置序列集合Op，定义数据时间序列和数据位置上的语义关联关系f，将数据时间序列集合通过语义关联关系映射到数据位置序列Op，即满足Op＝{f(t)|t∈Ot}。之后构建分析任务相关的时间序列可视化“容器”，以形成视图，如时间轴或时序矩阵，用于承载后续分析在时间序列上的趋势变化结果；构建分析任务相关的空间位置可视化容器，如三维场景或地图，用于承载后续分析在空间分布的趋势和规律结果。

S001-2.根据任务需求，对数据进行描述性分析、解释性分析和探索性分析，对所述各种分析进行可视化并生成相应的可视描述性分析视图、可视解释性分析视图和可视探索性分析视图，所述各视图构建所述分析模块。其中，所述描述性分析是指对数据分布、聚集、异常特征进行的分析，所述解释性分析是指对数据背后规律、模式进行的解释分析，所述探索性分析是指对数据的潜在关联的探索分析。

S001-3.分别计算对象间的时空关联关系、语义关联关系和多模态特征关联关系以构建所述多层关联关系网络，并将所述多层关联关系网络可视化；将分析推理流程可视化，形成所述可视推理分析视图；所述各视图构建所述线索模块。一方面，所述线索模块是通过针对任务相关的数据集间的关系、分析过程中不同阶段数据间的关系而构建的。另一方面，通过将可视推理分析可视化，帮助分析者知晓当前所处分析阶段和任务整体流程，实现任务流程层次的寻踪溯源。

S001-4.构建场景模块、分析模块和线索模块之间的映射关系。

本发明实施例还依据上述方法，提供了一种沉浸式时空数据可视分析多视图动态布局系统。所述系统包括布局空间建立单元、计算单元和视图展示单元。

其中，所述布局空间建立单元用于建立可布局空间，所述可布局空间作为若干视图的载体。

所述计算单元用于计算可视分析任务当前阶段的各视图的被关注程度，用于根据可视分析任务当前阶段的任务需求，计算可视分析任务当前阶段的各视图之间的关联程度，用于根据分析者对一个视图关于视图位置的注视变化信息，或者根据分析者对一个视图关于视图数据的分析变化信息，依据其他视图与该视图之间的关联程度和其他视图的被关注程度，从其他视图中确定相应视图，并向视图展示单元发送关于所述相应视图的视图联动信号或指令。

所述所述视图展示单元，用于在所述可布局空间上展示所述若干视图，用于接受所述计算单元发送的关于所述相应视图的视图联动信号或指令，并根据所述信号或指令控制相应视图联动。

作为举例，所述布局空间建立单元可以包括双目位置捕捉装置、注视点标定追踪装置，其中双目位置捕捉装置可以是红外摄像头，所述注视点标定追踪设备可以包括头戴虹膜摄像头和布置于实验场所四周的捕动摄像头等等。作为举例，所述计算单元可以是计算机，计算机中存储有用于实现相关计算的程序，计算机中还存储有若干视图。作为举例，所述视图展示单元可以是全息投影设备。

此外，所述沉浸式时空数据可视分析多视图动态布局系统还可以包括数据存储单元，如数据库等，用于存储所述时空数据。计算机通过所述数据存储单元中抽取与分析任务相关的数据时间标签和数据位置标签。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员，在本发明揭露的技术范围内，可轻易想到变化或替换，都应该涵盖在本发明的保护范围内。

Claims (10)

1.一种沉浸式时空数据可视分析多视图动态布局方法，其特征在于，包括：

S101.建立可布局空间，所述可布局空间作为若干视图的载体；

S102.计算可视分析任务当前阶段的各视图的被关注程度；

S103.根据可视分析任务当前阶段的任务需求，计算可视分析任务当前阶段的各视图之间的关联程度；

S104.根据分析者对一个视图关于视图位置的注视变化信息，或者根据分析者对一个视图关于视图数据的分析变化信息，依据其他视图与该视图之间的关联程度和其他视图的被关注程度，从其他视图中确定相应视图并使之联动响应。

2.根据权利要求1所述的沉浸式时空数据可视分析多视图动态布局方法，其特征在于，所述S101包括：

S101-1.获取分析者的双目位置信息并以所述双目位置为球心，获取分析者的有效认知距离信息并以所述有效认知距离为半径，建立球面，所述球面作为所述可布局空间；

S101-2.从所述球面上划分出聚焦区域和提示区域。

3.根据权利要求2所述的沉浸式时空数据可视分析多视图动态布局方法，其特征在于，所述S101-2具体为：

获取分析者的视线方向，以所述视线方向的35～50°夹角方向为母线所形成的圆锥在所述球面上截取的弧面作为所述聚焦区域；

将以所述视线方向的60～80°夹角方向为母线所形成的圆锥在所述球面上截取的弧面与所述聚焦区域的差集作为所述提示区域。

4.根据权利要求1所述的沉浸式时空数据可视分析多视图动态布局方法，其特征在于，所述若干视图是由与分析任务相关的时空数据经可视化而得，所述若干视图包括时间序列视图、数据位置视图、可视描述性分析视图、可视解释性分析视图、多层关联网络视图、可视推理分析视图、空间拓扑关系视图、语义关联关系视图和多模态特征关联关系视图；

其中，所述时间序列视图和数据位置视图构成场景模块，所述可视描述性分析视图和可视解释性分析视图构成分析模块，所述多层关联网络视图和可视推理分析视图构成线索模块，所述各模块之间具有相应的映射关系；

其中，所述空间拓扑关系、语义关联关系和多模态特征关联关系构成所述多层关联网络。

5.根据权利要求4所述的沉浸式时空数据可视分析多视图动态布局方法，其特征在于，所述S102包括：

S102-1.建立关于所述场景模块的树形结构TREE1，所述时间序列视图和数据位置视图作为所述TREE1中同一阶度的两个节点；建立关于所述分析模块的树形结构TREE2，所述可视描述性分析视图和可视解释性分析视图作为所述TREE2中同一阶度的两个节点；建立关于所述线索模块的树形结构TREE3，所述多层关联网络视图和可视推理分析视图作为所述TREE3中同一阶度的两个节点，所述空间拓扑关系视图、语义关联关系视图和多模态特征关联关系视图作为所述多层关联网络视图的三个子节点；

S102-2.遍历TREE1、TREE2和TREE3中的各个节点，计算并存储各个节点对应视图的关注度因子值；

S102-3.构建各树形结构与对应模块间的映射关系，映射TREE1中计算的各节点关注度因子值到场景模块的对应视图中，映射TREE2中计算的各节点关注度因子值到分析模块的对应视图中，映射TREE3中计算的各节点关注度因子值到线索模块的对应视图中，以算得分析任务当前阶段的各视图的被关注程度。

6.根据权利要求4所述的沉浸式时空数据可视分析多视图动态布局方法，其特征在于，所述S103包括：

S103-1.以所述各视图为顶点创建图形结构；

S103-2.分别以各视图为开始顶点，遍历并计算其与其余各个视图顶点的关联度因子值，所述关联度因子值可表征所述关联程度。

7.根据权利要求1所述的沉浸式时空数据可视分析多视图动态布局方法，其特征在于，所述若干视图是由与分析任务相关的时空数据经可视化而得，所述若干视图包括时间序列视图、数据位置视图、可视描述性分析视图、可视解释性分析视图、多层关联网络视图和可视推理分析视图；

所述方法在S101之前还可以包括S001.构建时空数据可视分析多层次视图组件，所述视图组件包括场景模块、分析模块和线索模块；其中，所述场景模块包括所述时间序列视图和数据位置视图，所述分析模块包括所述可视描述性分析视图和可视解释性分析视图，所述线索模块包括所述多层关联网络视图和可视推理分析视图。

8.根据权利要求7所述的沉浸式时空数据可视分析多视图动态布局方法，其特征在于，所述S001包括：

S001-1.从数据存储单元中抽取与分析任务相关的数据时间标签和数据位置标签，形成数据时间序列和数据位置序列，并将其可视化，形成所述时间序列视图和数据位置视图，所述各视图构建所述场景模块；

S001-2.根据任务需求，对数据进行描述性分析、解释性分析和探索性分析，对所述各种分析进行可视化并生成相应的可视描述性分析视图、可视解释性分析视图和可视探索性分析视图，所述各视图构建所述分析模块；

S001-3.分别计算对象间的时空关联关系、语义关联关系和多模态特征关联关系以构建所述多层关联关系网络，并将所述多层关联关系网络可视化；将分析推理流程可视化，形成所述可视推理分析视图；所述各视图构建所述线索模块；

S100-4.构建场景模块、分析模块和线索模块之间的映射关系。

9.一种沉浸式时空数据可视分析多视图动态布局系统，其特征在于，包括：

布局空间建立单元，用于建立可布局空间，所述可布局空间作为若干视图的载体；

计算单元，用于计算可视分析任务当前阶段的各视图的被关注程度，用于根据可视分析任务当前阶段的任务需求，计算可视分析任务当前阶段的各视图之间的关联程度，用于根据分析者对一个视图关于视图位置的注视变化信息，或者根据分析者对一个视图关于视图数据的分析变化信息，依据其他视图与该视图之间的关联程度和其他视图的被关注程度，从其他视图中确定相应视图，并向视图展示单元发送关于所述相应视图的视图联动信号或指令；以及

所述视图展示单元，用于在所述可布局空间上展示所述若干视图，用于接受所述计算单元发送的关于所述相应视图的视图联动信号或指令，并根据所述信号或指令控制相应视图联动。

10.根据权利要求9所述的沉浸式时空数据可视分析多视图动态布局系统，其特征在于，还包括数据存储单元，用于存储所述时空数据。