CN108959352A - 基于时间和空间数据模型的时空数据处理平台及处理方法 - Google Patents
基于时间和空间数据模型的时空数据处理平台及处理方法 Download PDFInfo
- Publication number
- CN108959352A CN108959352A CN201810392880.XA CN201810392880A CN108959352A CN 108959352 A CN108959352 A CN 108959352A CN 201810392880 A CN201810392880 A CN 201810392880A CN 108959352 A CN108959352 A CN 108959352A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- module
- space
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 88
- 238000013499 data model Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000007726 management method Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 27
- 238000013500 data storage Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 230000000712 assembly Effects 0.000 claims description 19
- 238000000429 assembly Methods 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 7
- PJPOCNJHYFUPCE-UHFFFAOYSA-N picen-1-ol Chemical compound C1=CC=CC2=C(C=CC=3C4=CC=C5C=CC=C(C=35)O)C4=CC=C21 PJPOCNJHYFUPCE-UHFFFAOYSA-N 0.000 claims description 7
- 230000001550 time effect Effects 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000013523 data management Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000002688 persistence Effects 0.000 abstract description 7
- 230000008859 change Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 66
- 238000010586 diagram Methods 0.000 description 4
- 238000005194 fractionation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012482 interaction analysis Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于时间和空间数据模型的时空数据处理平台及处理方法，属于时空大数据处理和分析技术领域，其通过对时间与空间数据联合建立数据模型，可以实现空间要素随时间的变化，可以将地理事物和现象的时间、空间及属性特征有机结合，可以丰富地理事物和现象作为表达内容，同时支持时空数据快速分析、写入、持久化、多纬度聚合查询。
Description
技术领域
本发明属于时空大数据处理和分析技术领域，具体涉及一种集数据采集、处理、存储、分析于一体的时空大数据处理平台及其处理方法，主要用于时空数据的快速分析、写入、持久化、多纬度聚合查询及交互分析。
背景技术
随着现代GIS系统(GIS，全称：Geographic Information Science，地理信息科学的缩写)快速发展和技术应用的深入，很多场景已不再满足于简单的路径截取、位置查询、结果评估，而是要在高时间、高空间多维数据基础上，对数据进行复合查询显示、交互分析、区域统计、历史比较和叠加分析等，这些需求在已有GIS系统里实现起来都非常复杂，需要编写大量程序，开发时间比较长，而且程序运行速度比较慢。
为了解决上述问题，提高大规模时空数据分析的效率，例如降低数据分析处理的难度及能够快速的对时空数据进行迭代处理，同时减少程序编写量，缩短开发时间，降低对专业GIS知识的依赖程度，我们开发了基于时间和空间数据模型的时空数据处理平台及其处理方法。
发明内容
为了解决现有技术的上述问题，本发明提供一种基于时间和空间数据模型的时空数据处理平台，其通过对时间与空间数据联合建立数据模型，可以实现空间要素随时间的变化，将地理事物和现象的时间、空间及属性特征有机结合，以丰富地理事物和现象作为表达内容，同时支持时空数据快速分析、写入、持久化、多纬度聚合查询。
本发明还提供一种基于时间和空间数据模型的时空数据处理方法，其通过对时间与空间数据联合建立数据模型，可以实现空间要素随时间的变化，将地理事物和现象的时间、空间及属性特征有机结合，以丰富地理事物和现象作为表达内容，同时支持时空数据快速分析、写入、持久化、多纬度聚合查询。
为了达到上述目的，本发明采用的主要技术方案包括：
一种基于时间和空间数据模型的时空数据处理平台，其包括：
数据装载模块，作为时空数据处理平台的数据接入组件，用于异构时空数据的接入，例如提供标准的SDK和数据接入方法，为时空数据处理平台及/或第三方数据接入提供标准化的数据接入过程；
数据索引模块，用于完成时空数据索引过程，较佳的，当数据接入后，首先对数据按时间和空间进行索引；
数据存储模块，用于对索引后的数据进行存储，数据存储较佳是NoSql数据库，也可以是其它数据存储服务，例如HBase、Casandra等；
数据查询模块，用于时空数据查询，较佳的，它是数据查询的统一出口，用户可以自定义模型对数据进行查询，查询模型的格式为JSON；
数据查询服务支撑模块，用于实现数据存储加密、传输加密、组件服务的高可用等；
数据分析模块，用于提供数据分析服务，例如叠加分析、预测、地理代数分析等；
数据分析服务支撑模块，用于数据分析的并行计算支撑，其底层基于Spark并行计算框架；
基础服务支撑模块，用于实现整个平台的管理，例如：集群服务管理、状态监控、安装部署等。
借助上述方案，本发明的基于时间和空间数据模型的时空数据处理平台，其通过对时间与空间联合建立数据模型，能够实现空间要素随时间的变化，将地理事物和现象的时间、空间和属性特征有机结合，是集时间和空间地理信息数据采集、处理、存储、展现于一体的时空数据库。
本发明的一个实施例中，数据接入组件为API编程模型(API，全称ApplicationProgramming Interface，应用程序编程接口的缩写)，借此，使得开发者不仅可以编写新的Java代码，也可以重用现有的通用Java代码，可以降低编写大数据应用所需的专业知识要求，有助于降低应用门槛，使其更易推广普及。例如，现有的演示和可重用的算子就能够促进应用程序的快速开发。
较佳的，API编程模型支持原生的Hadoop，原生的Hadoop支持能够使并行数据处理平台(即时空数据处理平台)快速的安装在现有YARN(YARN，全称YetAnotherResourceNegotiator，另一种资源协调者的缩写)集群中。
其中，YARN集群包括：
若干节点，用于集群目录管理、数据存储、任务调度和任务执行；
若干节点管理器NodeManager(NM)，用于管理每个节点上的资源和任务；
动态的资源池Container，用于封装节点上的对应资源；
若干表示对应应用的应用管理器AppMaster(AM)，用于对运行在集群中的任务进行管理，每一个应用管理器AppMaster拥有多个资源池Container在节点管理器NodeManager上运行；
资源管理器ResourceManager(RM)，负责整个YARN集群的资源管理和分配。
其中，每个节点管理器可以对应多个资源池Container。
其中，节点管理器NodeManager一方面定时地向资源管理器RM汇报本节点上的资源使用情况和各个资源池Container的运行状态；另一方面，它接收并处理来自应用管理器AM的资源池Container启动/停止等各种请求。
借助上述YARN集群结构，当结点运行失败时，能够通过资源管理器自动恢复，而无任何状态和数据的丢失。
同时，使得本发明的时空数据处理平台能够在Hadoop集群上以线性的方式进行扩展，达到每秒处理数十亿事件的水平。
其中，所述YARN集群设置HDFS(HDFS是Hadoop Distribute File System的简称，也就是Hadoop的一个分布式文件系统)作为后端的检查点机制，能够保证无论是机器故障或处理流程发生失败时，都能够将应用状态保存，保证使其自动快速恢复。
在实际应用时，客户在并行处理管理平台提交任务包，Hadoop集群上的资源管理器接受客户提交的任务包，根据各节点的节点状态、资源请求管理和分配YARN集群的资源，例如向各节点分配节点任务，进而完成任务包的处理。
其中，各节点的节点管理器向资源管理器反馈各节点的节点状态。
其中，各节点的节点任务向本节点或其他节点的资源池中的应用管理器反馈任务状态。
其中，各节点的资源池中的应用管理器向资源管理器请求资源。
借此，本发明的并行数据处理平台可以实现高可用的事件流转。
本发明的一个实施例中，数据装载模块包括下列组件中的任一个或任几个：
时间一致性组件，用于实现数据的时间一致性控制，即将时间格式统一为标准的UTC时间；
空间一致性组件，用于实现数据的空间一致性控制，对所有数据添加经度、纬度和高度3个基本空间属性；
存储协议标准化组件，用于统一数据存储格式，对数据进行压缩转换，提高存储空间利用率；
自定义协议组件，用于数据传输协议的标准化，例如TCP、Avro、Thrift。
借此，可以进行时间和空间数据信息的采集，支持时空数据的快速写入，进行统一数据装载，有利于降低数据分析处理的难度，提高平台整体运行速度，解决大规模时空数据分析的效率问题。
其中，数据装载模块还包括下列组件中的任一个或任几个：
TJSJ Mangement组件(即并行处理管理组件)，用于供应用管理员进行管理、监控和可视化操作；
TJSJ Assemble程序组件(即装配程序组件)，用于供用户直观地构建各种数据接入组件。
应用管理员可以从TJSJ Mangement组件(即并行处理管理组件)完成一整套的管理、监控和可视化操作，可以通过TJSJ Assemble程序组件(即装配程序组件)这个程序组件装配工具，来直观的构建各种数据接入组件。
本发明的一个实施例中，数据索引模块包括下列组件中的任一个或任几个：
时间数据索引模块，用于实现对数据按时间属性进行索引；
空间数据索引模块，用于实现对数据按空间属性进行索引；
BTREE模块，用于低纬度数据的索引；
RTREE模块，用于高纬度数据的索引；
倒排索引模块，用于提高数据查询效率，对需要查询和检索的属性创建倒排索引；
自定义索引模块，用于供用户自定义创建索引，例如当现有索引方法不能满足需求时，由用户自定义创建索引。
借此，可以进行统一数据索引，支持多维度聚合查询。
本发明的一个实施例中，数据存储模块包括下列组件中的任一个或任几个：
行存储模块，用于数据管理应用较多的场景，借以获得较快的存取速度，便于数据更新及管理，但数据量较大时存取效率会变低；
列存储模块，用于实时计算且数据量较大的应用场景，借以提高数据处理的速度，但数据管理的效率较低；
向量存储模块，用于地理数据模型中区域、道路、河流的存储，可以链表的方式存储在系统中；
格点存储模块，根据相应的数据精度对数据进行格点化并存储到系统中；
聚合存储模块，用于对数据进行预计算，在数据接入的进程按照一定的规则和维度，对数据的指标进行计算并存储，以便在后续查询的时候，可以直接查询聚合结果。
本发明的时空数据处理平台中，时空数据索引与存储较佳的可以采用瓦片金字塔技术。
例如，可以采用如下方式实施：
根据实际数据提供给数据分析服务平台所需的数据的缩放级别数，建立网格坐标系，同时设置数据比例尺最大，缩放级别最低的数据层级位于金字塔的底层，并将其定义为第0层，按照从左到右、从下到上的规则进行切片；
将该0层数据瓦片的左上角开始进行切割分块，分割成大小相同的正方形数据瓦片，用(Tile)表示，从而得到第0层的瓦片矩阵；
在第0层数据瓦片的基础上再次按照分块原则，对第一层数据同样建立网格坐标系，以同样的方法进行切割，同时将该层每2*2像素合成为一个像素，形成第1层数据瓦片，并对该层数据进行分块切割，得到与第0层相同大小的正方形数据瓦片，形成第1层瓦片矩阵；
依此循环，应用类似的方法生成第二层瓦片矩阵、第三层矩阵、直到第n-1层矩阵，影像数据就可以采用瓦片金字塔服务模型的结构存储管理。
具体计算方式为：
假设第0层分辨率为res0，L为金字塔的层数，第L层的分辨率用resL表示，则第L层的分辨率resL由下面公式计算得出：
resL＝res0*2L (1)；
设第L层像素矩阵大小用rowL*colL表示，正方形瓦片大小用height*width表示，相邻层数的重叠度用over_size表示，则瓦片矩阵的行列(TrowL*TcolL)由下列式子计算：
TrowL＝(rowL-over_size)/height (2)，
TcolL＝(colL-over_size)/width (3)；
按照2*2像素将瓦片合成，形成第L+1层时，第L+1层的像素矩阵行列pirow(L+1)*picol(L+1)的大小和分辨率由下面公式计算：
Pirow(L+1)＝PirowL/2 (4)，
Picol(L+1)＝PicolL/2 (5)，
Res(L+1)＝resL/2 (6)。
在实际应用中，可以根据己知数据源分辨率来计算瓦片在金字塔中的所在层数。如果原数据的分辨率与金字塔中数据的分辨率存在差别，则应先对原始影像进行重采样处理，再对其进行瓦片矩阵划分。
对切割好的瓦片，构建线性四叉树索引机制进行检索，以便实现地图的快速检索，提供快速流畅的数据服务，例如，可以按照如下步骤构建索引机制：
首先，对金字塔模型中的所有瓦片进行编号处理，用Tile_id来表示，从第0层按照从左到右，从下到上的顺序依次编号。(Tx，Ty，L)用来唯一标识某瓦片在金字塔模型中的位置，其中L为瓦片所在层数；
例如，给定的瓦片(Tx，Ty，L)，使用对角线的描述方式，则其左下角的像素坐标(piX1，piY2)由下式计算出：
piX1＝Tx*height (7)，
piY2＝Ty*width (8)；
对应右上角的像素坐标为(piX3，piY4)由下式计算出：
piX3＝(Tx+1)*height+(over_size-1) (9)，
piY4＝(Ty+1)*width+(over_size-1) (10)；
而对于给定的像素坐标(piX，piY)，其所在的瓦片坐标由以下公式计算出：
Tx＝piX/height (11)，
Ty＝piy/width (12)。
上述金字塔模型中的瓦片拓扑关系主要体现在以下两个方面：
1)同一层间瓦片间为兄弟关系；
2)上下层瓦片之间为父与子关系。
具体的，兄弟关系分别为东、西、南、北四个相互邻接的瓦片。父与子关系，对于父而言，与下层四个孩子的关系为西北、西南、东北、东南四个孩子瓦片。
因此，假设选定的瓦片唯一标识码为(Tx，Ty，L)，由上面所述瓦片的拓扑关系可计算得到其东、西、南、北四个邻接兄弟瓦片的坐标，分别为：(Tx+1，Ty，L)、(Tx-1，Ty，L)、(Tx，Ty-1，L)、(Tx，Ty+1，L)，其四个孩子瓦片西南、东南、西北、东北的坐标分别为：(2*Tx，2*Ty，L-1)、(2*Tx+1，2*Ty，L-1)、(2*Tx，2*Ty+1，L-1)、(2*Tx+1，2*Ty+1，L-1)，其父类瓦片的坐标为：(Tx/2，Ty/2，L+1)。
本发明的一个实施例中，数据查询模块包括下列组件中的任一个或任几个：
解析模块，用于自定义查询模型的解析，查询模型可以是基于JSON语法结构，较佳的，可指定查询的数据存储、持久化位置、缓存时间；
查询缓存模块，用于模型查询结果缓存，较佳的，在一定时间内多次查询同一结果时，只会进行一次计算；
查询适配器模块，用于将模型查询语句指向对应的数据存储。例如可以作为不同数据存储的查询适配器，可以将同样的模型查询语句指向不同的数据存储，并进行计算返回结果。
本发明的一个实施例中，数据查询服务支撑模块包括下列组件中的任一个或任几个：
安全性/完整性模块，用于为数据存储的安全性和完整性提供保障，例如：所有数据在系统都会存储多份且每份都会进行完整性校验；
高可用/健壮性模块，用于为组件服务的高可用提供支持，各服务组件都以集群的方式运行，当其中一个组件服务停止时，系统会将运行在当前服务上的任务无缝的转移到其它组件服务上。
本发明的一个实施例中，数据分析模块包括索引元数据模块，用于存储时间和空间数据的索引元数据。
其中，索引元数据模块包括下列组件中的任一个或任几个：
时空索引模块，用于时空索引元数据存储；
聚合索引模块，用于聚合索引元数据存储；
自定义索引模块，用于自定义索引元数据存储。
本发明的一个实施例中，基础服务支持模块包括基础服务管理模块，用于实现整个平台的管理，例如：集群服务管理、状态监控、安装部署等。
上述任一实施例的基于时间和空间数据模型的时空数据处理平台，较佳的，还包括时空数据查询引擎，作为统一的时空数据出口。
其中，所述时空数据查询引擎是构建在Spark并行处理框架基础上的数据分析与处理系统。
其中，所述时空数据查询引擎具有下列组件中的任一个或任几个：
API网关，用于实现REST Api服务的统一管理、认证、路由；
API及数据权限管理模块，用于实现REST Api服务权限管理和控制；
数据缓存服务模块，用于模型查询结果的缓存；
DQL查询解析引擎，用于实现自定义查询模型的语法解析；
数据分析服务模块，用于实现时空数据地理代数分析、叠加分析、预测等；
时间数据模型管理模块，用于提供查询模型的基础管理功能；
并行任务处理框架模块，用于任务处理框架模块，用于为数据处理的并行计算过程提供服务支撑；
REST API模块，用于为平台所有数据分析、存储、控制和管理提供标准的REST API服务。
其中，DQL查询解析引擎具有下列组件中的任一个或任几个：
解析器，用于解析模型语言，转化为时空数据存储的查询语言；
查询模块，以并行或串行的方式查询；
查询结果缓存模块，通过层次组合将首次查询结果缓存；
结果预报模块，用于为机器学习、AI智能分析、结果预测提供基础服务支撑，优先预报时效组合；
聚合输出模块，将查询数据聚合并输出。
上述任一实施例的基于时间和空间数据模型的时空数据处理平台，较佳的，还包括访问控制模块，用于对数据进行权限访问控制和管理。
其中，访问控制模块包括数据访问监视器，用于对任务数据的进出进行监视并做记录，以便做到数据来去可控。
其中，数据访问监视器是从数据访问主体、客体，以及为识别和验证这些实体的子系统和控制实体间访问来建立的。
上述任一实施例的基于时间和空间数据模型的时空数据处理平台，较佳的，还包括对关键数据存储进行加密的关键数据存储加密模块。其不对全量数据进行加密，而只对部分关键数据进行加密，即使数据泄漏也必须使用特定算法进行解密才可以查看，借以在保证数据安全的前提下，提高数据加载的效率。
上述任一实施例的基于时间和空间数据模型的时空数据处理平台，较佳的，还包括对数据文件进行分布式存储和批量还原的存储异形模块，借此，将时空数据处理平台里面的数据文件通过分布式文件系统进行存储，使其只具有极低的可还原特性，即便单一服务器单一文件泄漏时，也需要通过集群统一文件批量才能进行还原，借以提高数据存储的安全性。
一种基于时间和空间数据模型的时空数据处理方法，其对时间和多维空间数据联合建立数据模型，实现多维空间要素随时间的变化。
借助上述方案，本发明的基于时间和空间数据模型的时空数据处理方法，其通过对时间与多维空间联合建立数据模型，能够实现多维空间要素随时间的变化，可以将地理事物和现象的时间、空间和属性特征有机结合，可以丰富地理事物和现象作为表达内容，同时支持时空数据快速分析、写入、持久化、多纬度聚合查询。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其包括如下步骤：
S1、利用数据装载模块对时间数据和多维空间数据进行统一装载；
S2、对时间数据和多维空间数据进行统一的索引与存储，建立时空数据库；
S3、根据请求对时空数据库进行查询分析，据此得到时间与多维空间属性特征相结合的结果。
借此，可以进行统一数据装载，支持时空数据的快速写入，有利于降低数据分析处理的难度，提高整体处理速度，解决大规模时空数据分析的效率问题，可以进行统一数据索引，支持多维度聚合查询。
具体实施时，步骤S1中，数据装载可以是通过API编程模型编写新的和/或重用现有的通用Java代码实现的。借此，现有的演示和可重用的算子能够促进应用程序快速开发。
较佳的，API编程模型支持原生的Hadoop，原生的Hadoop支持能够使时空数据处理平台快速的安装在现有的YARN集群中。
较佳的，API编程模型使得时空数据处理平台能够在Hadoop集群上以线性的方式进行扩展。
较佳的，基于HDFS的后端检查点机制，能够保证无论是机器故障或处理流程发生失败时，都能够将应用状态保存，保证使其自动快速恢复。
具体的，数据装载模块包括下列组件中的任一个或任几个：
TJSJ Mangement组件(即并行处理管理组件)，用于供应用管理员进行管理、监控和可视化操作，借此，应用管理员可以从并行处理管理组件完成一整套的管理、监控和可视化操作；
TJSJ Assemble程序组件(即装配程序组件)，用于供用户直观地构建各种数据接入组件，借此，应用管理员可以通过装配程序组件，来直观的构建各种数据接入组件；
时间一致性组件，用于保证时空数据库中相应数据的时间一致性；
空间一致性组件，用于保证时空数据库中相应数据的空间一致性。
实施时，步骤S2中，对时空数据的索引与存储可以是基于瓦片金字塔技术进行的。借此，便于管理和存储海量时空数据，可以根据实际输入请求查找部分数据瓦片，而不需要加载完整数据，减少服务器端的响应时间，加快响应速度。
其中，时空数据包括影像数据。
具体实施时，步骤S2包括步骤S21、建模和步骤S22、发布。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其中，步骤S21建立的金字塔模型中的瓦片拓扑关系包括：同一层间瓦片间为兄弟关系，上下层瓦片间为父与子关系。例如，兄弟瓦片包括东西南北四个相互邻接的瓦片，在父瓦片的下层具有西北、西南、东北、东南四个孩子瓦片。
其中，瓦片具有唯一的标识码(Tx，Ty，L)，可以唯一标识某瓦片在金字塔模型中的位置，其中L为瓦片所在层数。
进一步的，其东西南北四个兄弟瓦片的相对标识码则分别为(Tx+1，Ty，L)、(Tx-1，Ty，L)、(Tx，Ty-1，L)、(Tx，Ty+1，L)，其下层的西南、东南、西北、东北四个孩子瓦片的相对标识码则分别为：(2×Tx，2×Ty，L-1)、(2×Tx+1，2×Ty，L-1)、(2×Tx，2×Ty+1，L-1)、(2×Tx+1，2×Ty+1，L-1)，其父瓦片的相对标识码则为：(Tx/2，Ty/2，L+1)。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其中，步骤S21的具体步骤包括：
S211、根据实际数据提供给数据分析服务平台所需的数据的缩放级别数，建立网格坐标系，同时设置数据比例尺最大，缩放级别最低的数据层级位于金字塔的底层，并将其定义为第0层，按照从左到右、从下到上的规则进行切片；
S212、将该0层数据瓦片的左上角开始进行切割分块，分割成大小相同的正方形数据瓦片，用(Tile)表示，从而得到第0层的瓦片矩阵；
S213、在第0层数据瓦片的基础上再次按照分块原则，对第一层数据同样建立网格坐标系，以同样的方法进行切割，同时将该层每2×2像素合成为一个像素，形成第1层数据瓦片，并对该层数据进行分块切割，得到与第0层相同大小的正方形数据瓦片，形成第1层瓦片矩阵；
依此循环，应用类似的方法生成第二层瓦片矩阵、第三层矩阵、直到第n-1层矩阵。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，瓦片金字塔建模过程中，相应参数的计算可以按照如下公式进行：
假设第0层分辨率为res0，L为金字塔的层数，则第L层的分辨率由式(1)计算得出：
resL＝res0×2L 式(1)；
设第L层的分辨率用resL表示，第L层像素矩阵大小用rowL×colL表示，正方形瓦片大小用height×width表示，相邻层数的重叠度用over_size表示，则瓦片矩阵的行列(TrowL×TcolL)由式(2)、式(3)计算：
TrowL＝(rowL-over_size)/height 式(2)，
TcolL＝(colL-over_size)/width 式(3)；
按照2×2像素将瓦片合成，形成第L+1层时，第L+1层的像素矩阵行列pirow(L+1)×picol(L+1)的大小和分辨率由式(4)、式(5)、式(6)计算：
Pirow(L+1)＝PirowL/2 式(4)，
icol(L+1)＝PicolL/2 式(5)，
Res(L+1)＝resL/2 式(6)。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其步骤S21中，还包括下列步骤中的一个或几个：
步骤S214、根据已知数据源分辨率计算瓦片在金字塔中所在的层数；
步骤S216、进行瓦片矩阵划分前，先对原始影像进行重采样处理。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其中，步骤S216之前还包括步骤S215、原数据的分辨率与金字塔中数据的分辨率存在差别，如果判断结果为是，则执行步骤S216。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其步骤S22中包括步骤：
S221、构建线性四叉树索引机制；
S222、基于性四叉树索引机制进行检索。
借此，可以对切割好的瓦片，实现地图的快速检索，提供快速流程的数据服务。
其中，步骤S221中包括：计算给定瓦片在金字塔模型中的位置。
较佳的，使用对角线的描述方式。
具体的，步骤S221中包括：
步骤S2211、按照式(7)、式(8)计算给定瓦片左上角的像素坐标(piX1，piY2)：
piX1＝Tx*height 式(7)，
piY2＝Ty*width 式(8)；
步骤S2212、按照式(9)、式(10)计算给定瓦片右上角的像素坐标(piX3，piY4)：
piX3＝(Tx+1)*height+(over_size-1) 式(9)，
piY4＝(Ty+1)*width+(over_size-1) 式(10)。
步骤S2213、依据像素坐标(piX，piY)，按照式(11)、式(12)计算瓦片的坐标：
Tx＝piX/height 式(11)，
Ty＝piy/width 式(12)。
借助上述方案，本发明可以根据实际需要对矢量-栅格数据使用瓦片金字塔模型发布瓦片服务，以适应高时间、高空间、多源、动态、多维数据查询的需要，为地理时空数据及其属性数据的发布、存储、共享、查询等提供了高效率的解决方法。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其步骤S3中，是以时空数据查询引擎作为统一的时空数据出口的。
较佳的，所述时空数据查询引擎是构建在Spark并行处理框架基础上的数据分析与处理系统。
其中，所述时空数据查询引擎具有：
API网关，用于实现REST Api服务的统一管理、认证、路由；
API即数据权限管理模块，用于实现REST Api服务权限管理和控制；
数据缓存服务模块，用于模型查询结果的缓存；
DQL查询解析引擎，用于实现自定义查询模型的语法解析；
数据分析服务模块，用于实现时空数据地理代数分析、叠加分析、预测等；
时间数据模型管理模块，用于提供查询模型的基础管理功能；
并行任务处理框架模块，用于任务处理框架模块，用于为数据处理的并行计算过程提供服务支撑；
REST API模块，用于为平台所有数据分析、存储、控制和管理提供标准的REST API服务。
其中，DQL查询解析引擎具有：
解析器，用于解析模型语言，转化为时空数据存储的查询语言；
查询模块，以并行或串行的方式查询；
查询结果缓存模块，通过层次组合将首次查询结果缓存；
结果预报模块，用于为机器学习、AI智能分析、结果预测提供基础服务支撑，较佳的，优先预报时效组合。
聚合输出模块，将查询数据聚合并输出。
借此，可以实现水平组合漫游完整的格点数；
并行任务拆分可以显著提升IO性能，多区域拼接难度加大；
通过层次组合将首次查询结果缓存，极大的提高垂直查询速度，减少单次操作的数据压力和网络压力；
时空组合极大的提高数据获取速度；
优先考虑预报时效组合，以达到高速按范围获取的目标；
层次索引只拆分不组合，按照拆分的索引模式，可以达到降低网络传输量，节省浏览器端压力的效果；
将数据按时间/空间进行索引，对气象数据进行合理建模，优化了查询检索性能；
还可提交周期型的后台任务，依据算法模型的配置，定时计算并输出结果。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其还包括：
步骤S4、利用数据访问监视器对任务数据的进出进行监视并做记录，以便做到数据来去可控。
其中，数据访问监视器是从数据访问主体、客体，以及为识别和验证这些实体的子系统和控制实体间访问来建立的。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其还包括：
步骤S5、对关键数据存储进行加密。
借此，由于其对部分关键数据进行了加密，即使数据泄漏也必须使用特定算法进行解密才可以查看，同时，由于不对全量数据进行加密，因此可以在保证数据安全的前提下，提高数据加载的效率。
本发明一个实施例的基于时间和空间数据模型的时空数据处理方法，其还包括：
步骤S6、通过分布式文件系统进行存储，再通过集群统一文件批量进行还原。
借此，将时空数据处理平台里面的数据文件通过分布式文件系统进行存储，使其只具有极低的可还原特性，即便单一服务器单一文件泄漏时，也需要通过集群统一文件批量才能进行还原，借以提高数据存储的安全性。
附图说明
图1为本发明一个实施例的基于时间和空间数据模型的时空数据处理平台的逻辑架构示意图；
图2为本发明一个实施例的基于时间和空间数据模型的时空数据处理平台中的时空数据查询引擎的逻辑架构示意图；
图3为本发明一个实施例的基于时间和空间数据模型的时空数据处理方法的整体流程示意图；
图4为本发明一个实施例的基于时间和空间数据模型的时空数据处理方法中的事件流转过程示意图；
图5为本发明一个实施例的基于时间和空间数据模型的时空数据处理方法中的瓦片金字塔建立流程示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
本发明一个实施例的基于时间和空间数据模型的时空数据处理平台，其总体设计是：建立一个分布式时空数据库，通过对时间与空间联合建立数据模型，实现空间要素随时间的变化，将地理事物和现象的时间、空间和属性特征有机结合，是集时间和空间地理信息数据采集、处理、存储、展现于一体的时空数据库。
本发明一个实施例的基于时间和空间数据模型的时空数据处理平台，其主要包括以下几部分：统一数据装载、统一数据索引与存储、数据查询分析服务及基础服务支持模块，其逻辑架构如图1所示。
本发明一个实施例的基于时间和空间数据模型的时空数据处理平台，其统一数据装载。
具体的：
其时空数据库数据接入组件是一个API编程模型，能够使开发者编写新的或重用现有的通用Java代码，降低编写大数据应用所需的专业知识要求。现有的演示和可重用的算子能够促进应用程序快速开发。原生的Hadoop支持能够使并行数据处理平台快速的安装在现有YARN集群中，应用管理员可以从TJSJ Mangement完成一整套的管理、监控和可视化操作，可以通过TJSJ Assemble这个程序组件装配工具，来直观的构建各种数据接入组件。
该平台能够每秒处理数十亿事件，当结点失败时，能够自动恢复，而无任何状态和数据的丢失。该平台能够在Hadoop集群上以线性的方式进行扩展，达到每秒处理数十亿的事件。基于HDFS(HDFS是Hadoop Distribute File System的简称，也就是Hadoop的一个分布式文件系统。)作为后端的检查点机制，能够保证无论是机器故障或处理流程发生失败时，都能够将应用状态保存，保证使其自动快速恢复，其高可用的事件流转过程如图4所示。
本发明一个实施例的基于时间和空间数据模型的时空数据处理平台，其时空数据索引与数据存储是基于瓦片金字塔技术进行的。
瓦片金字塔技术是管理和存储海量时空数据的一种模式，仅会根据当前的实际输入请求查找部分数据瓦片，不需要加载完整数据，加速服务器端的响应速度。
根据实际需要可以对任何矢量-栅格数据使用瓦片金字塔模型发布瓦片服务，这也更加对高时间、高空间、多源、动态、多维数据查询的需要，为地理时空数据及其属性数据的发布、存储、共享、查询等提供了高效率的解决方法，因此，在天机时空数据处理平台中瓦片金字塔建模及发布技术是一项关键技术。
下面对瓦片数据索引建立的详细过程进行说明：
根据实际数据提供给数据分析服务平台所需的数据的缩放级别数，建立网格坐标系，同时设置数据比例尺最大，缩放级别最低的数据层级位于金字塔的底层，并将其定义为第0层，按照从左到右、从下到上的规则进行切片
将该0层数据瓦片的左上角开始进行切割分块，分割成大小相同的正方形数据瓦片，用(Tile)表示，从而得到第0层的瓦片矩阵
在第0层数据瓦片的基础上再次按照分块原则，对第一层数据同样建立网格坐标系，以同样的方法进行切割，同时将该层每2*2像素合成为一个像素，形成第1层数据瓦片，并对该层数据进行分块切割，得到与第0层相同大小的正方形数据瓦片，形成第1层瓦片矩阵；
依此循环，应用类似的方法生成第二层瓦片矩阵、第三层矩阵、直到第n-1层矩阵，影像数据就可以采用瓦片金字塔服务模型的结构存储管理。
其建立过程如图5所示，具体的过程为：
确定已知条件，计算相应参数
假设第0层分辨率为res0，L为金字塔的层数，则第L层的分辨率由下面公式计算得出：
resL＝res0*2L (1)
设第L层的分辨率用resL表示，第L层像素矩阵大小用rowL*colL表示，正方形瓦片大小用height*width表示，相邻层数的重叠度用over_size表示，则瓦片矩阵的行列(TrowL*TcolL)由下列式子计算：
TrowL＝(rowL-over_size)/height (2)
TcolL＝(colL-over_size)/width (3)
按照2*2像素将瓦片合成，形成第L+1层时，第L+1层的像素矩阵行列pirow(L+1)*picol(L+1)的大小和分辨率由下面公式计算：
Pirow(L+1)＝PirowL/2 (4)
Picol(L+1)＝PicolL/2 (5)
Res(L+1)＝resL/2 (6)
在实际应用中，可以根据己知数据源分辨率来计算瓦片在金字塔中的所在层数。如果原数据的分辨率与金字塔中数据的分辨率存在差别，则应先对原始影像进行重采样处理，再对其进行瓦片矩阵划分。
可以按如下方式构建瓦片索引机制，以便对切割好的瓦片，实现地图的快速检索，提供快速流畅的数据服务，构建适宜的索引机制，这里选择构建线性四叉树索引机制进行说明：
首先，对金字塔模型中的所有瓦片进行编号处理，用Tile_id来表示，从第0层按照从左到右，从下到上的顺序依次编号。(Tx，Ty，L)用来唯一标识某瓦片在金字塔模型中的位置，其中L为瓦片所在层数。
例如，给定的瓦片(Tx，Ty，L)，使用对角线的描述方式，则其左下角的像素坐标(piX1，piY2)由下式计算出：
piX1＝Tx*height (7)
piY2＝Ty*width (8)
对应右上角的像素坐标为(piX3，piY4)由下式计算出：
piX3＝(Tx+1)*height+(over_size-1) (9)
piY4＝(Ty+1)*width+(over_size-1) (10)
而对于给定的像素坐标(piX，piY)，其所在的瓦片坐标由以下公式计算出：
Tx＝piX/height (11)
Ty＝piy/width (12)
上述金字塔模型中的瓦片拓扑关系主要体现在以下两个方面：
1)同一层间瓦片间为兄弟关系；
2)上下层瓦片之间为父与子关系。兄弟关系分别为东、西、南、北四个相互邻接的瓦片。父与子关系，对于父而言，与下层四个孩子的关系为西北、西南、东北、东南四个孩子瓦片。
因此，假设选定的瓦片唯一标识码为(Tx，Ty，L)，由上面所述瓦片的拓扑关系可计算得到东、西、南、北四个邻接兄弟瓦片的坐标，分别为：(Tx+1，Ty，L)、(Tx-1，Ty，L)、(Tx，Ty-1，L)、(Tx，Ty+1，L)，四个孩子瓦片西南、东南、西北、东北的坐标分别为：(2*Tx，2*Ty，L-1)、(2*Tx+1，2*Ty，L-1)、(2*Tx，2*Ty+1，L-1)、(2*Tx+1，2*Ty+1，L-1)，父类瓦片的坐标为：(Tx/2，Ty/2，L+1)。
本发明一个实施例的基于时间和空间数据模型的时空数据处理平台，其对时空数据的查询与分析可以按照如下方式进行。
将时空数据查询引擎作为时空数据库的统一出口，它可以是构建在Spark并行处理框架基础之上的数据分析与处理系统，包括：API网关、查询服务安全、缓存服务、模型分析、任务调度与处理、并行任务处理、统一数据服务等，其逻辑架构如图2所示。
该时空数据查询引擎的数据加载过程可以是：查询引擎通过解析器，解析模型语言，转化为时空数据存储的查询语言，以并行或串行的方式查询、聚合数据并输出，其具有以下特点：
水平组合漫游完整的格点数；
并行任务拆分可以显著提升IO性能，多区域拼接难度加大；
通过层次组合将首次查询结果缓存，极大的提高垂直查询速度，减少单次操作的数据压力和网络压力；
时空组合极大的提高数据获取速度；
优先考虑预报时效组合，以达到高速按范围获取的目标；
层次索引只拆分不组合，按照拆分的索引模式，以达到降低网络传输量，节省浏览器端压力；
将数据按时间/空间进行索引，对气象数据进行合理建模，优化查询检索性能；
可提交周期型的后台任务，依据算法模型的配置，定时计算并输出结果。
本发明一个实施例的基于时间和空间数据模型的时空数据处理平台，其还提供数据服务支撑与安全保障，具体如下：
例如可以进行访问控制。
访问监视模型是从数据访问主体、客体，以及为识别和验证这些实体的子系统和控制实体间访问的建立数据访问监视器，任务数据的进入出都会通监视器进行监视并做记录，做到数据来去可控。
例如可以进行存储异型。
平台里面的都是通分布式文件系统进行存储，单一服务器单一文件泄漏时，具有极低的可还原特性，需要通过集群统一文件批量才能进行还原。
例如可以进行数据加密。
关键数据存储进行加密，为了提高数据加载的效率，平台不会将全量数据进行加密，只会部分关键数据进行加密，即使数据泄漏也必须使用特定算法进行解密才可以查看。
综上所述，本发明通过对时间与空间数据联合建立数据模型，实现了空间要素随时间的变化，将地理事物和现象的时间、空间及属性特征有机结合，以丰富地理事物和现象作为表达内容，同时支持时空数据快速分析、写入、持久化、多纬度聚合查询。
Claims (9)
1.一种基于时间和空间数据模型的时空数据处理平台，其包括：
数据装载模块，作为时空数据处理平台的数据接入组件，用于异构时空数据的接入；
数据索引模块，用于完成时空数据索引过程；
数据存储模块，用于对索引后的数据进行存储；
数据查询模块，用于时空数据查询；
数据查询服务支撑模块，用于实现包括数据存储加密、传输加密、组件服务的高可用；
数据分析模块，用于提供数据分析服务；
数据分析服务支撑模块，用于数据分析的并行计算支撑；
基础服务支撑模块，用于实现整个平台的管理。
2.如权利要求1所述的基于时间和空间数据模型的时空数据处理平台，其特征在于：
数据装载模块包括下列组件中的任一个或任几个：
时间一致性组件，用于实现数据的时间一致性控制；
空间一致性组件，用于实现数据的空间一致性控制，对所有数据添加经度、纬度和高度3个基本空间属性；
存储协议标准化组件，用于统一数据存储格式，对数据进行压缩转换，提高存储空间利用率；
自定义协议组件，用于数据传输协议的标准化；
并行处理管理组件，用于供应用管理员进行管理、监控和可视化操作；
装配程序组件，用于供用户直观地构建各种数据接入组件；
数据索引模块设置有下列组件中的任一个或任几个：
时间数据索引模块，用于实现对数据按时间属性进行索引；
空间数据索引模块，用于实现对数据按空间属性进行索引；
BTREE模块，用于低纬度数据的索引；
RTREE模块，用于高纬度数据的索引；
倒排索引模块，用于提高数据查询效率，对需要查询和检索的属性创建倒排索引；
自定义索引模块，用于供用户自定义创建索引；
数据存储模块包括下列组件中的任一个或任几个：
行存储模块，用于数据管理应用较多的场景；
列存储模块，用于实时计算且数据量较大的应用场景；
向量存储模块，用于地理数据模型中区域、道路、河流的存储；
格点存储模块，根据相应的数据精度对数据进行格点化并存储到系统中；
聚合存储模块，用于对数据进行预计算，在数据接入的进程按照一定的规则和维度，对数据的指标进行计算并存储；
数据查询模块包括下列组件中的任一个或任几个：
解析模块，用于自定义查询模型的解析；
查询缓存模块，用于模型查询结果缓存；
查询适配器模块，用于将模型查询语句指向对应的数据存储；
数据分析模块包括索引元数据模块，用于存储时间和空间数据的索引元数据。
3.如权利要求2所述的基于时间和空间数据模型的时空数据处理平台，其特征在于，索引元数据模块包括下列组件中的任一个或任几个：
时空索引模块，用于时空索引元数据存储；
聚合索引模块，用于聚合索引元数据存储；
自定义索引模块，用于自定义索引元数据存储。
4.如权利要求1-3中任一项所述的基于时间和空间数据模型的时空数据处理平台，其特征在于，还包括下列组件中的任一个或任几个：
时空数据查询引擎，作为统一的时空数据出口，较佳的，所述时空数据查询引擎是构建在Spark并行处理框架基础上的数据分析与处理系统；
访问控制模块，用于对数据进行权限访问控制和管理(较佳的，访问控制模块包括数据访问监视器，用于对任务数据的进出进行监视并做记录，以便做到数据来去可控。其中，数据访问监视器是从数据访问主体、客体，以及为识别和验证这些实体的子系统和控制实体间访问来建立的)；
对关键数据存储进行加密的关键数据存储加密模块，较佳的，其不对全量数据进行加密，而只对部分关键数据进行加密，即使数据泄漏也必须使用特定算法进行解密才可以查看，借以在保证数据安全的前提下，提高数据加载的效率；
对数据文件进行分布式存储和批量还原的存储异形模块，借此，将时空数据处理平台里面的数据文件通过分布式文件系统进行存储，使其只具有极低的可还原特性，即便单一服务器单一文件泄漏时，也需要通过集群统一文件批量才能进行还原，借以提高数据存储的安全性。
5.如权利要求4所述的基于时间和空间数据模型的时空数据处理平台，其特征在于：
所述时空数据查询引擎具有下列组件中的任一个或任几个：
API网关，用于实现REST Api服务的统一管理、认证、路由；
API及数据权限管理模块，用于实现REST Api服务权限管理和控制；
数据缓存服务模块，用于模型查询结果的缓存；
DQL查询解析引擎，用于实现自定义查询模型的语法解析(较佳的，DQL查询解析引擎具有下列组件中的任一个或任几个：解析器，用于解析模型语言，转化为时空数据存储的查询语言；查询模块，以并行或串行的方式查询；查询结果缓存模块，通过层次组合将首次查询结果缓存；结果预报模块，用于为机器学习、AI智能分析、结果预测提供基础服务支撑，优先预报时效组合；聚合输出模块，将查询数据聚合并输出)；
数据分析服务模块，用于实现时空数据地理代数分析、叠加分析、预测等；
时间数据模型管理模块，用于提供查询模型的基础管理功能；
并行任务处理框架模块，用于任务处理框架模块，用于为数据处理的并行计算过程提供服务支撑；
REST API模块，用于为平台所有数据分析、存储、控制和管理提供标准的REST API服务。
6.一种基于时间和空间数据模型的时空数据处理方法，其特征在于，其对时间和多维空间数据联合建立数据模型，实现多维空间要素随时间的变化。
7.如权利要求6所述的基于时间和空间数据模型的时空数据处理方法，其特征在于，其包括如下步骤：
S1、利用数据装载模块对时间数据和多维空间数据进行统一装载；
S2、对时间数据和多维空间数据进行统一的索引与存储，建立时空数据库；
S3、根据请求对时空数据库进行查询分析，据此得到时间与多维空间属性特征相结合的结果。
8.如权利要求7所述的基于时间和空间数据模型的时空数据处理方法，其特征在于，其具有下列方式中的任一种或任几种：
方式一、步骤S1中，数据装载是通过API编程模型编写新的和/或重用现有的通用Java代码实现的，借此，现有的演示和可重用的算子能够促进应用程序快速开发。
方式二、方式一的基础上，API编程模型支持原生的Hadoop，原生的Hadoop支持能够使时空数据处理平台快速的安装在现有的YARN集群中；
方式三、方式二的基础上，API编程模型使得时空数据处理平台能够在Hadoop集群上以线性的方式进行扩展；
方式四、方式一的基础上，基于HDFS的后端检查点机制，能够保证无论是机器故障或处理流程发生失败时，都能够将应用状态保存，保证使其自动快速恢复；
方式五、方式一、二、三或四的基础上，数据装载模块包括下列组件中的任一个或任几个：
TJSJ Mangement组件(即并行处理管理组件)，用于供应用管理员进行管理、监控和可视化操作；
TJSJ Assemble程序组件(即装配程序组件)，用于供用户直观地构建各种数据接入组件；
时间一致性组件，用于保证时空数据库中相应数据的时间一致性；
空间一致性组件，用于保证时空数据库中相应数据的空间一致性；
方式六、步骤S2中，对时空数据的索引与存储是基于瓦片金字塔技术进行的；
方式七、方式六的基础上，时空数据包括影像数据；
方式八、方式六的基础上，步骤S2包括步骤S21、建模和步骤S22、发布；
方式九、方式八的基础上，步骤S21建立的金字塔模型中的瓦片拓扑关系包括：同一层间瓦片间为兄弟关系，上下层瓦片间为父与子关系；
方式十、方式九的基础上，兄弟瓦片包括东西南北四个相互邻接的瓦片，在父瓦片的下层具有西北、西南、东北、东南四个孩子瓦片；
方式十一、方式十的基础上，瓦片具有唯一的标识码(Tx，Ty，L)，可以唯一标识某瓦片在金字塔模型中的位置，其中L为瓦片所在层数；
方式十二、方式十一的基础上，其东西南北四个兄弟瓦片的相对标识码则分别为(Tx+1，Ty，L)、(Tx-1，Ty，L)、(Tx，Ty-1，L)、(Tx，Ty+1，L)，其下层的西南、东南、西北、东北四个孩子瓦片的相对标识码则分别为：(2×Tx，2×Ty，L-1)、(2×Tx+1，2×Ty，L-1)、(2×Tx，2×Ty+1，L-1)、(2×Tx+1，2×Ty+1，L-1)，其父瓦片的相对标识码则为：(Tx/2，Ty/2，L+1)；
方式十三、方式八的基础上，步骤S21的具体步骤包括：
S211、根据实际数据提供给数据分析服务平台所需的数据的缩放级别数，建立网格坐标系，同时设置数据比例尺最大，缩放级别最低的数据层级位于金字塔的底层，并将其定义为第0层，按照从左到右、从下到上的规则进行切片；
S212、将该0层数据瓦片的左上角开始进行切割分块，分割成大小相同的正方形数据瓦片，用(Tile)表示，从而得到第0层的瓦片矩阵；
S213、在第0层数据瓦片的基础上再次按照分块原则，对第一层数据同样建立网格坐标系，以同样的方法进行切割，同时将该层每2×2像素合成为一个像素，形成第1层数据瓦片，并对该层数据进行分块切割，得到与第0层相同大小的正方形数据瓦片，形成第1层瓦片矩阵；
依此循环，应用类似的方法生成第二层瓦片矩阵、第三层矩阵、直到第n-1层矩阵；
方式十四、方式十三的基础上，建模过程中，相应参数的计算按照如下公式进行：
假设第0层分辨率为res0，L为金字塔的层数，则第L层的分辨率由式(1)计算得出：resL＝res0×2L (1)；
设第L层的分辨率用resL表示，第L层像素矩阵大小用rowL×colL表示，正方形瓦片大小用height×width表示，相邻层数的重叠度用over_size表示，则瓦片矩阵的行列(TrowL×TcolL)由式(2)、式(3)计算：TrowL＝(rowL-over_size)/height (2)、
TcolL＝(colL-over_size)/width (3)；
按照2×2像素将瓦片合成，形成第L+1层时，第L+1层的像素矩阵行列pirow(L+1)×picol(L+1)的大小和分辨率由式(4)、式(5)、式(6)计算：Pirow(L+1)＝PirowL/2 (4)、
Picol(L+1)＝PicolL/2 (5)、
Res(L+1)＝resL/2 (6)；
方式十五、方式十三的基础上，步骤S21中，还包括步骤S214、根据已知数据源分辨率计算瓦片在金字塔中所在的层数；步骤S216、进行瓦片矩阵划分前，先对原始影像进行重采样处理；
方式十六、方式十五的基础上，步骤S216之前还包括步骤S215、原数据的分辨率与金字塔中数据的分辨率存在差别，如果判断结果为是，则执行步骤S216。
方式十七、方式六的基础上，步骤S22中包括步骤：S221、构建线性四叉树索引机制；S222、基于性四叉树索引机制进行检索；
方式十八、方式十七的基础上，步骤S221中包括：计算给定瓦片在金字塔模型中的位置；
方式十九、方式十八的基础上，使用对角线的描述方式；
方式二十、方式十九的基础上，步骤S221中包括：
步骤S2211、按照式(7)、式(8)计算给定瓦片左上角的像素坐标(piX1，piY2)：
piX1＝Tx*height (7)、
piY2＝Ty*width (8)；
步骤S2212、按照式(9)、式(10)计算给定瓦片右上角的像素坐标(piX3，piY4)：
piX3＝(Tx+1)*height+(over_size-1) (9)、
piY4＝(Ty+1)*width+(over_size-1) (10)；
方式二十一、方式二十的基础上，步骤S221中还包括步骤S2213、依据像素坐标(piX，piY)，按照式(11)、式(12)计算瓦片的坐标：
Tx＝piX/height (11)、
Ty＝piy/width (12)；
方式二十二、步骤S3中，是以时空数据查询引擎作为统一的时空数据出口，所述时空数据查询引擎是构建在Spark并行处理框架基础上的数据分析与处理系统；
方式二十三、方式二十二的基础上，时空数据查询引擎具有：API网关，用于实现RESTApi服务的统一管理、认证、路由；API及数据权限管理模块，用于实现REST Api服务权限管理和控制；数据缓存服务模块，用于模型查询结果的缓存；DQL查询解析引擎，用于实现自定义查询模型的语法解析；数据分析服务模块，用于实现时空数据地理代数分析、叠加分析、预测等；时间数据模型管理模块，用于提供查询模型的基础管理功能；并行任务处理框架模块，用于为数据处理的并行计算过程提供服务支撑；REST API模块，用于为平台所有数据分析、存储、控制和管理提供标准的REST API服务；
方式二十四、方式二十三的基础上，DQL查询解析引擎具有：解析器，用于解析模型语言，转化为时空数据存储的查询语言；查询模块，以并行或串行的方式查询；查询结果缓存模块，通过层次组合将首次查询结果缓存；结果预报模块，用于为机器学习、AI智能分析、结果预测提供基础服务支撑；聚合输出模块，将查询数据聚合并输出；
方式二十五、方式二十四的基础上，结果预报模块优先预报时效组合。
9.如权利要求7所述的基于时间和空间数据模型的时空数据处理方法，其特征在于，还包括：
步骤S4、利用数据访问监视器对任务数据的进出进行监视并做记录；和/或步骤S5、对关键数据存储进行加密；和/或步骤S6、通过分布式文件系统进行存储，再通过集群统一文件批量进行还原。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810392880.XA CN108959352A (zh) | 2018-04-27 | 2018-04-27 | 基于时间和空间数据模型的时空数据处理平台及处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810392880.XA CN108959352A (zh) | 2018-04-27 | 2018-04-27 | 基于时间和空间数据模型的时空数据处理平台及处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108959352A true CN108959352A (zh) | 2018-12-07 |
Family
ID=64498940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810392880.XA Pending CN108959352A (zh) | 2018-04-27 | 2018-04-27 | 基于时间和空间数据模型的时空数据处理平台及处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108959352A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096653A (zh) * | 2019-04-16 | 2019-08-06 | 湖北地信科技集团股份有限公司 | 时空信息服务架构的构建方法、装置、设备及存储介质 |
| CN110233884A (zh) * | 2019-05-27 | 2019-09-13 | 中山大学孙逸仙纪念医院 | 一种具有双向调用功能的医疗机构智能接入系统 |
| CN110322940A (zh) * | 2019-07-15 | 2019-10-11 | 山东健康医疗大数据有限公司 | 一种医疗数据共享的访问授权方法及系统 |
| CN110532492A (zh) * | 2019-08-27 | 2019-12-03 | 东北大学 | 一种论坛数据管理分类系统及方法 |
| CN111126717A (zh) * | 2020-02-05 | 2020-05-08 | 江苏星月测绘科技股份有限公司 | 一种时空大数据共享和服务模型构建方法 |
| CN111143503A (zh) * | 2019-12-30 | 2020-05-12 | 中铁二院工程集团有限责任公司 | 基于统一坐标系建立空间数据库的方法及数据库装置 |
| CN111311435A (zh) * | 2020-02-18 | 2020-06-19 | 国网河北省电力有限公司 | 一种基于卫星地图技术的智慧电力审计方法 |
| CN111782742A (zh) * | 2020-06-06 | 2020-10-16 | 中国科学院电子学研究所苏州研究院 | 一种面向大规模地理空间数据的存储和检索方法及其系统 |
| CN113112564A (zh) * | 2020-01-13 | 2021-07-13 | 长沙市海图科技有限公司 | 一种cad在线调取wmts服务方法、系统及存储介质 |
| CN113486005A (zh) * | 2021-06-09 | 2021-10-08 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
| CN114048280A (zh) * | 2022-01-07 | 2022-02-15 | 成都国星宇航科技有限公司 | 矢量切片的处理方法、装置、服务器及存储介质 |
| CN114398456A (zh) * | 2021-12-30 | 2022-04-26 | 如皋市勘测院有限公司 | 一种基于全量数据的地理服务发布系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653694A (zh) * | 2015-12-30 | 2016-06-08 | 北京汇通金财信息科技有限公司 | 一种北斗报文信息的存储与访问方法 |
| CN105893605A (zh) * | 2016-04-25 | 2016-08-24 | 济南大学 | 面向时空数据k近邻查询的分布式计算平台及查询方法 |
| CN106909644A (zh) * | 2017-02-21 | 2017-06-30 | 中国科学院电子学研究所 | 一种面向海量遥感影像的多级组织和索引方法 |
| CN106991143A (zh) * | 2017-03-22 | 2017-07-28 | 苏州中科图新网络科技有限公司 | 多层级图像文件、生成方法及装置、读取方法及装置 |
| CN107247799A (zh) * | 2017-06-27 | 2017-10-13 | 北京天机数测数据科技有限公司 | 兼容多种大数据存储的数据处理方法、系统及其建模方法 |
-
2018
- 2018-04-27 CN CN201810392880.XA patent/CN108959352A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653694A (zh) * | 2015-12-30 | 2016-06-08 | 北京汇通金财信息科技有限公司 | 一种北斗报文信息的存储与访问方法 |
| CN105893605A (zh) * | 2016-04-25 | 2016-08-24 | 济南大学 | 面向时空数据k近邻查询的分布式计算平台及查询方法 |
| CN106909644A (zh) * | 2017-02-21 | 2017-06-30 | 中国科学院电子学研究所 | 一种面向海量遥感影像的多级组织和索引方法 |
| CN106991143A (zh) * | 2017-03-22 | 2017-07-28 | 苏州中科图新网络科技有限公司 | 多层级图像文件、生成方法及装置、读取方法及装置 |
| CN107247799A (zh) * | 2017-06-27 | 2017-10-13 | 北京天机数测数据科技有限公司 | 兼容多种大数据存储的数据处理方法、系统及其建模方法 |
Non-Patent Citations (3)
| Title |
|---|
| 袁宝超 等: "基于 Spark 的大电网广域时空序列 分析平台构建", 电力建设, vol. 37, no. 11, pages 48 - 54 * |
| 赵文芳 等: "Spark Streaming框架下的气象自动站数据实时处理系统", 计算机应用, vol. 38, no. 1, pages 38 - 43 * |
| 路东林 等: "地图发布平台下瓦片金字塔技术研究", 数字技术与应用, pages 99 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096653A (zh) * | 2019-04-16 | 2019-08-06 | 湖北地信科技集团股份有限公司 | 时空信息服务架构的构建方法、装置、设备及存储介质 |
| CN110233884A (zh) * | 2019-05-27 | 2019-09-13 | 中山大学孙逸仙纪念医院 | 一种具有双向调用功能的医疗机构智能接入系统 |
| CN110322940A (zh) * | 2019-07-15 | 2019-10-11 | 山东健康医疗大数据有限公司 | 一种医疗数据共享的访问授权方法及系统 |
| CN110532492A (zh) * | 2019-08-27 | 2019-12-03 | 东北大学 | 一种论坛数据管理分类系统及方法 |
| CN111143503A (zh) * | 2019-12-30 | 2020-05-12 | 中铁二院工程集团有限责任公司 | 基于统一坐标系建立空间数据库的方法及数据库装置 |
| CN113112564A (zh) * | 2020-01-13 | 2021-07-13 | 长沙市海图科技有限公司 | 一种cad在线调取wmts服务方法、系统及存储介质 |
| CN111126717A (zh) * | 2020-02-05 | 2020-05-08 | 江苏星月测绘科技股份有限公司 | 一种时空大数据共享和服务模型构建方法 |
| CN111311435A (zh) * | 2020-02-18 | 2020-06-19 | 国网河北省电力有限公司 | 一种基于卫星地图技术的智慧电力审计方法 |
| CN111311435B (zh) * | 2020-02-18 | 2021-03-30 | 国网河北省电力有限公司 | 一种基于卫星地图技术的智慧电力审计方法 |
| CN111782742A (zh) * | 2020-06-06 | 2020-10-16 | 中国科学院电子学研究所苏州研究院 | 一种面向大规模地理空间数据的存储和检索方法及其系统 |
| CN113486005A (zh) * | 2021-06-09 | 2021-10-08 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
| CN113486005B (zh) * | 2021-06-09 | 2024-04-19 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
| CN114398456A (zh) * | 2021-12-30 | 2022-04-26 | 如皋市勘测院有限公司 | 一种基于全量数据的地理服务发布系统及方法 |
| CN114398456B (zh) * | 2021-12-30 | 2023-03-31 | 如皋市勘测院有限公司 | 一种基于全量数据的地理服务发布系统及方法 |
| CN114048280A (zh) * | 2022-01-07 | 2022-02-15 | 成都国星宇航科技有限公司 | 矢量切片的处理方法、装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108959352A (zh) | 基于时间和空间数据模型的时空数据处理平台及处理方法 | |
| Döllner et al. | Integrating urban GIS, CAD, and BIM data by service-based virtual 3D city models | |
| CN107515952B (zh) | 点云数据存储、并行计算和实时检索的方法及其系统 | |
| Gaffuri | Toward web mapping with vector data | |
| CN108776699A (zh) | 一种气象数据和卫星遥感数据处理方法及装置 | |
| CN112148708B (zh) | 面向电网规划的可视化应用系统 | |
| CN113570275A (zh) | 基于bim和数字高程模型的水资源实时监测系统 | |
| CN104699826B (zh) | 一种影像数据的金字塔层式存储方法及空间数据库系统 | |
| Alfaqih et al. | GIS Cloud: Integration between cloud things and geographic information systems (GIS) opportunities and challenges | |
| Wu et al. | Research on data sharing architecture for ecological monitoring using Iot streaming data | |
| Kamaev et al. | Knowledge discovery in the SCADA databases used for the municipal power supply system | |
| CN109634739A (zh) | 一种数据传输方法、装置 | |
| CN110349044A (zh) | 一种农情监测方法、系统以及电子设备 | |
| Miao et al. | A Web 2.0‐based science gateway for massive remote sensing image processing | |
| CN114372034A (zh) | 一种基于遥感影像地图服务的存取方法 | |
| Lam et al. | Semantic 3D city model data visualization for smar t city digital twin | |
| Kolaric et al. | DBL SmartCity: An open-source IoT platform for managing large BIM and 3D geo-referenced datasets | |
| Hou et al. | Design and achievement of cloud geodatabase for a sponge city | |
| CN113643425A (zh) | 一种基于开源gis技术的石油地震成果三维空间可视化通用平台构建方法 | |
| Xiong et al. | HiGIS: An open framework for high performance geographic information system | |
| KR20210074550A (ko) | 스마트시티 서비스를 위한 시공간 빅데이터 처리 시스템 | |
| Xu et al. | GeoMapViz: a framework for distributed management and geospatial data visualization based on massive spatiotemporal data streams | |
| CN108170720A (zh) | 规划显示系统 | |
| CN117707883B (zh) | 一种用于云平台与云上业务运行监控可视化的方法及系统 | |
| Xu et al. | Research on Building Space Model Method Based on Big Data Map Visual Design |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |