CN112487125B - 一种面向时空大数据计算的分布式空间对象组织方法 - Google Patents

Abstract

本发明提出了一种面向时空大数据计算的分布式空间对象组织方法。本发明基于SPARK弹性分布式数据集结构RDD和开放地理空间信息联盟简单要素空间数据模型与传感网观测数据模型构建空间弹性分布式数据集模型与空间观测弹性分布式数据集，并进一步将空间弹性分布式数据集转化为空间点弹性分布式数据集、空间线弹性分布式数据集和空间面弹性分布式数据集，以支持时空点、线、面、观测大数据的分布式处理。本发明能够支持海量空间数据进行高效的组织和处理，并兼容对传感网观测数据进行高效的组织和处理，运用先进的分布式处理架构为空间数据的组织及计算带来高性能与高可用的特色。

Description

一种面向时空大数据计算的分布式空间对象组织方法

技术领域

本发明属于地理信息系统领域，涉及一种面向时空大数据计算的分布式空间对象组织方法。

背景技术

近年来，随着城市信息化的快速发展，传感器网络、移动互联网、全球定位系统等技术得到了广泛应用，数据的空间分辨率和时间分辨率显著提高，具有时间和空间维度的数据呈指数级爆炸式增长。目前，时空大数据的量级已经达到了PB级甚至EB级，给存储和处理都带来了巨大的压力。随着摩尔定律失效，计算技术开始向多核多CPU、通用GPU计算、集群环境、分布式处理架构方向发展，时空大数据的分布式组织和管理是分布式处理、维护与共享的基础，是目前时空大数据管理的主要技术手段，也是未来发展的必然趋势，同时运用分布式并行计算方式来解决日趋庞大的时空大数据的处理、计算与分析成为必由之路。

发明内容

因而为解决上述问题，本发明提供了一种面向时空大数据计算的分布式空间对象组织方法，基于SPARK弹性分布式数据集，结合开放地理空间信息联盟提出的简单要素空间数据模型和传感网观测数据模型，实现了针对海量空间点、线、面、观测对象的分布式组织和处理。

本发明所采用的技术方案是一种面向时空大数据计算的分布式空间对象处理方法，实现方式包括以下步骤：

步骤1，构建空间弹性分布式数据集模型；

步骤1所述构建空间弹性分布式数据集为：

GeometryRDD＝{SpatialGeometryPartition_p},p∈{1,2,…,P}

SpatialGeometryPartition_p＝{<SGeometryIndexCode_np,Geometry_np>},np∈{1,2,…,N_p}

其中，空间弹性分布式数据集由P个时空大数据分区组成，SpatialGeometryPartition_p表示第p个时空大数据分区；

每个时空大数据分区单独在分布式系统的不同节点进行管理，SpatialGeometryPartition_p由N_p个二元组组成；

<SGeometryIndexCode_np,Geometry_np>表示第p个二元组；

Geometry_np为第p个二元组中基础空间对象，由唯一编码、坐标串、属性表组成，定义为：

Geometry_np＝{GeoID_np,GeoCoords_np,GeoAtrributes_np}

其中，GeoID_np为第p个二元组中基础空间对象中唯一编码，GeoCoords_np为第p个二元组中基础空间对象中空间坐标串，GeoAtrributes_np为第p个二元组中基础空间对象中属性表；

SGeometryIndexCode_np为第p个二元组中基础空间对象中空间坐标串与第p个二元组中基础空间对象中唯一编码计算得到的空间索引编码，定义为：

SGeometryIndexCode_np＝SpaceFillingCurveCoding(GeoCoords_np,GeoID_np)

其中，SpaceFillingCurveCoding函数通过输入Geometry_np对象的空间坐标串GeoCoords_np与唯一编码GeoID_np，通过空间填充曲线编码算法获取Geometry_np对象的空间坐标串GeoCoords_np所处的空间网格编码并与Geometry_np对象的唯一编码GeoID_np组合生成空间索引编码SGeometryIndexCode_np；

而且，步骤1中，GeometryRDD能够将时空大数据文件作为输入，读取其中存储的每个空间对象转换为Geometry_np对象，并根据其计算得到的SGeometryIndexCode_np在对应的时空大数据分区SpatialGeometryPartition_p中进行管理，定义为：

GeometryRDD＝ReadFromBigDataFile(BigDataFilePath)

其中BigDataFilePath为存储时空大数据的文件路径，ReadFromBigDataFile获取文件路径后将文件中的内容进行解析，生成GeometryRDD对象；

而且，步骤1中，GeometryRDD可以在各个分区中并行地执行相同的Geometry数据处理算法并汇总处理结果，实现时空大数据的分布式处理，定义为：

GeometryRDDResult＝GeometryRDD.process(GeoAlgorithm)

其中，GeoAlgorithm为针对GeometryRDD执行的算法，GeometryRDD.process方法将GeoAlgorithm作为输入，将其分发到各个分区中对所有Geometry_np对象进行处理，并将所有处理结果进行汇总，GeometryRDDResult为汇总后的处理结果。

步骤2，将空间弹性分布式数据集转化为空间点弹性分布式数据集；

步骤2所述空间点弹性分布式数据集为：

PointRDD＝Trans2Point(GeometryRDD)

PointRDD＝{SptialPointPartition_p},p∈{1,2,…,P}

SpatialPointPartition_p＝{<SPointIndexCode_np,Point_np>},np∈{1,2,…,N_p}

其中，方法Trans2Point将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类Point类型，从而将空间弹性分布式数据集转化为空间点弹性分布式数据集；

PointRDD由P个空间点弹性时空点大数据分区组成，每个空间点弹性时空点大数据分区单独在分布式系统的不同节点进行管理；

第p个空间点弹性时空点大数据分区即SpatialPointPartition_p由N_p个空间点弹性二元组组成；

所述空间点弹性二元组为：<SPointIndexCode_np,Point_np>；

第p个空间点弹性二元组中空间点对象，由唯一编码、横坐标、纵坐标、属性表组成，定义为：

Point_np＝{PtID_np,PtX_np,PtY_np,PtAtrributes_np}

其中，PtID_np为第p个空间点弹性二元组中对象的唯一编码，PtX_np为第p个空间点弹性二元组中的空间横坐标，PtY_np为第p个空间点弹性二元组中的空间纵坐标，PtAtributes_np为第p个空间点弹性二元组中的属性表；

SPointIndexCode_np为第p个二元组中空间点对象中空间坐标串与第p个二元组中空间点对象中唯一编码计算得到的空间索引编码，定义为：

SPointIndexCode_np＝SpaceFillingCurveCoding(PtX_np,PtY_np,PtID_np)

其中，SpaceFillingCurveCoding函数通过输入Point_np对象的空间横坐标PtX_np、纵坐标PtY_np与唯一编码PtID_np，通过空间填充曲线编码算法获取Point_np对象所处的空间网格编码并与Point对象的唯一编码PtID_np组合生成空间索引编码SPointIndexCode_np；

而且，步骤2中，PointRDD可以在各个分区中并行地执行相同的Point数据处理算法并汇总处理结果，实现时空点大数据的分布式处理，定义为：

PointRDDResult＝PointRDD.process(PointAlgorithm)

其中，PointAlgorithm为针对PointRDD执行的算法，PointRDD.process方法将PointAlgorithm作为输入，将其分发到各个分区中对所有Point_np对象进行处理，并将所有处理结果进行汇总，PointRDDResult为汇总后的处理结果。

步骤3，将空间弹性分布式数据集转化为空间线弹性分布式数据集；

步骤3所述空间线弹性分布式数据集，定义为：

LineStringRDD＝Trans2LineString(GeometryRDD)

LineStringRDD＝{SpatialLinePartition_p},p∈{1,2,…,P}

SpatialLinePartition_p＝{<SLineIndexCode_np,LineString_np>},np∈{1,2,…,N_p}

其中，方法Trans2LineString将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类LineString类型，从而将空间弹性分布式数据集转化为空间线弹性分布式数据集,SpatialLinePartition_p表示第p个空间线弹性时空大数据分区；

空间线弹性分布式数据集由P个空间线弹性时空大数据分区组成，每个空间线弹性时空大数据分区可以单独在分布式系统的不同节点进行管理；

第p个空间线弹性时空大数据分区由N_p个空间线弹性二元组组成；

所述空间线弹性二元组定义为<SLineIndexCode_np,LineString_np>；

LineString_np为第p个空间线弹性对象，由唯一编码、坐标串、属性表组成，定义为：

LineString_np＝{LsID_np,LsCoords_np,LsAtrributes_np}

其中，LsID_np为第p个空间线弹性二元组中LineString_np对象的唯一编码，LsCoords_np为第p个空间线弹性二元组的空间坐标串，LsAtributes_np为第p个空间线弹性二元组的属性表；

SLineIndexCode_np为第p个二元组中空间线对象中空间坐标串与第p个二元组中空间线对象中唯一编码计算得到的空间索引编码，定义为：

SLineIndexCode_np＝SpaceFillingCurveCoding(LsCoords_np,LsID_np)

其中，SpaceFillingCurveCoding函数通过输入LineString对象的空间坐标串LsCoords_np与唯一编码LsID_np，通过空间填充曲线编码算法获取LineString_np对象的空间坐标串LsCoords_np所处的空间网格编码并与LineString_np对象的唯一编码LsID_np组合生成空间索引编码SLineIndexCode_np；

而且，步骤3中，LineStringRDD可以在各个分区中并行地执行相同的LineString数据处理算法并汇总处理结果，实现时空线大数据的分布式处理，定义为：

LineStringRDDResult＝LineStringRDD.process(LineStringAlgorithm)

其中，LineStringAlgorithm为针对LineStringRDD执行的算法，LineStringRDD.process方法将LineStringAlgorithm作为输入，将其分发到各个分区中对所有LineString_np对象进行处理，并将所有处理结果进行汇总，LineStringRDDResult为汇总后的处理结果。

步骤4，将空间弹性分布式数据集转化为空间面弹性分布式数据集；

步骤4所述空间面弹性分布式数据集为：

PolygonRDD＝Trans2Polygon(GeometryRDD)

PolygonRDD＝{SpatialPolygonPartition_p},p∈{1,2,…,P}

SpatialPolygonPartition_p＝{<SPolygonIndexCode_np,Polygon_np>},np∈{1,2,…,N_p}

其中，方法Trans2Polygon将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类Polygon类型，从而将空间弹性分布式数据集转化为空间面弹性分布式数据集，SpatialPolygonPartition_p表示第p个空间面弹性时空大数据分区；

空间面弹性分布式数据集由P个空间面弹性时空大数据分区组成，每个空间面弹性时空大数据分区单独在分布式系统的不同节点进行管理；

第p个空间面弹性时空大数据分区由N_p个空间面弹性二元组组成；

第p个空间面弹性二元组定义为<SPolygonIndexCode_np,Polygon_np>；

Polygon为空间面弹性对象，由唯一编码、坐标串、属性表组成，定义为：

Polygon_np＝{PgID_np,PgCoords_np,PgAtrributes_np}

其中，PgID_np为第p个空间面弹性二元组的唯一编码，PgCoords_np为第p个空间面弹性二元组的空间坐标串，PgAtributes_np为第p个空间面弹性二元组的属性表；

SPolygonIndexCode_np为第p个二元组中空间面对象中空间坐标串与第p个二元组中空间面对象中唯一编码计算得到的空间索引编码，定义为：

SPolygonIndexCode_np＝SpaceFillingCurveCoding(PgCoords_np,PgID_np)

其中，SpaceFillingCurveCoding函数通过输入Polygon_np对象的空间坐标串PgCoords_np与唯一编码PgID_np，通过空间填充曲线编码算法获取Polygon对象的空间坐标串PgCoords_np所处的空间网格编码并与Polygon对象的唯一编码PgID_np组合生成空间索引编码SPolygonIndexCode；

而且，步骤4中，PolygonRDD可以在各个分区中并行地执行相同的Polygon数据处理算法并汇总处理结果，实现时空面大数据的分布式处理，定义为：

PolygonRDDResult＝PolygonRDD.process(PolygonAlgorithm)

其中，PolygonAlgorithm为针对PolygonRDD执行的算法，PolygonRDD.process方法将PolygonAlgorithm作为输入，将其分发到各个分区中对所有Polygon_np对象进行处理，并将所有处理结果进行汇总，PolygonRDDResult为汇总后的处理结果。

步骤5，基于SPARK弹性分布式数据集结构RDD和开放地理空间信息联盟传感网观测数据模型，设计空间观测弹性分布式数据集；

步骤5所述空间观测弹性分布式数据集表示为：

ObservationRDD＝{FromTime,UntilTime,{SpatialObservationPartition_p}},p∈{1,2,…,P}

SpatialObservationPartition_p＝{<SObservationIndexCode_np,Observation_np>},np∈{1,2,…,N_p}

其中，空间观测弹性分布式数据集ObservationRDD由表示所有观测对象的最早生成时间的起始时间FromTime、表示所有观测对象的最晚生成时间的截止时间UntilTime、以及P个时空观测大数据分区SpatialObservationPartition组成，每个时空观测大数据分区可以单独在分布式系统的不同节点进行管理，第p个SpatialObservationPartition_p由N_p个<SObservationIndexCode_np,Observation_np>空间观测弹性二元组组成，Observation_np为开放地理空间信息联盟传感网观测与测量模型定义的观测对象，由唯一编码、坐标串、属性表组成，定义为：

Observation_np＝{ObID_np,Result_np,PhenomenonTime_np,FeatureOfInterest_np,ObservedProperty_np,Procedure_np}

其中,ObID_np为第p个空间观测弹性二元组中Observation_np对象的唯一编码；Result_np为第p个空间观测弹性二元组中Observation_np对象的观测结果，是观测过程获取的测量结果，可以是任何数据类型；PhenomenonTime_np为第p个空间观测弹性二元组中Observation_np对象的观测时间，表示观测发生的时间，用时间对象表示；FeatureOfInterest_np为第p个空间观测弹性二元组中Observation_np对象的感兴趣的空间要素，即在现实世界中观测的空间要素目标，为Geometry类型；ObservedProperty_np为第p个空间观测弹性二元组中Observation_np对象的观测属性，描述观测结果的属性类型对象；Procedure_np为第p个空间观测弹性二元组中Observation_np对象的观测程序，可以是传感器、仪器或计算过程；

SObservationIndexCode_np为第p个二元组中空间观测对象中的FeatureOfInterest_np与第p个二元组中空间观测对象中唯一编码计算得到的空间索引编码，定义为：

SObservationIndexCode_np＝SpaceFillingCurveCoding(FeatureOfInterest_np,ObID_np)

其中，SpaceFillingCurveCoding函数通过输入Observation_np对象的FeatureOfInterest_np与唯一编码ObID_np，通过空间填充曲线编码算法获取Observation_np对象的FeatureOfInterest_np所处的空间网格编码并与Observation_np对象的唯一编码ObID_np组合生成空间索引编码SObservationIndexCode_np；

而且，步骤5中，ObservationRDD能够将时空观测大数据文件作为输入，读取其中存储的每个空间观测对象转换为Observation_np对象，并根据其计算得到的SObservationIndexCode_np在对应的时空大数据分区SpatialObservationPartition_p中进行管理，定义为：

ObservationRDD＝ReadFromBigObservationDataFile(BigObservationDataFilePath)

其中BigObservationDataFilePath为存储时空观测大数据的文件路径，ReadFromBigObservationDataFile获取文件路径后将文件中的内容进行解析，生成ObservationRDD对象；

而且，步骤5中，ObservationRDD可以在各个分区中并行地执行相同的ObservationRDD数据处理算法并汇总处理结果，包括统计观测数量countObservations、过滤观测对象filterObservations、处理事件processEvent，实现时空观测大数据的分布式处理，定义为：

CountResult＝ObservationRDD.countObservations()

FilteredObservationRDD＝ObservationRDD.filterObservations(Filter)

EventResult＝ObservationRDD.processEvent(Event)

其中，统计观测数量ObservationRDD.countObservations并行地在所有时空观测大数据分区统计其包含的Observation对象数并进行合并，获取ObservationRDD包含的所有观测对象总数CountResult；过滤观测对象ObservationRDD.filterObservations，基于观测对象过滤条件Filter并行地在所有时空观测大数据分区对其包含的Observation对象进行过滤，并获得过滤后的FilteredObservationRDD对象；处理事件ObservationRDD.processEvent，基于事件处理模型Event将ObservationRDD包含的所有时空观测大数据分区的所有Obsevation对象作为输入进行处理，返回对应的模型输出结果EventResult。

本发明的优点是：

提出了一套分布式空间对象组织方法，能够对海量空间数据进行高效的组织和处理；

在空间点、线、面对象的基础上进一步引入了空间观测对象，能够兼容对传感网观测数据进行高效的组织和处理；

所有空间对象的组织模型遵循国际开放地理信息联盟标准，具有良好的可互操作性。

运用了先进的分布式处理架构(SPARK)为空间数据的组织及计算带来高性能与高可用的特色，具有重要的市场价值。

附图说明

图1：是本发明实施例的空间点、线、面弹性分布式数据集对象设计类图。

图2：是本发明实施例的空间观测弹性分布式数据集对象设计类图。

图3：是本发明方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实例对本发明作进一步详细描述，应当理解，此处所描述的实施案例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供了一种面向时空大数据计算的分布式空间对象组织方法，从分布式空间对象组织结构的设计与实现出发，针对其中分布式空间内存对象设计等关键问题，基于SPARK弹性分布式数据集结构，结合开放地理空间信息联盟提出的简单要素空间数据模型和传感网观测数据模型，实现了针对海量空间点、线、面、观测对象的分布式组织和处理，从而为组织和处理时空大数据提供一种较为全面的解决方案。

下面结合图1、图2介绍本发明的具体实施方式，实施例包括以下步骤：

一种面向时空大数据计算的分布式空间对象处理方法，实现方式包括以下步骤：

步骤1，构建空间弹性分布式数据集模型；

步骤2，将空间弹性分布式数据集转化为空间点弹性分布式数据集；

步骤3，将空间弹性分布式数据集转化为空间线弹性分布式数据集；

步骤4，将空间弹性分布式数据集转化为空间面弹性分布式数据集；

步骤5，基于SPARK弹性分布式数据集结构RDD和开放地理空间信息联盟传感网观测数据模型，设计空间观测弹性分布式数据集；

作为优选，步骤1所述构建空间弹性分布式数据集为：

GeometryRDD＝{SpatialGeometryPartition_p},p∈{1,2,…,P}

SpatialGeometryPartition_p＝{<SGeometryIndexCode_np,Geometry_np>},np∈{1,2,…,N_p}

其中，空间弹性分布式数据集由P个时空大数据分区组成，SpatialGeometryPartition_p表示第p个时空大数据分区；

每个时空大数据分区单独在分布式系统的不同节点进行管理，SpatialGeometryPartition_p由N_p个二元组组成；

<SGeometryIndexCode_np,Geometry_np>表示第p个二元组；

Geometry_np为第p个二元组中基础空间对象，由唯一编码、坐标串、属性表组成，定义为：

Geometry_np＝{GeoID_np,GeoCoords_np,GeoAtrributes_np}

其中，GeoID_np为第p个二元组中基础空间对象中唯一编码，GeoCoords_np为第p个二元组中基础空间对象中空间坐标串，GeoAtrributes_np为第p个二元组中基础空间对象中属性表；

SGeometryIndexCode_np为第p个二元组中基础空间对象中空间坐标串与第p个二元组中基础空间对象中唯一编码计算得到的空间索引编码，定义为：

SGeometryIndexCode_np＝SpaceFillingCurveCoding(GeoCoords_np,GeoID_np)

其中，SpaceFillingCurveCoding函数通过输入Geometry_np对象的空间坐标串GeoCoords_np与唯一编码GeoID_np，通过空间填充曲线编码算法获取Geometry_np对象的空间坐标串GeoCoords_np所处的空间网格编码并与Geometry_np对象的唯一编码GeoID_np组合生成空间索引编码SGeometryIndexCode_np；

而且，步骤1中，GeometryRDD能够将时空大数据文件作为输入，读取其中存储的每个空间对象转换为Geometry_np对象，并根据其计算得到的SGeometryIndexCode_np在对应的时空大数据分区SpatialGeometryPartition_p中进行管理，定义为：

GeometryRDD＝ReadFromBigDataFile(BigDataFilePath)

其中BigDataFilePath为存储时空大数据的文件路径，ReadFromBigDataFile获取文件路径后将文件中的内容进行解析，生成GeometryRDD对象；

而且，步骤1中，GeometryRDD可以在各个分区中并行地执行相同的Geometry数据处理算法并汇总处理结果，实现时空大数据的分布式处理，定义为：

GeometryRDDResult＝GeometryRDD.process(GeoAlgorithm)

其中，GeoAlgorithm为针对GeometryRDD执行的算法，GeometryRDD.process方法将GeoAlgorithm作为输入，将其分发到各个分区中对所有Geometry_np对象进行处理，并将所有处理结果进行汇总，GeometryRDDResult为汇总后的处理结果。

作为优选，步骤2所述空间点弹性分布式数据集为：

PointRDD＝Trans2Point(GeometryRDD)

PointRDD＝{SptialPointPartition_p},p∈{1,2,…,P}

SpatialPointPartition_p＝{<SPointIndexCode_np,Point_np>},np∈{1,2,…,N_p}

其中，方法Trans2Point将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类Point类型，从而将空间弹性分布式数据集转化为空间点弹性分布式数据集；

PointRDD由P个空间点弹性时空点大数据分区组成，每个空间点弹性时空点大数据分区单独在分布式系统的不同节点进行管理；

第p个空间点弹性时空点大数据分区即SpatialPointPartition_p由N_p个空间点弹性二元组组成；

所述空间点弹性二元组为：<SPointIndexCode_np,Point_np>；

第p个空间点弹性二元组中空间点对象，由唯一编码、横坐标、纵坐标、属性表组成，定义为：

Point_np＝{PtID_np,PtX_np,PtY_np,PtAtrributes_np}

其中，PtID_np为第p个空间点弹性二元组中对象的唯一编码，PtX_np为第p个空间点弹性二元组中的空间横坐标，PtY_np为第p个空间点弹性二元组中的空间纵坐标，PtAtributes_np为第p个空间点弹性二元组中的属性表；

SPointIndexCode_np为第p个二元组中空间点对象中空间坐标串与第p个二元组中空间点对象中唯一编码计算得到的空间索引编码，定义为：

SPointIndexCode_np＝SpaceFillingCurveCoding(PtX_np,PtY_np,PtID_np)

其中，SpaceFillingCurveCoding函数通过输入Point_np对象的空间横坐标PtX_np、纵坐标PtY_np与唯一编码PtID_np，通过空间填充曲线编码算法获取Point_np对象所处的空间网格编码并与Point对象的唯一编码PtID_np组合生成空间索引编码SPointIndexCode_np；

而且，步骤2中，PointRDD可以在各个分区中并行地执行相同的Point数据处理算法并汇总处理结果，实现时空点大数据的分布式处理，定义为：

PointRDDResult＝PointRDD.process(PointAlgorithm)

其中，PointAlgorithm为针对PointRDD执行的算法，PointRDD.process方法将PointAlgorithm作为输入，将其分发到各个分区中对所有Point_np对象进行处理，并将所有处理结果进行汇总，PointRDDResult为汇总后的处理结果。

作为优选，步骤3所述空间线弹性分布式数据集，定义为：

LineStringRDD＝Trans2LineString(GeometryRDD)

LineStringRDD＝{SpatialLinePartition_p},p∈{1,2,…,P}

SpatialLinePartition_p＝{<SLineIndexCode_np,LineString_np>},np∈{1,2,…,N_p}

其中，方法Trans2LineString将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类LineString类型，从而将空间弹性分布式数据集转化为空间线弹性分布式数据集,SpatialLinePartition_p表示第p个空间线弹性时空大数据分区；

空间线弹性分布式数据集由P个空间线弹性时空大数据分区组成，每个空间线弹性时空大数据分区可以单独在分布式系统的不同节点进行管理；

第p个空间线弹性时空大数据分区由N_p个空间线弹性二元组组成；

所述空间线弹性二元组定义为<SLineIndexCode_np,LineString_np>；

LineString_np为第p个空间线弹性对象，由唯一编码、坐标串、属性表组成，定义为：

LineString_np＝{LsID_np,LsCoords_np,LsAtrributes_np}

其中，LsID_np为第p个空间线弹性二元组中LineString_np对象的唯一编码，LsCoords_np为第p个空间线弹性二元组的空间坐标串，LsAtributes_np为第p个空间线弹性二元组的属性表；

SLineIndexCode_np为第p个二元组中空间线对象中空间坐标串与第p个二元组中空间线对象中唯一编码计算得到的空间索引编码，定义为：

SLineIndexCode_np＝SpaceFillingCurveCoding(LsCoords_np,LsID_np)

其中，SpaceFillingCurveCoding函数通过输入LineString对象的空间坐标串LsCoords_np与唯一编码LsID_np，通过空间填充曲线编码算法获取LineString_np对象的空间坐标串LsCoords_np所处的空间网格编码并与LineString_np对象的唯一编码LsID_np组合生成空间索引编码SLineIndexCode_np；

而且，步骤3中，LineStringRDD可以在各个分区中并行地执行相同的LineString数据处理算法并汇总处理结果，实现时空线大数据的分布式处理，定义为：

LineStringRDDResult＝LineStringRDD.process(LineStringAlgorithm)

其中，LineStringAlgorithm为针对LineStringRDD执行的算法，LineStringRDD.process方法将LineStringAlgorithm作为输入，将其分发到各个分区中对所有LineString_np对象进行处理，并将所有处理结果进行汇总，LineStringRDDResult为汇总后的处理结果。

作为优选，步骤4所述空间面弹性分布式数据集为：

PolygonRDD＝Trans2Polygon(GeometryRDD)

PolygonRDD＝{SpatialPolygonPartition_p},p∈{1,2,…,P}

SpatialPolygonPartition_p＝{<SPolygonIndexCode_np,Polygon_np>},np∈{1,2,…,N_p}

其中，方法Trans2Polygon将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类Polygon类型，从而将空间弹性分布式数据集转化为空间面弹性分布式数据集，SpatialPolygonPartition_p表示第p个空间面弹性时空大数据分区；

空间面弹性分布式数据集由P个空间面弹性时空大数据分区组成，每个空间面弹性时空大数据分区单独在分布式系统的不同节点进行管理；

第p个空间面弹性时空大数据分区由N_p个空间面弹性二元组组成；

第p个空间面弹性二元组定义为<SPolygonIndexCode_np,Polygon_np>；

Polygon为空间面弹性对象，由唯一编码、坐标串、属性表组成，定义为：

Polygon_np＝{PgID_np,PgCoords_np,PgAtrributes_np}

其中，PgID_np为第p个空间面弹性二元组的唯一编码，PgCoords_np为第p个空间面弹性二元组的空间坐标串，PgAtributes_np为第p个空间面弹性二元组的属性表；

SPolygonIndexCode_np为第p个二元组中空间面对象中空间坐标串与第p个二元组中空间面对象中唯一编码计算得到的空间索引编码，定义为：

SPolygonIndexCode_np＝SpaceFillingCurveCoding(PgCoords_np,PgID_np)

其中，SpaceFillingCurveCoding函数通过输入Polygon_np对象的空间坐标串PgCoords_np与唯一编码PgID_np，通过空间填充曲线编码算法获取Polygon对象的空间坐标串PgCoords_np所处的空间网格编码并与Polygon对象的唯一编码PgID_np组合生成空间索引编码SPolygonIndexCode；

而且，步骤4中，PolygonRDD可以在各个分区中并行地执行相同的Polygon数据处理算法并汇总处理结果，实现时空面大数据的分布式处理，定义为：

PolygonRDDResult＝PolygonRDD.process(PolygonAlgorithm)

其中，PolygonAlgorithm为针对PolygonRDD执行的算法，PolygonRDD.process方法将PolygonAlgorithm作为输入，将其分发到各个分区中对所有Polygon_np对象进行处理，并将所有处理结果进行汇总，PolygonRDDResult为汇总后的处理结果。

作为优选，步骤5所述空间观测弹性分布式数据集表示为：

ObservationRDD＝{FromTime,UntilTime,{SpatialObservationPartition_p}},p∈{1,2,…,P}

SpatialObservationPartition_p＝{<SObservationIndexCode_np,Observation_np>},np∈{1,2,…,N_p}

其中，空间观测弹性分布式数据集ObservationRDD由表示所有观测对象的最早生成时间的起始时间FromTime、表示所有观测对象的最晚生成时间的截止时间UntilTime、以及P个时空观测大数据分区SpatialObservationPartition组成，每个时空观测大数据分区可以单独在分布式系统的不同节点进行管理，第p个SpatialObservationPartition_p由N_p个<SObservationIndexCode_np,Observation_np>空间观测弹性二元组组成，Observation_np为开放地理空间信息联盟传感网观测与测量模型定义的观测对象，由唯一编码、坐标串、属性表组成，定义为：

Observation_np＝{ObID_np,Result_np,PhenomenonTime_np,FeatureOfInterest_np,ObservedProperty_np,Procedure_np}

其中,ObID_np为第p个空间观测弹性二元组中Observation_np对象的唯一编码；Result_np为第p个空间观测弹性二元组中Observation_np对象的观测结果，是观测过程获取的测量结果，可以是任何数据类型；PhenomenonTime_np为第p个空间观测弹性二元组中Observation_np对象的观测时间，表示观测发生的时间，用时间对象表示；FeatureOfInterest_np为第p个空间观测弹性二元组中Observation_np对象的感兴趣的空间要素，即在现实世界中观测的空间要素目标，为Geometry类型；ObservedProperty_np为第p个空间观测弹性二元组中Observation_np对象的观测属性，描述观测结果的属性类型对象；Procedure_np为第p个空间观测弹性二元组中Observation_np对象的观测程序，可以是传感器、仪器或计算过程；

SObservationIndexCode_np为第p个二元组中空间观测对象中的FeatureOfInterest_np与第p个二元组中空间观测对象中唯一编码计算得到的空间索引编码，定义为：

SObservationIndexCode_np＝SpaceFillingCurveCoding(FeatureOfInterest_np,ObID_np)

其中，SpaceFillingCurveCoding函数通过输入Observation_np对象的FeatureOfInterest_np与唯一编码ObID_np，通过空间填充曲线编码算法获取Observation_np对象的FeatureOfInterest_np所处的空间网格编码并与Observation_np对象的唯一编码ObID_np组合生成空间索引编码SObservationIndexCode_np；

而且，步骤5中，ObservationRDD能够将时空观测大数据文件作为输入，读取其中存储的每个空间观测对象转换为Observation_np对象，并根据其计算得到的SObservationIndexCode_np在对应的时空大数据分区SpatialObservationPartition_p中进行管理，定义为：

ObservationRDD＝ReadFromBigObservationDataFile(BigObservationDataFilePath)

其中BigObservationDataFilePath为存储时空观测大数据的文件路径，ReadFromBigObservationDataFile获取文件路径后将文件中的内容进行解析，生成ObservationRDD对象；

而且，步骤5中，ObservationRDD可以在各个分区中并行地执行相同的ObservationRDD数据处理算法并汇总处理结果，包括统计观测数量countObservations、过滤观测对象filterObservations、处理事件processEvent，实现时空观测大数据的分布式处理，定义为：

CountResult＝ObservationRDD.countObservations()

FilteredObservationRDD＝ObservationRDD.filterObservations(Filter)

EventResult＝ObservationRDD.processEvent(Event)

其中，统计观测数量ObservationRDD.countObservations并行地在所有时空观测大数据分区统计其包含的Observation对象数并进行合并，获取ObservationRDD包含的所有观测对象总数CountResult；过滤观测对象ObservationRDD.filterObservations，基于观测对象过滤条件Filter并行地在所有时空观测大数据分区对其包含的Observation对象进行过滤，并获得过滤后的FilteredObservationRDD对象；处理事件ObservationRDD.processEvent，基于事件处理模型Event将ObservationRDD包含的所有时空观测大数据分区的所有Obsevation对象作为输入进行处理，返回对应的模型输出结果EventResult。

具体实施时，以上流程可采用计算机软件技术实现。

应当理解的是，本申请书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本申请专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本申请权利要求所保护的范围情况下，还可以做出替换或变形，均落入本申请的保护范围之内，本申请的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种面向时空大数据计算的分布式空间对象处理方法，实现方式包括以下步骤：

步骤1，构建空间弹性分布式数据集模型；

步骤2，将空间弹性分布式数据集转化为空间点弹性分布式数据集；

步骤3，将空间弹性分布式数据集转化为空间线弹性分布式数据集；

步骤4，将空间弹性分布式数据集转化为空间面弹性分布式数据集；

步骤5，基于SPARK弹性分布式数据集结构RDD和开放地理空间信息联盟传感网观测数据模型，设计空间观测弹性分布式数据集；

步骤5所述空间观测弹性分布式数据集表示为：

ObservationRDD＝{FromTime,UntilTime,{SpatialObservationPartition_p}},p∈{1,2,…,P}SpatialObservationPartition_p＝{<SObservationIndexCode_np,Observation_np>},np∈{1,2,…,N_p}

其中，空间观测弹性分布式数据集ObservationRDD由表示所有观测对象的最早生成时间的起始时间FromTime、表示所有观测对象的最晚生成时间的截止时间UntilTime、以及P个时空观测大数据分区SpatialObservationPartition组成，每个时空观测大数据分区可以单独在分布式系统的不同节点进行管理，第p个SpatialObservationPartition_p由N_p个<SObservationIndexCode_np,Observation_np>空间观测弹性二元组组成，Observation_np为开放地理空间信息联盟传感网观测与测量模型定义的观测对象，由唯一编码、坐标串、属性表组成，定义为：

Observation_np＝{ObID_np,Result_np,PhenomenonTime_np,FeatureOfInterest_np,ObservedProperty_np,Procedure_np}

其中,ObID_np为第p个空间观测弹性二元组中Observation_np对象的唯一编码；Result_np为第p个空间观测弹性二元组中Observation_np对象的观测结果，是观测过程获取的测量结果，可以是任何数据类型；PhenomenonTime_np为第p个空间观测弹性二元组中Observation_np对象的观测时间，表示观测发生的时间，用时间对象表示；FeatureOfInterest_np为第p个空间观测弹性二元组中Observation_np对象的感兴趣的空间要素，即在现实世界中观测的空间要素目标，为Geometry类型；ObservedProperty_np为第p个空间观测弹性二元组中Observation_np对象的观测属性，描述观测结果的属性类型对象；Procedure_np为第p个空间观测弹性二元组中Observation_np对象的观测程序，可以是传感器、仪器或计算过程；

SObservationIndexCode_np为第p个二元组中空间观测对象中的FeatureOfInterest_np与第p个二元组中空间观测对象中唯一编码计算得到的空间索引编码，定义为：

SObservationIndexCode_np＝SpaceFillingCurveCoding(FeatureOfInterest_np,ObID_np)其中，SpaceFillingCurveCoding函数通过输入Observation_np对象的FeatureOfInterest_np与唯一编码ObID_np，通过空间填充曲线编码算法获取Observation_np对象的FeatureOfInterest_np所处的空间网格编码并与Observation_np对象的唯一编码ObID_np组合生成空间索引编码SObservationIndexCode_np；

而且，步骤5中，ObservationRDD能够将时空观测大数据文件作为输入，读取其中存储的每个空间观测对象转换为Observation_np对象，并根据其计算得到的SObservationIndexCode_np在对应的时空大数据分区SpatialObservationPartition_p中进行管理，定义为：

ObservationRDD＝ReadFromBigObservationDataFile(BigObservationDataFilePath)其中BigObservationDataFilePath为存储时空观测大数据的文件路径，ReadFromBigObservationDataFile获取文件路径后将文件中的内容进行解析，生成ObservationRDD对象；

而且，步骤5中，ObservationRDD可以在各个分区中并行地执行相同的ObservationRDD数据处理算法并汇总处理结果，包括统计观测数量countObservations、过滤观测对象filterObservations、处理事件processEvent，实现时空观测大数据的分布式处理，定义为：

CountResult＝ObservationRDD.countObservations()

FilteredObservationRDD＝ObservationRDD.filterObservations(Filter)

EventResult＝ObservationRDD.processEvent(Event)

其中，统计观测数量ObservationRDD.countObservations并行地在所有时空观测大数据分区统计其包含的Observation对象数并进行合并，获取ObservationRDD包含的所有观测对象总数CountResult；过滤观测对象ObservationRDD.filterObservations，基于观测对象过滤条件Filter并行地在所有时空观测大数据分区对其包含的Observation对象进行过滤，并获得过滤后的FilteredObservationRDD对象；处理事件ObservationRDD.processEvent，基于事件处理模型Event将ObservationRDD包含的所有时空观测大数据分区的所有Obsevation对象作为输入进行处理，返回对应的模型输出结果EventResult。

2.根据权利要求1所述的面向时空大数据计算的分布式空间对象处理方法，其特征在于：

步骤1所述构建空间弹性分布式数据集为：

GeometryRDD＝{SpatialGeometryPartition_p},p∈{1,2,…,P}

SpatialGeometryPartition_p＝{<SGeometryIndexCode_np,Geometry_np>},np∈{1,2,…,N_p}

其中，空间弹性分布式数据集由P个时空大数据分区组成，SpatialGeometryPartition_p表示第p个时空大数据分区；

每个时空大数据分区单独在分布式系统的不同节点进行管理，SpatialGeometryPartition_p由N_p个二元组组成；

<SGeometryIndexCode_np,Geometry_np>表示第p个二元组；

Geometry_np为第p个二元组中基础空间对象，由唯一编码、坐标串、属性表组成，定义为：

Geometry_np＝{GeoID_np,GeoCoords_np,GeoAtrributes_np}

其中，GeoID_np为第p个二元组中基础空间对象中唯一编码，GeoCoords_np为第p个二元组中基础空间对象中空间坐标串，GeoAtrributes_np为第p个二元组中基础空间对象中属性表；

SGeometryIndexCode_np为第p个二元组中基础空间对象中空间坐标串与第p个二元组中基础空间对象中唯一编码计算得到的空间索引编码，定义为：

SGeometryIndexCode_np＝SpaceFillingCurveCoding(GeoCoords_np,GeoID_np)

其中，SpaceFillingCurveCoding函数通过输入Geometry_np对象的空间坐标串GeoCoords_np与唯一编码GeoID_np，通过空间填充曲线编码算法获取Geometry_np对象的空间坐标串GeoCoords_np所处的空间网格编码并与Geometry_np对象的唯一编码GeoID_np组合生成空间索引编码SGeometryIndexCode_np；

而且，步骤1中，GeometryRDD能够将时空大数据文件作为输入，读取其中存储的每个空间对象转换为Geometry_np对象，并根据其计算得到的SGeometryIndexCode_np在对应的时空大数据分区SpatialGeometryPartition_p中进行管理，定义为：

GeometryRDD＝ReadFromBigDataFile(BigDataFilePath)

其中BigDataFilePath为存储时空大数据的文件路径，ReadFromBigDataFile获取文件路径后将文件中的内容进行解析，生成GeometryRDD对象；

而且，步骤1中，GeometryRDD可以在各个分区中并行地执行相同的Geometry数据处理算法并汇总处理结果，实现时空大数据的分布式处理，定义为：

GeometryRDDResult＝GeometryRDD.process(GeoAlgorithm)

其中，GeoAlgorithm为针对GeometryRDD执行的算法，GeometryRDD.process方法将GeoAlgorithm作为输入，将其分发到各个分区中对所有Geometry_np对象进行处理，并将所有处理结果进行汇总，GeometryRDDResult为汇总后的处理结果。

3.根据权利要求2所述的面向时空大数据计算的分布式空间对象处理方法，其特征在于：

步骤2所述空间点弹性分布式数据集为：

PointRDD＝Trans2Point(GeometryRDD)

PointRDD＝{SptialPointPartition_p},p∈{1,2,…,P}

SpatialPointPartition_p＝{<SPointIndexCode_np,Point_np>},np∈{1,2,…,N_p}

其中，方法Trans2Point将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类Point类型，从而将空间弹性分布式数据集转化为空间点弹性分布式数据集；

PointRDD由P个空间点弹性时空点大数据分区组成，每个空间点弹性时空点大数据分区单独在分布式系统的不同节点进行管理；

第p个空间点弹性时空点大数据分区即SpatialPointPartition_p由N_p个空间点弹性二元组组成；

所述空间点弹性二元组为：<SPointIndexCode_np,Point_np>；

第p个空间点弹性二元组中空间点对象，由唯一编码、横坐标、纵坐标、属性表组成，定义为：

Point_np＝{PtID_np,PtX_np,PtY_np,PtAtrributes_np}

其中，PtID_np为第p个空间点弹性二元组中对象的唯一编码，PtX_np为第p个空间点弹性二元组中的空间横坐标，PtY_np为第p个空间点弹性二元组中的空间纵坐标，PtAtributes_np为第p个空间点弹性二元组中的属性表；

SPointIndexCode_np为第p个二元组中空间点对象中空间坐标串与第p个二元组中空间点对象中唯一编码计算得到的空间索引编码，定义为：

SPointIndexCode_np＝SpaceFillingCurveCoding(PtX_np,PtY_np,PtID_np)

其中，SpaceFillingCurveCoding函数通过输入Point_np对象的空间横坐标PtX_np、纵坐标PtY_np与唯一编码PtID_np，通过空间填充曲线编码算法获取Point_np对象所处的空间网格编码并与Point对象的唯一编码PtID_np组合生成空间索引编码SPointIndexCode_np；

而且，步骤2中，PointRDD可以在各个分区中并行地执行相同的Point数据处理算法并汇总处理结果，实现时空点大数据的分布式处理，定义为：

PointRDDResult＝PointRDD.process(PointAlgorithm)

其中，PointAlgorithm为针对PointRDD执行的算法，PointRDD.process方法将PointAlgorithm作为输入，将其分发到各个分区中对所有Point_np对象进行处理，并将所有处理结果进行汇总，PointRDDResult为汇总后的处理结果。

4.根据权利要求3所述的面向时空大数据计算的分布式空间对象处理方法，其特征在于：

步骤3所述空间线弹性分布式数据集，定义为：

LineStringRDD＝Trans2LineString(GeometryRDD)

LineStringRDD＝{SpatialLinePartition_p},p∈{1,2,…,P}

SpatialLinePartition_p＝{<SLineIndexCode_np,LineString_np>},np∈{1,2,…,N_p}

其中，方法Trans2LineString将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类LineString类型，从而将空间弹性分布式数据集转化为空间线弹性分布式数据集,SpatialLinePartition_p表示第p个空间线弹性时空大数据分区；

空间线弹性分布式数据集由P个空间线弹性时空大数据分区组成，每个空间线弹性时空大数据分区可以单独在分布式系统的不同节点进行管理；

第p个空间线弹性时空大数据分区由N_p个空间线弹性二元组组成；

所述空间线弹性二元组定义为<SLineIndexCode_np,LineString_np>；

LineString_np为第p个空间线弹性对象，由唯一编码、坐标串、属性表组成，定义为：

LineString_np＝{LsID_np,LsCoords_np,LsAtrributes_np}

其中，LsID_np为第p个空间线弹性二元组中LineString_np对象的唯一编码，LsCoords_np为第p个空间线弹性二元组的空间坐标串，LsAtributes_np为第p个空间线弹性二元组的属性表；

SLineIndexCode_np为第p个二元组中空间线对象中空间坐标串与第p个二元组中空间线对象中唯一编码计算得到的空间索引编码，定义为：

SLineIndexCode_np＝SpaceFillingCurveCoding(LsCoords_np,LsID_np)

其中，SpaceFillingCurveCoding函数通过输入LineString对象的空间坐标串LsCoords_np与唯一编码LsID_np，通过空间填充曲线编码算法获取LineString_np对象的空间坐标串LsCoords_np所处的空间网格编码并与LineString_np对象的唯一编码LsID_np组合生成空间索引编码SLineIndexCode_np；

而且，步骤3中，LineStringRDD可以在各个分区中并行地执行相同的LineString数据处理算法并汇总处理结果，实现时空线大数据的分布式处理，定义为：

LineStringRDDResult＝LineStringRDD.process(LineStringAlgorithm)

其中，LineStringAlgorithm为针对LineStringRDD执行的算法，LineStringRDD.process方法将LineStringAlgorithm作为输入，将其分发到各个分区中对所有LineString_np对象进行处理，并将所有处理结果进行汇总，LineStringRDDResult为汇总后的处理结果。

5.根据权利要求4所述的面向时空大数据计算的分布式空间对象处理方法，其特征在于：

步骤4所述空间面弹性分布式数据集为：

PolygonRDD＝Trans2Polygon(GeometryRDD)

PolygonRDD＝{SpatialPolygonPartition_p},p∈{1,2,…,P}

SpatialPolygonPartition_p＝{<SPolygonIndexCode_np,Polygon_np>},np∈{1,2,…,N_p}

其中，方法Trans2Polygon将空间弹性分布式数据集作为输入，将其中每个分区中的Geometry对象的类型强制转换为其子类Polygon类型，从而将空间弹性分布式数据集转化为空间面弹性分布式数据集，SpatialPolygonPartition_p表示第p个空间面弹性时空大数据分区；

空间面弹性分布式数据集由P个空间面弹性时空大数据分区组成，每个空间面弹性时空大数据分区单独在分布式系统的不同节点进行管理；

第p个空间面弹性时空大数据分区由N_p个空间面弹性二元组组成；

第p个空间面弹性二元组定义为<SPolygonIndexCode_np,Polygon_np>；

Polygon为空间面弹性对象，由唯一编码、坐标串、属性表组成，定义为：

Polygon_np＝{PgID_np,PgCoords_np,PgAtrributes_np}

其中，PgID_np为第p个空间面弹性二元组的唯一编码，PgCoords_np为第p个空间面弹性二元组的空间坐标串，PgAtributes_np为第p个空间面弹性二元组的属性表；

SPolygonIndexCode_np为第p个二元组中空间面对象中空间坐标串与第p个二元组中空间面对象中唯一编码计算得到的空间索引编码，定义为：

SPolygonIndexCode_np＝SpaceFillingCurveCoding(PgCoords_np,PgID_np)

其中，SpaceFillingCurveCoding函数通过输入Polygon_np对象的空间坐标串PgCoords_np与唯一编码PgID_np，通过空间填充曲线编码算法获取Polygon对象的空间坐标串PgCoords_np所处的空间网格编码并与Polygon对象的唯一编码PgID_np组合生成空间索引编码SPolygonIndexCode；

而且，步骤4中，PolygonRDD可以在各个分区中并行地执行相同的Polygon数据处理算法并汇总处理结果，实现时空面大数据的分布式处理，定义为：

PolygonRDDResult＝PolygonRDD.process(PolygonAlgorithm)

其中，PolygonAlgorithm为针对PolygonRDD执行的算法，PolygonRDD.process方法将PolygonAlgorithm作为输入，将其分发到各个分区中对所有Polygon_np对象进行处理，并将所有处理结果进行汇总，PolygonRDDResult为汇总后的处理结果。

Images