CN103942253B - 一种负载均衡的空间数据处理系统 - Google Patents

Abstract

本发明涉及计算机系统领域，提供一种负载均衡的空间数据处理方法，包括：S1：获取原始数据；S2：对经过S1步骤处理后的数据进行分布统计；S3：根据所述分布统计结果，得出负载均衡的分区结果；S4：将所述分区结果向拓扑结构中的每台计算服务器分发；S5：所述拓扑结构中的每台计算服务器分别执行具体空间数据处理方法；S6：通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据所述修正映射表修正全部局部结果，合并得出全局结果；S7：将所述全局结果存储在空间数据库中。本发明还提供一种负载均衡的空间数据处理系统。本发明可有效平均分配处理器的计算负荷，提高设备利用率、降低计算时间。

Description

一种负载均衡的空间数据处理系统

技术领域

本发明涉及计算机系统领域，特别涉及一种负载均衡的空间数据处理系统。

背景技术

空间数据处理技术是“智慧城市”、航天遥感、公共卫生与健康、灾害预警等众多领域中使用的关键技术。传统的空间数据处理系统，如GIS系统、关系数据库系统等，不少已经具备着比较完善高效的算法库；但是受制于历史原因，大多数的系统及算法库都只是基于单机的——如果数据量太大，单一计算机内存不能一次容纳所有的待处理数据，将必然导致大量的内外存缓存切换，造成严重的系统延缓。而随着数据获取的器材与技术在质量上和数量上的迅速发展，所获取到的空间数据的规模更大、增长极快，数据的类型也呈多样化，同时空间数据处理算法普遍计算复杂度都比较大，这些不利的因素都对这些传统的空间数据处理系统构成了巨大的挑战。

现今的大型计算机可以提供先进的处理器和大量的内存。然而，即使计算机内存能容纳所有数据，但由于很多数据处理算法的计算量并非随着数据量增加而线性增长的，而是平方级甚至指数级增长，因此不能通过简单移植单机算法来解决海量数据处理的问题。而如果能设计一套并行处理过程，通过对原始数据进行有效分区再分别计算，最后进行聚合运算，那么将有效的降低整体的计算量。因此并行处理是大数据处理的必由之道。

并行处理过程除了需要设计好各部分的局部处理算法和整体合并算法外，还必须处理如何进行有效分区的问题。从实验观察，处理算法的计算量并非与待处理的数据量成正比，而且与数据的空间分布与索引密切相关；因此，如果仅凭平分数据量进行分区计算，将可能造成负载严重不均衡，根据木板原理——最终完成时间取决于计算最慢的分区，这将严重妨碍并行计算处理的效率。譬如，发明人对超过十亿条原始空间数据进行聚类处理，将所有数据按数据量平分到16台配置一样的计算机分别处理，实验表明负载最多的一台比负载最少的一台慢了近68倍时间完成计算任务。

发明内容

本发明通过一种负载均衡的空间数据处理系统，有效平均分配每一台并行处理器的处理计算负荷，提高了并行集群系统的设备利用率、降低了全局计算时间；统计分析数据和结果都存储在系统中，可供本组数据执行其他分析应用时调用，节省了计算时间。

本发明采用如下技术方案：

一种负载均衡的空间数据处理系统，用于实现空间数据的并行分区处理达致负载均衡，其特征在于，所述负载均衡的空间数据处理系统包括：

获取数据模块，用于获取原始数据，汇总原始数据，读取原始数据并加载到处理系统，将文本格式的原始数据处理为以每行为一条数据记录的文本格式，将非文本格式的原始数据处理为以链接等方式与该条数据记录产生连接耦合；

数据分布统计模块，用于对所述获取数据模块处理后的数据进行分布统计，得出分布统计结果；其中，对所述数据模块处理后的数据进行分布统计包括：按照预设的空间格栅大小，将全局数据空间分解为多个格栅，作为原子空间；利用并行处理系统，并行统计每个所述原子空间内的数据量及局部分布，将统计结果存为统计文件，并在统计过程中对输入数据进行校验，清洗掉不符合处理规范的数据，按照数据处理的需求和算法对所述原子空间的大小进行设定；

智能分区计算模块，用于根据所述分布统计结果，得出负载均衡的分区结果；

数据分发模块，用于将所述数据进行按照所述负载均衡的分区结果进行分发，拓扑结构中的每台计算服务器接收分发来的数据；

分区处理模块，用于拓扑结构中的每台计算服务器将分别执行具体空间数据处理方法，得出各个分区的局部处理结果，并将其暂存；

合并处理模块，用于通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据修正映射表修正全部局部结果，合并得出全局结果；

数据存储模块，用于将符合条件的所述全局结果存储在空间数据库中，不符合条件的所述全局结果通过调整参数后，再次重复所述获取数据模块、数据分布统计模块、智能分区计算模块、数据分发模块、分区处理模块、合并处理模块的处理过程，直到所述全局结果符合条件后，将所述全局结果存储在空间数据库中。

本发明公开的一种负载均衡的空间数据处理系统，能实现有效平均分配每一台并行处理器的处理计算负荷，提高了并行集群系统的设备利用率、降低了全局计算时间；统计分析数据和结果都存储在系统中，可供本组数据执行其他分析应用时调用，节省了计算时间。

附图说明

图1为本发明实施例提供的一种负载均衡的空间数据处理方法；

图2为本发明实施例提供的一种负载均衡的空间数据处理系统。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种负载均衡的空间数据处理方法和系统，包括：

S1：获取原始数据、汇总原始数据、读取原始数据并加载到处理系统，将文本格式的原始数据处理为以每行为一条数据记录的文本格式，将非文本格式的原始数据处理为以链接方式与所述数据记录产生连接耦合；

S2：对经过S1步骤处理后的数据进行分布统计，得出分布统计结果；

S3：根据所述分布统计结果，得出负载均衡的分区结果；

S4：将所述分区结果向拓扑结构中的每台计算服务器分发；

S5：所述拓扑结构中的每台计算服务器分别执行具体空间数据处理方法，得出各个分区的局部处理结果，并将其暂存；

S6：通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据所述修正映射表修正全部局部结果，合并得出全局结果；

S7：根据预设条件所采用的聚类算法、范围搜索算法、相似性算法等算法特性，判断全局结果是否理想。

若所述的全局结果理想，则进入步骤S71：将所述全局结果存储在空间数据库中。

若所述的全局结果暂时不理想，则进入步骤S72：调整参数，返回步骤S1。多次执行步骤S1到步骤S6，选择较优结果作为符合条件的全局结果，并将所述全局结果存储在空间数据库中。

本发明还提供了一种负载均衡的空间数据处理系统，用于实现空间数据的并行分区处理达致负载均衡，其特征在于，所述负载均衡的空间数据处理系统包括：

获取数据模块，用于获取原始数据，汇总原始数据，读取原始数据并加载到处理系统，将文本格式的原始数据处理为以每行为一条数据记录的文本格式，将非文本格式的原始数据处理为以链接等方式与该条数据记录产生连接耦合；数据分布统计模块，用于对获取数据模块处理后的数据进行分布统计，得出分布统计结果；

智能分区计算模块，用于根据所述分布统计结果，得出负载均衡的分区结果；

数据分发模块，用于将所述数据进行按照所述负载均衡的分区结果进行分发，拓扑结构中的每台计算服务器接收分发来的数据；

分区处理模块，用于拓扑结构中的每台计算服务器将分别执行具体空间数据处理方法，得出各个分区的局部处理结果，并将其暂存；

合并处理模块，用于通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据修正映射表修正全部局部结果，合并得出全局结果；

数据存储模块，用于将符合条件的所述全局结果存储在空间数据库中，不符合条件的所述全局结果通过调整参数后，再次重复所述获取数据模块、数据分布统计模块、智能分区计算模块、数据分发模块、分区处理模块、合并处理模块的处理过程，直到所述全局结果符合条件后，将所述全局结果存储在空间数据库中。

本发明通过一种负载均衡的空间数据处理方法和系统，有效平均分配每一台并行处理器的处理计算负荷，提高了并行集群系统的设备利用率、降低了全局计算时间；统计分析数据和结果都存储在系统中，可供本组数据执行其他分析应用时调用，节省了计算时间。

实施例1：

请参阅图1所示，为本发明一种负载均衡的空间数据处理方法流程图。该方法包括下述步骤：

步骤S1：获取原始数据、汇总原始数据、读取原始数据并加载到处理系统，将文本格式的原始数据处理为以每行为一条数据记录的文本格式，将非文本格式的原始数据处理为以链接方式与所述数据记录产生连接耦合。

步骤S2：对经过S1步骤处理后的数据进行分布统计，得出分布统计结果；

对经过步骤S1处理后的数据进行分布统计进一步包括：

第一步，按照预设的空间格栅大小，将全局数据空间分解为多个的格栅，作为原子空间；

第二步，利用并行处理系统，并行统计每个所述原子空间内的数据量及局部分布，将统计结果存为统计文件，并在统计过程中对输入数据进行校验，清洗掉不符合处理规范的数据，按照数据处理的需求和算法对所述原子空间的大小进行设定。

步骤S3：根据所述分布统计结果，得出负载均衡的分区结果；

根据所述分布统计结果，得出负载均衡的分区结果进一步包括：服务器利用数学模型计算出每个所述原子空间的计算量分布情况，并据此作为权重值，计算出负载均衡的分区建议结果；

所述负载均衡的空间数据处理方法所需的参数包括：每个原子空间的边长值，每个原子空间内的数据量及其局部空间分布；

所述负载均衡的空间数据处理方法的计算量采用完成一次计算或查询所需的磁盘访问次数，作为与平台性能关系的衡量基准；

所述负载均衡的空间数据处理方法的计算量的计算方法进一步包括：

第一步，通过平均扇出值与分区的数据量计算出所属分区索引树的高度，对于任一原子空间，该原子空间的计算量与所属分区索引树的高度线性正相关；

第二步，对于任一原子空间，通过所属分区索引树的平均扇出值、该原子空间的内部数据量及其原子空间局部分布情况，推算出该原子空间对整体索引树的性能干涉因子，则该原子空间的计算量与该性能干涉因子线性正相关，与性能干涉因子的n次方线性正相关，设n为此空间的维度，对于常用的二维空间数据集则n为2；

第三步，每个分区的计算量是其所包括的所有原子空间的计算量的总和，由此得出两边分区的计算预估值，并计算得出两边分区的计算预估值之差；

将所述所有的格栅的边作为空间二分线的候选，设它们所构成的集合为L，对于集合L中的所有候选二分线，均假设若按照它来执行划分，根据上述方法求得其两边分区的计算预估值，得出两边分区的计算预估值之差的绝对值，选取使绝对值最小的线作为此空间的最优二分线，并按此来使当前空间分解为两个子空间；

设初始空间划分任务队列Qt只包括全局数据空间范围SU，初始划分结果队列Qp为空；若队列Qt非空，则弹出它的首个元素，若计算得首个元素的计算预估值大于集群系统中单台计算机的合适计算能力，则将首个元素根据上述的空间最优二分方法分解为元素A与元素B，并将元素A、元素B插入任务队列Qt的尾部；若计算预估值小于合适计算能力，则将首个元素插入到结果队列Qp的尾部；重复执行上述步骤，直到任务队列Qt为空，则结果队列Qp即为本次空间划分的结果集，将此分区结果集将存储起来，由此可得出负载均衡的空间划分方法。

步骤S4：将所述分区结果向拓扑结构中的每台计算服务器分发；

将数据分发到并行计算系统的每一个计算服务器中去；分发为实际的数据传输或者各计算服务器对放置于共享存储空间中的数据的局部访问权的获取；

为了让各计算服务器尽量少通讯或无通讯，其实际所需分发的数据域会扩展到每个分区的有限外边界，其扩展值由具体数据处理方法决定。

步骤S5：所述拓扑结构中的每台计算服务器分别执行具体空间数据处理方法，得出各个分区的局部处理结果，并将其暂存。

步骤S6：通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据所述修正映射表修正全部局部结果，合并得出全局结果。

步骤S7：根据预设条件所采用的聚类算法、范围搜索算法、相似性算法等算法特性，判断全局结果是否理想。

若所述的全局结果理想，则进入步骤S71：将所述全局结果存储在空间数据库中。

若所述的全局结果暂时不理想，则进入步骤S72：调整参数，返回步骤S1。多次执行步骤S1到步骤S6，选择较优结果作为符合条件的全局结果，并将所述全局结果存储在空间数据库中。

本实施例通过一种负载均衡的空间数据处理方法，有效平均分配每一台并行处理器的处理计算负荷，提高了并行集群系统的设备利用率、降低了全局计算时间；统计分析数据和结果都存储在系统中，可供本组数据执行其他分析应用时调用，节省了计算时间。

实施例2：

本实施例提供了一种负载均衡的空间数据处理系统。请参阅图2所示，为用户操作本发明实施例2一种负载均衡的空间数据处理系统示意图。该系统包含下述模块：

获取数据模块，用于获取原始数据，汇总原始数据，读取原始数据并加载到处理系统，将文本格式的原始数据处理为以每行为一条数据记录的文本格式，将非文本格式的原始数据处理为以链接等方式与该条数据记录产生连接耦合；

数据分布统计模块，用于对经过获取数据模块处理后的数据进行分布统计，得出分布统计结果；

智能分区计算模块，用于根据所述分布统计结果，得出负载均衡的分区结果；

数据分发模块，用于将所述数据进行按照所述负载均衡的分区结果进行分发，拓扑结构中的每台计算服务器接收分发来的数据；

分区处理模块，用于拓扑结构中的每台计算服务器将分别执行具体空间数据处理方法，得出各个分区的局部处理结果，并将其暂存；

合并处理模块，用于通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据修正映射表修正全部局部结果，合并得出全局结果；

数据存储模块，用于将符合条件的所述全局结果存储在空间数据库中，不符合条件的所述全局结果通过调整参数后，再次重复所述获取数据模块、数据分布统计模块、智能分区计算模块、数据分发模块、分区处理模块、合并处理模块的处理过程，直到所述全局结果符合条件后，将所述全局结果存储在空间数据库中。

本系统采用实施例1中的步骤S1～步骤S7进行负载均衡的空间数据处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种负载均衡的空间数据处理系统，用于实现空间数据的并行分区处理达致负载均衡，其特征在于，所述负载均衡的空间数据处理系统包括：

获取数据模块，用于获取原始数据，汇总原始数据，读取原始数据并加载到处理系统，将文本格式的原始数据处理为以每行为一条数据记录的文本格式，将非文本格式的原始数据处理为以链接方式与该条数据记录产生连接耦合；

数据分布统计模块，用于对所述获取数据模块处理后的数据进行分布统计，得出分布统计结果；其中，对所述数据模块处理后的数据进行分布统计包括：按照预设的空间格栅大小，将全局数据空间分解为多个格栅，作为原子空间；利用并行处理系统，并行统计每个所述原子空间内的数据量及局部分布，将统计结果存为统计文件，并在统计过程中对输入数据进行校验，清洗掉不符合处理规范的数据，按照数据处理的需求和算法对所述原子空间的大小进行设定；

智能分区计算模块，用于根据所述分布统计结果，得出负载均衡的分区结果；

数据分发模块，用于将所述数据进行按照所述负载均衡的分区结果进行分发，拓扑结构中的每台计算服务器接收分发来的数据；

分区处理模块，用于拓扑结构中的每台计算服务器将分别执行具体空间数据处理方法，得出各个分区的局部处理结果，并将其暂存；

合并处理模块，用于通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据修正映射表修正全部局部结果，合并得出全局结果；

数据存储模块，用于将符合条件的所述全局结果存储在空间数据库中，不符合条件的所述全局结果通过调整参数后，再次重复所述获取数据模块、数据分布统计模块、智能分区计算模块、数据分发模块、分区处理模块、合并处理模块的处理过程，直到所述全局结果符合条件后，将所述全局结果存储在空间数据库中。