CN103473292B

CN103473292B - 面向海量点与面关系并行计算负载均衡的点数据划分方法

Info

Publication number: CN103473292B
Application number: CN201310394611.4A
Authority: CN
Inventors: 朱效民; 潘景山; 刘钊; 刘威; 张立东; 霍吉东
Original assignee: National Supercomputing Center in Jinan
Current assignee: National Supercomputing Center in Jinan
Priority date: 2013-09-03
Filing date: 2013-09-03
Publication date: 2016-09-14
Anticipated expiration: 2033-09-03
Also published as: CN103473292A

Abstract

本发明的面向海量点与面关系并行计算负载均衡的点数据划分方法，包括：a).在保证物理空间临近的点的编码连续的情况下，对所有点根据位置进行编码；b).设需要将所有的点分为块，对于第个分块来说，将编码为的点划入该分块中；c).对点进行分块后，将不同的块分布至不同的计算节点上，由计算节点计算每个点是否位于多边形区域内。本发明的点数据划分方法，首先将海量点进行编码，并满足空间临近的点的编码连续原则，然后按照编码将海量点均匀地分入到不同的块中，最后通过不同的计算节点来计算不同块中的点，使得每个计算节点的计算量基本一致，实现了负载均衡的目的，充分利用计算资源，最大限度地缩短了计算时间。

Description

面向海量点与面关系并行计算负载均衡的点数据划分方法

技术领域

本发明涉及一种点数据划分方法，更具体的说，尤其涉及一种面向海量点与面关系并行计算负载均衡的点数据划分方法。

背景技术

地理空间数据是一种非常重要的数据，一般而言包含点、线和面三种类型的数据。其中，点与面的关系计算（也就是判断一系列具有地理意义的抽象的点是否位于具有特定意义的面内）是地理信息系统、空间数据库的一个基础而重要的方法，传统的地理信息系统软件都具备此功能；也是许多新兴的地图服务如LBS（Location Based Service，基于位置的服务）等都包含的功能。例如，LBS常常需要根据用户的当前位置，查询附近的用户感兴趣的点（如餐馆、车站等），这就需要进行点与面的计算，其中点为该城市或附近区域中用户感兴趣的所有点，而面则是以用户当前位置为圆心，以某一距离为半径的圆形，这就要判断大量的点中那些位于圆形内。一些新兴的推送服务的商业模式（如Geo-fensing（地理围栏）技术，即用户进入到某一范围时，向用户推送该范围内的商业等信息，吸引用户前往）也会用到点与面的关系计算，其中点即大量用户的位置（一般可以通过GPS定位或者手机信号的定位等），而面则是以该商家为中心，以某一数值为推送半径的圆形区域。

再者，一些诸如Twitter等社交网站也会用点与面的关系计算来分析用户行为，例如在北京城内，已知iphone用户、android用户和黑莓用户的具体分布，如果需要精确统计某一范围内的某类用户，则需要对用户所在位置的点数据与某一区域进行关系计算，也就是需要对大量的用户进行点面的关系计算。

少量点与面的计算是非常迅速的，甚至用普通的笔记本就可以迅速计算得到结果。但是，目前对该功能的使用呈现出两大趋势。

一是，数据量急剧攀升。随着数据采集技术的进步、采集方式手段的多样化（手机等各种手持设备等）、采集精度的增加（更先进的采集设备、更高的分辨率等），越来越多的空间数据被人们所掌握。另外一方面，移动互联网的迅速发展以及多种形式的LBS的发展，也迅速提升了数据量。在移动互联网中，每个手机用户都是一个代表点，如果再加上时间标志，那么每个用户的在较高采样频率下产生的数据也是巨大的。通常情况下，地理数据已经达到了TB级别。北京城内iphone、android和黑莓三类手机的用户至少有几百万个点。出租车上下客的点数据有会有上亿个点。为了研究路口交通，使用6 台激光扫描仪，在一个路口采集了两天的交通轨迹数据，包括来往的机动车、自行车和行人，数据大小为4.7GB，包括209426 条轨迹、33362651个采样点，每26毫秒采样一次。

二是，用户对相关应用查询的响应时间要求极为苛刻，一般要求实时返回计算结果，特别是一些城市应急管理的场合；再者，海量用户并发查询也导致了相当大的计算量。

在当今“数据即财富”的时代，谁拥有并能够快速分析海量的数据，谁就能准确捕捉到商机。在应急系统中，快速的计算结果意味着无数的生命，在城市应急管理中，例如北京大暴雨，可以基于移动基站对数据定位，推送预警信息等；如果推送的范围过大，失去了预警的意义；如果推送的范围过小，则有一部分无法被预警到，起不到预警的作用。

此外，基于此基础的计算功能，可以进行一系列的数据挖掘功能，从而了解城市的居民动向、商业模式等。如通过出租车的上下车数据进行数据的分析与挖掘等，可以了解城市的商业模式及商业区的变迁，了解各个时段的上下客情况，指导出租车司机在合理的时间前往合理的位置，避免空驶，满足乘客出行需求。

基于以上需求可得，如何在最短的时间内快速返回大量点与面的关系成为最核心的需求。计算平台一方面响应对大量数据的需求，另外一方面要面对海量并发用户的查询访问请求。

而基于数据海量、并发用户海量这两个特点以及人们对计算反馈的实时性的需求，对应的计算平台已经从传统的单机计算平台转向了高性能计算机甚至超级计算机，也就是采用并行计算的方式，满足上述核心需求。具体而言，也就是将海量的点分配到不同的计算节点上进行并发计算与查询。而并行计算常涉及的一个问题就是负载均衡。如果数据划分不均匀，那么整体的计算时间不是取决于计算最快的进程，而是最慢的进程。只有当所有的进程都计算完毕时，计算结果才能返回。而点与面的关系计算往往面对的是海量的点，常用的并行计算的方法是针对数据进行划分，即将所有点数据全覆盖无重复地分配到各个计算节点，各个计算节点得到的结果汇总后即为所需的计算结果。因此在核心的点与面的计算方法较为明确的情形下（一般采用射线法），如何将海量的点数据划分到不同的节点上成为问题的关键，也是本发明要解决的问题。

目前的相关技术：目前，专利资料方面，对面向点面计算负载均衡的数据划分其关注不多，因为LBS、并行地理计算是近几年才兴起的领域。文献方面，也没有太提及具体的数据划分方法，或者，简单进行数据划分，也就是将数据顺次读取到不同节点的内存中，不再进行调度，这类方法在简单的科学计算中是可行的，但是当涉及到大量并发的用户查询时，为了能够及时响应用户的查询需求，只能是通过增加硬件的方式，希望以冗余的资源保证计算的实时性；但如果数据划分极为不均匀，即使硬件计算资源是冗余的，也可能由于短板的存在，导致整体的计算时间过长，因此在对于提供基于位置的服务（LBS）的互联网公司而言，这并不可取。另外一些随时调度的方法，即首先对数据进行简单的划分，然后再随着计算的进行，对计算进行调度，以求负载均衡。这类方法可以在一定程度上保证计算的负载均衡，但是计算过程中的通信与调度也需要花费时间，在秒级响应的需求前提下，这类动态调度有时候也并不能满足计算需求。

以上所述的数据划分常采用简单的方法，即根据计算量，将所有点平均划分到各个计算节点上去。因为点要素是定长的（包含一个x坐标一个y坐标，不同于线面数据），因此这类方法可以保证计算的均衡性较好，但无法保证基本达到均衡。对应的数据切分方法，通常是将一块连续的数据划分给同一个计算节点。而在硬盘上，点数据的存储是随机的，不涉及其具体位置；或者为了减少磁盘读取的次数，相邻的要素连续存储。而根据点面关系计算的特点，相邻的点导致的计算量往往是接近的，这就导致一群计算量接近的点放在一起，从而导致整体计算并不均匀。因此，数据划分的主要问题是没有考虑到每个不同的点导致的计算量的问题，而是对其进行简单的划分，从而导致计算时间受限于负载过重的点，导致整体计算时间较慢。

发明内容

本发明为了克服上述技术问题的缺点，提供了一种面向海量点与面关系并行计算负载均衡的点数据划分方法。

本发明的面向海量点与面关系并行计算负载均衡的点数据划分方法，其特别之处在于，包括以下步骤：a).对点进行编码，在保证物理空间临近的点的编码连续的情况下，对所有点根据位置进行编码；设海量点为、、、…、，其获得的编码依次为0、1、2、3、…、k，其中k为正整数；b).对点进行分块，设需要将所有的点分为块，对于第个分块来说，将编码为的点划入该分块中，以便将空间临近的点尽可能地分入到不同的块中；其中，，，；对于任意一个点，假设其编码为k，则其分入的块的号为：k%m+1；c).将块分布至计算节点，对点进行分块后，将不同的块分布至不同的计算节点上，由计算节点计算每个点是否位于多边形区域内。

步骤a)为对海量点的每个点进行编码，在编码的过程中，空间上临近的点应在编号上连续。步骤b)为将编码后的点分入到个块中，由于将编码为的点划入第个块中，这样就使得空间上临近的点被分入到了不同的块中；也就是说，每一个块中含有的点在空间上均匀分布，以实现负载均衡、计算速度一致的目的。步骤c)为将不同的块划分到不同的计算节点上进行计算，不仅保证了数据的处理速度，而且还使得每个计算节点的耗时基本一致。

本发明的面向海量点与面关系并行计算负载均衡的点数据划分方法，步骤a)所述的对点进行编码，通过以下步骤来实现：a-1).计算最小多边形，计算出所有点所在的最小包围多边形；a-2).对最小多边形进行划分，利用Hilbert曲线对最小包围多边形进行划分，使得Hilbert曲线可以填满整个最小多边形，Hilbert曲线的每个端点对应最小包围多边形中的一个小的矩形框；a-3).递归划分，对Hilbert曲线逐步进行递归划分，当每个最小矩形框中所包含的点数小于一定的数目时，则递归停止；a-4).对点进行编码，按照Hilbert曲线的顺序，顺次对每个小矩形框内的点进行编码，同一个矩形框内的编码随机且连续。

步骤a-1)至a-4)为采用Hilbert曲线对点所在的区域进行划分并对点进行编码的过程，步骤a-3)中每个最小矩形框中所包含的点的数目可根据实际情况进行确定，例如4个等。

本发明的面向海量点与面关系并行计算负载均衡的点数据划分方法，1).构造射线，设点、多边形区域是在直角坐标系建立的，多边形区域依次由线段、、…、组成；以待判断点的坐标点为端点、Y轴的正向为方向，建立判断点的射线；设待判断点的坐标为；2).根据横坐标判断不相交点，设组成多边形区域的线段中，待判断的线段的横坐标的最大、最小值分别为、，如果某线段存在＜或者＞，则该线段与射线不相交；3).根据纵坐标判断不相交点，设剩余的线段中，待判断的线段的纵坐标的最大值为，如果＜，则该线段与射线不相交；4).判断射线的两端点是否位于线段的同一侧，设组成多边形区域的线段中点的最大的纵坐标为，以射线上的、为两端点，判断、两端是否位于经步骤3）处理后剩余的线段的两侧；如果、位于某线段的两侧，则射线与该线段相交，如果位于某线段的同一侧，则表明射线与该线段不相交。

本发明的有益效果是：本发明的面向海量点与面关系并行计算负载均衡的点数据划分方法，利用在判断点与区域的关系时，空间上邻近的点所需的计算量基本相等的原理，首先将海量点进行编码，并满足空间临近的点的编码连续原则，然后按照编码将海量点均匀地分入到不同的块中，最后通过不同的计算节点来计算不同块中的点，使得每个计算节点的计算量基本一致，实现了负载均衡的目的，充分利用计算资源，最大限度地缩短了计算时间。

附图说明

图1为利用射线法判断点与多边形区域关系的原理图；

图2为线段与射线的相交关系的判断；

图3为采用Hilbert曲线对点所在的区域进行划分的原理图；

图4为采用Hilbert曲线对区域划分完毕后，对区域内的点进行编码的原理图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

首先对本发明所基于的原理进行阐述：

单个点与多边形关系计算是大量点与多边形关系计算的基础。一般而言，单个点与多边形关系的计算常采用射线法，即从当前点引出一条射线，判断射线与当前多边形的交点个数。奇数个交点意味着点在多边形的内部，偶数个交点意味着点在多边形的外部。如图1所示，在内部的点对应的射线有一个交点，而在外部的点对应的射线与多边形有两个交点。

对于任意一点，判断其与多边形的关系，是以该点为起点的射线与多边形的边进行相交测试而得的（一般会对多边形进行一定的预处理，以过滤掉不可能相交的边，如对边建立索引等），其对应的计算即为射线与相关的边进行相交测试。

对于两个足够邻近的点，其第一步即为选择可能相交的线段进行计算，也就是得到所有可能与当前点引发的射线存在相交可能性的线段。对于两个临近的点，其引发的射线对应的查询区域是基本一致的，如图2所示，因此这一步导致的计算量是基本相等的。

第二步，也是最耗时的一步，即将得到的可能相交情形进行判断，得到真正相交的多边形的边的数量。对于两个临近的点，查询索引得到的边的数量以及对应的边基本都是一致的（这也是第一步查询得到的结果），因此对两个临近的点而言，需要进行相交关系计算的次数是一样的。而且，参与相交计算的多边形的边是相同的，这两个相邻的点引发的射线又基本是重叠的，因此每条射线对应每条边的计算量也都是相等的。

本发明的面向海量点与面关系并行计算负载均衡的点数据划分方法，包括以下步骤：

a).对点进行编码，在保证物理空间临近的点的编码连续的情况下，对所有点根据位置进行编码；设海量点为、、、…、，其获得的编码依次为0、1、2、3、…、k，其中k为正整数；

该步骤可以通过以下步骤来实现：

a-1).计算最小多边形，计算出所有点所在的最小包围多边形；

a-2).对最小多边形进行划分，利用Hilbert曲线对最小包围多边形进行划分，使得Hilbert曲线可以填满整个最小多边形，Hilbert曲线的每个端点对应最小包围多边形中的一个小的矩形框；

a-3).递归划分，对Hilbert曲线逐步进行递归划分，当每个最小矩形框中所包含的点数小于一定的数目时，则递归停止；

a-4).对点进行编码，按照Hilbert曲线的顺序，顺次对每个小矩形框内的点进行编码，同一个矩形框内的编码随机且连续。

如图3中的图a、b和c所示，给出了Hilbert曲线对点所在的区域进行划分的原理图，经步骤a-3)递归停止后，从左下角开始，前10个邻接的矩形框中的顺次编码为0,1,2……11，其中第2个矩形框（从0开始）中有两个点，编码则分别为2,3。按照如上所述的处理方法，每个框内都有几个甚至更多的点，顺次将这些点加入一个按照顺序存储的队列，然后按照队列中各个要素的索引编码，将其划分到不同的分组中即可。如：切块数据为32时，则第一个切块数据分别存储编号为0、32、64、96、128……的数据。如是，则相邻的数据存储到了不同的分块中去。

b).对点进行分块，设需要将所有的点分为块，对于第个分块来说，将编码为的点划入该分块中，以便将空间临近的点尽可能地分入到不同的块中；其中，，，；对于任意一个点，假设其编码为k，则其分入的块的号为：k%m+1；

c).将块分布至计算节点，对点进行分块后，将不同的块分布至不同的计算节点上，由计算节点计算每个点是否位于多边形区域内。

计算节点判断海量点是否在多边形区域内的步骤，通过以下方法来实现：

1).构造射线，设点、多边形区域是在直角坐标系建立的，多边形区域依次由线段、、…、组成；以待判断点的坐标点为端点、Y轴的正向为方向，建立判断点的射线；设待判断点的坐标为；

2).根据横坐标判断不相交点，设组成多边形区域的线段中，待判断的线段的横坐标的最大、最小值分别为、，如果某线段存在＜或者＞，则该线段与射线不相交；

如图2所示，计算多边形的线段的两个端点的横坐标的最大值和最小值，并与射线对应的x值（射线是竖直的，起点终点x值是一样的）比较。如果小于x值或者大于x，则必定不相交。连同、的比较，一共有三次浮点数的比较。如图2所示的线段中，线段1即可排除相交。

3).根据纵坐标判断不相交点，设剩余的线段中，待判断的线段的纵坐标的最大值为，如果＜，则该线段与射线不相交；

纵坐标的判断与横坐标的判断基本一致，同样需要三次比较。只有射线与线段存在共同的值区间，才进行下一步的计算；否则两线肯定不相交。如图2中，线段2可以排除相交。

4).判断射线的两端点是否位于线段的同一侧，设组成多边形区域的线段中点的最大的纵坐标为，以射线上的、为两端点，判断、两端是否位于经步骤3）处理后剩余的线段的两侧；如果、位于某线段的两侧，则射线与该线段相交，如果位于某线段的同一侧，则表明射线与该线段不相交。

射线与线段在横、纵坐标值范围内都有公共区间，是射线与线段相交的必要不充分条件，即并不意味着两条线段会相交，如图2中线段3,4都符合条件。在此情形下，只需要计算射线对应的两个端点（分别为点面关系计算的点，以及射线的末端点）是否位于对应线段的同一侧。如果位于同一侧，说明不相交，如线段3即为此情形；否则，也就是两个端点位于线段的不同侧，则两线段必然相交，如线段4。此时，需要的计算即为判断两个点是否位于多边形边的同一侧，对于两个邻近的点而言，所导致的计算量也是相等的。

综上，对于两个相邻的点引出的射线而言，查询得到需要计算相交关系的线段的时间基本一致，查询得到的参与计算的线段也是一致的，而且与每条线段进行相交关系计算的浮点运算次数也是一致的，因此对应的总体计算量可以认为是完全相同的。如图2所示，中间一条射线连同临近的两点引出的射线产生的计算量是完全相同的。这是我们的技术方案的基础。

基于以上理论基础，可得，以点的数量相等为划分依据，将相邻的点分布到不同的计算进程中去，各个进程所负担的计算量从理论上而言是接近的，也就是各个节点的负载是接近均衡的，如是可避免进一步的负载监测与调度。

首先，使用实际的地理计算数据进行测试可得，采用上述的数据划分方法时，各个节点的计算基本是均衡的；如表1、表2所示，分别给出了采用现有数据划分方法和本发明的数据划分方法，对两组不同的数据进行处理所得出的耗时数据；可见，采用本发明的数据划分方法后，各个进程计算时间的差值与最长计算时间的比值小于10%；而如果不进行任何预处理，随机对数据进行划分，可得计算时间的差值与最长计算时间比值可达90%，因此导致整体的计算时间受限于负载最重的节点，从而浪费了计算资源，且无法快速完成计算。

表1

表2

由此可见，本发明的面向海量点与面关系并行计算负载均衡的点数据划分方法，具有如下优点：

（1）快速完成计算，响应用户需求；

（2）快速完成计算，可以降低硬件配置，节省硬件投资与电力能源消耗；

（3）应急事件快速响应处理；

（4）基于该计算方法，进行数据挖掘，完成其他信息的获取，并辅助决策。

本发明的点数据划分方法，根据点与多边形关系的计算特点，创造性地将相邻的数据划分到不同的计算进程中去，从而基本保证了负载的均衡，使得在不进一步监测及调度时仍然能够保持各个计算进程负载基本均衡，充分利用计算资源，最快完成计算。

Claims

1.一种面向海量点与面关系并行计算负载均衡的点数据划分方法，其特征在于，包括以下步骤：

a).对点进行编码，在保证物理空间临近的点的编码连续的情况下，对所有点根据位置进行编码；设海量点为n₀、n₁、n₂、…、n_k，其获得的编码依次为0、1、2、3、…、k，其中k为正整数；

b).对点进行分块，设需要将所有的点分为m块，对于第j个分块来说，将编码为i·m+j的点划入该分块中，以便将空间临近的点尽可能地分入到不同的块中；其中，m<<k，1≤j≤m，i＝0,1,2,3,…；对于任意一个点，假设其编码为k，则其分入的块的号为：k％m+1；

c).将块分布至计算节点，对点进行分块后，将不同的块分布至不同的计算节点上，由计算节点计算每个点是否位于多边形区域内；

步骤a)所述的对点进行编码，通过以下步骤来实现：

2.根据权利要求1所述的面向海量点与面关系并行计算负载均衡的点数据划分方法，其特征在于，还包括计算节点判断海量点是否在多边形区域内的步骤，通过以下方法来实现：

1).构造射线，设点、多边形区域是在直角坐标系建立的，多边形区域依次由线段l₁、l₂、…、l_n组成；以待判断点的坐标点为端点、Y轴的正向为方向，建立判断点的射线；设待判断点的坐标为(x,y)；

2).根据横坐标判断不相交点，设组成多边形区域的线段中，待判断的线段的横坐标的最大、最小值分别为x_max、x_min，如果某线段存在x_max＜x或者x_min＞x，则该线段与射线不相交；

3).根据纵坐标判断不相交点，设剩余的线段中，待判断的线段的纵坐标的最大值为y_max，如果y_max＜y，则该线段与射线不相交；

4).判断射线的两端点是否位于线段的同一侧，设组成多边形区域的线段中点的最大的纵坐标为Y_max，以射线上的(x,y)、(x,Y_max)为两端点，判断(x,y)、(x,Y_max)两端是否位于经步骤3)处理后剩余的线段的两侧；如果(x,y)、(x,Y_max)位于某线段的两侧，则射线与该线段相交，如果位于某线段的同一侧，则表明射线与该线段不相交。