CN103870591A - 用于针对空间数据进行并行空间分析服务的方法及系统 - Google Patents

用于针对空间数据进行并行空间分析服务的方法及系统 Download PDF

Info

Publication number
CN103870591A
CN103870591A CN201410123151.6A CN201410123151A CN103870591A CN 103870591 A CN103870591 A CN 103870591A CN 201410123151 A CN201410123151 A CN 201410123151A CN 103870591 A CN103870591 A CN 103870591A
Authority
CN
China
Prior art keywords
basic space
space data
destination object
data message
parallel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410123151.6A
Other languages
English (en)
Other versions
CN103870591B (zh
Inventor
江聪世
周妙林
凌飞
佘锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Digital Ecological Technology Co.,Ltd.
Original Assignee
WUHAN SMARTGIS TECH Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN SMARTGIS TECH Co Ltd filed Critical WUHAN SMARTGIS TECH Co Ltd
Priority to CN201410123151.6A priority Critical patent/CN103870591B/zh
Publication of CN103870591A publication Critical patent/CN103870591A/zh
Application granted granted Critical
Publication of CN103870591B publication Critical patent/CN103870591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种用于针对空间数据进行并行空间分析服务的方法及系统,该方法包括:实时获取目标对象的基础空间数据信息,生成相对应的并行任务请求;将获取的空间信息进行加密处理,并将加密处理后的空间数据信息存放到分布式数据库中;实时扫描分布式数据库获取并行任务请求,依据并行任务请求实时提取目标对象的基础空间数据信息;通过分配计算机服务器对所提取的目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至分布式数据库中;最后将空间分析结果发送给目标对象。本发明通过并行空间分析服务使得目标对象用户可以很轻易的使用想要的空间分析服务,同时并行的计算能力又可以大大的减少大数据分析的时间,具有效率高的特点。

Description

用于针对空间数据进行并行空间分析服务的方法及系统
技术领域
本发明涉及云服务领域,具体涉及一种用于针对空间数据进行并行空间分析服务的方法及系统。
背景技术
目前互联网上提供的云服务都没有特定的领域,主要是针对云存储和一般的云计算,像亚马逊,谷歌和阿里巴巴之类的公司都是这样。而空间分析这种涉及到GIS领域的,由于空间和地理位置的特性,还没有得到很好的并行支持,以GIS龙头ESRI公司为例,在遇到大数据的空间分析时,就需要长时间的等待,同时还必须安装ArcGIS软件才能进行操作。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的用于针对空间数据进行并行空间分析服务的方法和相应的用于针对空间数据进行并行空间分析服务的系统。
依据本发明的一个方面,提供了一种用于针对空间数据进行并行空间分析服务的方法,包括:实时获取目标对象的基础空间数据信息,并生成相对应的并行任务请求;将所获取的所述目标对象的基础空间数据信息及所对应的并行任务请求进行加密处理,发送给任务接收器,所述任务接收器获取所有机群的空闲信息,并根据所获取的机群空闲信息,将加密处理后的基础空间数据信息及所对应的并行任务请求存放到分布式数据库中的该机群任务位置;实时扫描所述分布式数据库获取所述并行任务请求,依据所述并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行分析服务,并将分析结果存储至所述分布式数据库中;将所述分布式数据库所存储的分析结果发送给所述目标对象。
进一步地,所述实时获取目标对象的基础空间数据信息包括:通过用户输入的方式实时获取所述目标对象的基础空间数据信息;和/或,通过对目标对象进行检测的方式实时获取所述目标对象的基础空间数据信息。
进一步地,所述实时扫描分布式数据库获取所述并行任务请求,依据并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息包括:实时扫描分布式数据库,获取新的任务请求;依据所述新的任务请求,实时提取所述新的任务请求所对应的基础空间数据信息。
进一步地,所述通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中包括:通过一个任务调度服务器及若干个计算机服务器组成一个计算机群组;其中,所述任务调度服务器用以获取所述若干个计算机服务器的性能参数;所述任务调度服务器依据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务;并将分析结果存储至所述分布式数据库中。
进一步地,所述任务调度服务器依据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中包括:从所提取的所述目标对象的基础空间数据信息中取得当前需要进行并行空间分析的所有基础空间数据的数量S;取得一个或多个所述计算机服务器实际可用的计算单元个数N,根据计算单元的个数,将所有的基础空间数据平分给所述计算单元进行计算;其中,分配原则是先根据基础空间数据的空间特性,计算出所有基础空间数据整体的外包矩形,然后将外包矩形按照长的一边分成N份区域,使这N份区域中的空间数据的数量趋近于S/N,实现基础空间数据在空间和数量上的均衡;将计算单元的计算结果整合后,根据当前基础空间数据的数量S和计算单元个数N来决定是否继续分割数据并分发给其他计算单元,以此类推,直到数据不再需要被分发处理,则由当前计算服务器整合所有结果数据,并输出到分布式数据库进行存储。
进一步地,所述通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中还包括:对若干个所述计算机服务器进行实时维护,所述对若干个所述计算机服务器进行实时维护至少包括如下一种维护方式:增加新的计算机服务器、删除若干个所述计算机服务器中不可用的计算机服务器、或者更新若干个所述计算机服务器中的某一个或多个计算机服务器。
又一方面,本发明提供了一种用于针对目标对象进行空间分析服务的系统,包括:基础空间数据信息获取模块;用于实时获取目标对象的基础空间数据信息,并生成相对应的并行任务请求;任务接收模块;用于将所获取的所述目标对象的基础空间数据信息及所对应的并行任务请求进行加密处理,发送给任务接收器,所述任务接收器获取所有机群的空闲信息,并根据所获取的机群空闲信息,将加密处理后的基础空间数据信息及所对应的并行任务请求存放到分布式数据库中的该机群任务位置;并行任务请求扫描模块;用于实时扫描所述分布式数据库获取所述并行任务请求,依据所述并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;基础空间数据信息分析模块;用于通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中;分析结果反馈模块;用于将所述分布式数据库所存储的分析结果发送给所述目标对象。
进一步地,所述基础空间数据信息获取模块包括:用户输入子模块;用于通过用户输入的方式实时获取所述目标对象的基础空间数据信息;和/或,目标检测子模块;用于通过对目标对象进行检测的方式实时获取所述目标对象的基础空间数据信息。
进一步地,所述并行任务请求扫描模块包括:第一并行任务请求扫描子模块;用于实时扫描分布式数据库,获取新的任务请求;第二并行任务请求扫描子模块;用于依据所述新的任务请求,实时提取所述新的任务请求所对应的基础空间数据信息。
进一步地,基础空间数据信息分析模块包括:计算机群组构建子模块;用于通过一个任务调度服务器及若干个计算机服务器组成一个计算机群组;其中,所述任务调度服务器用以获取所述若干个计算机服务器的性能参数;任务分配及分析子模块;用于根据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务;并将分析结果存储至所述分布式数据库中。
本发明提供的一种用于针对空间数据进行并行空间分析服务的方法,首先通过实时获所述目标对象的基础空间数据信息,并生成相对应的并行任务请求;然后将所获取的基础空间数据信息及所对应的并行任务请求进行加密处理,并将加密处理后信息存放到分布式数据库中;同时实时扫描分布式数据库获取并行任务请求,依据并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;并通过分配计算机服务器对所提取的基础空间数据信息进行并行分析服务,最后将分析结果存储至所述分布式数据库中并发送给目标对象。本发明通过并行空间分析服务使得目标对象用户可以很轻易的使用想要的分析服务,同时并行的计算能力又可以大大的减少大数据分析的时间,具有效率高的特点。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的用于针对目标对象进行空间分析服务的方法的流程示意图;以及
图2示出了本发明实施例提供的用于针对目标对象进行空间分析服务的方法中,通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行分析服务,并将分析结果存储至所述分布式数据库中的流程示意图;以及
图3示出了本发明一个实施例的用于针对目标对象进行空间分析服务的系统的原理框图;以及
图4示出了本发明一个实施例的用于针对目标对象进行空间分析服务的系统中,基础空间数据信息分析模块的原理框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种用于针对目标对象进行空间分析服务的方法,请参阅图1-2,具体包括如下步骤:
步骤S101:实时获取所述目标对象的基础空间数据信息,并生成相对应的并行任务请求;
具体而言,该步骤S101中的执行主体可为前端服务界面,为目标对象提供各种空间分析服务的接口,其中,目标对象可以是普通用户,也可以是企业用户;当目标对象为普通用户时,该用户可以直接在web页面上提交数据;当目标对象为企业用户时,该用户可以通过调用系统公布的webservice接口来使用;优选的,实时获取目标对象的基础空间数据信息可以通过如下方式中任何一种方式来获取:通过用户输入的方式实时获取所述目标对象的基础空间数据信息;或者,通过对目标对象进行检测的方式实时获取所述目标对象的基础空间数据信息。
步骤S102:将所获取的所述目标对象的基础空间数据信息及所对应的并行任务请求进行加密处理,根据获取的机群空闲信息,选择某个机群来处理该任务,并将加密处理后的基础空间数据信息及所对应的并行任务请求存放到分布式数据库中(该机群所扫描的位置);
其中,使用分布式数据库部署(如MongoDB),负责存储普通用户/企业用户上信息数据和用户提交的并行任务参数,便于后续进行并行空间分析操作,同时,分布式数据库也会将并行空间分析后的结果数据进行存储,便于实时反馈给用户使用。
步骤S103:实时扫描所述分布式数据库获取所述并行任务请求,依据所述并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;
即,通过不停地扫描分布式数据库中是否有新的并行任务,继而从分布式数据库中获取新的任务请求。
步骤S104:通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行分析服务,并将分析结果存储至所述分布式数据库中;
具体来说,该步骤S104通过根据所获取的目标对象的基础空间数据信息的任务大小、数量以及大致所需的运行时间来分配若干数量的计算机服务器参与计算,并制定计算结果在分布式数据库中存储位置,当计算完成之后,将计算结果存储至分布式数据库中并通过前端服务界面实时反馈给用户。可选的,该步骤S104可包括:步骤S104a,通过一个任务调度服务器及若干个计算机服务器组成一个群组;其中,任务调度服务器获取所述若干个计算机服务器的性能参数;步骤S104b,任务调度服务器依据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行分析服务;并将分析结果存储至所述分布式数据库中。
可选的,本步骤104中,可依据基础空间数据在空间和地理位置上的特性,根据基础空间数据的拓扑性,关联性,对不同的基础空间数据采用专门适用的并行算法,结合空间聚类和关联聚类对空间数据进行分割来加速并行计算的效率。具体而言,该过程可包括:取得当前需要进行并行空间分析的所有空间数据的数量S,取得上述所分配的计算机服务器实际可用的计算单元个数N,根据计算单元的个数,将所有的空间数据尽量平分给计算单元,大致的分配原则是先根据空间数据的空间特性,计算出所有空间数据整体的外包矩形,然后将外包矩形按照长的一边分成N份区域,使这N份区域中的空间数据的数量尽量趋近与S/N,这样可以使得空间数据在空间和数量上的均衡,以取得更高的效率;任务合并子模块;将其他计算单元的计算结果整合后,根据当前数据的数量S1和计算单元个数N来决定是否继续分割数据并分发给其他计算单元,以此类推,直到数据不再需要被分发处理,则由当前计算服务器整合所有结果数据,并输出到分布式数据库。
需要进一步指出的是,该步骤S104中的计算机服务器可以是高性能的服务器,也可以是普通的电脑终端或者其他支持的能参与计算的设备;且本步骤中还可通过增设并行计算机服务器管理模块,用于对计算机服务器的运行状态、通信状况、运行能力等进行实时监控,并根据监控结果进行定期维护,如:增加计算机服务器,删除不可用的计算机服务器,或者更新计算机服务器的运算性能等。
步骤S105:将所述分布式数据库所存储的分析结果发送给所述目标对象。
为进一步对本发明提供的一种用于针对目标对象进行空间分析服务的方法进行详细说明以支持本发明所要解决的技术问题,下面以普通用户分析若干河流汛期对周边建筑的影响为例进行阐述:
首先,用户准备好所需要分析的基础空间数据信息,即若干河流的矢量数据(线状数据),然后确定好河流汛期的涨幅宽度,即对线数据做缓冲分析。
整体分析而言:
1、普通用户可以直接在前端服务界面上提交基础空间数据信息,执行并行空间分析,企业用户可以通过调用系统公布的WebService接口来使用;
2、前端服务界面接收用户的基础空间数据信息和执行参数后,对数据进行加密处理,然后将数据发送给任务接收器,任务接收器通过获取机群的空闲信息,然后将加密处理后的数据信息一起存放到分布式数据库中该机群扫描位置(如MongoDB);
3、前端服务界面通过扫描分布式数据库,来取得分析后的数据信息并返回给用户;
4、增设并行服务器管理模块维护当前所有并行计算服务器,可以增加计算服务器,可以删除不可用的计算机服务器,也可以更新某个计算机服务器的计算性能等参数。
5、实时扫描分布式数据库,获取新的并行任务请求,根据该并行任务请求所对应的基础数据的复杂性和当前可用的计算机服务器来分配并行任务。
前端服务界面接收用户并行任务请求:
1、用户登录并行空间分析平台(前端服务界面),可以先上传河流的矢量数据,也可以直接选择缓冲分析,在参数选项里,可以选择已经上传好的数据或者上传新的数据;
2、调整缓冲距离等参数,指定缓冲后的数据名及存放位置,数据格式可以是KML或者Shape等支持的格式;
3、开始执行并行的缓冲分析;
4、前端服务界面接收到用户上传的矢量数据后,进行加密,发送给任务接收器,任务接收器根据机群的空闲信息,将任务存放到分布式数据库中;
5、前端服务界面实时扫描分布式数据库中指定位置(即并行分析结果存放位置),如果用户的缓冲分析结束,那么取得结果数据返回给用户。
并行任务的后台执行过程:
1、通过增设任务调度管理模块实时扫描分布式数据库中特定位置(用户的并行任务请求存放位置),从分布式数据库中取得用户的并行缓冲分析请求;
2、解析参数,然后获取河流的矢量数据,进行解密并读取数据;
3、获得河流矢量数据中的大小,数量,大致分析河流数据的复杂性;
4、通过任务调度服务器获取当前可用的若干个计算机服务器的性能参数;
5、依据现有的并行计算机服务器资源和河流矢量数据的复杂性,分配出合适的一个或多个计算机服务器来参与并行计算,以获得高效的结果;
6、指定特定数量的计算机服务器开始并行计算,并传递任务参数给主计算机服务器(任何一个计算服务器)。
7、主计算机服务器解析参数,并调用分配的其他计算机服务器开始计算,最后将数据结果存放在参数中指定的位置(分布式数据库中特定的位置)。
与本发明实施例提供的一种用于针对空间数据进行并行空间分析服务的方法相对应,本发明实施例还提供了一种用于针对空间数据进行并行空间分析服务的系统,请参阅图3-4该系统包括:基础空间数据信息获取模块201;用于实时获取目标对象的基础空间数据信息,并生成相对应的并行任务请求;任务接收模块202;用于将所获取的所述目标对象的基础空间数据信息及所对应的并行任务请求进行加密处理,发送给任务接收器,所述任务接收器获取所有机群的空闲信息,并根据所获取的机群空闲信息,将加密处理后的基础空间数据信息及所对应的并行任务请求存放到分布式数据库中的该机群任务位置;并行任务请求扫描模块203;用于实时扫描所述分布式数据库获取所述并行任务请求,依据所述并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;基础空间数据信息分析模块204;用于通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中;分析结果反馈模块205;用于将所述分布式数据库所存储的分析结果发送给所述目标对象。
具体而言,所述基础空间数据信息获取模块包括:用户输入子模块;用于通过用户输入的方式实时获取所述目标对象的基础空间数据信息;和/或,目标检测子模块;用于通过对目标对象进行检测的方式实时获取所述目标对象的基础空间数据信息。所述并行任务请求扫描模块203包括:第一并行任务请求扫描子模块;用于实时扫描分布式数据库,获取新的任务请求;第二并行任务请求扫描子模块;用于依据所述新的任务请求,实时提取所述新的任务请求所对应的基础空间数据信息。所述基础空间数据信息分析模块204包括:计算机群组构建子模块204a;用于通过一个任务调度服务器及若干个计算机服务器组成一个计算机群组;其中,所述任务调度服务器用以获取所述若干个计算机服务器的性能参数;任务分配及分析子模块204b;用于根据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务;并将分析结果存储至所述分布式数据库中。
需要指出的是,本发明实施例提供的用于针对目标对象进行空间分析服务的系统与其方法实施例相对应,系统实施例部分未详述部分可参阅方法部分实施例,此处不在赘述。
总体而言,GIS行业的数据量一般都非常庞大,传统GIS主要还是集中在地图展示方面,而空间分析一般只有专业的软件才会提供,并且在处理大数据的计算时,耗时颇高,并且费用也不菲,然而用户可能只是需要某些特定的功能,却不得不购买一整套软件才能使用。而本发明所提供的用于针对目标对象进行空间分析服务的方法及其系统能为大众和专业人士以及企业用户提供非常便利的服务,用户可以很轻易的使用想要的分析服务,同时并行的计算能力又可以大大的减少大数据分析的时间。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用于针对目标对象进行空间分析服务的方法及其系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
A1、本发明还公开了一种用于针对空间数据进行并行空间分析服务的方法,包括:
实时获取目标对象的基础空间数据信息,并生成相对应的并行任务请求;
将所获取的所述目标对象的基础空间数据信息及所对应的并行任务请求进行加密处理,发送给任务接收器,所述任务接收器获取所有机群的空闲信息,并根据所获取的机群空闲信息,将加密处理后的基础空间数据信息及所对应的并行任务请求存放到分布式数据库中的该机群任务位置;
实时扫描所述分布式数据库获取所述并行任务请求,依据所述并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;
通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行分析服务,并将分析结果存储至所述分布式数据库中;
将所述分布式数据库所存储的分析结果发送给所述目标对象。
A2、如A1所述的方法,所述实时获取目标对象的基础空间数据信息包括:
通过用户输入的方式实时获取所述目标对象的基础空间数据信息;
和/或,
通过对目标对象进行检测的方式实时获取所述目标对象的基础空间数据信息。
A3、如A2所述的方法,其特征在于,所述实时扫描分布式数据库获取所述并行任务请求,依据并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息包括:
实时扫描分布式数据库,获取新的任务请求;
依据所述新的任务请求,实时提取所述新的任务请求所对应的基础空间数据信息。
A4、如A2所述的方法,所述通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中包括:
通过一个任务调度服务器及若干个计算机服务器组成一个计算机群组;其中,所述任务调度服务器用以获取所述若干个计算机服务器的性能参数;
所述任务调度服务器依据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务;并将分析结果存储至所述分布式数据库中。
A5、如A4所述的方法,所述任务调度服务器依据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中包括:
从所提取的所述目标对象的基础空间数据信息中取得当前需要进行并行空间分析的所有基础空间数据的数量S;
取得一个或多个所述计算机服务器实际可用的计算单元个数N,根据计算单元的个数,将所有的基础空间数据平分给所述计算单元进行计算;其中,分配原则是先根据基础空间数据的空间特性,计算出所有基础空间数据整体的外包矩形,然后将外包矩形按照长的一边分成N份区域,使这N份区域中的空间数据的数量趋近于S/N,实现基础空间数据在空间和数量上的均衡;
将计算单元的计算结果整合后,根据当前基础空间数据的数量S和计算单元个数N来决定是否继续分割数据并分发给其他计算单元,以此类推,直到数据不再需要被分发处理,则由当前计算服务器整合所有结果数据,并输出到分布式数据库进行存储。
A6、如A4所述的方法,其特征在于,所述通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中还包括:
对若干个所述计算机服务器进行实时维护,所述对若干个所述计算机服务器进行实时维护至少包括如下一种维护方式:增加新的计算机服务器、删除若干个所述计算机服务器中不可用的计算机服务器、或者更新若干个所述计算机服务器中的某一个或多个计算机服务器。
A7、一种用于针对目标对象进行空间分析服务的系统,包括:
基础空间数据信息获取模块;用于实时获取目标对象的基础空间数据信息,并生成相对应的并行任务请求;
任务接收模块;用于将所获取的所述目标对象的基础空间数据信息及所对应的并行任务请求进行加密处理,发送给任务接收器,所述任务接收器获取所有机群的空闲信息,并根据所获取的机群空闲信息,将加密处理后的基础空间数据信息及所对应的并行任务请求存放到分布式数据库中的该机群任务位置;
并行任务请求扫描模块;用于实时扫描所述分布式数据库获取所述并行任务请求,依据所述并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;
基础空间数据信息分析模块;用于通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中。
分析结果反馈模块;用于将所述分布式数据库所存储的分析结果发送给所述目标对象。
A8、如A7所述的系统,所述基础空间数据信息获取模块包括:
用户输入子模块;用于通过用户输入的方式实时获取所述目标对象的基础空间数据信息;
和/或,
目标检测子模块;用于通过对目标对象进行检测的方式实时获取所述目标对象的基础空间数据信息。
A9、如A8所述的系统,所述并行任务请求扫描模块包括:
第一并行任务请求扫描子模块;用于实时扫描分布式数据库,获取新的任务请求;
第二并行任务请求扫描子模块;用于依据所述新的任务请求,实时提取所述新的任务请求所对应的基础空间数据信息。
A10、如A9所述的系统,所述基础空间数据信息分析模块包括:
计算机群组构建子模块;用于通过一个任务调度服务器及若干个计算机服务器组成一个计算机群组;其中,所述任务调度服务器用以获取所述若干个计算机服务器的性能参数;
任务分配及分析子模块;用于所述任务调度服务器依据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务;并将分析结果存储至所述分布式数据库中。
A11、如A10所述的系统,所述任务分配及分析子模块包括:
第一任务分割单元;用于从所提取的所述目标对象的基础空间数据信息中取得当前需要进行并行空间分析的所有基础空间数据的数量S;
第二任务分割单元;用于取得一个或多个所述计算机服务器实际可用的计算单元个数N,根据计算单元的个数,将所有的基础空间数据平分给所述计算单元进行计算;其中,分配原则是先根据基础空间数据的空间特性,计算出所有基础空间数据整体的外包矩形,然后将外包矩形按照长的一边分成N份区域,使这N份区域中的空间数据的数量趋近于S/N,实现基础空间数据在空间和数量上的均衡;
任务合并单元;用于将计算单元的计算结果整合后,根据当前基础空间数据的数量S和计算单元个数N来决定是否继续分割数据并分发给其他计算单元,以此类推,直到数据不再需要被分发处理,则由当前计算服务器整合所有结果数据,并输出到分布式数据库进行存储。
A12、如A10所述的系统,所述任务分配及分析子模块还包括:
服务器维护单元,用于对若干个所述计算机服务器进行实时维护,所述对若干个所述计算机服务器进行实时维护至少包括如下一种维护方式:增加新的计算机服务器、删除若干个所述计算机服务器中不可用的计算机服务器、或者更新若干个所述计算机服务器中的某一个或多个计算机服务器。

Claims (10)

1.一种用于针对空间数据进行并行空间分析服务的方法,其特征在于,包括:
实时获取目标对象的基础空间数据信息,并生成相对应的并行任务请求;
将所获取的所述目标对象的基础空间数据信息及所对应的并行任务请求进行加密处理,发送给任务接收器,所述任务接收器获取所有机群的空闲信息,并根据所获取的机群空闲信息,将加密处理后的基础空间数据信息及所对应的并行任务请求存放到分布式数据库中的该机群任务位置;
实时扫描所述分布式数据库获取所述并行任务请求,依据所述并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;
通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行分析服务,并将分析结果存储至所述分布式数据库中;
将所述分布式数据库所存储的分析结果发送给所述目标对象。
2.如权利要求1所述的方法,其特征在于,所述实时获取目标对象的基础空间数据信息包括:
通过用户输入的方式实时获取所述目标对象的基础空间数据信息;
和/或,
通过对目标对象进行检测的方式实时获取所述目标对象的基础空间数据信息。
3.如权利要求2所述的方法,其特征在于,所述实时扫描分布式数据库获取所述并行任务请求,依据并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息包括:
实时扫描分布式数据库,获取新的任务请求;
依据所述新的任务请求,实时提取所述新的任务请求所对应的基础空间数据信息。
4.如权利要求2所述的方法,其特征在于,所述通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中包括:
通过一个任务调度服务器及若干个计算机服务器组成一个计算机群组;其中,所述任务调度服务器用以获取所述若干个计算机服务器的性能参数;
所述任务调度服务器依据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务;并将分析结果存储至所述分布式数据库中。
5.如权利要求4所述的方法,其特征在于,所述任务调度服务器依据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中包括:
从所提取的所述目标对象的基础空间数据信息中取得当前需要进行并行空间分析的所有基础空间数据的数量S;
取得一个或多个所述计算机服务器实际可用的计算单元个数N,根据计算单元的个数,将所有的基础空间数据平分给所述计算单元进行计算;其中,分配原则是先根据基础空间数据的空间特性,计算出所有基础空间数据整体的外包矩形,然后将外包矩形按照长的一边分成N份区域,使这N份区域中的空间数据的数量趋近于S/N,实现基础空间数据在空间和数量上的均衡;
将计算单元的计算结果整合后,根据当前基础空间数据的数量S和计算单元个数N来决定是否继续分割数据并分发给其他计算单元,以此类推,直到数据不再需要被分发处理,则由当前计算服务器整合所有结果数据,并输出到分布式数据库进行存储。
6.如权利要求4所述的方法,其特征在于,所述通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中还包括:
对若干个所述计算机服务器进行实时维护,所述对若干个所述计算机服务器进行实时维护至少包括如下一种维护方式:增加新的计算机服务器、删除若干个所述计算机服务器中不可用的计算机服务器、或者更新若干个所述计算机服务器中的某一个或多个计算机服务器。
7.一种用于针对目标对象进行空间分析服务的系统,其特征在于,包括:
基础空间数据信息获取模块;用于实时获取目标对象的基础空间数据信息,并生成相对应的并行任务请求;
任务接收模块;用于将所获取的所述目标对象的基础空间数据信息及所对应的并行任务请求进行加密处理,发送给任务接收器,所述任务接收器获取所有机群的空闲信息,并根据所获取的机群空闲信息,将加密处理后的基础空间数据信息及所对应的并行任务请求存放到分布式数据库中的该机群任务位置;
并行任务请求扫描模块;用于实时扫描所述分布式数据库获取所述并行任务请求,依据所述并行任务请求实时提取所述并行任务请求所对应的所述目标对象的基础空间数据信息;
基础空间数据信息分析模块;用于通过分配计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务,并将分析结果存储至所述分布式数据库中;
分析结果反馈模块;用于将所述分布式数据库所存储的分析结果发送给所述目标对象。
8.如权利要求7所述的系统,其特征在于,所述基础空间数据信息获取模块包括:
用户输入子模块;用于通过用户输入的方式实时获取所述目标对象的基础空间数据信息;
和/或,
目标检测子模块;用于通过对目标对象进行检测的方式实时获取所述目标对象的基础空间数据信息。
9.如权利要求8所述的系统,其特征在于,所述并行任务请求扫描模块包括:
第一并行任务请求扫描子模块;用于实时扫描分布式数据库,获取新的任务请求;
第二并行任务请求扫描子模块;用于依据所述新的任务请求,实时提取所述新的任务请求所对应的基础空间数据信息。
10.如权利要求9所述的系统,其特征在于,基础空间数据信息分析模块包括:
计算机群组构建子模块;用于通过一个任务调度服务器及若干个计算机服务器组成一个计算机群组;其中,所述任务调度服务器用以获取所述若干个计算机服务器的性能参数;
任务分配及分析子模块;用于根据所获取的性能参数,分配一个或多个所述计算机服务器对所提取的所述目标对象的基础空间数据信息进行并行分析服务;并将分析结果存储至所述分布式数据库中。
CN201410123151.6A 2014-03-28 2014-03-28 用于针对空间数据进行并行空间分析服务的方法及系统 Active CN103870591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410123151.6A CN103870591B (zh) 2014-03-28 2014-03-28 用于针对空间数据进行并行空间分析服务的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410123151.6A CN103870591B (zh) 2014-03-28 2014-03-28 用于针对空间数据进行并行空间分析服务的方法及系统

Publications (2)

Publication Number Publication Date
CN103870591A true CN103870591A (zh) 2014-06-18
CN103870591B CN103870591B (zh) 2017-04-12

Family

ID=50909121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410123151.6A Active CN103870591B (zh) 2014-03-28 2014-03-28 用于针对空间数据进行并行空间分析服务的方法及系统

Country Status (1)

Country Link
CN (1) CN103870591B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376079A (zh) * 2014-11-17 2015-02-25 四川汇源吉迅数码科技有限公司 一种基于位置服务信息的海量数据处理与存储装置及其方法
CN104462368A (zh) * 2014-12-08 2015-03-25 北京奇虎科技有限公司 数据计算方法、装置和服务器
CN107305583A (zh) * 2016-04-19 2017-10-31 中华电信股份有限公司 实时串流纪录数据分析系统与方法
CN108595455A (zh) * 2017-12-28 2018-09-28 武汉智博创享科技股份有限公司 一种空间数据坐标转换方法及装置
CN109343939A (zh) * 2018-07-31 2019-02-15 国家电网有限公司 一种分布式集群及并行计算任务调度方法
CN110021339A (zh) * 2017-12-27 2019-07-16 北京大学 基于蛋白质折叠测算蛋白质结构的集群并行计算加速方法
CN113656520A (zh) * 2021-08-10 2021-11-16 广州市规划和自然资源自动化中心(广州市基础地理信息中心) 空间分析方法、装置、计算机设备和存储介质
CN114003956A (zh) * 2021-11-03 2022-02-01 江苏天汇空间信息研究院有限公司 应用大数据分析的空间数据分析调度系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611751B2 (en) * 2001-03-23 2003-08-26 981455 Alberta Ltd. Method and apparatus for providing location based data services
CN102110115A (zh) * 2009-12-23 2011-06-29 逢甲大学 网页地图和地理空间分析的处理系统及其装置与方法
CN102377824A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 一种基于云计算的空间信息服务系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611751B2 (en) * 2001-03-23 2003-08-26 981455 Alberta Ltd. Method and apparatus for providing location based data services
CN102110115A (zh) * 2009-12-23 2011-06-29 逢甲大学 网页地图和地理空间分析的处理系统及其装置与方法
CN102377824A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 一种基于云计算的空间信息服务系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王结臣等: "并行空间分析算法研究进展及评述", 《地理与地理信息科学》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376079A (zh) * 2014-11-17 2015-02-25 四川汇源吉迅数码科技有限公司 一种基于位置服务信息的海量数据处理与存储装置及其方法
CN104376079B (zh) * 2014-11-17 2017-11-07 四川汇源吉迅数码科技有限公司 一种基于位置服务信息的海量数据处理与存储装置及其方法
CN104462368B (zh) * 2014-12-08 2018-01-05 北京奇虎科技有限公司 数据计算方法、装置和服务器
CN104462368A (zh) * 2014-12-08 2015-03-25 北京奇虎科技有限公司 数据计算方法、装置和服务器
CN107305583B (zh) * 2016-04-19 2020-12-01 中华电信股份有限公司 实时串流纪录数据分析系统与方法
CN107305583A (zh) * 2016-04-19 2017-10-31 中华电信股份有限公司 实时串流纪录数据分析系统与方法
CN110021339A (zh) * 2017-12-27 2019-07-16 北京大学 基于蛋白质折叠测算蛋白质结构的集群并行计算加速方法
CN110021339B (zh) * 2017-12-27 2021-04-30 北京大学 基于蛋白质折叠测算蛋白质结构的集群并行计算加速方法
CN108595455A (zh) * 2017-12-28 2018-09-28 武汉智博创享科技股份有限公司 一种空间数据坐标转换方法及装置
CN108595455B (zh) * 2017-12-28 2021-05-07 武汉智博创享科技股份有限公司 一种空间数据坐标转换方法及装置
CN109343939A (zh) * 2018-07-31 2019-02-15 国家电网有限公司 一种分布式集群及并行计算任务调度方法
CN109343939B (zh) * 2018-07-31 2022-01-07 国家电网有限公司 一种分布式集群及并行计算任务调度方法
CN113656520A (zh) * 2021-08-10 2021-11-16 广州市规划和自然资源自动化中心(广州市基础地理信息中心) 空间分析方法、装置、计算机设备和存储介质
CN113656520B (zh) * 2021-08-10 2022-10-28 广州市规划和自然资源自动化中心(广州市基础地理信息中心) 空间分析方法、装置、计算机设备和存储介质
CN114003956A (zh) * 2021-11-03 2022-02-01 江苏天汇空间信息研究院有限公司 应用大数据分析的空间数据分析调度系统及方法
CN114003956B (zh) * 2021-11-03 2022-10-25 江苏天汇空间信息研究院有限公司 应用大数据分析的空间数据分析调度系统及方法

Also Published As

Publication number Publication date
CN103870591B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
CN103870591A (zh) 用于针对空间数据进行并行空间分析服务的方法及系统
US11061984B2 (en) Grid-based geofence data indexing
CN107515952B (zh) 点云数据存储、并行计算和实时检索的方法及其系统
US9405854B2 (en) Event stream processing partitioning
Saif et al. Performance analysis of big data and cloud computing techniques: a survey
CN106031199A (zh) 利用地理围栏的系统和方法
CN103347055B (zh) 云计算平台中的任务处理系统、设备及方法
CN111930700A (zh) 一种分布式日志处理方法、服务器、系统和计算设备
CN107729138B (zh) 一种高性能分布式矢量空间数据的分析方法和装置
CN111459986B (zh) 数据计算系统及方法
US10009732B1 (en) Mobile media communications system
Wang et al. Research and implementation on spatial data storage and operation based on Hadoop platform
CN104903894A (zh) 用于分布式数据库查询引擎的系统和方法
CN105072139B (zh) 推荐方法和装置
US9571969B1 (en) Mobile media communications system
CN106156138A (zh) 兴趣点的空间索引的建立、周边搜索方法和装置
CN116134448A (zh) 使用局部敏感散列的联合机器学习
JP2018517217A5 (zh)
CN111680108A (zh) 一种数据存储方法、装置及一种数据获取方法、装置
CN110209748B (zh) 索引地理围栏的方法和装置
US20160098442A1 (en) Verifying analytics results
CN113362090B (zh) 一种用户行为数据处理方法和装置
CN106104414A (zh) 存储公用网络
CN115567596B (zh) 云服务资源部署方法、装置、设备及存储介质
CN106599244B (zh) 通用的原始日志清洗装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 430223, No. 4, building 4006, Pioneer Building, science and Technology Park, East Lake Development Zone, Wuhan, Hubei

Applicant after: Wuhan SmartGIS Tech Co., Ltd.

Address before: 430200, No. 3, building 3068, Hui Industrial Building, science and Technology Park, Wuhan University, East Lake Development Zone, Hubei, Wuhan

Applicant before: Wuhan SmartGIS Tech Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210722

Address after: 512799 Room 201, incubation building, Guangke Ruyuan Industrial Innovation Park, Beihuan Road, Rucheng Town, Ruyuan County, Shaoguan City, Guangdong Province

Patentee after: Guangdong Digital Ecological Technology Co.,Ltd.

Address before: 430223 No. 4006, 4th floor, Chuangye building, Wuhan University Science Park, Donghu Development Zone, Wuhan City, Hubei Province

Patentee before: WUHAN SMARTGIS TECH Co.,Ltd.

TR01 Transfer of patent right