CN110750608A - 一种基于规则库的空间数据分析自动调度方法 - Google Patents

Abstract

本发明提供一种基于规则库的空间数据分析自动调度方法，属于大数据分析技术领域，本发明当进行大数据分析时，如果大数据资源池中无可用资源，就调度大数据处理工具将待分析数据提取到大数据资源池，进而实现大数据分析；空间数据分析作为一种服务，供各系统进行调用，并返回分析结果。实现对传统分析和大数据分析的智能调度，达到最优分析时效结果。

Description

一种基于规则库的空间数据分析自动调度方法

技术领域

本发明涉及大数据分析技术，尤其涉及一种基于规则库的空间数据分析自动调度方法。

背景技术

目前在空间数据分析领域，单纯的传统分析和大数据分析都已存在，在实际应用中，要么是基于传统分析路线，要么是基于大数据分析路线，还没有根据实际待分析的空间数据实际情况而智能选择某一种分析路线，这也是受GIS发展技术的限制，面对空间数据复杂而大的特点，更多的采用分而汇总的方式，采用传统分析路线得出结果，而随着新一代GIS技术的发展，已逐步支持基于分布式大数据存储的分布式计算分析技术，但往往都是指定一种分析路线。近年来，通过国土资源大调查、第三次全国国土调查、矿产资源“三查”和数字国土工程、金土工程等工作积累了大量的数据，这些数据分别存储在不同的地方，而且面对多种类、多尺度、多来源、多用途的海量国土空间数据给数据处理、分析、应用提出了极大的挑战，特别是在跨数据中心的数据和应用服务的访问与使用效率方面需求迫切，传统空间分析已无法满足时效性要求。

以云计算、大数据和人工智能等为代表的新一代信息技术与国土资源行业的深度融合，以及GIS技术的发展，为国土空间快速分析创造了良好的数据基础和技术条件，基于分布式大数据计算框架，对参与空间数据并行计算的核心数据进行加工整理和数据转换，建立大数据资源池，实现海量空间数据的快速运算。同时调度多个单位的计算单元，实现软硬件资源的共享。但并不是所有的分析需求都需要走大数据分析，这就需要一个调度方法来决定一个分析计算需求是走大数据分析还是传统分析。

发明内容

为了解决以上技术问题，本发明提出了一种基于规则库的空间数据分析自动调度方法，实现对传统分析和大数据分析的智能调度，达到最优分析时效结果。

本发明基于调度器的方式实现传统分析和大数据分析的调度，而调度器的核心就是建立一个规则库，包括固定阈值、可调度资源的情况等简单规则，也包括对设定的调度算法经过实际处理训练而自动进行路由选择复杂调度规则。

本发明的技术方案是：

一种基于规则库的空间数据分析自动调度方法，当进行大数据分析时，如果大数据资源池中无可用资源，就调度大数据处理工具将待分析数据提取到大数据资源池，进而实现大数据分析；空间数据分析作为一种服务，供各系统进行调用，并返回分析结果。

主要包括

1)规则库的构建；

2)软硬件配置；

3)分析调度引擎；

4)分析任务管理。

进一步的，

所述规则库的构建：整个规则库的管理功能包括规则目录管理、规则定义、规则版本管理以及知识库的管理；

其中，

目录管理实现将规则进行分门别类的管理，方便规则的浏览和查看；

规则定义是规则库的核心，包括规则的元数据信息，根据类别又分为简单规则和复杂规则，简单规则采用设置阈值的方式，复杂规则需要维护硬件资源和GIS软件资源情况，调度时系统会提取软硬件目前的使用情况和可调度的剩余资源情况。

规则版本管理实现规则的历史变更管理，在不同环境下需要调整规则的阈值等信息，其改变前的记录作为历史记录予以保存，可快速启用任意版本的规则。

知识库的管理实现对各规则、配置方法、硬件资源和GIS资源查看等所有系统用到的信息的管理、维护和检索，方便使用人员了解相关信息，获取帮助。

进一步的，

所述软硬件配置：维护供分析调度时可调度的硬件和软件资源情况，硬件资源情况包括服务器的配置信息以及网络宽带，软件资源情况包括可供调度的GIS分析集群信息。

进一步的，

所述分析调度引擎：调度规则引擎按照规则库中的调度规则对分析数据参数进行验证，判断调用传统分析或者大数据分析；

调度规则有如下几种情形：

(1)、空间分析的数据条数或者图形面积是否大于阈值，大于则可以执行大数据分析，否则调用传统分析；

(2)、是否存在用于大数据分析的资源池，若不存在，待分析数据是否可调度至大数据资源池；

(3)、大数据分析队列中待分析和分析中服务数量，超过指定数量返回等待提示，或是提示用户自行选择采用何种分析；具体数值根据资源池的配置情况手动调整。

进一步的，

所述分析任务管理：分析任务管理用于创建任务，获取任务进度，查看任务日志。在任务创建时，会优先判断当前分析的结果是否已存在，存在则返回结果。

进一步的，

所述空间数据转换处理：待分析数据如需要走大数据分析，首先需要由系统判断大数据资源池中是否已经具备待分析的资源，如果没有，就调用大数据处理工具进行数据的转换处理，执行将传统数据到大数据资源池的数据调度；若数据无法调度或条件不具备，则中断服务并记录问题。

进一步的，

所述调度服务：大数据分析与传统分析调度对外提供一个调度服务，外部应用请求这个调度服务，传入分析服务所需要的参数和分析名称，分析调度引擎在传统分析和大数据分析服务之间进行调度和转发；如果根据调度策略调用传统分析服务，则调度服务等待传统分析服务分析完成，并返回传统分析服务的结果，以及一个表明是传统分析的属性值；如果是调用大数据分析，则调度服务触发大数据控制器创建和排队运行大数据分析任务，并立即返回一个消息，其中一个属性表明是大数据分析，此后，客户端可以轮询大数据分析的结果服务获取分析结果。

本发明的有益效果是

可根据实际情况不断扩充规则库，为空间分析的路由选择提供更智能化的支撑，最大限度利用现有资源并减少等待时长；

不仅为自身平台的分析需求提供支持，还可以以服务的方式供第三方应用进行调度，实现资源的共享；

在空间数据分析领域具有通用和创新性，各项目根据自身软硬件情况和要求，进行规则库的维护，即可以按照上述方法实现分析的智能调度。

附图说明

图1是基于规则库的空间分析调度过程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明解决了空间数据分析时应该走传统分析路线还是大数据分析路线的问题，并实现路线选择的智能调度，以及在大数据分析时进行数据处理的调度和计算分析节点的调度问题，并为其他有分析需求的应用提供服务。

本发明的工作流程如下：

1、规则库的构建：整个规则库的管理功能包括规则目录管理、规则定义、规则版本管理以及知识库的管理。其中目录管理实现将规则进行分门别类的管理，方便规则的浏览和查看；规则定义是规则库的核心，包括规则的元数据信息，根据类别又分为简单规则和复杂规则，简单规则采用设置阈值的方式，如待分析数据条数，空间覆盖面积等，以及基于软硬件环境所统计的历史分析时长等，复杂规则需要维护硬件资源和GIS软件资源情况，如内存、核数和GIS集群数等，调度时系统会提取软硬件目前的使用情况和可调度的剩余资源情况；

2、软硬件配置：需要维护供分析调度时可调度的硬件和软件资源情况，硬件资源情况包括服务器的配置信息以及网络宽带，软件资源情况包括可供调度的GIS分析集群信息；

3、分析调度引擎：调度规则引擎按照规则库中的调度规则对分析数据参数进行验证，判断调用传统分析或者大数据分析；具体的调度规则有如下几种情形：(1)、空间分析的数据条数或者图形面积是否大于阈值，大于则可以执行大数据分析，否则调用传统分析；(2)、是否存在用于大数据分析的资源池，若不存在，待分析数据是否可调度至大数据资源池；(3)、大数据分析队列中待分析和分析中服务数量，超过指定数量返回等待提示，或是提示用户自行选择采用何种分析。具体数值根据资源池的配置情况，也可手动调整。

4、分析任务管理：分析任务管理用于创建任务，获取任务进度，查看任务日志等。在任务创建时，会优先判断当前分析的结果是否已存在，存在则快速返回结果。

5、空间数据转换处理：待分析数据如需要走大数据分析，首先需要由系统判断大数据资源池中是否已经具备待分析的资源，如果没有，就调用大数据处理工具进行数据的转换处理，执行将传统数据到大数据资源池的数据调度。若数据无法调度或条件不具备，则中断服务并记录问题。

6、调度服务：大数据分析与传统分析调度对外提供一个调度服务，外部应用请求这个调度服务，传入分析服务所需要的参数和分析名称，分析调度引擎在传统分析和大数据分析服务之间进行调度和转发。如果根据调度策略调用传统分析服务，则调度服务等待传统分析服务分析完成，并返回传统分析服务的结果，以及一个表明是传统分析的属性值；如果是调用大数据分析，则调度服务触发大数据控制器创建和排队运行大数据分析任务，并立即返回一个消息，其中一个属性表明是大数据分析，此后，客户端可以轮询大数据分析的结果服务获取分析结果。

本发明基于规则库，实现空间数据分析的自动调度；依据规则库，实现传统分析和大数据分析的智能调度路由选择。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于规则库的空间数据分析自动调度方法，其特征在于，

当进行大数据分析时，如果大数据资源池中无可用资源，就调度大数据处理工具将待分析数据提取到大数据资源池，进而实现大数据分析；空间数据分析作为一种服务，供各系统进行调用，并返回分析结果。

2.根据权利要求1所述的方法，其特征在于，

主要包括

1)规则库的构建；

2)软硬件配置；

3)分析调度引擎；

4)分析任务管理。

3.根据权利要求2所述的方法，其特征在于，

所述规则库的构建：整个规则库的管理功能包括规则目录管理、规则定义、规则版本管理以及知识库的管理；

其中，

目录管理实现将规则进行分门别类的管理，方便规则的浏览和查看；

规则定义是规则库的核心，包括规则的元数据信息，根据类别又分为简单规则和复杂规则，简单规则采用设置阈值的方式，复杂规则需要维护硬件资源和GIS软件资源情况，调度时系统会提取软硬件目前的使用情况和可调度的剩余资源情况；

规则版本管理实现规则的历史变更管理，在不同环境下调整规则的阈值，其改变前的记录作为历史记录予以保存，可快速启用任意版本的规则；

知识库的管理实现对各规则、配置方法、硬件资源和GIS资源查看以及所有系统用到的信息的管理、维护和检索，方便使用人员了解相关信息，获取帮助。

4.根据权利要求2所述的方法，其特征在于，

所述软硬件配置：维护供分析调度时可调度的硬件和软件资源情况，硬件资源情况包括服务器的配置信息以及网络宽带，软件资源情况包括可供调度的GIS分析集群信息。

5.根据权利要求2所述的方法，其特征在于，

所述分析调度引擎：调度规则引擎按照规则库中的调度规则对分析数据参数进行验证，判断调用传统分析或者大数据分析。

6.根据权利要求5所述的方法，其特征在于，

调度规则有以下几种情形：

(1)、空间分析的数据条数或者图形面积是否大于阈值，大于则可以执行大数据分析，否则调用传统分析；

(2)、是否存在用于大数据分析的资源池，若不存在，待分析数据是否可调度至大数据资源池；

(3)、大数据分析队列中待分析和分析中服务数量，超过指定数量返回等待提示，或是提示用户自行选择采用何种分析；具体数值根据资源池的配置情况手动调整。

7.根据权利要求2所述的方法，其特征在于，

所述分析任务管理：分析任务管理用于创建任务，获取任务进度，查看任务日志。

8.根据权利要求7所述的方法，其特征在于，

在任务创建时，会优先判断当前分析的结果是否已存在，存在则返回结果。

9.根据权利要求7所述的方法，其特征在于，

所述空间数据转换处理：待分析数据如需要走大数据分析，首先需要由系统判断大数据资源池中是否已经具备待分析的资源，如果没有，就调用大数据处理工具进行数据的转换处理，执行将传统数据到大数据资源池的数据调度；若数据无法调度或条件不具备，则中断服务并记录问题。

10.根据权利要求2所述的方法，其特征在于，

所述调度服务：大数据分析与传统分析调度对外提供一个调度服务，外部应用请求这个调度服务，传入分析服务所需要的参数和分析名称，分析调度引擎在传统分析和大数据分析服务之间进行调度和转发；如果根据调度策略调用传统分析服务，则调度服务等待传统分析服务分析完成，并返回传统分析服务的结果，以及一个表明是传统分析的属性值；如果是调用大数据分析，则调度服务触发大数据控制器创建和排队运行大数据分析任务，并立即返回一个消息，其中一个属性表明是大数据分析，此后，客户端可以轮询大数据分析的结果服务获取分析结果。

Images