CN1760914A - 国家地质空间数据网格服务系统 - Google Patents

Abstract

本发明涉及一种国家地质空间数据网格服务系统，其结构包括：空间数据发现单元、异步调用单元、负载均衡单元、容错单元、压缩传输与安全传输单元、安全论证与用户权限单元、动态监控单元。空间数据发现单元分为结点容器和应用门户容器，异步调用单元将数据信息分类并分别调用，负载均衡单元将数据处理转移到多台服务器上共同承担，容错单元管理Web服务的生命周期，压缩传输与安全传输单元用于减少网络传输流量和提高传输效率，安全论证与用户权限单元用于确立用户身份权限，动态监控单元分析监控各服务器的运行状态。该系统的优点是：能够汇集和共享地理上分布的空间数据资源并协同完成多种数据处理请求。

Description

国家地质空间数据网格服务系统

技术领域

本发明涉及地质调查领域，尤其是涉及一种国家地质空间数据网格服务系统。

背景技术

长久以来，我国花费了大量财力获取了各种地下、地面的资源数据和信息，积累了相当规模的数字化空间信息资源，据初步测算，我国数字化的基础性地质空间信息约1250GB，其中的40％已经完成建设并投入独立运行服务，并形成了独立数据采集、综合处理、服务标准系列，但是，由于空间数据库中的空间与属性数据是分开存放的，操作孤立，从而给应用带来了不便，而且即使是零维数据，也是采用小型数据库系统如ACCESS，DBASE等存放，不具有分布式数据库的特点，另外，目前的数据库零碎地分布在不同的采集主体手中，格式不同，共享困难，无法实现所有数据资源的共享和发挥应有的效应，也无法对已经建立的空间数据信息进行有效地维护。

发明内容

本发明的目的在于克服了现有技术的缺陷，提供一种国家地质空间数据网格服务系统，该系统能够汇集和共享地理上分布的空间数据资源、计算资源和存储资源，以协同完成多种数据和处理的请求，从而实现一个数据信息可以自由流动的面向社会公众服务的地质空间信息服务体系。

本发明所述的国家地质空间数据网格服务系统分为空间数据发现单元、异步调用单元、负载均衡单元、容错单元、压缩传输与安全传输单元、安全论证与用户权限单元、以及动态监控单元。

所述的空间数据发现单元分为两个部分：位于多个结点端的结点容器和位于应用门户端的应用门户容器，其中，结点是指参与处理数据的服务器和其提供共享的数据及软件。所述的结点容器用于维护两部分空间数据信息：基础数据注册信息和在空间计算或分析过程中动态产生的并需要保存其结果的数据资源注册信息。

所述的异步调用单元为一装载数据处理软件的服务器，当应用门户向多个结点同时发出处理数据的请求时，首先，该单元将数据请求信息按结点进行分类，然后利用异步调用方法分别向这些结点同时发送数据请求信息，调用这些结点的相关空间信息，这里，所述的异步调用是指程序在被调用之后立即返回，以便同时执行其它操作，从而保证程序能够同时独立处理多个操作以提高效率，其中，每个结点又都有对数据处理的最长时间，这个时间值可以动态设定，当超过这个限定时间时，应用门户自动认为该结点数据请求有误，终止请求。另外，当每个结点分配有多个数据请求时，如果某个数据请求无法被正确处理，此时，该异步调用单元将返回一个错误信息(空值)，但并不影响正在进行处理工作的其他功能服务。

本发明所述的负载均衡单元用于解决结点出口的设备随数据的处理和计算强度的增大可能出现的瓶颈问题，该单元将数据的处理工作转移到防火墙内部的多台服务器上共同承担，从而最大化地利用了结点内的计算机性能，并且很好地解决了空间数据服务所需的快速处理要求。该负载均衡单元包括：性能采集模块、性能参数信息库、负载均衡信息库和负载均衡控制模块。其中，所述的性能采集模块以Windows服务的形式在服务器后台运行，每四秒从服务器中获取相应的CPU、内存、网络利用率等信息并写入性能参数信息库中，同时，根据最近几十秒内的性能参数进行权值计算，得到这段时间该服务器的平均性能利用率权值，再连同该服务器的IP地址一并写入负载均衡信息库中，或进行权值的更新；所述的性能参数信息库是记录其所在服务器的CPU、内存、采集时刻、服务器IP地址和网络利用率的信息表；所述的负载均衡信息库部署在结点内的某台服务器上，记录的是所有服务器的最近几十秒的CPU、内存、网络利用率的权值；所述的负载均衡控制模块包括维护负载均衡信息库中的信息，使结点在动态增加或删除某些功能服务器或改变网络配置的情况下，保证负载均衡信息库中的信息等到正确更新与维护，其步骤是：读取负载均衡信息库信息的IP，在网络中去测试该服务器是否正常运行，若多次连续测试结果均无法通过，则表示该服务器退出负载均衡体系，然后，删除该IP值；对于服务器的增加，信息库中的信息由性能采集器自动添加；对于服务器的IP改变，则先删除原IP值，然后，再增加新的IP值。

本发明所述的容错单元采用加载软件编程的服务器，启动对Web服务生命周期的有效管理，若Web服务在规定的时间内完成处理，则自动结束生命周期，若无法完成，则强制结束生命周期。该容错单元能够大大提高请求多个结点空间数据的响应速度，并且，当出现某个结点的数据有问题时，也不会影响其他结点数据的正确处理。

本发明所述的压缩传输与安全传输单元采用成熟的压缩算法加载软件编程于服务器中，其压缩方式包括文件压缩和空间信息流压缩，同时具有减少网络传输流量和提高传输效率的功能，并且还提供传输数据的加解密手段，以保证数据在网络传输过程中的安全性。另外，当用户或应用门户获得数据后，可以该单元对传输的数据进行解压、解密，保证接收的数据正确性，而且，该压缩传输与安全传输单元还加载CA证书以保证数据传输的安全性。

本发明所述的安全论证与用户权限单元包括：用户信息管理模块，用户角色分配模块和用户身份认证模块。这里，所述的角色是指用于控制用户对系统进行操作时的权限划分；功能是指系统提供用于实现分布式管理信息的一个或若干函数，如：搜索指定坐标点的矿物分布或天然气分布等信息；数据源是指为某个功能的实现而需要的数据区域信息，如：搜索矿物分布或天然气等信息时，需要指定一个地区范围(即：数据源)。该单元的用户信息管理模块包括用户资料的创建和维护操作；用户角色分配模块是将创建好的用户按照用户级别进行角色分配，使用户具有不同的访问授权；用户身份认证模块是指在用户登录系统时对用户的身份，所具有的角色和访问权限进行验证，确保用户的合法使用。

本发明所述的动态监控单元为具有监控分析软件的服务器，该单元实时读取负载均衡单元中负载均衡信息库的结点内各服务器的硬盘、内存、CPU和网络流量信息，然后一并收集，并且通过直方图、折线图、饼图形式来反映历史数据状态，以及分析监控各服务器的运行状态，另外，该动态监控单元还维护结点内的网络状态，以保证使结点处于正常运行状态。

本发明所述的国家地质空间数据网格服务系统具有以下优点：①互操作性，允许数据在不同的GIS系统之间无缝传输，一个应用系统中的应用可以调用另一个应用系统中的应用，从而完成逻辑上统一的任务；②可扩展性，系统的体系结构灵活，能适应各种不同结构类型的应用；③分布式特征，包括数据分布和服务分布；④多结点的数据发现机制，通过分布式的空间数据注册容器为数据信息服务提供数据的快速定位；⑤良好的交互性，作为用户对Internet空间数据应用的需求，允许合法用户对已有的空间数据进行更新和删节；⑥体系的安全性，通过CA证书机制和压缩加密机制保证了数据传输过程的安全性，并且通过体系的用户权限管理机制保证了用户访问数据的合法性；⑦易部署和易管理性，系统易于部署和管理，这是有效降低系统运行成本的关键因素之一。

附图说明

下面参照附图和具体实施方式对本发明的国家地质空间数据网格服务系统作进一步详细说明。

图1是本发明的空间数据发现单元中结点容器的结构图；

图2是本发明的空间数据发现单元中应用门户容器的结构图；

图3是本发明的负载均衡单元的结构图；

图4是本发明的安全论证与用户权限单元的结构图；

图5是本发明的动态监控单元结构图；

图6是本发明的总体结构关系图；

具体实施方式

图1所示的空间数据发现单元中的结点容器包括：数据注册信息存储模块、组件访问层、数据一体化组织与管理模块、结点数据注册信息管理平台、服务接口和地质空间数据库。所述的数据注册信息存储模块包括：基础数据注册信息库和临时数据资源注册信息库，其中，基础数据注册信息库是按照第三代地学空间数据模型(地理数据库模型)组织的，并按照数据分类体系的描述方式通过数据一体化组织与管理模块入库；在临时数据资源注册信息库中的是动态产生的并需要保存其结果的数据资源注册信息。与此同时，将数据注册信息注册到基础数据注册信息库中，注册过程通过统一的组件访问层进行操作。所述的注册信息包括：注册信息关键字、命名空间、数据名、访问数据的用户名、访问数据的密码、数据源名、数据类型和体系内的权限控制。其中，命名空间采用基础数据分类的原则记录数据特征。

所述的访问组件层包括可操作的调用接口和安全的已封装的注册信息描述结构视图，其中，所述的注册信息描述结构视图包括：注册信息名、比例尺、专题和数据描述。该访问组件层实现对注册信息的访问操作，数据组织与管理功能之间的协调，同时将安全性融合在组件访问控制中。

所述的结点数据注册信息管理平台包括增加模块、修改模块、删除模块、浏览空间数据注册信息模块，其中，增加模块采用两种方式：批量增加和单个数据增加。该管理平台使用户根据数据的分类情况将信息写入数据库中，从而提供管理空间数据注册信息的功能。

所述的服务接口采用命名空间方式描述，将取得满足条件的数据关键字列表，返回给请求的用户，用户可根据该接口通过搜索满足条件的数据注册信息。所述的命名空间的描述方式为：一级分类_二级分类_三级分类_比例尺_数据注册信息名，其中，分类采用基础数据分类的原则。

图2所示的是空间数据发现单元中的应用门户容器，其结构包括：数据注册信息存储模块、组件访问层、数据注册信息管理平台和服务接口，其中，数据注册信息存储模块包括：基础数据注册信息库和临时数据资源注册信息库，其分别存储所有结点的相应注册信息的副本，所述的注册信息内容除包含结点容器中的对应内容外，还包括结点名称和IP地址的描述。

与结点容器的组件访问层相似，应用门户的组件访问层提供了一系列操作基础数据注册信息库和临时数据资源注册信息库结构的API，这些接口是对于上述两个信息库而言是统一描述的，通过标识符予以区别。操作过程包括注册信息的检索、增加、删除、修改等；

所述的数据注册信息管理平台提供用户交互界面，对所有的结点数据注册信息副本进行维护，其功能包括增加、修改、删除、浏览空间数据注册信息，管理方式与结点容器相似。

另外，应用门户容器也提供了服务接口，其采用命名空间的分类描述方式进行，当应用服务系统发现需要的数据在哪些结点上后，就能直接向这些结点发送数据请求。

图3所示的是国家地质空间数据网格服务系统的负载均衡单元结构，由图可知，该单元包括：性能采集模块、性能参数信息库、负载均衡控制模块和负载均衡信息库。所述的性能采集模块每四秒从服务器中获取相应的CPU、内存、网络利用率等信息，同时根据最近几十秒内的性能参数，进行权值计算，得到这段时间该服务器的平均性能利用率权值，连同该服务器的IP地址一并写入性能参数信息库，或进行权值的更新，然后，负载均衡控制模块开始动态监测负载均衡信息库中信息的改变情况，以及时做出调整，从而保证不会出现导致动态均衡服务调用错误的结果，在实际操作时，负载均衡控制模块读取负载均衡信息库信息的IP在网络中去测试该服务器是否正常运行，若多次连通测试结结果均无法通过，则表示该服务器退出负载均衡体系，删除该IP值；对于服务器的增加，信息库中的信息由性能采集模块自动添加；如果服务器的IP改变，则先删除原IP值，再增加新的IP值。

图4所示的安全论证与用户权限单元包括：用户信息管理模块，用户角色分配模块和用户身份认证模块，其中，用户信息管理模块包括用户资料的创建和维护操作；用户角色分配模块是将创建好的用户按照用户级别进行角色分配，使用户具有不同的访问授权；用户身份认证模块是指在用户登录系统时对用户的身份，所具有的角色和访问权限进行验证，确保用户的合法使用。在实际操作中，采用分布式网络安全配置，Web服务器和数据处理服务器等都放在地址调查信息专用网内，并且在各网段安装防火墙，在安全配置方面则采用以下作法，如：物理安全、停掉Guest帐号、限制不必要的用户数量、创建2个管理员用帐号、把系统administrator帐号改名、创建一个陷阱帐号、把共享文件的权限从”everyone”组改成“授权用户”、使用安全密码、使用NTFS格式分区、开启安全审核、设定安全记录的访问权限、禁止建立空连接。另外，本单元还采用X.509版的数字证书，部署一台证书颁发机构的服务器，每所Web Service负载平衡的服务器所应用的证书都来自于此证书颁发机构，这里的Web Service提供一个可以让外部程序通过Web进行调用的API(接口)，能够用编程的方法通过Web调用来实现某个功能的应用程序。另外，在Web Service服务器的站点上加载证书和SSL(安全套接层)验证，在其他调用WebService的服务器上安装相同证书，这样就完成了两个结点的安全验证，如果调用程序运行在没有证书的服务器上，将无法取得数据，在保证数据传输过程安全的同时还防止了Web Service的盗用。

图5所示的动态监控单元实时读取负载均衡单元中负载均衡信息库的结点内各服务器的硬盘、内存、CPU和网络流量信息，然后一并收集，并且通过直方图、折线图、饼图形式来反映历史数据状态，以及分析监控各服务器的运行状态，另外，该动态监控单元还维护结点内的网络状态，以保证使结点处于正常运行状态。

图6是本发明国家地质空间数据网格服务系统的总体结构关系图，由图可知，用户登录并且向空间数据发现单元发送一个或多个数据请求，同时，安全论证与用户权限单元将对用户的权限进行安全验证，如果验证成功，异步调用单元将根据用户提出的一个或多个请求同时分别独立调用分配空间数据发现单元的数据库信息到负载均衡单元，然后，负载均衡单元中的负载均衡信息库将分配相应的数据请求并对其进行实际处理，如果处理正确，将通过压缩传输与安全传输单元将正确结果返回给用户，如果在处理的过程中出现错误，则通过容错单元将容错信息返回给用户，并且保证在传递过程中出现的某些数据请求错误不会影响到其它的数据请求状态，而且，数据信息在返回给站点或用户时，可以根据实际的需要，利用现成的成熟的压缩算法将数据压缩、加密，压缩方式包括空间信息流的压缩和文件的压缩，加密过程是为了增强数据在网络传输过程中的安全性，最后，用户通过压缩传输与安全传输单元进行解压、解密就可得到所请求的数据。

以上所述的仅是本发明的优选实施方式。应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干变型和改进，这些也应视为属于本发明的保护范围。

Claims (10)

1.一种国家地质空间数据网格服务系统，其特征在于包括：空间数据发现单元、异步调用单元、负载均衡单元、容错单元、压缩传输与安全传输单元、安全论证与用户权限单元、以及动态监控单元。

2.如权利要求1所述的国家地质空间数据网格服务系统，其特征在于：所述的空间数据发现单元分为位于多个结点端的结点容器和位于应用门户端的应用门户容器，其中，所述的结点容器包括数据注册信息存储模块、组件访问层、数据一体化组织与管理模块、结点数据注册信息管理平台、服务接口和地质空间数据库；所述的应用门户容器包括数据注册信息存储模块、组件访问层、数据注册信息管理平台和服务接口。

3.如权利要求1所述的国家地质空间数据网格服务系统，其特征在于：所述的异步调用单元为一装载异步调用数据处理软件的服务器，其将数据请求信息按结点进行分类，然后分别向这些结点同时发送数据请求信息，调用这些结点的相关空间信息。

4.如权利要求1所述的国家地质空间数据网格服务系统，其特征在于：所述的负载均衡单元包括性能采集模块、性能参数信息库、负载均衡信息库和负载均衡控制模块。

5.如权利要求1所述的国家地质空间数据网格服务系统，其特征在于：所述的容错单元采用加载软件编程的服务器，管理Web服务的生命周期。

6.如权利要求1所述的国家地质空间数据网格服务系统，其特征在于：所述的压缩传输与安全传输单元采用成熟的压缩算法加载软件编程于服务器中，其压缩方式包括文件压缩和空间信息流压缩，并且还提供传输数据的加解密手段，以及加载CA证书以保证数据传输的安全性。

7.如权利要求1所述的国家地质空间数据网格服务系统，其特征在于：所述的安全论证与用户权限单元包括用户信息管理模块，用户角色分配模块和用户身份认证模块。

8.如权利要求1所述的国家地质空间数据网格服务系统，其特征在于：所述的动态监控单元为加载监控分析软件程序的服务器，该单元实时读取负载均衡单元中负载均衡信息库的结点内各服务器的硬盘、内存、CPU和网络流量信息，然后一并收集，并且通过直方图、折线图、饼图形式来反映历史数据状态，分析监控各个服务器的运行状态，同时也维护结点内的网络状态。

9.如权利要求2所述的国家地质空间数据网格服务系统，其特征在于：

所述的数据注册信息存储模块包括基础数据注册信息库和临时数据资源注册信息库，其中，所述的注册信息为注册信息关键字、命名空间、数据名、访问数据的用户名、访问数据的密码、数据源名、数据类型和体系内的权限控制，所述的命名空间的描述方式为：一级分类_二级分类_三级分类_比例尺_数据注册信息名，这里的分类采用基础数据分类的原则；

所述的访问组件层包括可操作的调用接口和安全已封装的注册信息描述结构视图，其中，所述的注册信息描述结构视图包括注册信息名、比例尺、专题和数据描述；

所述的结点数据注册信息管理平台包括增加模块、修改模块、删除模块、浏览空间数据注册信息模块；

所述的服务接口采用命名空间方式描述，将取得满足条件的数据关键字列表，返回给请求的用户，用户根据该接口通过搜索满足条件的数据注册信息。

10.如权利要求4所述的国家地质空间数据网格服务系统，其特征在于：

所述的性能采集模块以Windows服务的形式在服务器后台运行，每四秒从服务器获取相应的CPU、内存、网络利用率等信息并写入性能参数信息库中，同时，根据最近几十秒内的性能参数进行权值计算，得到这段时间该服务器的平均性能利用率权值，再连同该服务器的IP地址一并写入负载均衡信息库中，或进行权值的更新；

所述的性能参数信息库是记录其所在服务器的CPU、内存、采集时刻、服务器IP地址和网络利用率的信息表；

所述的负载均衡信息库部署在结点内的某台服务器上，记录的是所有服务器的最近几十秒的CPU、内存、网络利用率的权值；

所述的负载均衡控制模块包括维护负载均衡信息库中的信息，使结点在动态增加或删除某些功能服务器或改变网络配置的情况下，保证负载均衡信息库中的信息等到正确更新与维护。

Images