CN103905537A - 分布式环境下管理工业实时数据存储的系统 - Google Patents

Abstract

一种分布式环境下管理工业实时数据存储的系统，属于工业自动化领域。包括标签元数据管理模块、Zookeeper通讯模块、主模块、数据存储服务模块、用户接口服务模块。实时数据系统包括一组应用模块来处理实时数据的存储分配和客户端访问，这些模块可以通过计算机网络和Zookeeper集群进行通讯，通过Zookeeper统一管理标签数据命名空间的访问，提供精准高效的实时数据访问服务。实现了外部用户通过接口服务访问实时数据的流程。

Description

分布式环境下管理工业实时数据存储的系统

技术领域

本发明属于工业自动化领域，特别是提供一种分布式环境下管理工业实时数据存储的系统，是一种基于Zookeeper的分布式实时数据存储管理系统。工业实时系统的数据量有着很大的存储量，单个计算系统难以胜任，后来出现了分布式的计算机网络系统，通过一定的算法和策略将数据存储分散到多台计算机上管理起来，这就是分布式的实时数据存储管理系统。在日常的实时数据应用中，要求数据存储和访问满足一致性，在很多技术方案中，主要通过分布式协调系统解决。本发明提出的实时数据存储系统通过分布式协调软件Zookeeper来精确协调计算机存储资源分配方法，在提供分布式存储系统最大的吞吐量的同时，提供一定程度的负载均衡和冗余。

技术背景

分布式系统的特点是数据和程序分布在不同的计算机或者存储设备上，克服了传统的集中式计算系统带来的资源紧张和响应瓶颈的问题，并且通过多个计算机可以提供系统的冗余和负载均衡，解决了系统单点故障的问题。

Zookeeper是一种分布式的、开源的分布式应用，它提供配置维护、命名服务、分布式同步、组服务等功能，在设计上，Zookeeper满足最终一致性、可靠性、实时性、原子性和事务性等特点。通过Zookeeper，可以为系统选举主控服务器、系统资源上下线检测、协调所有数据节点的存储资源分配最优化，从全局上为整个实时数据系统提供一个统一的资源视图，而且还可以通过Zookeeper统一管理整个系统的配置信息。总而言之，通过Zookeeper，可以实现分布式环境下工业数据存储系统统一的资源调配。

工业系统实时数据系统存储特点有存储点数多、存储周期不定、数据类型同质性较高的特点，在很多分布式实时数据库系统中，统一通过标签的方式管理数据，标签是实时数据管理的基本单元，包含了实时数据所有的特征，包括数据的实时性、离散性、结构相似等特征。在分布式存储环境下，需要根据实时数据存储的存储特点将实时数据分散到不同的存储节点上去，也就是建立数据点以及数据特性和存储位置的映射关系，这个映射关系可以通过分布式网络上的各个数据存储单元共享和访问，被这样就建立了一个标签存储的命名空间，也就是标签数据和存储的映射关系。一般将标签的命名空间存储在元数据存储模块中，但在标签数量比较大的情况下，直接通过元数据服务器进行访问压力较大；出于优化的需要，我们在Zookeeper上节点上保存标签的存储命名空间信息，并在标签配置信息发生变化的情况下能将信息同步到分布式上，提供精确的数据访问服务。

发明内容

本发明的目的在于提供一种分布式环境下管理工业实时数据存储的系统。在本发明中的实时数据系统包括一组应用模块来处理实时数据的存储分配和客户端访问，这些模块可以通过计算机网络和Zookeeper集群进行通讯，通过Zookeeper统一管理标签数据命名空间的访问，提供精准高效的实时数据访问服务，Zookeeper系统不属于本发明的范畴。

如图1为本发明的组件结构图。包括标签元数据管理模块、Zookeeper通讯模块、主模块、数据存储服务模块、用户接口服务模块。所有的模块可独立或者组合安装部署到通用的工业计算机网络中的多台计算机终端节点上，构成一个分布式的系统，这些计算机之间通讯使用标准的TCP/IP协议来发送请求应答数据包，处理工业实时数据的存储和访问业务。标签元数据管理模块通过主模块和本发明的其他模块相连，主模块通过Zookeeper通讯模块和外部Zookeeper集群相连，将变化的标签映射信息写入标签命名空间管理模块；同时，主模块同时和多个存储服务节点相连，能处理多个存储节点的上下线管理操作、处理存储资源分配；用户接口服务模块的主要目的是屏蔽数据存储映射关系，为连接到该模块的用户提供一个稳定的数据连接访问池，用户可以通过通讯接口访问连接池中的连接，执行具体业务相关的数据存储和访问。

标签元数据管理模块：用于向整个实时数据系统提供最基础的工业数据存储元数据信息管理，包括标签的基本属性信息，如数据点是模拟量还是实时量、连续采集还是按照周期采集，采集频率、存储位置、存储周期等信息。元数据信息可以被系统的主控模块读取，通过元数据信息为数据分配存储资源。元数据管理模块可以部署在标准的关系型数据库如Sqlserver、MySql、Oracle等数据库上。

Zookeeper通讯模块：负责和Zookeeper集群中的多个计算机通讯，执行选举服务器、保存配置、资源监测与协调等功能。Zookeeper通讯模块可以部署在每台需要Zookeeper服务的计算机或者终端节点上。Zookeeper通讯模块可以通过Zookeeper通讯协议选举主模块，通知各个数据节点的存活状态，同步各种数据和配置信息等。Zookeeper以文件系统的组织配置数据，在本系统中，我们通过Zookeeper通讯模块和Zookeeper协调建立一个专门的文件节点专门来存储标签系统的命名空间信息。因为Zookeeper中单个节点的建立和访问是比较耗时的操作，我们按照数据存储模块来组织标签的存储关系，每个节点对应一个数据存储模块，将所有标签和存储位置的映射关系首先组织成一个列表，然后调用压缩函数压缩成字节流信息写入Zookeeper中的存储节点中，具体的压缩算法可以由用户指定。

主模块：是整个系统的主控模块，主要负责对整个实时数据系统的存储节点进行管理，提供和数据存储模块连接，执行资源信息收集、存储分配等功能，统一协调所有实时数据在多个数据存储单元的存储，并且它和Zookeeper通讯模块连接，通过它建立标签和存储服务节点的映射关系的命名空间，而命名空间信息可以提供给用户接口模块使用。主模块可以独立部署或者和数据存储服务模块部署在具有存储访问资源的计算机终端节点上。

数据存储服务模块：在本发明中可以有多个，每个模块部署在工业计算机网络上提供存储资源的计算机或者终端节点上，提供网络通讯接口，通过这些接口可以有效为标签分配存储资源信息，提供数据存储和访问功能，为实时数据系统提供标签多个时段、多种周期，多种类型的数据存储。数据存储模块一般部署在计算机网络的多个分布式节点上，能够接受主模块的统一管理，可以随着数据存储模块的分配策略动态更新数据和映射关系。

用户接口服务模块：直接面向最终用户，提供数据存储和访问功能。用户接口模块部署部署在多台能够接受外部用户访问的计算机节点上，支持标准的网络通讯协议，为用户提供跨平台的、支持Internet访问的访问接口。在内部实现上，考虑到实时数据系统用户访问量大、数据种类较多的情况，为减少数据连接和释放带来的开销，在用户接口服务中建立了连接的缓冲池，缓冲所有和数据存储服务模块建立的连接，每个连接可以被多个用户复用；在内部建立缓存，缓存最近访问量比较大的数据，在用于执行更新操作的时候自动更新缓存。

总的来说，标签元数据管理模块通过主模块和其他模块相连，主模块通过Zookeeper通讯模块和外部Zookeeper集群相连，将变化的标签映射信息写入标签命名空间管理模块；同时，主模块同时和多个数据存储服务模块相连，可以处理多个存储节点的上下线管理操作、处理存储资源分配；有多个用户接口服务模块，它可以接受外部用户的请求访问，在和数据存储服务模块建立连接的时候需要访问标签命名空间管理模块得到访问标签的存储位置和对应的数据存储模块的映射关系。这样，用户接口服务模块可以读取用户接口描述并且根据映射关系信息来建立执行计划，和数据存储模块建立多个连接来获取实时的数据，汇总后发送给用户端，而标签数据的存储位置的映射关系，也就是标签的命名空间对于用户端来说是不可见的。

本系统通过Zookeeper实现主模块选举的流程如下：

（1）每个数据存储节点上的存储模块向Zookeeper发送主模块注册请求，在注册信息中发送自己存储节点对应的机器名、网络通讯状态、硬盘、CPU、内存占用等信息。

（2）根据主模块选举的资源要求，Zookeeper选定满足条件的并且最早收到消息的5台节点作为候选来部署主模块，启动第二轮注册流程；

（3）第二轮选择最早收到注册消息的数据存储节点上启动Master(主)模块，并通知所有的数据节点上的存储模块；

（4）被选定的存储节点具有数据存储模块和主模块的双重身份，可以接受来自所有数据存储模块的注册、协调标签数据的存储分配，并且支持接口模块的查询。

（5）主模块所在的计算机节点如果宕机或者在一定时间内无法接受响应，则视为主模块失效，Zookeeper可以接受其他服务器的主服务器的注册请求，开始下一轮的主模块选举进程。

标签数据在数据存储节点上的分配需要通过主模块来统一协调管理，建立的标签存储映射信息需要动态反映到Zookeeper系统中去，建立标签存储命名空间。同时，考虑到Zookeeper系统可能出现故障的情况，需要在主服务器上建立的时候缓存一个标签存储命名空间的副本，直接向用户接口服务模块返回标签命名空间信息。

在初始情况下，各个数据存储节点都是空的，没有存储任何标签数据信息，需要通过主模块来协调存储分配信息，流程如下：

（1）主模块向元数据管理模块查询所有的标签存储配置信息，计算所需的存储容量和性能需求，根据当前网络已有的数据服务器配置，粗略估算需要的存储服务器数量和平均每台可分配的存储容量和CPU、内存配置需求；然后主模块侦听数据存储模块的注册需求。

（2）所有数据存储模块服务模块向主模块发送自己可以用于存储的存储资源信息，包括文件目录信息和存储容量信息、CPU和内存信息；

（3）主模块根据所有存储模块对应节点的存储资源信息，将标签存储按照平衡存储的策略对标签存储执行分配，分配到所有的数据存储节点并记录标签存储、副本标识和文件目录的对应关系到元数据模块。平衡存储的策略是指主服务器对所有数据节点的存储器资源和CPU资源进行统筹规划，采用公平的原则，既考虑对每个数据节点的存储负荷比，又考虑每台服务器的硬件性能约束，网络通讯状况等多种因素，为所有存储节点上的标签数据存储提供一个最合理的解决方案。其中存储负荷比保证每个数据节点的存储容量均衡，同时又有一定的空余空间用于数据的紧急存储；CPU性能包括CPU的核数和频率，在存储空间比较充足的时候CPU的负荷将成为系统的瓶颈，这就限制了在CPU性能较为低下的节点上不能存储太多的数据。

（4）在Zookeeper管理的标签命名空间中包含了标签的副本信息。默认情况下每个标签数据有三个副本，其中有一个副本是主数据，其他两个副本是主数据的备份，在通常情况下，在数据更改的时候都是修改主副本信息，然后其他两个副本的数据通过网络同步到备份节点上；如果存储主副本的数据服务器出现宕机或者网络故障错误等情况，将会随机选择一个副本服务器更新副本内容并进行副本的同步，将该副本服务器更改为该标签的主存储节点，原来的服务器启动之后从该服务器获得标签数据的更改信息再同步数据。所有标签的主信息和副本信息都会经过压缩处理后由Zookeeper通讯模块发送给Zookeeper集群，在读取的时候还是通过Zookeeper通讯模块对数据进行解压缩操作，命名空间数据可以被整个系统中的所有计算机访问。

（5）在通常情况下，每个标签都指定了存储节点和存储目录，标签数据以文件的方式存储在数据节点上，受该节点上部署的存储模块的访问。如果指定节点的存储目录的空间不够，那主模块就会查询其他的存储模块是否有存储空间，如果有存储空间的话就会从其他数据节点上分配存储空间给该标签；如果某台存储节点需要整体迁移，主模块需要暂停针对该数据模块的存储请求，查询其他的节点是否有合适的空间接管此服务器上配置的标签点，如果有合适的存储位置就会将数据文件同步到其他服务器上并向元数据模块发送文件存储位置信息变更请求，元数据模块会记录标签命名空间的变更并同步给Zookeeper。

在大部分情况下，标签分配都是主模块协调数据存储服务模块(下面简称存储模块)完成的，在特殊情况下,为了提高数据的访问效率或者用户管理的需求，提供给用户接口和操作界面，允许用户自己指定数据存储位置并进行存储分配。

用户系统通过用户接口服务模块访问数据的详细通讯流程如下：

（1）用户首先访问调用通讯接口与用户接口服务模块(下面简称为接口模块)建立连接，首先执行身份认证，然后向该服务模块提交自己的数据访问请求。数据处理请求分为同步请求和异步请求两种；在执行同步请求是用户和接口模块之间建立的通讯连接会阻塞直到接口模块返回数据；异步请求情况下用户只需要向接口模块投递一个数据访问请求，接口服务器在数据处理完毕之后会向用户方发送一个通知，用户方读取通知后就得到数据处理的结果。异步方式下接口模块对数据访问的时效性要求不严格，接口模块对该请求的处理可以推迟到系统空闲时进行。

（2）接口模块对数据需求进行解析，得到要查询的数据项，生成一个查询计划，制定数据访问和处理的步骤，然后访问Zookeeper集群，得到数据项和存储位置的映射关系后，准备建立到数据模块的连接。用户和接口模块按照如下流程建立会话：

用户向接口模块发送连接请求，接口模块在接受到这个请求之后首先要对用户的身份进行一个验证，如果验证失败则直接返回，否则为所有用户建立一个访问的上下文，对用户的需求进行解析，建立数据点和访问位置的映射关系，然后根据映射关系查找缓冲池中的相应连接，如果连接不存在将创建新的连接，并将对应用户的数据挂载到该连接上的等待队列上，否则就将用户分配到对应的连接。在本模块运行的时候会启动多个计算机扫描线程，对所有连接上的等待队列进行扫描，批量读取用户的访问请求，按照一定的周期调用数据存储服务的访问接口执行数据更新操作。在用户数据读取完毕之后，接口服务模块需要将各个连接上读取的数据按照用户指定的返回格式汇总后发送给远端的用户，同时释放相应的连接资源给连接池。

（3）接口模块在执行用户数据处理的时候需要多次访问主服务模块。获取数据点和访问位置(有一个存储模块相对应)默认通过Zookeeper通讯模块来完成，但在Zookeeper系统出现故障的时候，需要从主服务器上获取标签命名空间映射信息。。然后接口模块开始与主服务器协调建立连接过程：接口模块首先通知主模块自己要建立的连接信息，然后开始建立到多个数据模块的连接，不用等待主模块对连接建立的许可;主服务器在收到接口模块的通知信息之后，根据自己以往在标签分配中采集到的存储服务器的资源信息，对接口模块如何在多个数据服务器上建立会话进程提出建议，建议主要是参数配置信息，包括系统参数如CPU占用、内存和硬盘缓存大小、连接参数如每个接口服务器与存储服务器的连接数量、批量标签访问数量、时间尺寸、批量返回记录数量，故障处理参数如超时等待、重试次数，故障处理机制等，目的是优化接口模块建立的通讯连接，优化各个数据节点上的负荷，提高整个系统的吞吐量；接口模块收到主服务器的反馈之后，更新系统配置参数，并对所有已经建立的与存储模块的通讯连接的参数进行微调并立即生效。

（4）在存储模块这边，在系统启动的时候创建一定数量的工作队列来处理接口模块的连接请求信息。每个存储模块中也会保存了存储在自己机器上的标签和存储位置的映射关系，这个映射关系可以通过访问访问Zookeeper或者主模块上的命名空间信息得到。出于优化的需要，存储模块只有在Zookeeper中的标签命名空间映射信息发生变化的时候才会访问Zookeeper，而且只访问变化的标签点配置信息来更新自己机器上的标签存储映射关系，降低本节点上的负荷压力；存储模块将经常访问的标签数据缓存到本机的缓存中，缓存会按照一定的策略定时进行更新，反映最新数据的变化。在处理请求中，部分标签可以存取缓存中的数据，部分标签读取存储介质上的数据，并将从各个存储模块读取到的数据汇总后发送到接口模块。

（5）接口模块收到存储模块的返回结果，根据查询计划，启动对数据的处理操作。方法是本地缓存中对用户请求开辟一段缓冲区，依次读取各个通讯连接的返回数据，增量式执行汇总操作。用户可以访问数据模块的处理结果，提供全部访问或者根据数据游标返回的方式。在数据处理完毕后，用户执行关闭会话操作，接口模块会自动清除用户的缓冲区，释放缓存占用的空间，将使用到的通讯连接返回给连接池，准备响应用户端新的访问请求。

本发明的优点和创新点

在本发明中，提出了一种基于Zookeeper管理分布式工业数据系统标签命名空间的方法和系统。标签命名空间主要包括标签名和标签存储位置、周期、副本数等配置信息相关，该命名空间数据按照标签数据存储的服务器进行组织，服务器名称为根节点，下面是标签的实际存储目录，可以指定多个。Zookeeper的命名空间随时和元数据模块保持一个同步关系，两者提供标签数据的不同类型的视图。从Zookeeper的角度看到的是按照数据存储节点组织的标签集合，适合批量访问某个时间的系统快照；从元数据模块看到的是标签数据本身的存储位置和副本分布，适合对单个标签访问较长时间的数据。通过两者的结合，可以灵活适应业务系统的需求，提供不同类型的数据访问逻辑。

在本发明中，提出了一种根据两轮选举建立数据集群主模块的方法。在第一轮选举中，需要对候选节点提出资源限制需求，方法是每个数据存储节点向Zookeeper发送服务器主服务器注册请求，在注册信息中发送自己的机器名、网络通讯状态、硬盘、CPU、内存占用等信息，Zookeeper系统首先进行第一轮筛选，Zookeeper系统收到的前5名注册信息请求的服务器将成功入围第二轮选举；第二轮选举还是选择最快和Zookeeper建立应答的机器节点作为最后的主模块的启动节点。Zookeeper系统定期对主模块进行状态监测，如果模块所在的服务器宕机或者一段时间没有应答就需要立即重建新的主模块。

在本发明中，基于标签量比较大的情况，在本系统中在Zookeeper中创立专门的节点来存储所有标签的命名空间信息，方法是将每个数据存储节点上标签存储配置信息放到一个字节流里面，然后采用标准的压缩算法如gzip或者压缩算法进行压缩然后存储到Zookeeper里面，在主模块、数据存储模块、接口模块获取到标签命名空间信息的时候需要反过来解压缩，对数据进行还原。在Zookeeper中命名空间的信息发生更改的时候不会重新传输全部的标签命名空间数据，而是只传输变化的标签配置数据，变化的数据可以根据数据量的多少灵活选择是否进行压缩再传输。

在本发明提出的系统中包含了多个接口模块，用户通过接口模块访问存储的标签数据。在解析用户的数据请求时，接口模块会根据需要查询Zookeeper上存储的标签命名空间数据，得到数据项和存储位置的映射关系，生成一个查询计划后，然后建立到数据服务器上的多个链接，请求数据；存储服务模块解析各个接口模块发送过来的数据请求，针对每个数据存储节点的请求组织数据缓存，在所需的所有数据查询完成之后批量发给接口模块。接口模块收到各个数据服务器的返回结果，会增量式执行汇总操作。用户可以通过网络访问接口模块上的处理结果，提供全部访问或者根据数据游标返回的方式。在数据访问完毕后，接口模块会关闭到多个数据模块的连接，自动清除用户的缓冲区和缓存，回收资源，等待用户的下次请求。

附图说明

图1为本发明的一种系统示意图。

图2为本发明的一种部署示意图。

具体实施方式

在一个具体的工程实施中，首先由一个Zookeeper集群，部署在一个工业以太网中，IP地址分别是192.168.0.201,192.168.0.202,192.168.9.203。三台服务器构成一个Zookeeper的集群。然后在两台Mysql数据服务器上部署标签元数据模块，在该集群需要存储了某厂超过10万个点的实时元数据信息，这些标签的需要存储5秒到1分钟的实时数据和每小时、每天的统计数据等，还包括这些标签需要保存的时间周期等信息，这两台元数据服务器的IP地址分别为192.168.0,1和192.168.0.2。102.168.0.3～192.168.0.5这三台计算机上用于部署主模块，通过两阶段的候选算法选出一台机上创建主模块，其他两台作为主模块的备选；在主模块所在计算上还部署了Zookeeper通讯模块和标签命名空间管理模块。192.168.0.3～192.168.0.10为8台数据存储节点，每个存储节点上的存储空间和CPU访问能力不太相同，其中192.168.0.4～192.168.0.9这几台机器的存储空间大，但内存较小，CPU频率低，192.168.0.10～192.168.0.11这两台机器的存储空间较小，但内存较大，CPU频率高。在每台数据存储节点上都部署了一个数据存储模块来负责数据的读写、一个Zookeeper通讯模块来访问和更改标签命名空间。在指定存储策略的时候，需要综合存储空间和CPU访问能力进行平衡，那192.168.0.10～192.168.0.11相比192.168.0.4～192.168.0.9这几台机器就会有更高的存储效率，而且可以将周期较短和较为常用的数据放到192.168.0.10～192.168.0.11上，192.168.0.4～192.168.0.9这几台机器存储访问频率不高和周期较大的数据。

共有三台接口服务器提供给外部用户使用，他们分别是192.168.0.12,192.168.0.13,192.168.0.14，在上面每台都部署了一个接口模块。它们同时可以设定给外部用户访问，外部用户对标签数据的存储位置一无所知，只是简单向接口模块发送数据访问请求；接口模块解析用户的请求，通过查询命名，可以将标签按照每个数据存储服务器进行聚类，批量进行查询。比如查询20个标签，标签tag1～10需要问3台服务器，tag11～tag22需要访问4台服务器。接口服务器会等待所有的数据服务器返回结果之后，将数据汇总之后再发送给外部用户，这样就实现了外部用户通过接口服务访问实时数据的流程。

Claims (4)

1.一种分布式环境下管理工业实时数据存储的系统，其特征在于，包括标签元数据管理模块、Zookeeper通讯模块、主模块、数据存储服务模块、用户接口模块；所有的模块独立或者组合安装部署到通用的工业计算机网络中的多台计算机终端节点上，构成一个分布式的系统处理工业实时数据的存储和访问；业务标签元数据管理模块通过主模块和其他模块相连，主模块通过Zookeeper通讯模块和外部Zookeeper集群相连，将变化的标签映射信息写入标签命名空间管理模块；同时，主模块同时和多个存储服务节点相连，能处理多个存储节点的上下线管理操作、处理存储资源分配；各模块的功能如下：

标签元数据管理模块用于向整个实时数据系统提供最基础的元数据信息，元数据信息指的是标签数据采集频率、存储位置、存储周期等信息；

Zookeeper通讯模块负责和Zookeeper集群中的多个计算机通讯，执行选举服务器、保存配置、资源监测与协调功能；

主模块，主要负责对整个实时数据系统的存储节点进行管理，它和数据存储模块连接，执行资源信息收集、存储分配等功能，统一协调所有实时数据在多个数据存储单元的存储，并且和Zookeeper通讯模块连接，通过它建立标签和存储服务节点的映射关系的命名空间，而命名空间信息提供给用户接口访问模块使用；

数据存储服务模块能够接受主模块的管理，并且能够被接口模块访问；多个数据接口服务模块，能够从数据存储模块上获取到数据，而且在外部可以为外部用户提供访问实时数据的接口；

用户接口模块能访问到所有存储模块，还能访问标签命名空间管理模块得到访问标签的存储位置和对应的数据存储模块的映射关系；这样，接口模块读取用户接口描述并且根据映射关系信息来建立执行计划，和数据存储模块建立多个连接来获取实时的数据，汇总后发送给用户端，而标签数据的存储位置的映射关系，也就是标签的命名空间对于用户端来说是不可见的；

主模块属于总体控制模块，功能是帮助所有存储模块进行资源分配，建立起标签存储命名空间；Zookeeper通讯模块通过Zookeeper通讯协议选举主模块，通知各个数据节点的存活状态，同步各种数据和配置信息；Zookeeper以文件系统的组织配置数据，通过Zookeeper通讯模块和Zookeeper协调建立一个专门的文件节点专门来存储标签系统的命名空间信息；Zookeeper中单个节点的建立和访问按照数据存储模块来组织标签的存储关系，每个节点对应一个数据存储模块，将所有标签和存储位置的映射关系首先组织成一个列表，然后调用压缩函数写入Zookeeper中的存储节点中，具体的压缩算法由用户指定。

2.根据权利要求1所述的系统，其特征在于，通过Zookeeper实现主模块选举的流程如下：

（1）每个数据存储节点上的存储模块向Zookeeper发送主模块注册请求，在注册信息中发送自己存储节点对应的机器名、网络通讯状态、硬盘、CPU、内存占用等信息；

（2）根据主模块要求的资源要求，Zookeeper选定满足条件的并且最早收到消息的5台节点作为候选来部署主模块，启动第二轮注册流程；

（3）第二轮选择最早收到注册消息的数据存储节点上启动Master(主)模块，并通知所有的数据节点上的存储模块；

（4）被选定的存储节点具有数据存储模块和主模块的双重身份，可以接受来自所有数据存储模块的注册、协调标签数据的存储分配，并且支持接口模块的查询；

（5）主模块所在的存储节点如果宕机或者在一定时间内无法接受响应，则视为主服务器失效，Zookeeper可以接受其他服务器的主服务器的注册请求，开始下一轮的主模块选举进程。

3.根据权利要求1所述的系统，其特征在于，数据存储服务模块的作用是为实时数据系统提供标签多个时段、多种周期，多种类型的数据存取功能，数据存储模块部署在计算机网络的多个分布式节点上；标签数据在所有数据存储上的分配需要通过主模块来统一协调管理，建立的标签存储映射信息需要动态反映到Zookeeper系统中去，建立标签存储命名空间；在初始情况下，各个数据存储节点都是空的，没有存储任何标签数据信息，需要通过主模块来协调存储分配信息，流程如下：

（1）主模块向元数据管理模块查询所有的标签存储配置信息，计算所需的存储容量和性能需求，根据当前网络已有的数据服务器配置，粗略估算需要的存储服务器数量和平均每台可分配的存储容量和CPU、内存配置需求；然后主模块侦听数据存储模块的注册需求；

（2）所有数据存储模块服务器向主模块发送自己可以用于存储的存储资源信息，包括文件目录信息和存储容量信息、CPU和内存信息；

（3）主模块根据所有存储模块对应节点的存储资源信息，将标签存储按照平衡存储的策略对标签存储执行分配，分配到所有的数据存储节点并记录标签存储、副本标示和文件目录的对应关系到元数据模块。平衡存储的策略是指主服务器对所有数据节点的存储器资源和CPU资源进行统筹规划，采用公平的原则，既考虑对每个数据节点的存储负荷比，又考虑每台服务器的硬件性能约束，网络通讯状况多种因素，为所有存储节点上的标签数据存储提供一个最合理的解决方案；其中存储负荷比保证每个数据节点的存储容量均衡，同时又有空余空间用于数据的紧急存储；CPU性能包括CPU的核数和频率，在存储空间比较充足的时候CPU的负荷将成为系统的瓶颈，这就限制了在CPU性能较为低下的节点上不能存储太多的数据；

（4）在Zookeeper管理的标签命名空间中包含了标签的副本信息；默认情况下每个标签数据有三个副本，其中有一个副本是主数据，其他两个副本是主数据的备份，在数据更改的时候都是修改主副本信息，然后其他两个副本的数据通过网络同步到备份节点上；当存储主副本的数据服务器出现宕机或者网络故障错误情况，将会随机选择一个副本服务器更新副本内容并进行副本的同步，将该副本服务器更改为该标签的主存储节点，原来的服务器启动之后从该服务器获得标签数据的更改信息再同步数据；所有标签的主信息和副本信息都会经过压缩处理后由Zookeeper通讯模块发送给Zookeeper集群，命名空间数据被整个系统中的所有计算机访问；

（5）每个标签都指定了存储节点和存储目录，标签数据以文件的方式存储在数据节点上，受该节点上部署的存储模块的访问；当指定节点的存储目录的空间不够，那主模块就会查询其他的存储模块是否有存储空间，当有存储空间的话就会从其他数据节点上分配存储空间给该标签；当某台存储节点需要整体迁移，主模块需要暂停针对该数据模块的存储请求，查询其他的节点是否有合适的空间接管此服务器上配置的标签点；当有合适的存储位置就会将数据文件同步到其他服务器上并向元数据模块发送文件存储信息变更请求，元数据模块会记录标签命名空间的变更并同步给Zookeeper。

4.根据权利要求1所述的系统，其特征在于，用户系统通过接口模块访问数据的通讯流程如下：

（1）用户首先访问接口模块，向接口模块提交自己的访问数据需求；数据处理请求分为同步请求和异步请求两种；在执行同步请求是用户和接口模块之间建立的通讯连接会阻塞直到接口模块返回数据；异步请求情况下用户只需要向接口模块投递一个数据访问请求，接口服务器在数据处理完毕之后会向用户方发送一个通知，用户方读取通知后就得到数据处理的结果。异步方式下接口模块对数据访问的时效性要求不严格，接口模块对该请求的处理可以推迟到系统空闲时进行；

（2）接口模块对数据需求进行解析，得到要查询的数据项，生成一个查询计划，制定数据访问和处理的步骤，然后访问Zookeeper集群，得到数据项和存储位置的映射关系后，准备建立到数据模块的连接；

（3）接口模块在执行用户数据处理的时候需要多次访问主服务模块，获取数据点和访问位置(有一个存储模块相对应)默认通过Zookeeper通讯模块来完成，但在Zookeeper系统出现故障的时候，需要从主服务器上获取标签命名空间映射信息；然后接口模块开始与主服务器协调建立连接过程：接口模块首先通知主模块自己要建立的连接信息，然后开始建立到多个数据模块的连接，不用等待主模块对连接建立的许可;主服务器在收到接口模块的请求信息，根据自己以往在标签分配中建立的数据服务器的资源信息，对接口模块如何在多个数据服务器上建立会话进程提出建议，目的是优化接口模块建立的通讯连接，优化各个数据节点上的负荷，提高整个系统的吞吐量；

（4）数据存储服务模块在收到接口模块的连接请求信息后，针对每个接口模块建立一定大小的数据访问连接池，然后开始处理数据访问请求。每个数据模块中保存了存储在自己机器上的标签和存储位置的映射关系，从对应存储位置读取数据信息，汇总后发送给接口模块；当找不到该关系，就访问Zookeeper，刷新映射关系到本地；处于优化的需要，数据模块只有在Zookeeper中的标签命名空间映射信息发生变化的时候才会访问Zookeeper(在Zookeeper宕机的时候会访问主服务器上缓存的命名空间信息，这个信息会和Zookeeper保持同步)，而且只访问变化的标签点配置信息来更新自己机器上的标签存储映射关系，降低本节点上的负荷压力；处于优化需要，数据模块将经常访问的标签数据缓存到本机的缓存中，在处理请求中，部分标签可以读取缓存中的数据，部分标签读取存储介质上的数据，并将从各个存储模块读取到的数据汇总后发送到接口模块。

（5）用户接口服务模块收到数据模块的返回结果，根据查询计划，启动对数据的处理操作；方法是本地缓存中对用户请求开辟一段缓冲区，依次读取各个数据模块的返回数据，增量式执行汇总操作；用户访问数据模块的处理结果，提供全部访问或者根据数据游标返回的方式；在处理完毕后，用户关闭连接后接口模块会自动清除用户的缓冲区，回收资源。

Images