CN102567495A - 一种海量信息存储系统及实现方法 - Google Patents

Abstract

本发明提供一种海量信息存储系统，所述系统包括存储系统、元数据服务器、协调器和数据分布和平衡模块，存储系统用于提供数据存储功能；元数据服务器用于接受并保存来自存储系统元数据；协调器接收客户端需要写入存储系统的数据，将接收到的数据组织成关键值形式，发送到数据分布和平衡模块，协调器还用于接收客户端的查询指令，指示服务器节点执行查询操作，并接收查询结果返回给客户端；数据分布和平衡模块用于运用一致性哈希算法将数据分配到存储系统各服务器节点上。

Description

一种海量信息存储系统及实现方法

技术领域

本发明涉及数据存储技术领域，特别涉及一种海量信息存储系统及实现方法。

背景技术

随着互联网技术的飞速发展和广泛应用，互联网的用户数量和数据量都呈现出爆发式的增长。各种类型的应用层出不穷，传统关系型数据库在高并发访问、海量数据处理和大规模部署等方面表现出一定的局限性。

在智能电网所涉及的应用场景中，定时采集的数据量非常大，不同关系型数据库的吞吐难以达到要求。

NOSQL数据库是伴随着云计算技术的蓬勃发展而产生的，具有低延迟的读写速度、支持海量数据、大规模集群部署和良好的扩展性等特点，为负责大规模数据处理的系统提供了新的选择。可以达到智能电网中对于数据库吞吐量的要求。

NOSQL领域流行的一致性哈希存储结构(DHT存储结构)，是NOSQL实现大吞吐量的关键内容。一致性哈希存储结构提供了一种动态进行分布式存储和路由的方法。如图1所示，一个哈希函数的输出范围被视为一个固定的环形空间，系统中每一个服务器节点都被分配到了空间中一个随机的值，代表服务器节点在环上的位置，如图1中所示的节点。这种数据分布方式为系统提供了良好的扩展性，加入或移除服务器节点时也只能有少量的数据需要重新分配。为保证系统具有良好的可用性，系统一般会设置副本。

NOSQL中比较流行的是数据库为HBase，HBase数据库是利用分布式文件存储系统HDFS(Hadoop Distributed File System)提供分布式存储，而且可以通过数据分析工具Hive，利用一种类SQL语言来提供数据查询和分析能力。但是这种查询和分析需要转化为MapReduce程序来运行，速度比较慢，难以提供在线复杂查询功能。

另外在本领域中，MySQL数据库也是一种十分常用的关系型数据库，MySQL数据库虽然可以实现复杂查询功能，但是缺陷在于单独的MySQL数据库读写性能有限，很难承受电网应用场景中定时涌来的海量数据，吞吐量难以达到要求，如果数据不能在一定的时间内持久化，则可能会有被下一波数据覆盖的危险，造成数据丢失，也很难处理大量的访问和查询的请求。

发明内容

有鉴于此，本发明的主要目的是提供一种海量信息存储系统及实现方法。本发明所述海量信息存储系统实现了支持高通量存储和复杂查询两项功能。

本发明具体技术方案如下：

一种海量信息存储系统，所述系统包括存储系统、元数据服务器、协调器和数据分布和平衡模块；

存储系统，连接协调器、元数据服务器和数据分布和平衡模块，存储系统由多个服务器节点构成，所有的服务器节点按照一致性哈希算法进行组织，存储系统用于提供数据存储功能；

元数据服务器，一端连接协调器，一端连接存储系统，元数据服务器用于接受并保存来自存储系统元数据，所述元数据为存储系统中所储存数据的层次结构和位置信息，在查询过程中元数据服务器向协调器提供存储系统中储存数据的层次结构和位置信息；

协调器，连接存储系统、元数据服务器和数据分布和平衡模块，用于接收客户端需要写入存储系统的数据，将接收到的数据组织成关键值形式，发送到数据分布和平衡模块，协调器还用于接收客户端的查询指令，在查询时读取元数据服务器中的需查询数据的层次机构和位置信息，利用需查询数据的层次结构和位置信息找到需查询数据所在的服务器节点，协调器将查询指令发送到存储系统中的服务器节点上，指示服务器节点执行查询操作，并接收查询结果返回给客户端；

数据分布和平衡模块，与存储系统相连接，用于在写入过程中接收协调器组织成关键值形式的数据，运用一致性哈希算法将数据分配到存储系统各服务器节点上。

所述构成存储系统的服务器节点具体包括：版本控制模块，内存存储管理模块、数据同步模块和智能数据库；

版本控制模块，连接到数据分布和平衡模块，用于接收数据分布和平衡模块分配而来的组织成关键值形式的数据，给接收的数据加上时间戳，以区分数据的版本信息；将加上时间戳的数据发送到内存存储管理模块；

内存存储管理模块，连接版本控制模块，用于负责暂时存储版本控制模块进行版本区分后的数据，并维持的数据的关键值结构；

数据同步模块，连接内存存储管理模块、智能数据库，并接收协调器的同步命令，用于解析内存存储管理模块中存储的关键值形式的数据，组织成智能数据库能够识别的结构写入智能数据库；

智能数据库，连接数据同步模块，用于提供持久化存储功能和查询功能。

所述数据同步模块进一步连接元数据服务器，数据同步模块在将数据写入到智能数据库的同时，获取写入数据的层次结构和位置信息，并将获取的数据的层次结构和位置信息发送给元数据服务器。

所述元数据服务器还用于，接收数据同步模块发送的数据的层次结构和位置信息，并对自身以保存的信息进行同步更新。

所述数据分布和平衡模块包括接收模块和分配模块，

接收模块用于接收来自协调器的组织成关键值形式的数据，

分配模块用于根据预先设定数据需要保存的副本数量，将待写入的数据写入多个服务器节点，写入服务器节点的数量与副本数量相等。

优选的，所述协调器中进一步包括数据查询接口，连接元数据服务器和智能数据库，用于接收协调器的查询指令，并连接元数据服务器，找到所查询数据的层次结构和位置信息，根据所查询数据的层次结构和位置信息找到所查询数据所在的服务器节点，再将查询命令发送到所查询数据所在的服务器节点，数据查询接口调用服务器节点上智能数据库中的查询计算函数，使服务器节点运用查询计算函数完成查询操作，数据查询接口再接收各个进行查询操作的服务器节点上得到的查询结果，并将所有查询结果返回协调器。

一种海量信息存储系统的实现方法，

所述实现方法包括写入方法，具体步骤为，

A1、接收客户端传来的数据，将数据组织成关键值的形式；

B1、组织后的数据根据一致性哈希算法选择多个服务器节点进行数据写入；

所述实现方法还包括查询方法，具体步骤为，

A2、接收查询指令，读取需查询数据的层次机构和位置信息，利用需查询数据的层次结构和位置信息找到需查询数据所在的服务器节点；

B2、查询指令转发到需查询数据所在的服务器节点，并调用服务器节点上保存的查询计算函数，利用查询计算函数开始进行查询操作；

C2、查询数据所在的服务器节点执行查询操作之后，返回查询结果，并对返回的数据重组、去重再呈现给客户端。

优选的，所述写入方法进一步包括：

C1、数据写入到每个服务器节点上，首先对数据进行版本化处理，以当前时间作为时间戳加入到关键值结构数据的数值部分中，将加上时间戳的数据暂时储存，并对存储的数据进行管理和维护；

D1、接收到同步指令之后开始将暂时存储的数据进行解析，将数据中数值部分包含的用户数据转化为数据库规定的结构，批量转存入数据库中。

所述根据一致性哈希算法选择多个服务器节点进行数据写入具体为：

预先设定数据需要保存的副本数量，并选择与副本数量相等个数的服务器节点写入数据。

优选的，所述写入方法进一步包括：

E1、将数据写入数据库的同时，获取数据的层次结构和位置信息，并对自身保存的数据的层次结构和位置信息进行同步更新。

所述找到需查询数据所在的服务器节点具体为：

找到单一服务器节点或多个服务器节点。

通过以上技术方案可知，本发明存在的有益效果是：本发明所述海量信息存储系统，在写入时充分利用DHT的特点，将数据按层次数据结构中的关系组织成关键值形式，利用一致性哈希算法使数据均匀的分布在集群中，缓解了智能数据库的负载压力，提高了速度。在数据查询时，利用了智能数据库的查询分析功能，通过查询命令拆分和重组，使计算在数据存在的节点上进行，可以多单位查询同时执行，大大提高了查询的速度。本发明结合DHT存储结构智能数据库两者的优势构建，同时提供大吞吐量存储功能与复杂查询功能，更好的满足了有相关需求系统的要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中一致性哈希环形结构示意图；

图2为本发明所述系统结构示意图；

图3为本发明所述存储系统服务器节点结构示意图；

图4为本发明所述系统写入方法流程图；

图5为数据写入服务器节点过程中变化示意图；

图6.1为元数据层次结构示意图；

图6.2为元数据位置信息实体图；

图7为本发明所述系统查询方法流程图；

图8.1为需拆分的元数据层次结构示意图；

图8.2为需拆分的元数据位置信息示意图。

具体实施方式

本发明提供了一种海量信息存储系统及实现方法。本发明整合了DHT存储结构大吞吐量存储的优势，与智能数据库提供的复杂查询与数据分析能力，构建所述海量信息存储系统；同时加入元数据服务器保存数据的层次结构与数据的位置信息，实现在吞吐海量数据的同时提供更高速的查询服务。

下面将结合智能电网中的场景为例，再结合附图对本发明的技术方案进行完整描述。而所描述的实施例仅仅是本发明中部分实施例。基于本发明中的实施例，本领域普通技术人员在没有经过创造性劳动情况下得出的其他实施方式，同样属于本发明保护的范围。

以在智能电网中的场景为例，首先阐述本发明中数据的组织结构，在智能电网场景中为了便于数据的存储和查询，数据以层次化方式组织，层次由高到低分别为市、区/县、小区、楼宇、用户。

参照图2所示，所述系统具体结构包括以下：

存储系统，连接元数据服务器，协调器和数据分布和平衡模块，存储系统由多个服务器节点构成，所有服务器节点在存储系统中以DHT结构组织；存储系统提供大吞吐量存储和复杂查询功能；存储系统在完成写入操作后，向元数据服务器发送新写入数据的元数据；

元数据服务器，一端连接协调器，一端连接存储系统，用于保存数据层次结构的信息和各个层次数据所放置位置的信息；在存储系统完成写入操作之后，元数据服务器根据存储系统发送的元数据同步更新自身信息；在查询操作中，元数据服务器接收协调器的命令，向协调器提供所查询数据的层次机构信息和位置信息；

协调器，连接存储系统、元数据服务器和数据分布和平衡模块，另外连接向存储系统中输送数据的客户端，负责指令存储系统写入数据和查询数据；当客户端进行查询操作时，将查询的命令拆分后发送给存储系统的服务器节点上执行查询操作，并接收服务器节点查询后返回结果，将查询结果合并，去重和解决版本冲突，将处理后的查询结果返回客户端；当进行写入操作时，将数据组织成关键值形式，发送到数据分布和平衡模块；协调器起到控制系统各组成部分，以及在各个部分之间起到协调的作用；

数据分布和平衡模块，与存储系统相连接，用于在写入过程中接收协调器组织成关键值形式的数据，再分配数据到存储系统不同的服务器节点上，使数据均匀的分布在存储系统的DHT结构中，是DHT算法实现的模块。

数据平衡和分布模块在分配数据写入存储系统不同节点上时，需要根据用户设定的保存数据副本的数量，将数据写入多个服务器节点，写入服务器节点的数量等于系统设定的副本数量。

在本实施例中所述组织成关键值形式数据具体为组织成Key/Value结构的数据。

其中，存储系统由多个服务器节点组成，所有服务器节点在存储系统中以DHT结构组织，每个服务器节点的结构如图3所示包括版本控制模块、内存存储管理模块、数据同步模块和智能数据库，其中版本控制模块、内存存储管理模块和数据同步模块三者构成DHT存储系统，各模块具体关系如下：

版本控制模块，连接到数据分布和平衡模块，用于接收数据分布和平衡模块分配而来的数据，给接收的数据加上时间戳，以区分数据的版本信息；将加上时间戳的数据发送到内存存储管理模块；

内存存储管理模块，连接版本控制模块，用于负责暂时存储版本控制模块进行版本区分后的数据，并对存储的数据进行管理和维护，也就是维持的数据的Key/Value结构，避免数据发生混乱，同时将完成同步的数据标记无效，防止多次同步；

数据同步模块，连接内存存储管理模块、智能数据库和元数据服务器，并接收协调器的命令，用于负责将内存存储管理模块中的数据转存到智能数据库中；数据同步模块接收协调器发出的数据同步指令后，开始解析内存存储管理模块中存储的Key/Value形式的数据，组织成智能数据库中定义好的结构写入智能数据库；

智能数据库，连接到DHT存储系统，并连接数据查询接口，用于提供持久化存储功能和复杂查询功能；所述智能数据库可以采用MySQL数据库、PostgreSQL数据库或Berkeley DB数据库。在本实施例中选用MySQL数据库作为服务器节点上的智能数据库。

另外在具体实施例中为实现所述设备中的查询功能，所述协调器中进一步包括一个数据查询接口。数据查询接口连接元数据服务器和MySQL数据库；用于实现MySQL数据库的查询功能；数据查询接口接收协调器的查询指令，并连接元数据服务器，利用元数据服务器中的元数据找到查询指令需查询的数据的服务器节点位置信息，然后数据查询接口根据元数据中的服务器节点位置信息，将查询命令发送到需查询数据所在的一个或者多个服务器节点位置，使查询操作及查询相关的计算操作能够在服务器节点上直接进行；数据查询接口调用服务器节点上MySQL数据库的查询计算函数使服务器节点完成查询操作，数据查询接口再接收各个进行查询操作的服务器节点上得到的查询结果，并将所有查询结果去重重组后返回协调器。

下面结合在具体实施例中的情况，进一步说明本发明所述海量信息存储系统实现方法。

以智能电网场景下为例，假设系统设置的副本数为2；参照图4所示，在进行写入操作时，具体步骤如下：

r1、协调器接收客户端传来的数据，将同一楼宇的数据组织成Key/Value的形式，将组织后的数据转发给数据分布和平衡模块；

r2、数据分布和平衡模块根据一致性哈希算法选择多个服务器节点进行数据写入，服务器节点个数与用户预设的副本数相等。

数据写入到服务器节点以后，在服务器节点中存储的步骤如下：

r3、数据写入到每个服务器节点上，首先经过版本控制模块，对数据进行版本化处理，以当前系统时间作为时间戳加入到Key/Value结构数据的Value中，以区分数据的时间版本信息，然后将加上时间戳的数据转发给内存管理模块；

r4、内存存储管理模块暂时储存版本控制模块发送的数据，并对存储的数据进行管理和维护，也就是维持的数据的Key/Value结构，避免数据发生混乱；

r5、当数据同步模块接收到协调器发送来的数据同步指令，即开始将内存存储管理模块中暂时存储的数据进行解析，将数据中Value部分包含的的用户数据转化为MySQL数据库规定的结构化模式，批量转存入MySQL数据库中，同时将将解析过程中获取的数据的层次结构和位置信息发送到元数据服务器，元数据服务器对自身以保存的信息进行同步更新。

当数据根据一致性哈希算法写入具体节点时，数据流过程和数据变化形式如图5所示，具体为：

步骤r3版本控制模块在数据的Value部分后面加上时间戳；步骤r4内存存储管理模块暂时储存数据并进行管理和维护；步骤r5数据同步模块将Value中的信息解析转换为MySQL数据库中规定的结构批量转存入MySQL数据库，并对元数据服务器中的元数据同步更新。

上述实施例中，假设数据分布和平衡模块以Building为单位将数据分配保存到各服务器节点，即一个服务器节点上保存一个Building的数据，同时一个服务器节点又包括两个虚拟节点。需要说明，在不同实施例中可以根据需要以不同的单位将数据分配到各服务器节点，也可以将一个服务器节点划分为不同个数的虚拟节点，并不影响整体方案。

元数据服务器中保存的数据包括数据层次结构和数据位置信息；如图6.1所示即为：

Key：City1_District2_Community3_Building4_Collect1

Value：List(User_data1，User_data2)

这一Key/Value结构数据在元数据服务器中的数据层次结构；

元数据服务器中的数据位置信息如图6.2所示，本实施例中具体含义为：Building 4中含有的数据信息保存在同一个服务器节点B。

在上述实施例中，当系统进行查询为发出的查询命令无需拆分到不同服务器节点的简单查询时，例如对上述Building 4中的数据进行查询时，参照图7所示，具体步骤如下：

s1、协调器中的数据查询接口接收协调器的查询指令，连接元数据服务器读取需查询数据的元数据，找到需查询数据的层次结构和位置信息；

s2、数据查询接口根据需查询数据的层次结构和位置信息，将查询指令转发到对应的服务器节点，并调用服务器节点上保存的查询计算函数进行查询操作；

s3、服务器节点执行查询操作之后，将得到的查询结果返回数据查询接口，数据查询接口再将结果返回协调器；

s4、协调器对返回的数据重组并去重，操作结果返回用户，实现查询目的。

另外，当查询命令所查询的以Building为单位的数据保存在多个服务器节点上的时候，也无需对查询命令进行拆分，可以直接转发到相应的服务器节点上。

在另一实施例中，当查询指令指示对Community 3进行查询时，所查询数据的层次结构和位置信息如图8.1和图8.2所示，需查询的数据分别位于Building 4和Building 5中，此时由于数据以Building为单位进行储存，则需要进一步将对针对Community的查询指令拆分为多个针对Building的查询指令，发送到对应的多个服务器节点上，此种查询即为复杂查询，具体步骤如下：

t1、协调器中的数据查询接口接收协调器的查询指令，连接元数据服务器读取需查询数据的元数据，找到需查询数据的层次结构和位置信息；

t2、数据查询接口根据需查询数据的层次结构和位置信息，将查询指令拆分后，转发到对应的多个服务器节点，并调用每个服务器节点上保存的查询计算函数进行查询操作；

t3、各服务器节点执行查询操作之后，分别将得到的查询结果返回数据查询接口，数据查询接口将所有查询结果统一集中，再全部返回协调器；

t4、协调器对返回的数据重组并去重，操作结果返回用户，实现查询目的。

需要说明的是，上述两个查询实施例中，事先给出了元数据中包含的层次结构和位置信息，目的在于方便说明和区分简单查询与复杂查询；实际应用中在查询前只能获取所查询数据的层次结构信息，无法获取所查询数据的位置信息。

综上所述，本发明提供了一种海量信息存储系统及实现方法，通过整合DHT存储结构和MySQL数据库二者优势，实现了在满足快速吞吐海量数据的同时，进一步提供复杂查询功能，并且所述查询功能通过查询命令拆分和重组，使计算在数据存在的节点上进行，并且可以多单位查询同时执行，大大提高了查询的速度。

以上所述仅是本发明的优选实施方案，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应该视为本发明的保护范围。

Claims (11)

1.一种海量信息存储系统，其特征在于：所述系统包括存储系统、元数据服务器、协调器和数据分布和平衡模块；

存储系统，连接协调器、元数据服务器和数据分布和平衡模块，存储系统由多个服务器节点构成，所有的服务器节点按照一致性哈希算法进行组织，存储系统用于提供数据存储功能；

元数据服务器，一端连接协调器，一端连接存储系统，元数据服务器用于接受并保存来自存储系统元数据，所述元数据为存储系统中所储存数据的层次结构和位置信息，在查询过程中元数据服务器向协调器提供存储系统中储存数据的层次结构和位置信息；

协调器，连接存储系统、元数据服务器和数据分布和平衡模块，用于接收客户端需要写入存储系统的数据，将接收到的数据组织成关键值形式，发送到数据分布和平衡模块，协调器还用于接收客户端的查询指令，在查询时读取元数据服务器中的需查询数据的层次机构和位置信息，利用需查询数据的层次结构和位置信息找到需查询数据所在的服务器节点，协调器将查询指令发送到存储系统中的服务器节点上，指示服务器节点执行查询操作，并接收查询结果返回给客户端；

数据分布和平衡模块，与存储系统相连接，用于在写入过程中接收协调器组织成关键值形式的数据，运用一致性哈希算法将数据分配到存储系统各服务器节点上。

2.根据权利要求1所述系统，其特征在于，所述构成存储系统的服务器节点具体包括：版本控制模块，内存存储管理模块、数据同步模块和智能数据库；

版本控制模块，连接到数据分布和平衡模块，用于接收数据分布和平衡模块分配而来的组织成关键值形式的数据，给接收的数据加上时间戳，以区分数据的版本信息；将加上时间戳的数据发送到内存存储管理模块；

内存存储管理模块，连接版本控制模块，用于负责暂时存储版本控制模块进行版本区分后的数据，并维持的数据的关键值结构；

数据同步模块，连接内存存储管理模块、智能数据库，并接收协调器的同步命令，用于解析内存存储管理模块中存储的关键值形式的数据，组织成智能数据库能够识别的结构写入智能数据库；

智能数据库，连接数据同步模块，用于提供持久化存储功能和查询功能。

3.根据权利要求2所述系统，其特征在于：

所述数据同步模块进一步连接元数据服务器，数据同步模块在将数据写入到智能数据库的同时，获取写入数据的层次结构和位置信息，并将获取的数据的层次结构和位置信息发送给元数据服务器。

4.根据权利要求3所述系统，其特征在于：

所述元数据服务器还用于，接收数据同步模块发送的数据的层次结构和位置信息，并对自身以保存的信息进行同步更新。

5.根据权利要求1所述系统，其特征在于：

所述数据分布和平衡模块包括接收模块和分配模块，

接收模块用于接收来自协调器的组织成关键值形式的数据，

分配模块用于根据预先设定数据需要保存的副本数量，将待写入的数据写入多个服务器节点，写入服务器节点的数量与副本数量相等。

6.根据权利要求1所述系统，其特征在于：

所述协调器中进一步包括数据查询接口，连接元数据服务器和智能数据库，用于接收协调器的查询指令，并连接元数据服务器，找到所查询数据的层次结构和位置信息，根据所查询数据的层次结构和位置信息找到所查询数据所在的服务器节点，再将查询命令发送到所查询数据所在的服务器节点，数据查询接口调用服务器节点上智能数据库中的查询计算函数，使服务器节点运用查询计算函数完成查询操作，数据查询接口再接收各个进行查询操作的服务器节点上得到的查询结果，并将所有查询结果返回协调器。

7.一种海量信息存储系统的实现方法，其特征在于：

所述实现方法包括写入方法，具体步骤为，

A1、接收客户端传来的数据，将数据组织成关键值的形式；

B1、组织后的数据根据一致性哈希算法选择多个服务器节点进行数据写入；

所述实现方法还包括查询方法，具体步骤为，

A2、接收查询指令，读取需查询数据的层次机构和位置信息，利用需查询数据的层次结构和位置信息找到需查询数据所在的服务器节点；

B2、查询指令转发到需查询数据所在的服务器节点，并调用服务器节点上保存的查询计算函数，利用查询计算函数开始进行查询操作；

C2、查询数据所在的服务器节点执行查询操作之后，返回查询结果，并对返回的数据重组、去重再呈现给客户端。

8.根据权利要求7所述方法，其特征在于，所述写入方法进一步包括：

C1、数据写入到每个服务器节点上，首先对数据进行版本化处理，以当前时间作为时间戳加入到关键值结构数据的数值部分中，将加上时间戳的数据暂时储存，并对存储的数据进行管理和维护；

D1、接收到同步指令之后开始将暂时存储的数据进行解析，将数据中数值部分包含的用户数据转化为数据库规定的结构，批量转存入数据库中。

9.根据权利要求8所述方法，其特征在于，所述根据一致性哈希算法选择多个服务器节点进行数据写入具体为：

预先设定数据需要保存的副本数量，并选择与副本数量相等个数的服务器节点写入数据。

10.根据权利要求8所述方法，其特征在于，所述写入方法进一步包括：

E1、将数据写入数据库的同时，获取数据的层次结构和位置信息，并对自身保存的数据的层次结构和位置信息进行同步更新。

11.根据权利要求7所述方法，其特征在于，所述找到需查询数据所在的服务器节点具体为：

找到单一服务器节点或多个服务器节点。

Images