CN105095421A - 一种实时数据库的分布式的存储方法 - Google Patents

Abstract

本发明公开了一种实时数据库的分布式的存储方法，通过本发明的实现，可以同时获得处理针对超高并发、高频发生的数据的实时数据库的持续存储与访问；可同时进行数据存储和历史数据访问且降低相互干扰；提高历史数据的存储空间效率；提高实时数据库对历史数据的存储与访问的速度；提供高效快速的检索查询的能力。

Description

一种实时数据库的分布式的存储方法

技术领域

本发明涉及一种实时数据库的分布式的存储方法，特别是涉及一种在综合监控系统中存储历史数据用的实时数据库的分布式的存储方法，属于实时数据库存储技术领域。

背景技术

目前，很多领域采用的综合监控系统的实时数据是使用关系数据库来存储。然而在很多应用场景需要处理海量并发、高频捕捉的时序数据，关系数据库越来越难以适应和满足综合监控系统对历史数据存储处理的需求。

以关系数据库为代表的传统数据库的设计目标是维护数据的正确性、保证系统的低代价和提供友好的用户接口。这种数据库系统对传统的商务和事务型应用是有效、成功的，但对于综合监控系统等新领域所使用的实时数据和实时事务的应用要求难以胜任。

“点时序”数据，主要由轨道交通、电力、化工煤炭、广域通讯等行业中各种类型的实时监测、检查、控制与分析设备所采集或产生的数据，“点时序”严重相关联的键值对，是综合监控系统的实时数据的典型数据；其中数据点与时间戳共同作为键，并与某种特定类型的数值有强对应关系；数值的类型可以是布尔型开关值、整型值、短文本值、浮点型值、双精度浮点型值等基本数据类型。即，一般采集的某一实时数据为某一数据点在某一时刻的值(可表示为V＝f(P，T)，其中V表示采集到的实时值，P为测点ID或者名称，T为时间，f记为映射关系)，“点时序”数据并发量大(发生数据的测点数量多)、高频(每一测点每一时段可产生多个数据)、时间依赖与测点依赖(每一条数据均要求对应唯一的时间与唯一的测点)、海量信息(系统每天产生的高并发高频数据可达几十个G容量)，是综合监控系统的实时数据的基本特点。基于上述特点，仅靠关系数据库无法满足对这些工业采集数据的高效存储与处理，必须使用新型高效的存储方法对上述点时序相关数据进行存储和处理。

发明内容

为了解决上述技术问题，本发明提供了一种实时数据库的分布式的存储方法。

为了达到上述目的，本发明所采用的技术方案是：

一种实时数据库的分布式的存储方法，当写入数据时，数据分为多级存储，将数据按照死区阀值压缩的方式先写入固定大小的微内存组件中；所述微内存组件包括两组交替轮换的内存空间，每组内存空间是磁盘文件缓存在内存中的映射，该映射的目标载体为固态硬盘；

当作为磁盘文件的映射被填满时，将此内存区按照磁盘映射的方式写入固态硬盘；

当固态硬盘每隔一段时间或者存储了一定量的数据时，将固态硬盘存储的数据文件归并为若干新的数据文件，存入容量在1T～10T的硬盘，同时组织建立多级数据索引；

当存储系统中的测点并发数量超过预期处理能力或者每秒产生数据总量超过预期处理能力时，可通过增加数据计算节点，分布式扩展数据存储；

当多节点分布式存储数据时，通过订阅/分发模式进行调度；不同的计算节点间也通过订阅/分发模式同步文件外部索引数据，并建立系统级外部索引。

死区阀值压缩的方式为有损压缩，具体过程如下：在一个固定死区范围内变化的数据波动将被忽略，直至数据的变化超出设定的死区范围，该数据变化将被记录在微内存组件中，并重新设定死区范围。

内存缓存映射的文件大小设置为1K～1M。

归并文件的过程中，数据需要经过无损压缩。

新的数据文件的开始部分包含文件的内部索引；新的数据文件结构化存储，结构化存储的路径为文件的外部索引。

内部索引为文件内部链表式索引；外部索引存储在关系数据库中。

分布式存储数据根据计算节点划分并发的测点的依据为二维度联合限制，即单个计算节点接收的并发测点数量限制与数据总流量限制同时满足。

单个计算节点接收的并发测点数量限制为最多50000～500000点数据并发；单个计算节点接收的数据总流量限制在每秒钟100～150兆。

本发明所达到的有益效果：1、通过本发明的实现，可以同时获得处理针对超高并发、高频发生的数据的实时数据库的持续存储与访问；可同时进行数据存储和历史数据访问且降低相互干扰；提高历史数据的存储空间效率；提高实时数据库对历史数据的存储与访问的速度；提供高效快速的检索查询的能力；2、本发明的单个计算节点支持50000～500000级别的点数据并发，分布式存储方案支持庞大规模数据并发，分布式方案计算节点与测点的划分，是按照饱和并发测点数量结合饱和数据总流量的标准来划分测点集合，通过订阅/分发模式进行并发数据调度的方式，具备针对超高并发的高频发生的海量数据的高速处理能力；3、本发明仅记录变化值，近期数据临时存储于固态硬盘，并持续同步追加存储到容量在1T～10T的硬盘中实现长期存储，同时结合数据查询运行在容量在1T～10T的硬盘的分治方法，获得数据同时存储和访问的稳定高速I/O读写性能，同时大大降低I/O读写操作的相互干扰；4、经过一次有损压缩与一次无损压缩的长期存储数据，获得时间更长的持续的存储性能；5、本发明按照多级索引方式建立数据索引，其中文件外部索引保存在关系数据库中，文件内部索引为文件内部链表式索引，同时文件外部索引可跨计算节点，通过这样的方法可以获得海量存储数据快速而精确索引的性能。

附图说明

图1为数据流流程图。

图2为并发调度模式的示意图。

图3为微内存组件的示意图。

图4为固态硬盘临时存储的示意图。

图5为文件内部索引方式的示意图。

图6为容量在1T～10T的硬盘固化存储的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种实时数据库的分布式的存储方法，包括以下步骤：

步骤一，当写入数据时，数据分为多级存储，将数据按照死区阀值压缩的方式先写入固定大小的微内存组件中。

数据被各测点装置采集，通过网络汇集输入系统，再经由并发调度将数据分发到若干本地计算节点，计算节点接收到数据后，按照死区阀值压缩的方式先写入固定大小的微内存组件中。

如图2所示，并发调度的模式可采用源数据散列调度的方式，此调度方式是根据测点编号作为Key(键值)建立散列表，快速调度数据给不同的计算节点，并发数据调度的管理是采用管道会话的方式，针对同一个散列值(即同一个目标计算节点)的源数据都暂时存放在同一个缓存列表中，在与计算节点用TCP连接开始会话的时候，将发送此散列值的源数据缓存列表的即刻副本，当远端计算节点在本地将接收到的数据列表全部缓存到相应的微内存结构中后，返回一个成功处理的信号并关闭会话，然后调度方可开启下一个会话，便于理解与管理，每一个具有相同散列值的计算节点都通过同一个管道与并发调度过程相连，每次批量接收数据的过程就是一个临时会话过程(固定管道-临时会话)。

当计算节点接收到的数据后，按照顺序根据测点编号ID做哈希映射到对应的微内存组件中，经过死区阀值有损压缩过程筛选数据是否被记录。

有损压缩的具体过程如下：

在一个固定死区范围内变化的数据波动将被忽略，直至数据的变化超出设定的死区范围，该数据变化将被记录在微内存组件中，并重新设定死区范围。

如图3所示，微内存组件包括两组交替轮换的内存空间，每组内存空间是磁盘文件缓存在内存中的映射，该映射的目标载体为固态硬盘。当内存空间A被填满时，缓存调度过程立即将接收的数据转入空的内存空间B，同时将内存空间A通过磁盘映射方式写入固态硬盘的磁盘文件，此为一个乒乓轮转过程；同理，当内存空间B被数据填满时，进行再次乒乓轮转操作，如此周而复始；内存缓存映射的文件大小设置为1K～1M，以适应固态硬盘的最佳顺序写入效率。

步骤二，当作为磁盘文件的映射被填满时，将此内存区按照磁盘映射的方式写入固态硬盘。

步骤三，当固态硬盘每隔一段时间或者存储了一定量的数据时，将固态硬盘存储的数据文件归并为若干新的数据文件，存入容量在1T～10T的硬盘，同时组织建立多级数据索引。

新的数据文件的开始部分包含文件的内部索引，内部索引为文件内部链表式索引，结构化存储的路径为文件的外部索引，外部索引存储在关系数据库中。

磁盘文件是以小文件(一般大小为1K～1M)的形式存储在固态硬盘上，如图4所示，它的短期存储特性包括：内存映射集合、分时文件格式化和归并处理调度。内存映射集合是指从上述的微内存组件映射到磁盘文件的集合，这些磁盘文件有一份临时文件管理表，表中记录每个临时文件所保存的测点编号和保存数据的起止时间，便于稍后归并处理；分时文件的格式即微内存结构缓存区格式，主要包含测点名称、测点编号ID、测点数值、数值品质、时间签名或者其他需要保存的数据等。

固态硬盘上的临时保存的分时文件，可定期或者定量的归并处理成若干新的数据文件(一般大小为4M～256M)，存入容量在1T～10T的硬盘。

归并处理主要是同源文件归并过程，这个过程的步骤为：

A1)根据临时文件管理表寻找同源文件簇；

A2)同源文件数据按照时间顺序无损压缩；

无损压缩，主要采用逐差法压缩时间签名、差值法压缩测点数值、数值品质融入测点内部编号ID的方式和霍夫曼编码来实现无损压缩数据。逐差法和差值法的基础数据，与内部编号ID、测点编号ID映射表和文件内部索引的引导部分共同成为文件头部分置于归并文件的首部；

A3)建立归并文件内部索引，如图5所示；

A4)完成归并文件头部并保存至容量在1T～10T的硬盘，同时组织建立多级数据索引，并立即更新临时文件管理表。

容量在1T～10T的硬盘保存的归并文件结构化存储，如图6所示，采用树形结构目录的方式，该树形目录结构即为归并文件存储路径，层次是统一按照先测集(测点集合/子集)、后时域(年/月/日)，或统一按照先时域、后测集的原则嵌套设置；或建立无特征层次树形目录结构，依靠命名空间映射表来定位归并文件。

本地的命名空间映射表并是在内存中运行管理，此命名空间按照测点编号ID划分测点集合与子集，按照测点集合/子集与归并文件时间域确定归并文件存储路径，此映射还包含有测点编号ID、测点名称描述、测点时序归并文件集合路径的交叉映射。

本地的命名空间映射表的内容，是与归并文件外部索引的主体内容相对应的。而文件外部索引的主要字段有：测点编号ID、测点名称、测点描述信息、归并起止时间、所属测点集/子集信息、归并文件存储路径等字段。

步骤四，当存储系统中的测点并发数量超过预期处理能力或者每秒产生数据总量超过预期处理能力时，可通过增加数据计算节点，分布式扩展数据存储。

分布式存储数据根据计算节点划分并发的测点的依据为二维度联合限制，即单个计算节点接收的并发测点数量限制与数据总流量限制同时满足。

上述单个计算节点接收的并发测点数量限制为最多50000～500000点数据并发；单个计算节点接收的数据总流量限制在每秒钟100～150兆。

步骤五，当多节点分布式存储数据时，通过订阅/分发模式进行调度；不同的计算节点间也通过订阅/分发模式同步文件外部索引数据，并建立系统级外部索引。

所有外部索引将作为一份或者若干份完整的系统级外部索引，系统级外部索引是依靠各个分布式存储计算节点之间的外部索引地址通过同步方式，备份到一个计算节点或者若干个计算节点来实现。

综上所示，上述实时数据库的分布式的存储方法中的单个计算节点支持50000～500000级别的点数据并发，分布式存储方案支持庞大规模数据并发，分布式方案计算节点与测点的划分，是按照饱和并发测点数量结合饱和数据总流量的标准来划分测点集合，通过订阅/分发模式进行并发数据调度的方式，具备针对超高并发的高频发生的海量数据的高速处理能力。

另外，上述实时数据库的分布式的存储方法仅记录变化值，近期数据临时存储于固态硬盘，并持续同步追加存储到容量在1T～10T的硬盘中实现长期存储，同时结合数据查询运行在容量在1T～10T的硬盘的分治方法，获得数据同时存储和访问的稳定高速I/O读写性能，同时大大降低I/O读写操作的相互干扰。

另外，上述实时数据库的分布式的存储方法经过一次有损压缩与一次无损压缩的长期存储数据，获得时间更长的持续的存储性能。

另外，上述实时数据库的分布式的存储方法按照多级索引方式建立数据索引，其中文件外部索引保存在关系数据库中，文件内部索引为文件内部链表式索引，同时文件外部索引可跨计算节点，通过这样的方法可以获得海量存储数据快速而精确索引的性能。

通过上述实时数据库的分布式的存储方法的实现，可以同时获得处理针对超高并发、高频发生的数据的实时数据库的持续存储与访问；可同时进行数据存储和历史数据访问且降低相互干扰；提高历史数据的存储空间效率；提高实时数据库对历史数据的存储与访问的速度；提供高效快速的检索查询的能力。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种实时数据库的分布式的存储方法，其特征在于：当写入数据时，数据分为多级存储，将数据按照死区阀值压缩的方式先写入固定大小的微内存组件中；所述微内存组件包括两组交替轮换的内存空间，每组内存空间是磁盘文件缓存在内存中的映射，该映射的目标载体为固态硬盘；

当作为磁盘文件的映射被填满时，将此内存区按照磁盘映射的方式写入固态硬盘；

当固态硬盘每隔一段时间或者存储了一定量的数据时，将固态硬盘存储的数据文件归并为若干新的数据文件，存入容量在1T~10T的硬盘，同时组织建立多级数据索引；

当存储系统中的测点并发数量超过预期处理能力或者每秒产生数据总量超过预期处理能力时，可通过增加数据计算节点，分布式扩展数据存储；

当多节点分布式存储数据时，通过订阅/分发模式进行调度；不同的计算节点间也通过订阅/分发模式同步文件外部索引数据，并建立系统级外部索引。

2.根据权利要求1所述的一种实时数据库的分布式的存储方法，其特征在于：死区阀值压缩的方式为有损压缩，

具体过程如下：

在一个固定死区范围内变化的数据波动将被忽略，直至数据的变化超出设定的死区范围，该数据变化将被记录在微内存组件中，并重新设定死区范围。

3.根据权利要求1所述的一种实时数据库的分布式的存储方法，其特征在于：内存缓存映射的文件大小设置为1K～1M。

4.根据权利要求1所述的一种实时数据库的分布式的存储方法，其特征在于：归并文件的过程中，数据需要经过无损压缩。

5.根据权利要求1所述的一种实时数据库的分布式的存储方法，其特征在于：新的数据文件的开始部分包含文件的内部索引；新的数据文件结构化存储，结构化存储的路径为文件的外部索引。

6.根据权利要求5所述的一种实时数据库的分布式的存储方法，其特征在于：内部索引为文件内部链表式索引；外部索引存储在关系数据库中。

7.根据权利要求1所述的一种实时数据库的分布式的存储方法，其特征在于：分布式存储数据根据计算节点划分并发的测点的依据为二维度联合限制，即单个计算节点接收的并发测点数量限制与数据总流量限制同时满足。

8.根据权利要求7所述的一种实时数据库的分布式的存储方法，其特征在于：单个计算节点接收的并发测点数量限制为50000~500000点数据并发；单个计算节点接收的数据总流量限制在每秒钟100~150兆。