CN202058147U - 分布式实时数据库管理系统 - Google Patents

Abstract

本实用新型提供了一种分布式实时数据库管理系统，包括：一个或多个数据库服务器；分布式节点管理服务器，用于提供分布式实时数据采集录入接口和分布式实时数据库通用访问接口；多个用于采集数据的数据采集装置，分布在不同地点，与所述分布式节点管理服务器相连，通过所述分布式实时数据采集录入接口将采集到的数据发送给所述数据库服务器；一个或多个客户端，与所述分布式节点管理服务器相连，用于通过所述分布式实时数据库通用访问接口检索或修改所述数据库服务器中的数据。本实用新型所提供的分布式实时数据库管理系统对于分布广泛、数据量大的数据能够采用分布式数据库的形式实现实时有效的数据管理。

Description

分布式实时数据库管理系统

技术领域

本实用新型涉及控制领域，尤其涉及一种分布式实时数据库管理系统。

背景技术

数据库管理系统(DBMS)是一个由外模式、概念模式和内模式组成的多级系统结构。实时数据库管理系统(RTDBMS)是事务和数据都具有定时限制或显式定时限制的数据库系统。“实时”意在用户可显式地施加所要求的时间限制，并能通过系统的时间识别与处理机制来处理并保证或尽可能地保证满足与各种活动相关联的时间限制。

但是，在电力、石油、交通等重点行业广域分布的大型复杂应用系统中，由于数据分布广泛，实时性不够，现在的实时数据库管理系统已经无法满足这些行业的需求。

实用新型内容

本实用新型要解决的技术问题是如何在数据量大、分布广泛的情况下，高效存储和管理数据。

为了解决上述问题，本实用新型提供了一种分布式实时数据库管理系统，包括：

一个或多个数据库服务器；

分布式节点管理服务器，用于提供分布式实时数据采集录入接口和分布式实时数据库通用访问接口；

多个用于采集数据的数据采集装置，分布在不同地点，与所述分布式节点管理服务器相连，通过所述分布式实时数据采集录入接口将采集到的数据发送给所述数据库服务器；

一个或多个客户端，与所述分布式节点管理服务器相连，用于通过所述分布式实时数据库通用访问接口检索或修改所述数据库服务器中的数据。

进一步地，所述数据库服务器包括实时数据库服务器和历史数据库服务器。

进一步地，所述实时数据库服务器包括：

多核处理器、内存；

通信接口，与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，以及所述客户端的检索操作；

调度单元，用于将所述客户端的检索操作进行任务分解，并动态分配到所述多核处理器的多个处理核中；

存储管理器，用于将从所述数据采集装置接收到的数据组织后存储在所述内存中；

所述多核处理器用于对所述内存中的索引结构进行维护，自动识别缓存块的实际大小，并以此为依据动态调整索引节点大小，将相关性高的数据组织在同一索引节点或者相邻索引节点中；将从所述内存中查询到的数据通过所述通信接口返回给所述分布式节点管理服务器。

进一步地，所述历史数据库服务器包括：

应用程序接口单元、处理单元、存储单元；

所述应用程序接口单元与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，向所述处理单元提交数据存储和所述客户端的检索任务，以及配置管理指令；

所述处理单元用于根据存储任务将所述数据采集装置发送的数据存储到所述存储单元中的数据库里，根据检索任务查询数据并通过所述应用程序接口单元返回给所述分布式节点管理服务器，以及进行并发控制。

进一步地，所述存储单元包括高速查询缓存和数据缓存。

进一步地，所述数据采集装置包括：

用于采集数据的采集单元；

用于对所采集的数据进行统一编码转换与预处理后发送给所述数据库服务器、以及进行采集状态监测的分布式实时数据采集接口；

用于进行传感器自动发现管理、无线射频识别标签信息采集管理、以及将传感器变动信息发送到所述数据库服务器的处理单元；

用于连接所述处理单元和所述采集单元、及所述分布式实时数据采集接口和所述采集单元的分布式实时数据集成总线。

进一步地，所述采集单元包括以下一种或多种：

各类传感器、无线射频识别设备、分布式控制系统设备和智能移动设备。

本实用新型所提供的分布式实时数据库管理系统也可称为分布式数据监测系统，对于分布广泛、数据量大的数据能够采用分布式数据库的形式实现实时有效的数据管理。

附图说明

图1是实施例一的分布式实时数据库管理系统的示意框图；

图2是实施例一中实时数据库服务器的示意框图；

图3是实施例一中历史数据库服务器的示意框图；

图4是实施例一中数据采集装置的示意框图。

具体实施方式

下面将结合附图及实施例对本实用新型的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本实用新型实施例及实施例中的各个特征可以相互结合，均在本实用新型的保护范围之内。

实施例一、一种分布式实时数据库管理系统，如图1所示，包括：

一个或多个数据库服务器；

分布式节点管理服务器，用于提供分布式实时数据采集录入接口和分布式实时数据库通用访问接口；所述分布式实时数据采集录入接口支持分布式海量数据的实时录入；所述分布式实时数据库通用访问接口，支持分布式实时数据的查询分析；

多个用于采集数据的数据采集装置，分布在不同地点，与所述分布式节点管理服务器相连，通过所述分布式实时数据采集录入接口将采集到的数据发送给所述数据库服务器；

一个或多个客户端，与所述分布式节点管理服务器相连，用于通过所述分布式实时数据库通用访问接口检索或修改所述数据库服务器中的数据。

所述数据采集装置对分布式环境中的数据进行采集，可以包括以下一种或多种：各类传感器、RFID(无线射频识别)设备、DCS(分布式控制系统)设备和智能移动设备等；所述数据采集装置以实时消息队列为基础，管理规范整个通讯环境，保障数据的实时可靠传输，并支持订阅发布模式的信息访问与共享。

所述数据库服务器主要负责将数据采集装置采集到的数据进行存储与处理，然后提供给客户端应用。

所述客户端主要通过访问所述数据库服务器的数据来动态的显示系统的状态，并可以动态的修改所述数据库服务器保存的数据。

物理世界在不断地变化，数据采集装置所获得的物理世界信息通常是连续变化的，为了准确的物理世界的状态变化，需要每隔一个较短的时间就记录这些状态信息。由于历史数据非常庞大，而且需要永久保存，因此在目前的硬件环境下无法实现主内存的历史数据存储管理，历史数据存储和查询的时间难以精确估算。如果实时数据服务与历史数据服务部署在同一台服务器上，实时数据服务的实时性将受到较大影响。

本实施例中，为了不影响实时数据服务的性能，可以在分布式实时数据处理环境下，将历史数据服务器部署在另外一台服务器。那么，在所述分布式数据库管理系统中，所述数据库服务器可以但不限于包括实时数据库服务器和历史数据库服务器。这两类服务器，一类是实时数据管理节点，负责实时数据存储和查询；另外一类是历史数据管理节点，负责历史数据存储和查询。任何一个数据采集装置所获得的数据的实时数据都可以存储在分布式环境中的任何一个实时数据管理节点，其历史数据也可以存储在分布式环境中任何一个历史数据管理节点。

本实施例中，所述实时数据库服务器主要对点表进行管理，以主内存方式组织管理数据，提供实时的数据存储和查询服务。所述历史数据库服务器主要对历史数据进行存储管理，支持历史数据压缩，并提供快速的历史数据查询分析服务。

本实施例中，所述实时数据库服务器如图2所示，可以包括：

多核处理器、内存；

通信接口，与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，以及所述客户端的检索操作；

调度单元，用于将所述客户端的检索操作进行任务分解，并动态分配到所述多核处理器的多个处理核中，这样可实现索引操作的并行化，充分发挥多个处理核的并行优势，提高检索性能；

存储管理器，用于将从所述数据采集装置接收到的数据组织后存储在所述内存中；

所述多核处理器用于对对所述内存中的索引结构进行维护，自动识别缓存块的实际大小，并以此为依据动态调整索引节点大小，将相关性高的数据组织在同一索引节点或者相邻索引节点中，从而可增加缓存命中率，减少访问内存的次数，同时在优化过程中能够避免增加过多的空间开销和维护开销；还用于将从所述内存中查询到的数据通过所述通信接口返回给所述分布式节点管理服务器。

本实施例中，所述历史数据库服务器如图3所示，可以包括：

应用程序接口单元、处理单元、存储单元；

所述应用程序接口单元与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，向所述处理单元提交数据存储和所述客户端的检索任务，以及配置管理指令；

所述处理单元用于根据存储任务将所述数据采集装置发送的数据存储到所述存储单元中的数据库里，根据检索任务查询数据并通过所述应用程序接口单元返回给所述分布式节点管理服务器，以及进行并发控制。

所述存储单元包括高速查询缓存和数据缓存；所述高速查询缓存按照一定的策略保存文件中需要被经常查询的数据；所述处理单元判断查询任务所要查询的数据是否命中所述高速查询缓存中保存的数据，如果命中则直接返回要查询的数据，否则，查询所述数据缓存。

由于数据更新频率很高，如果每次都将这些数据直接写入文件，一方面将导致系统对磁盘的频繁访问，降低了系统效率；另一方面，使得系统不得不等待磁盘I/O，难以满足实时性的要求。由于系统对内存的访问速度远远快于对文件的访问速度，因此必须开辟内存数据缓存来暂存数据。如果每个数据点都开辟固定大小的内存块，那么点规模较大时，消耗的内存空间很大，为了减少内存消耗，使数据缓存得到充分利用，将采用数据点共享缓冲区的方法。还可以监视数据存储部分的系统状态，定期检索那些长时间状态不变的数据点，并将其数据强制写入文件，以避免异常断电引起历史数据丢失。

历史数据库服务器在实现时采用异步存储方式，即数据存储操作只需将历史数据追加在历史数据缓冲队列的末尾就立即返回，然后再由系统的内部工作线程将历史数据缓冲队列的数据写入历史数据缓冲池，这种异步操作方式避免了文件操作和数据封锁带来的不可预测的时间延迟。

本实施例中，历史数据文件以队列形式存放，实行滚动覆盖方法，即当某个数据文件存满后，选择最早的历史数据文件作为可用的空历史数据文件。用户可以根据历史数据的规模配置历史数据文件的大小和历史数据文件队列的长度，并且可以方便的将文件进行压缩和归档。

本实施例中，所述数据采集装置如图4所示，可以包括：

用于采集数据的采集单元，可以包括以下一种或多种：各类传感器、RFID(无线射频识别)设备、DCS设备和智能移动设备等；

用于对所采集的数据进行统一编码转换与预处理后发送给所述数据库服务器、以及进行采集状态监测的分布式实时数据采集接口，与所述采集单元相连；

用于进行传感器自动发现管理、RFID标签信息采集管理、以及将传感器变动信息发送到所述数据库服务器的处理单元，与所述采集单元相连；

用于连接所述处理单元和所述采集单元、及所述分布式实时数据采集接口和所述采集单元的分布式实时数据集成总线。

本实施例可适用于典型的分布式异构数据源类型，主要包括各类实时数据源(如传统DCS、传感器系统、RFID设备等)；也包括其它数据源(关系数据源、XML数据源等)。现场设备的数据采集目前多采用混合模式，既支持符合OPC规范的标准设备接口，也支持基于各种现场总线，包括ProfiBus现场总线、Modbus总线、485总线、RS232、CAN现场总线、OPC、NetDDE和ABB MOD300、Fisher-Rosemount、Triconex TS3000等多种现场控制协议。

统一编码转换与预处理是对各异构数据源的数据采集结果，通过统一编码转换和数据计算逻辑预处理，实现企业数据对象的统一管理；包括：

数据格式转换：一般情况下，不同系统中对同一类数据的存储格式不尽相同(如日期格式)，在进行数据集成时，必须保证所有的数据格式是标准统一的。这些转换工作是在数据被抽取后，在转换层实现的。

量纲转换：不同系统中，同一类数据的量纲可能不同。因此，在数据集成时，需要以一种标准且一致的工程测量标准进行量纲的转换。

命名规范转换：在不同系统中，对于相同的数据项和数据对象，可能使用不同的命名规范进行标示。如在不同的系统中，对同一对象，其命名规则不同。因此，当从不同的系统中集成数据，按照规范进行分组，这就需要进行映射转换工作。

缺失、过期及低可信度数据的处理：在对异构系统的、数据集成、数据聚集和展现过程中，信息的质量和可信度描述非常重要。

数据采集后，还可以将来自于不同数据源的数据进行简单的合并。

数据类型标准：不同数据源中的数据使用不同的数据类型存储，为此，需要对这些不同类型的数据进行标准化，以便于进行数据集成。

在进行数据采集的过程中，对与数据源的链接状况进行监测，是十分必要的。可通过设置“看门狗”，在数据源链接出现故障时，由其向系统管理员提供日志和电子邮件，报告故障状况。通过建立管理员视图，为技术支持人员在众多的数据源和数据链接中快速定位问题，提供技术支撑。有多项技术可同时应用于对数据源链接状况的监控；包括：

“心跳线”：通过对数据源进行定期的轻量级数据请求服务，判断数据源运行监控状况。如果这个轻量级数据查询或数据请求服务有正常的数据返回，则该链接正常。相反，如果查询请求服务执行错误，或返回结果错误，则该链接有故障，系统将自动触发进行电子邮件通知。

数据源数据刷新时间监控：对于关系型数据源，可制定一个数据查询计划，分析比较数据源的系统时间。如果所查询的数据源的返回日期与刷新设定的时间比较相差太大，则说明数据源进行推数据的计划执行过程中，出现了故障，将发出自动的报告。

数据链接的统计：通过监测数据源链接的统计，判断链接健康状况。为每个链接设置链接超时设定，如果查询超时，则重新建立数据链接，重新发出数据查询请求。如果这种链接超时错误发生的次数超过了设定值，则这个链接将断开，直到手工方式重新建立链接。这样做，可避免服务器反复向数据源发送链接请求，占用服务器资源和网络资源。

当然，本实用新型还可有其他多种实施例，在不背离本实用新型精神及其实质的情况下，熟悉本领域的技术人员当可根据本实用新型作出各种相应的改变和变形，但这些相应的改变和变形都应属于本实用新型的权利要求的保护范围。

Claims (7)

1.一种分布式实时数据库管理系统，其特征在于，包括：

一个或多个数据库服务器；

分布式节点管理服务器，用于提供分布式实时数据采集录入接口和分布式实时数据库通用访问接口；

多个用于采集数据的数据采集装置，分布在不同地点，与所述分布式节点管理服务器相连，通过所述分布式实时数据采集录入接口将采集到的数据发送给所述数据库服务器；

一个或多个客户端，与所述分布式节点管理服务器相连，用于通过所述分布式实时数据库通用访问接口检索或修改所述数据库服务器中的数据。

2.如权利要求1所述的系统，其特征在于：

所述数据库服务器包括实时数据库服务器和历史数据库服务器。

3.如权利要求2所述的系统，其特征在于，所述实时数据库服务器包括：

多核处理器、内存；

通信接口，与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，以及所述客户端的检索操作；

调度单元，用于将所述客户端的检索操作进行任务分解，并动态分配到所述多核处理器的多个处理核中；

存储管理器，用于将从所述数据采集装置接收到的数据组织后存储在所述内存中；

所述多核处理器用于对所述内存中的索引结构进行维护，自动识别缓存块的实际大小，并以此为依据动态调整索引节点大小，将相关性高的数据组织在同一索引节点或者相邻索引节点中；将从所述内存中查询到的数据通过所述通信接口返回给所述分布式节点管理服务器。

4.如权利要求2所述的系统，其特征在于，所述历史数据库服务器包括：

应用程序接口单元、处理单元、存储单元；

所述应用程序接口单元与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，向所述处理单元提交数据存储和所述客户端的检索任务，以及配置管理指令；

所述处理单元用于根据存储任务将所述数据采集装置发送的数据存储到所述存储单元中的数据库里，根据检索任务查询数据并通过所述应用程序接口单元返回给所述分布式节点管理服务器，以及进行并发控制。

5.如权利要求4所述的系统，其特征在于：

所述存储单元包括高速查询缓存和数据缓存。

6.如权利要求1到5中任一项所述的系统，其特征在于，所述数据采集装置包括：

用于采集数据的采集单元；

用于对所采集的数据进行统一编码转换与预处理后发送给所述数据库服务器、以及进行采集状态监测的分布式实时数据采集接口；

用于进行传感器自动发现管理、无线射频识别标签信息采集管理、以及将传感器变动信息发送到所述数据库服务器的处理单元；

用于连接所述处理单元和所述采集单元、及所述分布式实时数据采集接口和所述采集单元的分布式实时数据集成总线。

7.如权利要求6所述的系统，其特征在于，所述采集单元包括以下一种或多种：

各类传感器、无线射频识别设备、分布式控制系统设备和智能移动设备。

Images