CN102779138A

CN102779138A - 实时数据的硬盘存取方法

Info

Publication number: CN102779138A
Application number: CN2011101247794A
Authority: CN
Inventors: 杨威
Original assignee: Shanghai Zhenghua Heavy Industries Co Ltd
Current assignee: Shanghai Zhenghua Heavy Industries Co Ltd
Priority date: 2011-05-13
Filing date: 2011-05-13
Publication date: 2012-11-14
Anticipated expiration: 2031-05-13
Also published as: CN102779138B

Abstract

本发明涉及提出一种实时数据的硬盘存取方法，以提高硬盘的存储效率，该方法包括以下步骤：根据内存中的映射表文件同步硬盘中的映射表文件，该映射表文件记载实时数据的数据源与一唯一ID的映射关系；根据内存中的点数据库同步硬盘中的点数据库，该点数据库每一数据源的ID、属性信息；以及将内存中的数据存档为一个或多个历史数据库文件，在该历史数据库文件中，历史数据以数据源为头按倒排模式顺序组织。

Description

实时数据的硬盘存取方法

技术领域

本发明涉及工业实时数据库，尤其是涉及实时数据的硬盘存取方法。

背景技术

实时数据库(Real Time Data Base，RTDB)用于采集装置的运行数据，掌握装置的运行状况，并对生产过程的关键数据进行监控和分析，对出现的问题进行及时处理，对历史数据进行科学分析，使生产运行状态平稳，物料供应平衡，减少单耗，提高经济效益，降低成本。

目前少数美国公司垄断着工业实时数据库领域。他们的产品价格昂贵，通常只针对大型巨型企业，中等规模企业所需要的实时数据库产品报价可能要上百万人民币，高额的配置成本成为了过程控制自动化与信息化的一道门槛，制约了国内中小型企业的发展。

图1示出工业实时数据库的数据处理流程。参照图1所示，来自数据源10的数据首先在压缩过滤器20进行过滤，然后送入缓存结构30，当存档时机到来时，数据将存入到历史数据库40中，持久地保持。其中缓存结构30是使用计算机的内存实现，而历史数据库40通常以计算机的硬盘实现。

在数据的硬盘持久化方面，传统的实时数据库系统多采用以下几种方式：

1.使用商用传统关系数据库，就是将数据整理压缩后，存入关系数据库中，持久化解决方案由商用数据库提供。这种方式的优点是开发难度降低，开发周期短，商用关系数据库技术成熟稳定。但是存在以下明显缺点：关系数据库的数据压缩率低，不能满足工业实时数据海量的存储要求；关系数据库的吞吐能力远远低于实时数据产生的速率；在大规模数据情况下数据检索效率低；数据库存在拓展困难。

2.基于时间序列构建红黑树文件结构，将实时数据按位存储到文件中。像PI等大型实时数据库多采用类似的存储结构。这种结构的好处是可以大量节约磁盘空间，同时可以较为迅速的定位某一时间段的所有数据。此方法的缺点是按位存储需要大量的计算干预，数据读取的效率也受影响。而且由于存储结构的复杂，系统的拓展性受到了限制。

发明内容

本发明的目的是提供一种实时数据的硬盘存取方法，以克服现有技术存在的问题。

本发明为解决上述技术问题而采用的技术方案是提出一种实时数据的硬盘存取方法，包括以下步骤：根据内存中的映射表文件同步硬盘中的映射表文件，该映射表文件记载实时数据的数据源与一唯一ID的映射关系；根据内存中的点数据库同步硬盘中的点数据库，该点数据库每一数据源的ID、属性信息；以及将内存中的数据存档为一个或多个历史数据库文件，在该历史数据库文件中，历史数据以数据源为头按倒排模式顺序组织。

在本发明的一实施例中，将内存中的数据存档为一个或多个历史数据库文件之后还包括：为历史数据库文件建立快查表文件，该快查表文件记录每一数据源的ID与数据源在历史数据库文件中的数据存储位置的对应关系；其中一个或多个历史数据库文件与对应的一个或多个快查表文件组成子历史数据库。

在本发明的一实施例中，将内存中的数据存档为一个或多个历史数据库文件之后还包括：按时间顺序归并多个历史数据库文件为一个历史数据库文件。

在本发明的一实施例中，将内存中的数据存档为一个或多个历史数据库文件之后还包括：按时间顺序合并多个历史数据库文件为一个历史数据库文件；以及按时间顺序合并所述多个历史数据库文件对应的多个快查表文件为一个快查表文件。

在本发明的一实施例中，按时间顺序归并多个历史数据库文件为一个历史数据库文件之后还包括：为历史数据库文件建立时间索引文件，该时间索引文件按时间顺序组织多个历史数据库文件。

在本发明的一实施例中，还包括接收一检索需求，执行以下步骤：对检索需求进行分析，确定检索的时间区间；根据数据源的名称查找映射表，获得数据源ID；根据时间区间查找时间索引文件，以确定子历史数据库位置；根据数据源ID、子数据库位置，结合快查表文件，在所确定的子历史数据库中进行检索；以及获得检索结果。

在本发明的一实施例中，上述方法还包括：根据存档的一个或多个历史数据库文件，建立并更新数据库统计信息表。

在本发明的一实施例中，上述方法还包括：根据用户的修改操作，建立并更新点数据库修改日志。

传统历史数据库的数据文件被写入专用结构中，写入时进行了各种优化，结构复杂，必须通过特定接口才能访问。且数据库文件一旦形成，就不容易被整合管理和数据重用。而本发明的实时数据的硬盘存取方法产生的历史数据库，由于采用倒排模式，数据组织结构简单且与内存数据存储结构匹配，提高了存储效率的同时提供了较高的可操作性。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1示出工业实时数据库的数据处理流程。

图2A-2C示出本发明一实施例的硬盘存取方法流程图。

图3示出根据本发明一实施例的硬盘存储结构。

图4示出本发明一实施例的映射文件。

图5示出本发明一实施例的点数据库。

图6示出本发明一实施例的点数据库修改日记。

图7示出本发明一实施例的时间索引文件。

图8示出本发明一实施例的历史数据库文件。

具体实施方式

概要地说，本发明采用以时间分片为基础的倒排表存储结构。倒排表结构方便针对特定数据源的历史数据检索。同时倒排表结构中各数据源的数据相互独立且基于统一的时间片划分，这样的结构使系统具有良好的拓展性，无论添加新的数据源还是增加系统吞吐量，都可以轻易实现。此外，当内存存储结构采用同样的设计时，在持久化时不需要额外的计算力。

图3示出根据本发明一实施例的硬盘存储结构。参见图3所示，历史数据在硬盘上的存储结构包括全局相关文件100以及一个或多个历史数据库文件201-203。全局相关文件100进一步包括：映射表文件101、点数据库102、数据库统计信息103、点数据库修改日志104、时间索引文件105。

历史数据库文件201-203可基于时间序列组成子数据库。例如，图3示出历史数据库文件201和历史数据库文件202组成子数据库210，而历史数据库文件203组成子数据库220。在各历史数据库文件201-203中，历史数据以数据源为头按倒排模式顺序组织。所有历史数据库文件201-203共享重要的系统配置文件，例如各种全局相关文件100。在各子数据库210、220中，倒排顺序均按数据源的ID进行排列。数据值按原精度存储，同时存储时间戳偏移量。每个数据项的大小固定(与数据值的类型和数据库文件的最大时间跨度与系统刷新率相关)，便于检索。另外，历史数据库文件可进行合并以组成更大的文件。例如历史数据库文件201、202经过合并组成历史数据库文件204。这可避免硬盘存储过于碎片化。

图4示出本发明一实施例的映射表文件101。映射表文件记载数据源与唯一ID对映射关系。在图4中，行号为系统内ID，行内容为TagID(名称)。该映射文件根据内存中的映射文件实时更新，是系统恢复的保证，因此保存备份到硬盘中。

图5示出本发明一实施例的点数据库102。点数据库记载数据源的相关属性。在图5中，行号为系统内ID，行内容为点数据库存储的相关属性。该点数据库与内存中的数据库实施更新，是系统恢复的保证，因此保存备份到硬盘中。

点数据库统计信息表103是用于记录当前数据库规模、点数、数据量等信息。

图6示出本发明一实施例的点数据库修改日志104。该点数据库修改日记104的行号为系统ID，行内容为该点修改日志。在一实施例中，修改日志可包括修改时间戳，修改属性，原值，现值，修改用户等。并且，该修改日志随着用户修改操作的进行实时同步更新。

图7示出本发明一实施例的时间索引文件105。该时间索引文件是以时间序列为序，组织多个历史数据库文件或文件夹。结构的第一行为当前活动的数据库文件/文件夹，此后每一行为一段时间的历史数据库所存的文件/文件夹地址。在多个历史数据库文件归并后，更新该时间索引文件105。

在一较佳实施例中，为了提高文件访问的效率，为每个历史数据库文件配置快查表文件。快查表文件在数据库库持久化时建立。例如，历史数据库文件201具有对应的快查表文件211，历史数据库文件202具有对应的快查表文件212，历史数据库文件203具有对应的快查表文件221。这样，两个历史数据库文件201、历史数据库文件202与快查表文件211、快查表文件212组成一个子历史数据库；历史数据库文件203与快查表文件221组成一个子历史数据库。也就是说，子历史数据库是一个或多个历史数据库文件与对应的一个或多个快查表文件的组合。

快查表文件记录每一数据源的ID与数据存储位置的对应关系。快查表文件的结构为：行号代表数据源ID，每行存储一个UINT类型数值，该数值存储着数据库文件中，该ID数据源的数据存储位置。例如，数据存储位置记录该数据源的起始位置到文件头的偏移量。由于UINT能检索的范围有限，因此单个数据库文件的大小受到UINT表达能力的限制。对于每个数据源，在子历史数据库中存储检索必要的信息，其中包括该数据源每个数据项的大小，该数据源在这个子历史数据库中存储数据的多少等(这些信息记录在子历史数据库文件每个数据源的存储区的开头)。检索时根据历史数据库总配置文件中记录的时间-子历史数据库映射找到目标子历史数据库文件位置，再根据该子历史数据库对应的快查表文件，找到目标数据源(通过该数据源的ID)记录在子历史数据库中的位置。检索接口返回目标数据源一段时间区间内录入历史数据库内的所有数据，并进行解压操作。

可以理解，当历史数据库文件进行合并时，对应的快查表文件进行相应的合并操作。例如，当历史数据库文件201、202合并为历史数据库文件203时，对应的快查表文件211、212合并成历史数据库文件213。

图8示出本发明一实施例的历史数据库文件200。参照图8所示，该历史数据库文件200的结构为：以行号对应系统ID，每行为一个点的数据，对于没有产生数据的点，以“空”标志；对于有数据的点，对头记录数据类型、数据规模等查询直接相关数据，对于同一个数据源产生数据量大的时候，后期可每64k(一个硬盘读写单位)添加一个事件索引。

图2A-2C示出本发明一实施例的硬盘存取方法流程图。下面首先结合图2A描述本发明的硬盘写入方法流程。

在步骤S1和S2，系统会根据在内存中建立的映射表文件和点数据库来同步硬盘存储结构中的映射表文件101和点数据库102。如前所述，映射表文件记载数据源与唯一ID对映射关系。点数据库102记录数据源的相关属性。

在内存中设有一数据存储区域，该数据存储区域以数据队列储存每一数据源的一个或多个数据项。

在步骤S3，当内存满足特定的触发条件时，将缓存的数据归档到硬盘中，形成一个或多个历史数据库文件200。与内存的结构一致的是，在历史数据库文件中，历史数据以数据源为头按倒排模式顺序组织。每一历史数据库文件代表一时间片。

在步骤S4，多个历史数据库文件会按照时间关系进行合并，组成较大的时间段。

在步骤S5，系统会为各历史数据库文件建立快查表文件，以提高历史数据库文件内部的文件访问效率。历史数据库文件与对应的快查表文件被视为一个子历史数据库。

在步骤S6，在完成归并后，为各个子历史数据库建立时间索引文件105，以便能够根据时间定位到各历史子数据库及其中的历史数据库文件。

由此，建立了一个基本的硬盘存储结构。此外，当硬盘存储结构建立后，或者在数据持久化过程中，会逐步建立数据库统计信息表103、以及点数据库修改日志104。

下面结合图2B描述本发明的硬盘检索方法流程。

在步骤S11，接收检索需求。

例如使用者输入数据源名称、检索起始时间、检索终止时间等参数，启动检索。

在步骤S12，对检索需求进行分析，确定检索的时间区间。

在步骤S13，根据数据源的名称查找映射表101，获得数据源ID。

在步骤S14，根据时间区间查找时间索引105，以确定子历史数据库的位置，例如数据库文件路径列表。在此，由于映射表与时间索引文件都是常驻于内存的，因此查询检索时可使用内存数据，而不必到硬盘中读取。

在步骤S15，根据数据源ID、子数据库位置，结合快查表文件，在所定位的子历史数据库中进行检索。

在步骤S16，获得检索结果，即历史数据库文件中的数据。

图2C示出在检索过程中，利用快查表文件进行检索的较佳实施例。请参照图2C所示，要从数据库文件中检索ID为N的数据源的历史数据，可先在步骤S51，在快查表文件(N*文件指针大小)的位置找到该文件指针，然后在步骤S52在通过该指针，访问数据库文件相应位置，找到记录该数据源历史数据的区域。

本系统采用的硬盘存储结构拥有以下优秀特性：

1.可管理性强。传统历史数据库的数据文件被写入专用结构中，写入时进行了各种优化，结构复杂，必须通过特定接口才能访问。且数据库文件一旦形成，就不容易被整合管理和数据重用。本发明实施例的历史数据库由于采用倒排模式，数据组织结构、存储结构简单，提高了存储效率的同时提供了较高的可操作性，例如历史数据库的合并，重用等，也更方便第三方软件使用历史数据库。

2.可并行性强。一旦性能需求超出系统吞吐能力，可将系统横向分布式化，每个服务器响应特定(不同的)数据源，并分别生成子历史数据库。但数据源都注册在同一个映射表中，每个子系统都需要访问这一映射表(同时还包括其他全局信息记录文件)。这就好像将需求划分为多个子块，每个子块独立运行，再将结果汇总。在分布式系统调度负载均衡性能值得信赖的情况下，历史数据库系统也可以进行纵向分布式化。即灵活分配子服务器的计算能力，响应的数据源按其目前吞吐量，数据源的物理位置，通信质量等多种因素决定。

3.检索效率高，可重用性强。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims

1.一种实时数据的硬盘存取方法，包括以下步骤：

根据内存中的映射表文件同步硬盘中的映射表文件，该映射表文件记载实时数据的数据源与一唯一ID的映射关系；

根据内存中的点数据库同步硬盘中的点数据库，该点数据库存储每一数据源的ID、属性信息；

将内存中的数据存档为一个或多个历史数据库文件，在该历史数据库文件中，历史数据以数据源为头按倒排模式顺序组织。

2.如权利要求1所述的方法，其特征在于，将内存中的数据存档为一个或多个历史数据库文件之后还包括：为历史数据库文件建立快查表文件，该快查表文件记录每一数据源的ID与数据源在历史数据库文件中的数据存储位置的对应关系；其中一个或多个历史数据库文件与对应的一个或多个快查表文件组成子历史数据库。

3.如权利要求1所述的方法，其特征在于，将内存中的数据存档为一个或多个历史数据库文件之后还包括：按时间顺序归并多个历史数据库文件为一个历史数据库文件。

4.如权利要求2所述的方法，其特征在于，将内存中的数据存档为一个或多个历史数据库文件之后还包括：

按时间顺序合并多个历史数据库文件为一个历史数据库文件；以及

按时间顺序合并所述多个历史数据库文件对应的多个快查表文件为一个快查表文件。

5.如权利要求3所述的方法，其特征在于，按时间顺序归并多个历史数据库文件为一个历史数据库文件之后还包括：为历史数据库文件建立时间索引文件，该时间索引文件按时间顺序记录所有历史数据库文件和其相应快查表文件的位置，以及历史数据库文件覆盖的时间区间。

6.如权利要求4所述的方法，其特征在于，按时间顺序归并多个历史数据库文件为一个历史数据库文件之后还包括：为历史数据库文件建立时间索引文件，该时间索引文件按时间顺序记录所有历史数据库文件和其相应快查表文件的位置，以及历史数据库文件覆盖的时间区间。

7.如权利要求6所述的方法，其特征在于，还包括接收一检索需求，执行以下步骤：

对检索需求进行分析，确定检索的时间区间；

根据数据源的名称查找映射表，获得数据源ID；

根据时间区间查找时间索引文件，以确定子历史数据库位置；

根据数据源ID、子数据库位置，结合快查表文件，在所确定的子历史数据库中进行检索；以及

获得检索结果。

8.如权利要求1所述的方法，其特征在于，还包括：根据存档的一个或多个历史数据库文件，建立并更新数据库统计信息表。

9.如权利要求1所述的方法，其特征在于，还包括：根据用户的修改操作，建立并更新点数据库修改日志。