CN106339374A - 用于嵌入式系统中的文件型实时历史数据库算法 - Google Patents

Abstract

本发明公开了用于嵌入式系统中的文件型实时历史数据库算法，属历史数据库领域。包括数据库结构定义和数据库算法，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，经过两次的数据过滤，依然保留下来的数据，就需要写入到数据库中，数据段采用固定块大小，是在保证一定的数据存储量的同时，能够实现快速的数据定位，整段数据加载至内存中，能够对数据进行快速处理。本发明结合了嵌入式监控应用的特性，对普通的历史文件算法进行了改进，达到数据处理快速且文件尺寸较小的要求。为了防止历史文件过于碎片化，采用一个月为一个单位，进行存储。

Description

用于嵌入式系统中的文件型实时历史数据库算法

技术领域

本发明涉及历史数据库领域，具体地说，是用于嵌入式系统中的文件型实时历史数据库算法。

背景技术

文件型实时历史数据库是嵌入式监控应用程序中不可缺少的一部分。文件历史数据库就是将采集到的数据变化过程记录下来，用来分析数据的变化过程及作为数据资料进行存档。

由于主要应用于嵌入式系统中，嵌入式系统中的各种资源都是相对有限的，这就要求文件尺寸要尽可能的小。另外由于是应用于实时监控，处理数据时要尽可能的快速。以往的历史文件算法往往处理速度偏慢，且文件尺寸较大，很难长期稳定的应用于嵌入式应用的工作环境中。由于历史数据库是对数据变化过程的记录，就要求数据的时效及数据的真实性，基于这些特性，历史数据库仅提供数据插入及数据查询操作，以防止过程数据被篡改。

发明内容

本发明提供了用于嵌入式系统中的文件型实时历史数据库算法，结合了嵌入式监控应用的特性，对普通的历史文件算法进行了改进，达到数据处理快速且文件尺寸较小的要求。为了防止历史文件过于碎片化，采用一个月为一个单位，进行存储。

本发明涉及用于嵌入式系统中的文件型实时历史数据库算法，包括数据库结构定义和数据库算法，其特征在于，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，

所述数据文件格式定义如下：文字信息占20字节和n个数据段，每一个数据段占1024字节；所述文件信息结构格式定义如下：版本信息占4字节、创建时间占8字节、信息预留占8字节，所述创建时间为1970年1月1日到创建时间的毫秒数；

所述数据段结构定义如下：采集数据点标识的Id占4字节、段有效长度占2字节、段实际长度占2字节、前趋段地址占2字节、后续段地址占2字节、起始时间占4字节、截止时间占4字节、变化阈值占4字节、采样数据占n字节，其中6≤n≤16；所述段有效长度为有效数据的长度；所述段实际长度在默认情况下与与有效长度相等，但是当过程数据有修改时则不一致；所述前趋段地址表示上一个Id的采样数据点的存储段地址；所述后续段地址表示下一个Id的采集数据点的存储段地址；所述起始时间为存储段的采样数据起始时间；所述截止时间为存储段采样数据截止时间，所述起始时间与所述截止时间均是相对于文件创建时间的毫秒数来计算；如果新添加的数据变化大于所述变化阈值则记录，否则抛弃。

所述采样数据结构定义包括采样数据头和采样数据两部分，采样数据结构根据采样数据头结构定义，采样数据头结构定义如下：采样时间标签占2字节、采样数据类型及质量标签占1字节；采样数据结构定义如下：采样数据头占3字节、时间标签占4或0字节、采样值占1～8字节，所述采样时间标签为超过上一个采样数据的采样时间的毫秒数，如果没有上一个采样数据，则表示超过该数据段的起始时间的毫秒数；所述采样数据类型及质量标签包括采样数据类型标签和采样数据的质量标签，采样数据类型标签的采样值占1～4字节，采样数据的质量标签的采样值占5～8字节，所述采样数据的时间标签根据采样数据头来决定是否占字节，所述采样值根据采样数据头中的数据类型来决定采样值所占字节数。

其数据存储方法如下：(1)查询新插入数据点是否已经存在于数据库中，如果未存在则创建新的数据段，并将数据直接写入，写入过程结束；(2)如果已经存在于数据库中则进行后续判断,首先判断数据变化是否超出变化阈值，如果未超出则直接将数据丢弃，写入过程结束；(3)如果变化超出了变化阈值，则采用旋转门算法进一步对数据进行过滤，(4)经过两次的数据过滤，依然保留下来的数据，就需要写入到数据库中，数据段采用固定块大小，是在保证一定的数据存储量的同时，能够实现快速的数据定位，整段数据加载至内存中，能够对数据进行快速处理。

进一步地，所述起始时间、截止时间均采用相对于文件创建时间的毫秒数来计时，长度各为4个字节的无符号整型数据，最长能够表示4294967295毫秒，即49天，能够在存储尺寸较小的情况下保证数据文件记录一个月的时间范围。

与现有技术相比，本发明的积极效果是：

1.本发明结合了嵌入式监控应用的特性，对普通的历史文件算法进行了改进，达到数据处理快速且文件尺寸较小的要求。为了防止历史文件过于碎片化，采用一个月为一个单位，进行存储。

附图说明

图1是本发明的数据存储流程图

具体实施方式

本发明提供用于嵌入式系统中的文件型实时历史数据库算法，为使本发明的目的、技术方案及效果更佳清楚、明确，以下结合附图对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用与限定本发明。

本发明本发明涉及用于嵌入式系统中的文件型实时历史数据库算法，包括数据库结构定义和数据库算法，其特征在于，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，

所述数据文件格式定义如下：文字信息占20字节和n个数据段，每一个数据段占1024字节；所述文件信息结构格式定义如下：版本信息占4字节、创建时间占8字节、信息预留占8字节，所述创建时间为1970年1月1日到创建时间的毫秒数；

所述数据段结构定义如下：采集数据点标识的Id占4字节、段有效长度占2字节、段实际长度占2字节、前趋段地址占2字节、后续段地址占2字节、起始时间占4字节、截止时间占4字节、变化阈值占4字节、采样数据占n字节，其中6≤n≤16；所述段有效长度为有效数据的长度；所述段实际长度在默认情况下与与有效长度相等，但是当过程数据有修改时则不一致；所述前趋段地址表示上一个Id的采样数据点的存储段地址；所述后续段地址表示下一个Id的采集数据点的存储段地址；所述起始时间为存储段的采样数据起始时间；所述截止时间为存储段采样数据截止时间，所述起始时间与所述截止时间均是相对于文件创建时间的毫秒数来计算；如果新添加的数据变化大于所述变化阈值则记录，否则抛弃。

所述采样数据结构定义包括采样数据头和采样数据两部分，采样数据结构根据采样数据头结构定义，采样数据头结构定义如下：采样时间标签占2字节、采样数据类型及质量标签占1字节；采样数据结构定义如下：采样数据头占3字节、时间标签占4或0字节、采样值占1～8字节，所述采样时间标签为超过上一个采样数据的采样时间的毫秒数，如果没有上一个采样数据，则表示超过该数据段的起始时间的毫秒数；所述采样数据类型及质量标签包括采样数据类型标签和采样数据的质量标签，采样数据类型标签的采样值占1～4字节，采样数据的质量标签的采样值占5～8字节，所述采样数据的时间标签根据采样数据头来决定是否占字节，所述采样值根据采样数据头中的数据类型来决定采样值所占字节数。

如图1所示，其数据存储方法如下：

(1)查询新插入数据点是否已经存在于数据库中，如果未存在则创建新的数据段，并将数据直接写入，写入过程结束；

(2)如果已经存在于数据库中则进行后续判断,首先判断数据变化是否超出变化阈值，如果未超出则直接将数据丢弃，写入过程结束；

(3)如果变化超出了变化阈值，则采用旋转门算法进一步对数据进行过滤；

(4)经过两次的数据过滤，依然保留下来的数据，就需要写入到数据库中，数据段采用固定块大小，是在保证一定的数据存储量的同时，能够实现快速的数据定位，整段数据加载至内存中，能够对数据进行快速处理。

进一步地，所述起始时间、截止时间均采用相对于文件创建时间的毫秒数来计时，长度各为4个字节的无符号整型数据，最长能够表示4294967295毫秒，即49天，能够在存储尺寸较小的情况下保证数据文件记录一个月的时间范围。

采样数据的保存格式中采用两次判定时间戳的方法，正常情况下，2个字节即能够保证与上一次数据变化的时间间隔，但对于某些变化不大的数据，有可能会超出这个范围，如果2个字节不能正确存储时间戳时，会自动增加4个字节的无符号数据，用来表示超出部分的时间。

采样值也是保存与上一采样数据值之差，采样值的字节大小由采样数据头中的数据类型进行定义，会根据不同的数据类型进行调节，由于采样值是与上一个采用值之差，所以采用有符号的数据类型进行表示，正常情况下，1-2个字节即能保存数据的变化范围，但对于某些变化幅度特别大的数据来说，1-2个字节显然不够使用，这时会根据采样数据类型，对数据大小进行相应的扩展。

经过充分测试，文件型实时历史数据库的存储效率能够达到每秒10000次的写入，及每秒10000次的查询。1000个数据采样点每月的文件尺寸最好情况下能够在1MB左右，最差情况在10MB左右，平均在5M左右。

对于本领域技术人员而言，显然本发明不限于上述示范性的实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (2)

1.用于嵌入式系统中的文件型实时历史数据库算法，包括数据库结构定义和数据库算法，其特征在于，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，

所述数据文件格式定义如下：文字信息占20字节和n个数据段，每一个数据段占1024字节；所述文件信息结构格式定义如下：版本信息占4字节、创建时间占8字节、信息预留占8字节，所述创建时间为1970年1月1日到创建时间的毫秒数；

所述数据段结构定义如下：采集数据点标识的Id占4字节、段有效长度占2字节、段实际长度占2字节、前趋段地址占2字节、后续段地址占2字节、起始时间占4字节、截止时间占4字节、变化阈值占4字节、采样数据占n字节，其中6≤n≤16；所述段有效长度为有效数据的长度；所述段实际长度在默认情况下与与有效长度相等，但是当过程数据有修改时则不一致；所述前趋段地址表示上一个Id的采样数据点的存储段地址；所述后续段地址表示下一个Id的采集数据点的存储段地址；所述起始时间为存储段的采样数据起始时间；所述截止时间为存储段采样数据截止时间，所述起始时间与所述截止时间均是相对于文件创建时间的毫秒数来计算；如果新添加的数据变化大于所述变化阈值则记录，否则抛弃。

所述采样数据结构定义包括采样数据头和采样数据两部分，采样数据结构根据采样数据头结构定义，采样数据头结构定义如下：采样时间标签占2字节、采样数据类型及质量标签占1字节；采样数据结构定义如下：采样数据头占3字节、时间标签占4或0字节、采样值占1～8字节，所述采样时间标签为超过上一个采样数据的采样时间的毫秒数，如果没有上一个采样数据，则表示超过该数据段的起始时间的毫秒数；所述采样数据类型及质量标签包括采样数据类型标签和采样数据的质量标签，采样数据类型标签的采样值占1～4字节，采样数据的质量标签的采样值占5～8字节，所述采样数据的时间标签根据采样数据头来决定是否占字节，所述采样值根据采样数据头中的数据类型来决定采样值所占字节数。

其数据存储方法如下：(1)查询新插入数据点是否已经存在于数据库中，如果未存在则创建新的数据段，并将数据直接写入，写入过程结束；(2)如果已经存在于数据库中则进行后续判断,首先判断数据变化是否超出变化阈值，如果未超出则直接将数据丢弃，写入过程结束；(3)如果变化超出了变化阈值，则采用旋转门算法进一步对数据进行过滤，(4)经过两次的数据过滤，依然保留下来的数据，就需要写入到数据库中，数据段采用固定块大小，是在保证一定的数据存储量的同时，能够实现快速的数据定位，整段数据加载至内存中，能够对数据进行快速处理。

2.根据权利要求1所述的用于嵌入式系统中的文件型实时历史数据库算法，其特征在于，所述起始时间、截止时间均采用相对于文件创建时间的毫秒数来计时，长度各为4个字节的无符号整型数据，最长能够表示4294967295毫秒，即49天，能够在存储尺寸较小的情况下保证数据文件记录一个月的时间范围。