CN107831741A - 用于电厂的新的时间序列数据读取方法 - Google Patents

Abstract

本发明公开了一种用于电厂的新的时间序列数据读取方法，包括：从DCS系统数据库或SIS系统数据库中采集实时数据，并进行压缩，得到压缩文件；将压缩文件加载到虚拟光驱，利用虚拟光驱读取压缩文件中的文本文件数据；采用牛顿迭代法和时间插值法快速读取文本文件中的数据，找到输入时间戳对应的数值。可以快速读取高压缩率的历史数据，并可以方便地对数据进行再处理。

Description

用于电厂的新的时间序列数据读取方法

技术领域

本发明属于发电厂DCS系统或SIS系统的历史数据读取技术领域，具体地涉及一种用于电厂的新的时间序列数据读取方法。

背景技术

现在的火力发电厂都有集散控制系统（Distribute Control System，DCS系统）和厂级监控信息系统（Supervisor Information System，SIS系统）。DCS系统主要负责对全厂上万个阀门、开关、泵、风机、汽轮机、锅炉、发电机等设备的相关参数进行监视和控制，SIS系统主要用于远程监视生产流程图和对生产数据进行分析，SIS系统与DCS系统的主要区别是SIS系统只能监视但不能控制现场设备。DCS系统和SIS系统分别有独立的数据库保存历史数据，SIS系统和DCS系统之前有网闸装置，数据只能从DCS系统向SIS系统单向传输。

为了对火电厂主机和辅机设备的运行工况进行优化分析和控制，需要从DCS或SIS系统采集历史数据，现有的对两种系统的历史数据采集方法都存在缺点，分别如下：

一、从DCS系统采集历史数据存在以下困难：

1、DCS系统是电厂生产控制中枢，安全级别最高，要采集DCS系统历史数据只能在DCS工程师站里的机器上进行操作。机组运行期间，一般不允许外人进入工程师站，除非开工作票且有电厂热工人员陪同。

、DCS工程师站里的机器都严禁使用U盘和移动硬盘，只能用光盘刻录的方式向外拷贝数据。对于海量历史数据采集来说，刻录光盘非常麻烦。另外，超过光盘容量的数据文件还要先切割成小的压缩文件再分别刻录，再把光盘数据拷贝到硬盘，最后再解压缩文件和合并文件。

、DCS系统每秒产生约1.5万个测量点（一次测量设备采集的点）和约8.5万个逻辑运算点（二次运算点）。由于受硬盘容量和DCS厂家历史站点数授权的限制，DCS历史站通常只保存2万个点，这些点都是热工人员凭经验或根据运行人员和专工的要求添加到历史站。不同的人对历史数据的分析需要不同，同一个人在不同时期对历史数据的分析需要也不同，因此历史数据库中的数据只能满足90%数据分析需求。还有10%的情况下，当需要分析历史数据时，发现历史站并没有保存相关的点，给数据分析工作带来不便。

、由于DCS系统每秒会产生几万个数据，用关系数据库保存这些数据将会消耗大量的硬盘空间。因此DCS历史站采用实时数据库保存数据，实时数据库的最大特点是对采集的实时数据进行压缩保存。数据压缩率和硬盘消耗量是一对矛盾：压缩率低，数据还原精度高，但是硬盘消耗量大；压缩率高，硬盘消耗量小，但是数据还原精度差。实时数据库允许为每一个点设置独立的压缩类型和压缩率参数，但是这样做不仅非常耗时，还有相当的技术难度。因此，电厂热工人员通常采用折中的办法：对存入历史站的点进行少量的分组，不同的组采用相同的数据压缩类型和压缩率参数。数据分析时，有时会发现部分点的压缩率设置不合理，给数据分析工作带来困难。

、DCS历史站需要实时采集、压缩、保存大量数据，虽然大部分点可以达到秒级存储，但是偶尔会出现某些点的采样精度达不到秒级。电厂成千上万个运行参数之间存在千丝万缕的联系，某一个开关量的变化可能导致后续一系列参数的变化，后续这些参数的变化反过来又可能改变最开始发生状态变化的开关量。因此事故分析时，找出相关开关量变化的先后顺序非常关键，先后关系搞错，就会导致分析结果的因果倒置。如果首次发生状态变化的开关量只持续一秒钟甚至不到一秒钟，但是DCS系统历史站没有保存住该信号，就会给事故分析工作带来很大困难。

、受历史站硬盘容量的限制，DCS历史站能存储的数据量有限，DCS历史站会自动监视硬盘剩余空间，当硬盘剩余空间小于等于设定值时，DCS系统会自动将最早的历史数据删除，留出空间存储新的历史数据，通常DCS历史站能保存2年左右的历史数据。有些电厂在老的历史数据被历史站自动删除之前，将这些数据拷贝出来离线备份，虽然理论上这些数据可以通过一定的手段恢复到历史站中再次利用，但是这种恢复手段操作复杂，实际工程中备份历史数据的多，恢复历史数据的少。对生产设备进行全生命周期的数据分析和诊断需要存储从机组投运以来的全部数据，因此DCS历史站无法满足这种要求。

、DCS系统里的少量点名有时会发生变化，特别是逻辑运算产生的二次点，这些点的点名是DCS系统自动生成的，如果逻辑组态时不把这些点名定义成人工命名的点名，控制逻辑的导入、导出和编译会产生新的点名，老的系统自动生成的点名就成了废点。因此，DCS历史站里也可能存在废点，一般来说很容易将废点从历史站配置信息中删除，但是很难将废点对应的历史数据删除，也就是说废点仍然占据着硬盘存储空间。

、DCS系统多种多样，并不是每个DCS系统都提供历史数据采集接口，如果DCS系统不提供历史数据库接口函数，则无法用编程的方法批量采集历史数据。只能用DCS系统自带的趋势图功能导出历史数据，趋势图里一次只能配置十几个点，且要手工导出保存成文本文件。对于批量采集数据来说，这种办法效率太低。

、即使DCS系统提供历史数据采集接口，有些DCS系统提供的数据采集程序只能采集固定时间间隔的历史数据，而不能采集历史站里的样本数据。这就面临这样的困难：对于不同的数据分析需求，需要采集的历史数据时间间隔不同，因此需要多次从DCS系统采集不同时间间隔的历史数据。为了一次性满足不同数据分析需求对历史数据时间间隔的要求，可以考虑把历史数据时间间隔设置得尽量小一些。这样的话，数据采集时间就会非常长，消耗的硬盘空间也特别大，拷贝数据花费的时间也特别长。只有采集历史站里的样本数据，才能用反压缩算法计算出任意时刻的历史数据，也就是可以获得任意时间间隔的历史数据。

、即使DCS系统提供的历史数据采集接口程序支持历史样本数据采集，但是从历史站中采集样本数据所需的时间也是较长的，对于普通的离线数据分析来说，这样的数据采集程序是够用的。但是对于实时性要求较高的在线历史数据统计分析和数据可视化来说，这种方法仍然存在快速性方面的不足。

二、从SIS系统采集历史数据存在以下困难：

1、SIS系统采用的实时数据库种类很多，如PI，eDNA，EDS，iHistrian，OpenPlant等。不同的实时数据库性能相关较大，历史数据接口函数也不一样，有的不支持历史样本数据采集，因此从SIS系采集数据受SIS实时数据库性能的限制。

、DCS系统每秒产生10万个点，SIS系统通常只保存与监控画面相关的，总点数大约1.5万点。因此经常会发现SIS系统里缺少需要分析的测点。

、SIS系统与DCS系统的时间同步性通常不是很好，因此SIS系统里的数据与DCS系统里的数据或多或少存在时间偏差。对于时间精度要求较高的事故分析来说，SIS里的数据是存在一定问题的，严重的时候，会给数据分析人员造成误判断。

、DCS历史站采样数据存储时间间隔可以达到1秒。SIS系统采样数据存储时间间隔通常会超过1秒，存储的点数越多，数据存储时间间隔越长，有时会超过2秒。DCS系统都有可能漏掉秒级脉冲信号的存储，SIS系统出现这种情况的可能性更大。

、SIS系统数据不完整。电厂设备经常要进行技术升级改造，DCS系统的画面和逻辑需要做相应的修改，设备技改后的生产数据要经过一段时间才会由SIS系统维护人员采集到SIS系统中，因此SIS系统中缺少这段时间的数据。新建机组调试期间，SIS系统还未建设好，因此SIS系统也缺少DCS系统调试期间的数据。虽然很多SIS系统宣传具有历史数据修补功能，但是这个功能的工程实施难度较大，因此很少SIS实施历史数据修补功能。

、SIS系统与DCS系统的通讯可能出现故障，通讯故障期间的数据无法保存到SIS系统中，影响SIS系统数据的完整性。

、与DCS系统实时数据库一样，SIS系统实时数据库所能存储的数据的时间长度也受硬盘空间的限制。为了存储更长时间的历史数据，电厂往往过几年就要更换大的硬盘，SIS系统维护期间的生产数据就会丢失。虽然目前存在基于虚拟机的VSAN技术可以实现在线动态扩大硬盘。但是这项技术比较新，目前几乎所有SIS系统都还不具备这个功能。

、与DCS系统实时数据库一样，很难将SIS系统中的废点占据的存储空间释放出来。

发明内容

针对现有的从DCS和SIS系统历史数据采集与读取中存在的问题，本发明的目的是提出了一种用于电厂的新的时间序列数据读取方法。可以快速高效的采集历史数据，采集的数据完整性高、不易丢失，并且压缩率高，可以方便数据的读取，并且数据读取速度快。

本发明的技术方案是：

一种用于电厂的新的时间序列数据读取方法，包括以下步骤：

S01：从系统数据库中采集数据，并进行压缩，得到压缩文件；

S02：将压缩文件加载到虚拟光驱，利用虚拟光驱读取压缩文件中的文本文件数据；

S03：采用牛顿迭代法和时间插值法快速读取文本文件中的数据，找到输入时间戳对应的数值。

优选的，所述步骤S01，具体包括以下步骤：

S11：利用DCS系统或SIS系统的接口函数从DCS系统数据库或SIS系统数据库中采集历史数据；

S12：将采集的数据保存成文本文件，存储在本地硬盘的一目录A上，一个测点对应一个文件，每个文件保存第一一定时间的数据；

S13：将上一时间段的文件发送到网闸外侧的数据接收设备，传输完成后将该文件删除；

S14：将接收的数据保存在本地硬盘，一个测点对应一个文件，每个文件保存第二一定时间的数据；

S15：将文件数据通过压缩软件进行第二次压缩，得到压缩文件。

优选的，所述步骤S12之前还包括：对采集的实时数据进行第一次压缩，对于模拟量，当数据的变化量超过死区范围时，记录为一个样本点，对于数字量，当数值变化时，记录为一个样本。

优选的，所述第二一定时间大于第一一定时间。

优选的，所述步骤S12中，当保存的第一一定时间到达时，将该文件剪切到另一目录B上，将目录B中的文件利用UDP协议进行传输。

优选的，所述步骤S15包括，利用Ultraiso软件将文件数据压缩成isz格式的压缩文件。

优选的，所述步骤S02中，将读取的文本文件数据按时间序列保存成数组，数组中的每个元素转换为ASC码。

优选的，所述步骤S03包括：

S21：获取文本文件的特征数据，所述特征数据包括第一行数据对应的时间，最后一行数据对应的时间，行与行之间的间隔时间；

S22：根据输入时间戳及文本文件的大小，按比例关系，估算输入时间戳在文本文件中的位置；

S23：计算估算位置对应的时间戳与输入时间戳的差值，用牛顿迭代法向上或向下搜索，直到两者的差距小于一定倍数的时间间隔；

S24：逐行向上或向下查找，直到找到的时间戳与输入时间戳的差值小于时间间隔；

S25：利用线性插值法，计算输入时间戳对应的数值。

与现有技术相比，本发明的优点是：

1、数据采集方便，采集精度高。所有DCS系统都提供OPC实时数据采集接口，利用OPC数据接口，启用多个程序同时采集实时数据，所有点的数据采集精度都可以达到秒级。少量特殊的开关量点，可以500毫秒采集一次，甚至可以按100毫秒或更快的频率采集。

、关键数据无损压缩。利用Ultraiso软件将多个文件压缩成isz格式的虚拟光盘文件属于无损压缩，数据可以原样解压出来，或直接用虚拟光驱读取isz压缩文件里的数据。对重要测点不进行一次有损压缩，只进行二次压缩，可以保证这些数据无损保存。

、数据保存时间长。在时间维度上，存储的时间可以无限增加，只需按日、月或年等为单位增加isz压缩文件即可。

、保存点数多。在点数维度上，存储的点数可以无限增加，只需把新增点的历史数据保存成新的isz压缩文件即可。

、数据完整性高。DCS系统的可靠性是非常高的，因此数据采集程序的可靠性也非常高，只有网络故障才有可能对数据采集产生影响。但是，即使出现网络故障的情况下，数据文件只是暂时无法从网闸内侧传到网闸外侧，文件保存在网闸内侧机器的硬盘上，并不会丢失，一旦网络恢复正常，再将数据文件传输到网闸外侧，因此不会造成数据丢失。

、数据压缩率高。经过二次压缩，数据压缩率高，硬盘占用空间小。利用该方法，一万个点(约20%模拟量点，80%数字量点)存储一年的数据文件大小约为70G字节，该性能与最先进的PI实时数据库相当。

、数据读取速度快。直接读取文本文件，避免了数据库查询过程，因此数据读取速度快。

、数据移植性强。直接拷贝isz文件到别的机器上即可实现数据的移植。

、数据独立性强。不依赖DCS系统和SIS系统的实时数据库。

、数据冗余存储，安全性高。可以通过文件拷贝的方式实现数据冗余保存，增加数据的安全性。

、数据清理方便。可以方便地删除废点对应的历史数据。只要在isz压缩文件中删除指定的点，重新保存isz文件即可。

、数据读取方便。数据以文本文件形式保存，可以直接导入Excel进行分析。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明发电厂DCS或SIS系统的历史数据采集方法的流程图；

图2为本发明发电厂DCS或SIS系统的历史数据采集和提取的总的流程图；

图3为本发明时间序列数据读取方法的流程图；

图4为本发明时间序列数据的读取算法。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1、2所示，一种发电厂DCS或SIS系统的历史数据采集方法，包括以下步骤：

S01：利用DCS系统或SIS系统的接口函数从DCS系统数据库或SIS系统数据库中采集数据；接口函数可以为API接口函数或OPC接口函数，可以同时启动多个程序同时采集实时数据，所有点的数据采集精度都可以达到秒级。少量特殊的开关量点，可以500毫秒采集一次，甚至可以按100毫秒或更快的频率采集。

：对采集的实时数据进行第一次压缩，对于模拟量，当数据的变化量超过死区范围时，记录为一个样本点，对于数字量，当数值变化时，例如数值从0变成1，或从1变成0，记录为一个样本。

：将采集的数据保存成文本文件，存储在本地硬盘的一目录A上，一个测点对应一个文件，每个文件保存第一一定时间的数据，例如第一一定时间为一小时，将一小时前的数据文件剪切到另一个目录B。

：将上一时间段的文件发送到网闸外侧的数据接收设备，传输完成后将该文件删除；网闸内侧的数据通过发送模块利用UDP协议将目录B里的文件传输到网闸外侧。传输完成后将目录B里的文本文件删除，留出硬盘存储空间。网闸外侧的数据接收设备绑定一个端口，利用UDP协议接收网闸内侧发送来的数据。

：将接收的数据保存在本地硬盘，一个测点对应一个文件，每个文件保存第二一定时间的数据，例如第二一定时间为一年。

：将文件数据通过压缩软件进行第二次压缩，得到压缩文件，例如，可以利用Ultraiso软件将文件数据压缩成isz格式的压缩文件。在时间维度上，存储的时间可以无限增加，只需按日、月或年等为单位增加isz压缩文件即可。在点数维度上，存储的点数可以无限增加，只需把新增点的历史数据保存成新的isz压缩文件即可。

采集完数据后，需要对采集的数据进行读取（提取），例如，从文本数据中找到某个时间戳对应的数值。常规方法为：从上到下，逐行遍历查找”2017/2/17 6:27:00“和”2017/2/17 6:28:00“字符串，数据文件比较小的时候这样处理所需时间可忽略不计。但是，当数据文件有几十万行甚至上百万行时，若需要提取的数据位于数据文件末端时，这种方法需要循环的次数太多，效率太低。如果数据文件中的时间间隔不是固定值时，不仅要从上到下计算行数的增量，每一次循环都要判断时间戳字符串，效率会更低。

如图3所示，本发明的时间序列数据的读取方法，包括以下步骤：

S11：将采集的历史数据（时间序列数据）的压缩文件加载到虚拟光驱，利用虚拟光驱读取压缩文件中的文本文件数据；利用Ultraiso软件将isz格式的压缩文件加载到虚拟光驱，应用软件可以直接从虚拟光驱读取压缩文件中的文本文件数据。

将读取的文本文件数据按时间序列保存成数组，数组中的每个元素转换为ASC码。

：采用牛顿迭代法和时间插值法快速读取文本文件中的数据，找到输入时间戳对应的数值。例如找出"2017/2/17 6:27:20“对应的数值，需要先找到2017/2/17 6:27:00 和2017/2/17 6:28:00 对应的值，再进行线性插值计算。

如图4所示，具体包括如下：

S21：获取文本文件的特征数据，所述特征数据包括第一行数据对应的时间，最后一行数据对应的时间，行与行之间的间隔时间；(本算法只考虑时间间隔是均匀的情况，如果时间间隔不均匀，则要在此基础上再做少许改进)

S22：根据输入时间戳及文本文件的大小，按比例关系，估算输入时间戳在文本文件中的位置；

S23：计算估算位置对应的时间戳与输入时间戳的差值，用牛顿迭代法向上或向下搜索，直到两者的差距小于一定倍数的时间间隔；

S24：逐行向上或向下查找，直到找到的时间戳与输入时间戳的差值小于时间间隔；

S25：利用线性插值法，计算输入时间戳对应的数值。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种用于电厂的新的时间序列数据读取方法，其特征在于，包括以下步骤：

S01：从系统数据库中采集数据，并进行压缩，得到压缩文件；

S02：将压缩文件加载到虚拟光驱，利用虚拟光驱读取压缩文件中的文本文件数据；

S03：采用牛顿迭代法和时间插值法快速读取文本文件中的数据，找到输入时间戳对应的数值。

2.根据权利要求1所述的用于电厂的新的时间序列数据读取方法，其特征在于，所述步骤S01，具体包括以下步骤：

S11：利用DCS系统或SIS系统的接口函数从DCS系统数据库或SIS系统数据库中采集历史数据；

S12：将采集的数据保存成文本文件，存储在本地硬盘的一目录A上，一个测点对应一个文件，每个文件保存第一一定时间的数据；

S13：将上一时间段的文件发送到网闸外侧的数据接收设备，传输完成后将该文件删除；

S14：将接收的数据保存在本地硬盘，一个测点对应一个文件，每个文件保存第二一定时间的数据；

S15：将文件数据通过压缩软件进行第二次压缩，得到压缩文件。

3.根据权利要求2所述的用于电厂的新的时间序列数据读取方法，其特征在于，所述步骤S12之前还包括：对采集的实时数据进行第一次压缩，对于模拟量，当数据的变化量超过死区范围时，记录为一个样本点，对于数字量，当数值变化时，记录为一个样本。

4.根据权利要求2所述的用于电厂的新的时间序列数据读取方法，其特征在于，所述第二一定时间大于第一一定时间。

5.根据权利要求2所述的用于电厂的新的时间序列数据读取方法，其特征在于，所述步骤S12中，当保存的第一一定时间到达时，将该文件剪切到另一目录B上，将目录B中的文件利用UDP协议进行传输。

6.根据权利要求2所述的用于电厂的新的时间序列数据读取方法，其特征在于，所述步骤S15包括，利用Ultraiso软件将文件数据压缩成isz格式的压缩文件。

7.根据权利要求1所述的用于电厂的新的时间序列数据读取方法，其特征在于，所述步骤S02中，将读取的文本文件数据按时间序列保存成数组，数组中的每个元素转换为ASC码。

8.根据权利要求1所述的用于电厂的新的时间序列数据读取方法，其特征在于，所述步骤S03包括：

S21：获取文本文件的特征数据，所述特征数据包括第一行数据对应的时间，最后一行数据对应的时间，行与行之间的间隔时间；

S22：根据输入时间戳及文本文件的大小，按比例关系，估算输入时间戳在文本文件中的位置；

S23：计算估算位置对应的时间戳与输入时间戳的差值，用牛顿迭代法向上或向下搜索，直到两者的差距小于一定倍数的时间间隔；

S24：逐行向上或向下查找，直到找到的时间戳与输入时间戳的差值小于时间间隔；

S25：利用线性插值法，计算输入时间戳对应的数值。