CN103944957A - 一种工业监控系统所用的离线数据采集方法及其采集系统 - Google Patents

Abstract

本发明之一的一种工业监控系统所用的离线数据采集方法，包括：步骤1，在就地端增加数据采集模块，将短期数据以打包的形式缓存到就地端设备控制器或就地存储介质之一中；步骤2，在监控系统中增加离线数据采集模块以采集缓存在就地端设备控制器或就地存储介质中的数据；步骤3，数据存储器将采集到的缓存数据进行解析后存储到关系数据库中，以供后续的查询分析。本发明之一的一种工业监控系统所用的离线数据采集方法，为进一步完善了传统的监控系统，优化数据采集方法提供了可能，使监控系统具有良好的扩展性和数据完整性，为风力发电机组的状态查看及故障分析，提供最完整最原始的数据依据。

Description

一种工业监控系统所用的离线数据采集方法及其采集系统

技术领域

本发明涉及工业监控系统的数据采集技术领域，尤其涉及一种至少可应用于风力发电机组运行的数据采集的方法及其采集系统。

背景技术

人类社会不断发展、科学技术不断更新、资源消耗不断增加。传统的能源来源途径已不能满足人们对能量需求，开拓新能源已经迫在眉睫。

风力发电等新型能源技术便是在这种背景下产生的。由于风能资源具有不可预见、无法存储、不稳定、涉及范围广等不可控的特点，决定了风力发电机组监控和数据采集的特殊性。数据采集需要具有集中性、实时性，采集到的数据还需要具备完整性和可用性，以便在风力发电机组出现故障后能够最直观最快速地根据数据分析出故障及产生的原因；风力发电机组监控也同样需要具有实时性，能够以最快的速度响应操作者的意图。机组监控依赖于准确的数据采集，数据采集为机组监控提供基本的支持，两者相辅相成、缺一不可。

传统的监控系统能够做到最基本的数据采集和机组状态监控，但存在以下几个问题：

①数据采集内容固化。传统的监控系统所采集的数据内容固定，扩展性不强。如后期增加其他设备，需要采集该设备相关的状态信息。而传统的监控系统则无法处理这些新添加的数据或者付出更多的人力物力来处理新增的数据。

②数据完整性不够。例如，由于风力发电场结构比较复杂，集中性不高，难以避免故障的出现。对于维护人员来说，风力发电机组等就地端设备在故障期间产生的数据尤为重要的，能够帮助维护人员快速找出故障产生原因，并采取有效的解决办法和规避措施。如图1所示为通常风电场网络拓扑结构。

在现实运营生产过程中，由于设备故障或自然因素等原因，会造成风力发电机组等就地端设备与上位监控系统通讯中断，又由于环网的特殊性，当其中一个网络节点产生故障，不会影响到其他节点与上位机的通讯；而当两个及两个以上的节点产生故障时，会影响到该两个故障节点及其中间正常的网络节点与上位监控系统的通讯。传统监控系统的数据采集通常是在上位机中实现，当网络节点产生故障时，无疑会造成大量数据的丢失，无法保证数据的完整性。

发明内容

本发明的目的是针对上述背景技术存在的缺陷，提供一种在传统监控系统的基础上进行扩展，增强原有系统的扩展性和数据完整性，使之形成一套完善的工业监控系统所用的离线数据采集方法及其采集系统。

为实现上述目的，本发明之一的一种工业监控系统所用的离线数据采集的方法，包括：

步骤1：在就地端增加数据采集模块，将短期数据以打包的形式缓存到就地端设备控制器或就地端存储介质之一中；

步骤2：在监控系统中增加离线数据采集模块以采集缓存在就地端设备控制器或就地存储介质中的数据；

步骤3：数据存储器将采集到的缓存数据进行解析后存储到关系数据库中，以供后续的查询分析。

进一步地，在步骤1中，短期数据为分包后的连续数据，经算法压缩后，循环存储在就地端设备控制器或就地存储介质中。

进一步地，在步骤2中，监控系统采集离线数据使用的文件传输协议至少包括FTP。

进一步地，在步骤2中，离线数据将以目录形式集中存储。

进一步地，在步骤2中，离线数据采集模块以轮询的方式，对每一台就地端设备与离线数据采集模块的通讯连接状况进行检测后，视检测结果进行新生成的缓存数据下载。

进一步地，在步骤2中，离线数据采集模块对每一就地端设备进行通讯状况进行检测后，首先读取存储在就地端设备或者就地存储介质中文件的结构，然后检测是否生成新的数据文件再进行相应的缓存数据的下载。

进一步地，离线数据采集模块至少就地端设备名称、时间信息建立目录，将下载的数据存放到采集系统对应的目录下。

进一步地，在步骤3中，数据存储器有序地对每台就地端设备的通讯状态状况；对通讯状态是否由连接与断开情况；连接时间与断开时间的先后顺序；补录是否成功进行逐一判断后视情况补录后进入下一就地端设备数据的补录。

进一步地，如通讯状态有变化，则进入通讯状态是否从连接变为断开则做断开时间与连接时间的记录；如状态无变化，则进入下一台就地端设备的离线数据的补录。

进一步地，如连接时间晚于断开时间，则进入数据补录，补录的数据包括补录失败时间段的数据和本次需补录的数据中的至少一个；如连接时间早于断开时间，则进入下一就地端设备数据的补录。

进一步地，补录完成后，对补录成功进行判断，如未补录成功，则记录补录失败时间段，进入下一就地端设备数据的补录。

进一步地，通讯中断期间所缓存的数据从文件数据库补录到关系数据库中，数据补录通过数据存储器的数据补录器执行。

进一步地，在步骤3中，对于补录成功与否的结果要进一步判断，如不成功，记录补录失败记录时间段后返回对下一就地端设备继续执行从头步骤3。

进一步地，在步骤3中，数据解析是将打包或压缩后的二进制数据解析为常规数据。

本发明之二的一种工业监控系统所用的离线数据采集系统，包括一采集器、一内存数据库、一关系数据库及一数据存储器，该数据存储器包括数据记录\故障记录器，该离线数据采集系统进一步包括若干前置缓存采集器、一文件下载器、一文件数据库，数据存储器进一步包括一数据补录器；前置缓存采集器用于将就地端设备产生的数据实时记录下来，并保存到就地端设备控制器或就地存储介质之一中；文件下载器用于下载缓存在就地端设备控制器或就地存储介质的数据文件；文件数据库用于存放和管理从就地端设备控制器或就地存储介质下载的数据文件；数据补录器用于将数据从数据文件中解析出来并补录到关系数据库中。

进一步地，前置缓存采集器设置在就地端设备中。

进一步地，就地端设备至少为风力发电机组，前置缓存采集器设置在就地端设备的控制器中。

进一步地，前置缓存采集器不断采集风力发电机组运行时产生的数据，并转换为二进制文件形式存储在就地端设备控制器本地。

进一步地，文件下载器至少使用如FTP一种类型的文件传输协议进行文件传输。

进一步地，文件数据库采用宿主计算机操作系统提供的带目录结构的文件形式保存。

综上所述，本发明一种工业监控系统所用的离线数据采集方法及其采集系统，进一步完善了传统的监控系统，优化了数据采集方法，使监控系统具有良好的扩展性和数据完整性，为风力发电机组的状态查看及故障分析，提供最完整最原始的数据依据。

附图说明

图1为一种传统工业采集系统的网络结构示意图，该示意图具体为风电场网络结构示意图。

图2为本发明一种工业监控系统所用的离线数据采集的方法的离线数据采集系统框架示意图。

图3为本发明一种工业监控系统所用的离线数据采集的方法的系统流程示意图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所达成目的及效果，以下兹例举实施例并配合附图详予说明。

请参阅图1、图2及图3，本发明一种工业监控系统所用的离线数据采集的方法，包括：

步骤1：在就地端增加数据采集模块，将短期数据以打包的形式缓存到就地端设备控制器或就地端存储介质之一中；

步骤2：在监控系统中增加离线数据采集模块以采集缓存在就地端设备控制器或就地存储介质中的数据；

步骤3：数据存储器将采集到的缓存数据进行解析后存储到关系数据库中，以供后续的查询分析。

进一步地，在步骤1中，短期数据为分包后的连续数据，经算法压缩后，循环存储在就地端设备控制器或就地存储介质中。短期数据为本时间点以前7天至15天的数据。

进一步地，在步骤2中，监控系统收集离线数据（即短期数据）使用的文件传输协议至少包括FTP，数据文件将以目录形式集中存储。

进一步地，在步骤2中，离线数据采集模块以轮询的方式，对每一就地端设备与离线数据采集模块的通讯状况进行检测，后视检测结果进行新生成的缓存数据下载。

进一步地，在步骤2中，离线数据采集模块对每一就地端设备进行通讯状况进行检测后，首先读取存储在就地端设备或者就地存储介质中文件的结构，然后检测是否生成新的缓存数据文件再进行相应缓存数据文件的下载。

进一步地，在步骤2中，离线数据采集模块至少以就地端设备的名称、时间信息建立目录，将下载的数据存放到采集系统对应的目录下。

进一步地，在步骤3中，数据解析是将打包或压缩后的二进制数据解析为常规数据。

进一步地，在步骤3中，数据存储器有序地对每台就地端设备的通讯状态状况；对通讯状态是否由连接与断开情况；连接时间与断开时间的先后顺序；补录是否成功进行逐一判断后视情况补录或进入下一就地端设备数据的补录。

如通讯状态有变化，则进入通讯状态是否从连接变为断开则做断开时间与连接时间的记录；如状态无变化，则进入下一台就地端设备的离线数据的补录。

如连接时间晚于断开时间，则进入数据补录，补录的数据包括补录失败时间段的数据和本次需补录的数据中的至少一个；如连接时间早于断开时间，则进入下一就地端设备数据的补录。

进一步地，补录完成后，对补录成功进行判断，如未补录成功，则记录补录失败时间段，进入下一就地端设备数据的补录。

通讯中断期间所缓存的数据从文件数据库补录到关系数据库中，数据补录通过数据存储器的数据补录器执行。

进一步地，在步骤3中，对于补录成功与否的结果要进一步判断，如不成功，记录补录失败记录时间段后返回对下一就地端设备继续执行步骤3。

请续参阅图2，本发明一种工业监控系统所用的离线数据采集系统，至少可应用于风力发电机组的监控领域，包括一采集器、一内存数据库、一关系数据库及一数据存储器，该数据存储器包括数据记录\故障记录器。

所述离线数据采集系统进一步至少包括：若干前置缓存采集器、一文件下载器、一文件数据库，数据存储器进一步包括一数据补录器。

前置缓存采集器设置在就地端设备中，用于将风力发电机组产生的数据实时记录下来，并保存到就地端设备控制器或就地存储介质其中之一。

文件下载器用于下载缓存在就地端设备控制器或就地存储介质其中之一的数据文件。

文件数据库用于存放和管理从就地端设备控制器或就地存储介质其中之一下载的数据文件。

数据补录器用于将数据从数据文件中解析出来并补录到关系数据库中。

关系数据库用于持久化存放和管理就地端设备运行时产生的数据。

就地端设备至少为风力发电机组，前置缓存采集器设置在就地端控制器中。在具体实施中可以为风力发电机组PLC中。

请参阅图2所示的实施例，前置缓存采集器在就地端设备控制器端将风力发电机组的实时数据缓存到就地端设备控制器的存储介质中。

数据文件包含当前的报警信息，将使用二进制方式，以节约存储空间，延长缓存的时间长度。

文件下载器至少使用如FTP一种类型的文件传输协议进行文件传输，并将缓存在就地端环网内若干就地端设备控制器（如：风力发电机组PLC）的数据文件下载到文件数据库。在其他实施例中也可缓存到就地存储介质中。

文件数据库采用宿主计算机操作系统提供的带目录结构的文件形式保存，如普通磁盘，并以风力发电机组的名称、时间等信息建立一目录，将下载的数据文件存放到对应的目录下，方便检索读取。

数据补录器可以将下载的二进制数据文件解析为常规数值，并补录到关系数据库中缺失的运行数据，可避免数据的丢失或重复。

关系数据库可以存储由在线数据采集系统或离线数据采集系统采集到的数据。

请续参阅图2及图3，离线数据采集系统各部分将按以下步骤协同进行工作：

前置缓存采集器不断采集就地端设备运行时产生的数据，并转换为二进制文件形式存储在就地端设备控制器本地；

文件下载器会以轮询的方式，对每一就地端设备的通讯连接状况进行检测，当通讯正常时，再以FTP方式读取就地端设备控制器的存储设备中是否有新生成的数据文件，如果有则将文件下载到文件数据库的指定位置，否则跳过该就地端设备进行下一就地端设备的扫描；

数据存储器发挥两个作用：一是将实时数据在线采集记录到关系数据库中（此处不作叙述），二是将离线数据补录到关系数据库中。数据存储器会不断监视与各台风力发电机组的网络连接状况，当有就地端网络出现断开，记录下断开时间点；

当就地端设备网络连接恢复时，记录下连接时间点，并根据网络断开与恢复时间从文件数据库抽取相应时间段的数据开始补录，记录补录结果，补录失败则将在下次继续执行补录。

需要特别指出的是：离线数据采集方法中增加在就地端的数据采集模块与采集系统的前置缓存采集器虽然表述有差异，但两者的功能、用途、所达成目的及效果实质上是一致的；同样，离线数据采集方法中的离线数据采集模块等效于采集系统中的文件下载器与文件数据库。

综上所述，本发明一种工业监控系统所用的离线数据采集方法及其采集系统，进一步完善了传统的监控系统，优化了数据采集方法，使监控系统具有良好的扩展性和数据完整性，为风力发电机组的状态查看及故障分析，提供最完整最原始的数据依据。

以上所述的技术方案仅为本发明一种工业监控系统所用的离线数据采集方法及其采集系统的较佳实施例，任何在本发明一种工业监控系统所用的离线数据采集方法及其采集系统基础上所作的等效变换或替换都包含在本专利的权利要求的范围之内。

Claims (20)

1.一种工业监控系统所用的离线数据采集方法，包括：

步骤1：在就地端增加数据采集模块，将短期数据以打包的形式缓存到就地端设备控制器或就地端存储介质之一中；

步骤2：在监控系统中增加离线数据采集模块以采集缓存在就地端设备控制器或就地存储介质中的数据；

步骤3：数据存储器将采集到的缓存数据进行解析后存储到关系数据库中，以供后续的查询分析。

2.根据权利要求1所述的一种工业监控系统所用的离线数据采集方法，其特征在于：在步骤1中，短期数据为分包后的连续数据，经算法压缩后，循环存储在就地端设备控制器或就地存储介质中。

3.根据权利要求2所述的一种工业监控系统所用的离线数据采集方法，其特征在于：在步骤2中，监控系统采集离线数据使用的文件传输协议至少包括FTP。

4.根据权利要求3所述的一种工业监控系统所用的离线数据采集方法，其特征在于：在步骤2中，离线数据将以目录形式集中存储。

5.根据权利要求4所述的一种工业监控系统所用的离线数据采集方法，其特征在于：在步骤2中，离线数据采集模块以轮询的方式，对每一台就地端设备与离线数据采集模块的通讯连接状况进行检测后，视检测结果进行新生成的缓存数据下载。

6.根据权利要求5所述的一种工业监控系统所用的离线数据采集方法，其特征在于：在步骤2中，离线数据采集模块对每一就地端设备进行通讯状况进行检测后，首先读取存储在就地端设备或者就地存储介质中文件的结构，然后检测是否生成新的数据文件再进行相应的缓存数据的下载。

7.根据权利要求6所述的一种工业监控系统所用的离线数据采集方法，其特征在于：离线数据采集模块至少就地端设备名称、时间信息建立目录，将下载的数据存放到采集系统对应的目录下。

8.根据权利要求7所述的一种工业监控系统所用的离线数据采集方法，其特征在于：在步骤3中，数据存储器有序地对每台就地端设备的通讯状态状况；对通讯状态是否由连接与断开情况；连接时间与断开时间的先后顺序；补录是否成功进行逐一判断后视情况补录后进入下一就地端设备数据的补录。

9.根据权利要求8所述的一种工业监控系统所用的离线数据采集方法，其特征在于：如通讯状态有变化，则进入通讯状态是否从连接变为断开则做断开时间与连接时间的记录；如状态无变化，则进入下一台就地端设备的离线数据的补录。

10.根据权利要求9所述的一种工业监控系统所用的离线数据采集方法，其特征在于：如连接时间晚于断开时间，则进入数据补录，补录的数据包括补录失败时间段的数据和本次需补录的数据中的至少一个；如连接时间早于断开时间，则进入下一就地端设备数据的补录。

11.根据权利要求10所述的一种工业监控系统所用的离线数据采集方法，其特征在于：补录完成后，对补录成功进行判断，如未补录成功，则记录补录失败时间段，进入下一就地端设备数据的补录。

12.根据权利要求8至11任一项所述的一种工业监控系统所用的离线数据采集方法，其特征在于：通讯中断期间所缓存的数据从文件数据库补录到关系数据库中，数据补录通过数据存储器的数据补录器执行。

13.根据权利要求11所述的一种工业监控系统所用的离线数据采集方法，其特征在于：在步骤3中，对于补录成功与否的结果要进一步判断，如不成功，记录补录失败记录时间段后返回对下一就地端设备继续执行从头步骤3。

14.根据权利要求8至11任一项所述的一种工业监控系统所用的离线数据采集方法，其特征在于：在步骤3中，数据解析是将打包或压缩后的二进制数据解析为常规数据。

15.一种工业监控系统所用的离线数据采集系统，包括一采集器、一内存数据库、一关系数据库及一数据存储器，该数据存储器包括数据记录\故障记录器，其特征在于：若干前置缓存采集器、一文件下载器、一文件数据库，数据存储器进一步包括一数据补录器；

前置缓存采集器用于将就地端设备产生的数据实时记录下来，并保存到就地端设备控制器或就地存储介质之一中；

文件下载器用于下载缓存在就地端设备控制器或就地存储介质的数据文件；

文件数据库用于存放和管理从就地端设备控制器或就地存储介质下载的数据文件；

数据补录器用于将数据从数据文件中解析出来并补录到关系数据库中。

16.根据权利要求15所述的一种工业监控系统所用的离线数据采集系统，其特征在于：前置缓存采集器设置在就地端设备中。

17.根据权利要求16所述的一种工业监控系统所用的离线数据采集系统，其特征在于：就地端设备至少为风力发电机组，前置缓存采集器设置在就地端设备的控制器中。

18.根据权利要求17所述的一种工业监控系统所用的离线数据采集系统，其特征在于：前置缓存采集器不断采集风力发电机组运行时产生的数据，并转换为二进制文件形式存储在就地端设备控制器本地。

19.根据权利要求15所述的一种工业监控系统所用的离线数据采集系统，其特征在于：文件下载器至少FTP一种类型的文件传输协议进行文件传输。

20.根据权利要求16至19任一项所述的一种工业监控系统所用的离线数据采集系统，其特征在于：文件数据库采用宿主计算机操作系统提供的带目录结构的文件形式保存。