CN106257874A - 一种不稳定网络中大数据量远程采集方法与系统 - Google Patents

Abstract

本发明公开一种不稳定网络中大数据量远程采集方法与系统，其中所述方法包括：工业现场数据采集；不稳定网络中数据远程传输；批量数据接收、处理与存储。其中工业现场数据采集能够按照不同的业务需求进行变量配置；数据远程传输采用先进先出的队列方式，通过调用远程服务批量导入结构化数据到远程服务器；远程服务按照先进先出的原则接收结构化数据到队列，经处理后批量导入到服务器数据库，完成不稳定网络中大数据量的采集。本发明公布的方法和系统在上述各环节中皆采用多线程机制，从而能够满足不同工业现场的应用需求，尤其是在网络不稳定的环境中，能够同时满足数据的完备性和远程监控的实时性，对工业级互联网现场应用具有重要的推广价值。

Description

一种不稳定网络中大数据量远程采集方法与系统

技术领域

本发明涉及网络远程通信领域，具体来说涉及一种不稳定网络中大数据量远程采集方法与系统。

背景技术

随着工业生产过程的复杂化和规模化，工业现场设备成倍地增长，设备精密度不断提高，现场设备产生的数据量也持续增加，对工业现场的监控和管理提出了更高的要求；而且由于网络环境复杂，经常出现时快时慢、时通时断的不稳定状态，给远程数据的采集带来很大的困难。

大型工业现场中众多设备的运行状况对提高生产效率，保障安全程度起着至关重要的作用，但是由于工业现场环境往往十分复杂，数据点位众多且分布不均，每周期内各数据点采集的原始数据量较大，对海量数据分析处理的过程将会十分复杂且耗时，严重影响工业现场远程监控管理的实时性；而且要想实现工业现场设备状态数据的远程采集，海量的原始数据需要经过复杂的网络环境到达远程服务器数据库，由于远程传输中的网络环境十分不稳定，呈现时快时慢、时通时断的状态，甚至会出现掉线、延迟等异常情况，对数据采集系统的稳定性和实时性产生很大的影响；而且由于网络的不稳定，数据在传输过程中难免会出现丢失或时序错乱等现象，使得采集到的数据不能保证其完备性，让远程管理人员无法及时了解工业现场的真实状况。

发明内容

针对大数据量远程采集在不稳定网络中遇到的问题，本发明公开一种不稳定网络中大数据量的远程采集方法和系统。本发明的目的在于克服不稳定网络环境带来的影响，提供一种数据采集方法和系统来完成工业现场大数据量的远程采集，能够适应复杂的工业现场环境变化，而且能够保证在数据完备性的基础上，满足远程监控的实时性。本发明提出的不稳定网络中大数据量的远程采集方法和系统能够适用于港口码头、装备制造等多种工业现场环境，能够有效解决时快时慢、时通时断等不稳定网络中的大数据量远程采集问题。

本发明的目的是这样实现的。

本发明提供了一种不稳定网络中大数据量远程数据采集系统，包括数据采集模块、通信网络模块和数据处理模块，所述数据采集模块用于采集工业现场设备所产生的状态数据，由工业现场设备、数据采集装置和本地监控系统三部分组成，所述本地监控系统用于数据采集端运行状态和设备状态的监测以及本地数据的管理；所述通信网络模块采用异构的广域网作为通信网络，可将采集到的状态数据转化成在网络上传输的结构化数据或字符串数据传递给数据处理模块；所述数据处理模块对接收到的结构化数据或字符串数据进行解析处理，并保存在服务器数据库中。所述结构化数据的结构由点位编号、数据的值、数据质量和时间戳组成，所述字符串数据仅由数据的值组成。

本发明还提供了一种不稳定网络中大数据量远程数据采集方法，主要包括工业现场数据采集步骤，不稳定网络中数据远程传输步骤、批量结构化数据发送、接收、处理与存储步骤，具体的实现步骤为：

工业现场数据采集步骤S1：所述数据采集模块采按照采样周期采集工业现场设备的状态数据，并将采集到的数据导入到发送队列中。所述不稳定网络中大数据量远程数据采集方法按照不同的业务需求进行变量配置，其中根据网络状态、点位数量、设备特性等因素自适应调整单次发送数据量和发送周期。自适应规则为：网络状态好、点位数量少，则单次发送数量大，发送周期应短；反之，发送周期应长，单次发送数据量应适中。采集变量配置包括并不限于：数据点位为133、采集周期为100毫秒、单次发送数据量为500条、ping值为70毫秒、发送周期为30秒、网络状态检测周期为1秒；数据点位为173、采集周期为100毫秒、单次发送数据量为500条、ping值为870毫秒、发送周期为30秒、网络状态检测周期为1秒；数据点位为550、采集周期为100毫秒、单次发送数据量为20000条、ping值为500毫秒、发送周期为60秒、网络状态检测周期为1秒。

不稳定网络数据远程传输步骤S2：所述通信网络模块按照发送周期判断发送队列长度，若发送队列超出自定义长度，则将采集到的数据暂存到本地数据库，其中自定义长度与单次发送数据量相同，包括并不限于：20000条；反之，仍将采集到的数据加入到发送队列中。

队列处理步骤S3：按照先进先出原则让发送队列出队列，形成结构化数据，并加上客户端标识；如果是本地数据库暂存数据，则先进入发送队列；按照发送周期调用远程服务器的批量接收服务，服务器端为了保证以最快的速度接受大数据量的结构化数据，设置接收队列，接收到的结构化数据以客户端为单位进入队列；同时，将本次发送的数据备份保存在临时队列中。

数据完整性判断步骤S4：客户端获得发送反馈后，判断是否发送成功，若发送成功，则清空临时队列中的数据；若发送失败，即数据不完整，则启动重发机制将临时队列中的数据重新加入到发送队列中再次发送。

批量结构化数据发送、接收、处理与存储步骤S5：所述数据处理模块采用批量数据接收、处理与存储方法令接收队列按照数据处理周期对数据进行处理，首先从接收队列中按先进先出原则对数据进行重新组合、打包，在批量导入数据之前，判断单个数据点位值是否满足预警或者报警条件，如果满足则记录到数据库中。

同时为了满足远程监控的实时性，本发明提供的不稳定网络中大数据量远程数据采集方法还包括实时更新数据方法，具体步骤如下：

S1：所述数据采集模块根据待监控设备的特征自定义协议格式将工业现场采集的数据生成状态字符串。

S2：所述通信网络模块按照网络状态检测周期判断网络状态，若网络通信正常，则调用远程服务器的实时更新服务将生成的状态字符串导入到远程服务器中。

S3：所述数据处理模块按照数据处理周期根据自定义协议解析字符串，并将解析完的数据自动更新到服务器数据库中。

本发明所述的发送队列、临时队列和接收队列均采用先进先出的队列方式。所述的批量接收服务接收的是结构化数据，所述的实时更新服务接收的是字符串数据。在数据采集、发送以及服务器端接收、处理等环节皆采用多线程机制，主要包括主线程、实时更新线程、心跳检测线程、队列数据发送线程和本地数据发送线程五个线程。

本发明相比现有技术有如下优点：

在不稳定网络中，经常会出现时快时慢、时通时断的状态，当网速较慢时，本发明采用一种先进先出的队列方法能够对在工业现场采集到的数据起到缓存的作用，能够解决当工业现场数据点位多且增长速度快导致系统资源消耗过快的问题；同时该方法能够使数据能够灵活调整发送周期，从而保证系统在不稳定网络中保持数据传输平稳。当网络环境发生波动或者工业现场工况差异较大，系统能够综合现场工况、网络带宽、数据点位等因素自动适应不同的现场环境，无需增加新的工作量，而且该方法能够找到最适合当前现场环境的变量配置，极大地提高了数据采集系统的效率。

附图说明

图1是本发明的系统架构图；

图2是本发明的工作流程图；

图3是本发明的系统线程图；

图4是本发明的系统服务调用图；

图5是本发明的系统功能图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

结合图1，说明了一种不稳定网络中大数据量远程采集系统的系统架构，主要包括现场数据采集模块、通信网络模块和数据处理模块。所述数据采集模块主要用于工业现场设备状态数据的采集，包括工业现场设备、数据采集装置和本地监控系统（Local MonitoringSystem，LMS），其中LMS具有数据点位状态显示、采集端运行状态、设备状态、查看本地数据、清空本地数据和日志记录六种功能；由于广域网具有明显的时快时慢、时通时断的不稳定网络特征，因此所述的通信网络模块主要是指异构的广域网；所述数据处理模块最基本的应用为海量数据仓库，在此基础上可开发出行业服务平台和移动平台，并能够为决策支持和中控调度提供大数据参考。

结合图2，说明了本发明的工作流程，本发明所述不稳定网络中大数据量远程采集系统在工作时，首先按照采样周期采集工业现场设备的状态数据，并将采集到的数据导入到发送队列中。

按照发送周期判断发送队列长度，若发送队列超出自定义长度，则将采集到的数据暂存到本地数据库；反之，仍将采集到的数据加入到发送队列中。按照先进先出原则让发送队列出队列，形成结构化数据，并加上客户端标识；如果是本地数据库暂存数据，则先进入发送队列；按照发送周期调用远程服务器的批量接收服务，服务器端为了保证以最快的速度接收大数据量的结构化数据，设置接收队列，接收到的结构化数据以客户端为单位进入队列；同时，将本次发送的数据备份保存在临时队列中。客户端获得发送反馈后，判断是否发送成功，若发送成功，则清空临时队列中的数据；若发送失败，即数据不完整，则启动重发机制将临时队列中的数据重新加入到发送队列中再次发送。

然后可令接收队列按照数据处理周期对数据进行处理，首先从接收队列中按先进先出原则对数据进行重新组合、打包，在批量导入数据之前，判断单个数据点位值是否满足预警或者报警条件，如果满足则记录到数据库中。

同时为保证数据采集系统的实时性，根据待监控设备的特征自定义协议格式将工业现场采集的数据生成状态字符串，按照网络状态检测周期判断网络状态，若网络通信正常，则调用远程服务器的实时更新服务将生成的状态字符串发送到远程服务器中。然后按照数据处理周期根据自定义协议解析字符串，并将解析完的数据自动更新到数据库中。

结合图3，说明了本发明的系统线程，具体包括主线程、实时更新线程、心跳检测线程、队列数据发送线程和本地数据发送线程。所述主线程用于采集现场设备运行状态数据，并将采集到的数据导入到发送队列中；所述的队列数据发送线程首先周期性判断发送队列长度，若发送队列超出自定义长度，则将数据暂存到本地数据库中，同时按发送周期调用服务器的批量接收服务将发送队列中的数据远程发送，若服务器返回“成功”结果，则完成队列数据发送事务；所述的本地数据发送线程同样按发送周期调用服务器的批量接收服务将本地数据库中的数据远程发送，若服务器返回“成功”结果，则完成本地数据发送事务；所述的实时更新服务根据待监控设备的特征自定义协议格式将现场状态数据生成字符串并实时保存；所述的心跳检测线程按照网络状态检测周期检测网络状态，若网络通信正常，则调用服务器的实时更新服务发送状态字符串到服务器。

结合图4，说明了本发明所调用的两种服务，分别为批量接收服务和实时更新服务。系统在客户端采集工业现场设备的速度、重量和高度等状态数据，通过通信网络模块调用服务器端的两种服务来接收数据，在服务器端对数据进行处理分析，并将其更新到服务器数据库中。其中批量接收服务接收的是结构化数据，并根据接收到的数据完备情况返回判断结果，若数据完备，则返回“成功”结果，并接收数据到接收队列中对其进行处理，将处理完的数据批量导入到服务器数据库中；反之则返回“失败”结果，并启动重发机制。而实时更新服务接收的是字符串数据，客户端根据待监控设备的特征自定义协议格式将设备的速度、重量和高度等状态数据生成状态字符串，服务器端根据自定义协议解析字符串，并实时更新到服务器数据库中。

结合图5，说明了本发明的系统功能，可以分为服务器端功能和客户端功能。其中服务器端的功能有设备状态显示、启动服务、停止服务、服务器状态显示和日志记录五种功能，其中设备状态显示有在线和离线两种功能。而客户端的功能则有数据点位状态显示、采集端运行状态、设备状态、查看本地数据、清空本地数据和日志记录六种功能，其中采集端运行状态包括显示、网络状态、发送队列长度、本地队列长度、连接服务器和断开服务器六种功能，网络状态则有正常和异常两种功能；另外设备状态又包括显示、设备连接状态和连接开始时间三种功能，设备连接状态则有连接和断开两种功能。

本发明为设计在不稳定网络中大数据量远程采集系统提供了一个很好的解决方案，该系统可以在时快时慢、时通时断的不稳定网络中，实时地远程采集工业现场设备的状态数据，能够保证数据的完备性并能够对现场的大数据量作快速地分析处理，能够适应多种不同的工业现场环境，满足远程监控的要求。同时该数据采集系统存储的海量数据能够作为决策支持和中控调度的参考，并能够应用到移动平台和行业服务平台的开发中，对工业级互联网现场应用具有重要的推广价值。

Claims (9)

1.一种不稳定网络中大数据量远程采集系统，其特征在于，包括数据采集模块、通信网络模块和数据处理模块，所述数据采集模块用于采集工业现场设备所产生的状态数据，由工业现场设备、数据采集装置和本地监控系统三部分组成，所述本地监控系统用于数据采集端运行状态和设备状态的监测以及本地数据的管理；所述通信网络模块可将采集到的状态数据转化成在网络上传输的结构化数据或字符串数据传递给数据处理模块；所述数据处理模块对接收到的结构化数据或字符串数据进行解析处理，并保存在服务器数据库中；所述通信网络模块采用异构的广域网作为通信网络；所述结构化数据的结构由点位编号、数据的值、数据质量和时间戳组成，所述字符串数据仅由数据的值组成。

2.根据权利要求1所述不稳定网络中大数据量远程采集系统的不稳定网络中大数据量远程采集方法，其特征在于包括以下步骤：工业现场数据采集步骤S1，不稳定网络中数据远程传输步骤S2，队列处理步骤S3，数据完整性判断步骤S4，批量结构化数据发送、接收、处理与存储步骤S5：

S1：所述数据采集模块按照采样周期采集工业现场设备的状态数据，并将采集到的数据导入到发送队列中；

S2：所述通信网络模块按照发送周期判断发送队列长度，若发送队列超出自定义长度，则将采集到的数据暂存到本地数据库；反之，仍将采集到的数据加入到发送队列中；

S3：按照先进先出原则让发送队列出队列，形成结构化数据，并加上客户端标识；如果是本地数据库暂存数据，则先进入发送队列；按照发送周期调用远程服务器的批量接收服务，服务器端为了保证以最快的速度接收大数据量的结构化数据，设置接收队列，接收到的结构化数据以客户端为单位进入队列；同时，将本次发送的数据备份保存在临时队列中；

S4：客户端获得发送反馈后，判断是否发送成功，若发送成功，则清空临时队列中的数据；若发送失败，即数据不完整，则启动重发机制将临时队列中的数据重新加入到发送队列中再次发送；

S5：所述数据处理模块采用批量结构化数据发送、接收、处理与存储方法令接收队列按照数据处理周期对数据进行处理，处理过程包括数据出队列、预警、报警值判断以及队列中数据重新组合、打包，经过处理的数据按照不同方式自动更新到服务器数据库中。

3.根据权利要求2所述的不稳定网络中大数据量远程采集方法，其特征在于：

步骤S1中，所述数据采集模块根据待监控设备的特征自定义协议格式将工业现场采集的数据生成状态字符串；根据权利要求2所述的不稳定网络中大数据量远程采集方法；步骤S2中，所述通信网络模块按照网络状态检测周期判断网络状态，若网络通信正常，则调用远程服务器的实时更新服务将生成的状态字符串发送到远程服务器中；步骤S3中，所述数据处理模块按照数据处理周期根据自定义协议解析字符串，并将解析完的数据自动更新到数据库中。

4.根据权利要求2所述的不稳定网络中大数据量远程采集方法，其特征在于，所述的工业现场数据采集方法能够按照不同的业务需求进行变量配置，其中根据网络状态、点位数量、设备特性等因素自适应调整单次发送数据量和发送周期；自适应规则为：网络状态好、点位数量少，则单次发送数量应大，发送周期应短；反之，发送周期应长，单次发送数据量应适中；采集变量配置包括并不限于：数据点位为133、采集周期为100毫秒、单次发送数据量为500条、ping值为70毫秒、发送周期为30秒、网络状态检测周期为1秒；数据点位为173、采集周期为100毫秒、单次发送数据量为500条、ping值为870毫秒、发送周期为30秒、网络状态检测周期为1秒；数据点位为550、采集周期为100毫秒、单次发送数据量为20000条、ping值为500毫秒、发送周期为60秒、网络状态检测周期为1秒。

5.根据权利要求2所述的不稳定网络中大数据量远程采集方法，其特征在于，所述发送队列的自定义长度与单次发送数据量相同，包括并不限于：20000条。

6.根据权利要求2所述的不稳定网络中大数据量远程采集方法，其特征在于，所述的发送队列、临时队列和接收队列均采用先进先出的队列方式，其中发送队列、临时队列单位都为单个点位，接受队列的单位为整个客户端。

7.根据权利要求2或3所述的不稳定网络中大数据量远程采集方法，其特征在于，在数据采集、发送以及服务器端接收、处理等环节皆采用多线程机制，主要包括主线程、实时更新线程、心跳检测线程、队列数据发送线程和本地数据发送线程五个线程，所述主线程负责工业现场设备状态数据的获取，所述实时更新线程负责状态字符串的生成和实时数据的更新，所述心跳检测线程负责网络状态的检测和实时更新服务的调用，所述队列数据发送线程负责发送队列长度的检测和发送队列中数据的发送，所述本地数据发送线程负责本地数据库中数据的发送。

8.根据权利要求2或3所述的不稳定网络中大数据量远程采集方法，其特征在于，所述的批量接收服务接收的是结构化数据，所述的实时更新服务接收的是字符串数据。

9.根据权利要求2所述的一种不稳定网络中大数据量远程采集方法，其特征在于，所述的数据处理方法首先从接收队列中按先进先出原则对数据进行重新组合、打包，在批量导入数据之前，判断单个数据点位值是否满足预警或者报警条件，如果满足则记录到数据库中。