CN108566369A - 基于工业大数据的数据采集系统及方法 - Google Patents

Abstract

本发明涉及工业大数据技术领域领域，公开了一种基于工业大数据的数据采集系统及方法。该数据采集系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及数据接收接口，用于接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。本发明可实现秒频率的实时数据采集，保证工业大数据能够实时且安全地传输，从而有效地缓解数据采集接口和网络传输的压力。

Description

基于工业大数据的数据采集系统及方法

技术领域

本发明涉及工业大数据技术领域，具体地涉及一种基于工业大数据的数据采集系统及方法。

背景技术

随着消费互联网的崛起，大数据分析与云计算技术的发展壮大，“工业大数据”时代应运而生，各个企业的核心从“单点对多点”的数据中心模式转变为以用户为核心的平台式服务模式。各国制造业创新战略的实施基础都是工业大数据的搜集和特征分析，及以此为未来制造系统搭建无忧环境。通过工业大数据的分析和应用去预测需求、预测制造，整合产业链和价值链，发现用户的价值缺口及管理不可预见的问题，实现为用户提供定制化的产品和服务。

工业大数据和传统的互联网大数据相比，具有更强的专业性、关联性、流程性、时序性和解析性等特点。工业大数据的采集主要是运用工业互联网技术进行远程数据采集、可视化采集，通过采集软件在工业互联网中进行广域的、大规模的、实时的采集和传递，经过多次汇聚和转发，最终发送给大数据平台作为分析和应用的数据源。

工业大数据主要是三类数据，一是从工业控制系统采集的所有生产数据，二是直接采集智能传感器PLC设备的监视数据，三是工厂内外管理系统的数据，如ERP系统、客户关系管理系统及销售系统等。目前工业大数据采集的数据对象中，第一类和第二类数据，即各种控制系统和大量的智能设备的数据，数据量最多、增长最快、实时性要求较高、难度较大的是；第三类数据主要是通过管理软件之间的接口来实现采集。下面将主要针对前两类数据的采集情况进行说明。

工业控制系统一般通过协议或规约来提供以工业太网中的现场数据，尤其在电力行业中，经常采用modbus协议、CDT规约、101规约、104规约，DNP协议或其它专有协议。这些协议大部分属于请求/应答式的技术协议，只能用以获取瞬时数据，常用于工业以太网。工业控制系统中另一种常见的提供数据方式，是提供既支持即时产生的实时数据又支持历史实时数据的协议，其中最具有代表性和广泛性的是OPC协议。

智能传感器PLC一般通过专有协议提供数据，目前大部分智能传感器都支持OPC协议进行网络数据通信，或者串行RS232/485协议通信。

工业大数据的采集面临的主要问题是：数据源实时产生的数据量巨大，工业控制系统或智能传感器的数据几乎是秒级变化，在数据包小、数量多且频率高的情况下，对采集服务器和传输网络的压力非常大，且对数据传输的方式和数据安全性有很高的要求。尤其是将现场数据的范围放到广域网分布的系统范围之后，大数据总和是多个现场数据的总和，当采集点总量达到百万级时这个问题更加明显和棘手。

发明内容

本发明的目的是提供一种基于工业大数据的数据采集系统及方法，该数据采集系统可实现秒频率的实时数据采集，保证工业大数据能够实时且安全地传输，从而有效地缓解数据采集接口和网络传输的压力。

为了实现上述目的，本发明提供一种基于工业大数据的数据采集系统，该数据采集系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及数据接收接口，用于接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

可选的，该数据采集系统还包括：数据汇聚接口，用于对所述首次封包上传的所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，所述数据接收接口用于接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

可选的，所述数据采集接口包括：第一共享内存区，所述数据采集接口还用于对所述工业大数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述第一共享内存区。

可选的，所述数据采集接口与所述数据汇聚接口还采用断点续传技术传输数据，其中，所述断点续传技术包括：当所述数据采集接口与所述数据汇聚接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口，和/或当所述数据汇聚接口与所述数据接收接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口。

可选的，所述数据加密包括采用非对称加密算法进行数据加密，所述数据解密包括采用非对称解密算法进行数据解密。

可选的，所述数据汇聚接口包括：第二共享内存区，所述数据汇聚接口对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述第二共享内存区；以及所述数据接收接口包括：第三共享内存区，所述数据接收接口对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述第三共享内存区。

可选的，所述数据采集接口通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；所述数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。

相应地，本发明还提供一种基于工业大数据的数据采集方法，该数据采集方法包括：在数据采集接口处，通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及在数据接收接口处，接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

可选的，所述接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库包括：在数据汇聚接口处，接收所述首次封包上传的所述工业大数据，对该工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传；以及在所述数据接收接口处，接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

可选的，该数据采集方法还包括：在通过所述多进程并发形式采集所述工业大数据后，对所述工业大数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述数据采集接口内的第一共享内存区。

可选的，该数据采集方法还包括：采用断点续传技术传输数据，该断点续传技术包括：当数据采集接口与数据汇聚接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口，和/或当所述数据汇聚接口与数据接收接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口。

可选的，所述数据加密包括采用非对称加密算法进行数据加密，所述数据解密包括采用非对称解密算法进行数据解密。

可选的，该数据采集方法还包括：对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述数据汇聚接口内的第二共享内存区；对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述数据接收接口内的第三共享内存区。

可选的，在所述数据采集接口处，通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；在所述数据汇聚接口处，通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。

通过上述技术方案，本发明创造性地通过多进程并发形式采集工业大数据，可实现秒频率的实时数据采集，从而缓解数据采集接口的压力；通过对所述工业大数据进行统一的协议转换和封包上传，可保证工业大数据能够实时且安全地传输，从而缓解网络传输的压力。

附图说明

图1是本发明一种实施方式提供的基于工业大数据的数据采集系统的流程图；

图2是本发明一种实施方式提供的基于工业大数据的数据采集系统的结构图；

图3是本发明一种实施方式提供的数据采集接口的结构图；

图4是本发明一种实施方式提供的数据汇聚接口的结构图；

图5是本发明一种实施方式提供的数据接收接口的结构图；以及

图6是本发明一种实施方式提供的基于工业大数据的数据采集方法的流程图。

附图标记说明

1 数据采集接口 2 数据接收接口

3 数据库 4 工业控制系统

5 智能传感器 6 数据汇聚接口

10 数据采集接口 31 数据过滤

32 协议转换 33 封包上传

34 断点续传 41 数据接收

42 数据汇总 43 数据压缩

44 数据接收 45 封包上传

46 断点续传 51 数据解密

52 数据解压缩 53 数据解析

54 数值压缩 55 数据写入

60 数据汇聚接口 61 数据汇聚接口

62 数据汇聚接口 100 第一共享内存区

200 第三共享内存区 600 第二共享内存区

1000 采集进程 1001 采集进程

1002 采集进程 1003 采集进程

2000 接收程序 2001 接收程序

2002 接收程序 2003 接收程序

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

图1是本发明一实施例提供的基于工业大数据的数据采集系统。如图1所示，本发明提供的数据采集系统可包括：数据采集接口1，用于通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及数据接收接口2，用于接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库3。所述工业大数据可包括来自于工业控制系统4的数据及来自于智能传感器5的数据。所述数据采集系统通过多进程并发形式采集工业大数据，可实现秒频率的实时数据采集，从而缓解数据采集接口的压力；通过对所述工业大数据进行统一的协议转换和封包上传，可保证工业大数据能够实时且安全地传输，从而缓解网络传输的压力。

如图2所示，本发明提供的基于工业大数据的数据采集系统还包括：数据汇聚接口6，用于对所述首次封包上传的所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，所述数据接收接口2用于接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库3。

所述数据采集接口1通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口6，所述数据汇聚接口6通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口2。对于大型工业控制系统，数据点多达数十万点，秒级变化的数据采集量巨大，所述数据采集接口1和所述数据汇聚接口6设置在厂内局域网，所述数据接收接口2通过广域网接收数据。基于UDP网络传输协议面向非连接的特性，在所述数据采集接口1通过所述UDP网络传输协议传输所述工业大数据，可保证数据的高效安全的传输；基于TCP网络传输协议的三次握手和四次断开的特性，在所述数据汇聚接口6采用TCP网络传输协议可保证数据在广域网的安全可靠传输。

如图3-5所示，所述数据采集接口1、所述数据汇聚接口6及所述数据接收接口2内均设置有共享内存区。下面针对这三个共享内存区加以介绍：所述数据采集接口1内设置有第一共享内存区，所述数据采集接口1在对所述工业大数据进行统一的协议转换之前，可以对所述工业大数据进行数据过滤，即只有时间戳(代表该数据被生成的时间)和数据值同时变化的数据才能存入所述第一共享内存区100。所述数据汇聚接口6内设置有第二共享内存区600，所述数据汇聚接6对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述第二共享内存区600；所述数据接收接口2内设置有第三共享内存区200，所述数据接收接口对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述第三共享内存区。

在上述三个接口均设置有共享内存区的基础上，如图3和图4所示，所述数据采集接口1与所述数据汇聚接口6可采用断点续传技术传输数据，其中，所述断点续传技术包括：当所述数据采集接口1与所述数据汇聚接口6的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口6，和/或当所述数据汇聚接口6与所述数据接收接口2的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口2。具体而言，在所述数据汇聚接口6和所述数据接收接口2通讯的过程中，若所述数据接收接口2成功收到一个报文，则需向所述数据汇聚接口6反馈一个字节的数据；若未收到报文(例如通讯故障)，则不会反馈一个字节的数据。当所述数据汇聚接口6与所述数据接收接口2的通讯故障时，所述数据接收接口2未收到某一报文，则其不会反馈一个字节的数据；所述数据汇聚接口6在未收到所述数据接收接口2所反馈的数据的情况下，标记该报文(即未传输的数据)，此时，所述未传输的数据保存在所述第二共享内存区600内；当通讯恢复正常时，在不影响正常数据上传的情况下，所述数据汇聚接口6再将所述第二共享内存区600内的所述未传输的数据上传到所述数据接收接口2。所述数据采集接口1断点续传技术向所述数据汇聚接口6传输数据的过程也是如此，于此不再赘述。所述断点续传技术解决了网络发生问题时数据丢失的问题，保证了工业大数据在传输过程中(尤其是网络链路长的传输中)的安全性和完整性。

具体而言，现以具有所述数据采集接口1、所述数据汇聚接口6及所述数据接收接口2的数据采集系统为例来解释本发明提供的数据采集系统对工业大数据的采集过程。

对于所述数据采集接口1，所述数据采集接口1的采集接口程序均可启动多个采集进程(包括采集进程1000、采集进程1001、……等等)采集所述工业控制系统4和所述智能传感器5的数据，如图3所示。将所述数据按照数据测点分组或特殊分组规则划，分给不同的采集进程处理(一般是均匀分配)。每个采集进程负责独立解析接口协议，采集数据，然后对所采集的数据进行数据过滤31，即只有时间戳和数据值同时变化的数据才能经协议转换32统一转换为私有数据格式，再把私有数据格式的数据存入所述第一共享内存区100。如果是双网采集，需增加双路数据对比，从相同的数据中选取一份存入所述第一共享内存区100。最后，对所述第一共享内存区100内的数据进行集中封包上传33，通过面向无连接的UDP网络传输协议将封包后的数据上传到所述数据汇聚接口6。本发明采用多进程并发形式采集数据以及通过UDP网络传输协议上传数据，并将数据采集和数据上传过程隔离，从而缓解数据采集接口的压力，可保证数据能够实时、安全且完整地传输。

当所述数据采集接口1与所述数据汇聚接口6的通讯故障时，所述数据采集接口1在未收到所述数据汇聚接口6成功接到某一报文(即未传输的数据)的反馈数据的情况下，对所述第一共享内存区内的该报文进行标记；当通讯恢复正常时，在不影响正常数据上传的情况下，所述数据采集接口1再将所述报文上传到所述数据汇聚接口6。本发明在所述数据采集接口1处采用的断点续传技术34解决了网络故障时的数据丢失问题，从所述数据采集接口1到所述数据汇聚接口6进行数据的单向传输，不影响原有工业控制系统或智能传感器的正常运行，保证了工业大数据在传输过程中(尤其是网络链路长的传输中)的安全性和完整性。

对于所述数据汇聚接口6，首先，所述数据汇聚接口6进行数据接收41，也就是说，监听UDP端口，接收多个数据采集接口(比如所述数据采集接口1、数据采集接口10、……)的数据。接着，在特定时刻下对所有数据采集接口的数据进行数据汇总42，以保证数据可实时地进行传输。然后，采用无损压缩算法对汇总的数据进行数据压缩43，以实现实时数据在网络中的最小化传输，节省网络带宽资源，降低网络传输延迟；采用非对称加密算法对压缩的数据进行数据加密44，以实现实时生产的数据的安全性防护，防止网络传输过程中被截获、破译和恶意篡改，确保数据传输过程中的安全性与完整性；再将加密后的数据写入所述第二共享内存区600。最后，对所述第二共享内存区600内的数据进行集中封包上传45，通过面向连接的TCP网络传输协议将封包后的数据上传到所述数据接收接口2。本发明对采用非对称加密算法对数据进行加密，以实现数据的安全性防护；以及通过TCP网络传输协议上传数据可保证数据在广域网的安全可靠传输。

当所述数据汇聚接口6与所述数据接收接口2的通讯故障时，所述数据汇聚接口6在未收到所述数据接收接口2成功接到某一报文(即未传输的数据)的反馈数据的情况下，对所述第二共享内存区内的该报文进行标记；当通讯恢复正常时，在不影响正常数据上传的情况下，所述数据汇聚接口6再将所述报文上传到所述数据接收接口2。本发明在所述数据汇聚接口6处采用的断点续传技术46解决了网络故障时的数据丢失问题，从所述数据汇聚接口6到所述数据接收接口2进行数据的单向传输，不影响原有工业控制系统或智能传感器的正常运行，保证了工业大数据在传输过程中(尤其是网络链路长的传输中)的安全性和完整性。

对于所述数据接收接口2，首先，所述数据接收接口2监听TCP端口，采用多个数据接收程序(包括接收程序2000、接收程序2001、接收程序2002、接收程序2003、……等等)接收多个数据汇聚接口(比如所述数据汇聚接口6、数据汇聚接口60、数据汇聚接口61、数据汇聚接口62、……)的数据。接着，采用非对称解密算法对接收到的数据进行数据解密51，将密文数据还原为明文数据；采用无损压缩算法对解密的数据进行数据解压缩52和数据包还原。然后，对解压缩的数据进行数据解析53，以还原为实时生产的数据；采用压缩算法，对该数据进行数值压缩54，以实现数据量的最小化，降低数据对存储空间的占用，再将数值压缩后的数据写入所述第三共享内存区200。最后，进行数据写入55，将所述第三共享内存区200内的数据写入所述数据库3。

本发明中的数据加密、数据解密、数据压缩及数据解压缩还可采用其他的算法完成，只要符合数据采集过程中要求的减少网络占用带宽、保证数据完整和安全的目标即可。

本发明中的数据采集过程还可根据实际网络情况和安全状况等进行调整，比如，若使用较短的专线网络链路可省掉数据汇聚接口；若使用链路很长的广域网络，需要增加数据汇聚接口的汇聚层级，和/或采用压缩比更高的数据压缩算法及更安全的数据加密算法。

综上所述，本发明创造性地通过多进程并发形式采集工业大数据，可实现秒频率的实时数据采集，从而缓解数据采集接口的压力；通过对所述工业大数据进行统一的协议转换和封包上传，可保证工业大数据能够实时且安全地传输，从而缓解网络传输的压力。

相应地，本发明还提供一种基于工业大数据的数据采集方法，该数据采集方法包括：在数据采集接口处，通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及在数据接收接口处，接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库，如图6所示。

可选的，所述接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库包括：在数据汇聚接口处，接收所述首次封包上传的所述工业大数据，对该工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传；以及在所述数据接收接口处，接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

可选的，该数据采集方法还包括：在通过所述多进程并发形式采集所述工业大数据后，对所述工业大数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述数据采集接口内的第一共享内存区。

可选的，该数据采集方法还包括：采用断点续传技术传输数据，该断点续传技术包括：当数据采集接口与数据汇聚接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口，和/或当所述数据汇聚接口与数据接收接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口。

可选的，所述数据加密包括采用非对称加密算法进行数据加密，所述数据解密包括采用非对称解密算法进行数据解密。

可选的，该数据采集方法还包括：对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述数据汇聚接口内的第二共享内存区；对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述数据接收接口内的第三共享内存区。

可选的，在所述数据采集接口处，通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；在所述数据汇聚接口处，通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。

有关本发明提供的基于工业大数据的数据采集方法的具体细节及益处可参阅上述针对基于工业大数据的数据采集系统的描述，于此不再赘述。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (14)

1.一种基于工业大数据的数据采集系统，其特征在于，该数据采集系统包括：

数据采集接口，用于通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及

数据接收接口，用于接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

2.根据权利要求1所述的基于工业大数据的数据采集系统，其特征在于，该数据采集系统还包括：

数据汇聚接口，用于对所述首次封包上传的所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，

所述数据接收接口用于接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

3.根据权利要求1所述的基于工业大数据的数据采集系统，其特征在于，所述数据采集接口包括：第一共享内存区，

所述数据采集接口还用于对所述工业大数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述第一共享内存区。

4.根据权利要求2所述的基于工业大数据的数据采集系统，其特征在于，所述数据采集接口与所述数据汇聚接口还采用断点续传技术传输数据，

其中，所述断点续传技术包括：

当所述数据采集接口与所述数据汇聚接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口，和/或

当所述数据汇聚接口与所述数据接收接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口。

5.根据权利要求2所述的基于工业大数据的数据采集系统，其特征在于，所述数据加密包括采用非对称加密算法进行数据加密，所述数据解密包括采用非对称解密算法进行数据解密。

6.根据权利要求2所述的基于工业大数据的数据采集系统，其特征在于，所述数据汇聚接口包括：第二共享内存区，

所述数据汇聚接口对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述第二共享内存区；以及

所述数据接收接口包括：第三共享内存区，

所述数据接收接口对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述第三共享内存区。

7.根据权利要求2所述的基于工业大数据的数据采集系统，其特征在于，所述数据采集接口通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；所述数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。

8.一种基于工业大数据的数据采集方法，其特征在于，该数据采集方法包括：

在数据采集接口处，通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及

在数据接收接口处，接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

9.根据权利要求8所述的基于工业大数据的数据采集方法，其特征在于，所述接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库包括：

在数据汇聚接口处，接收所述首次封包上传的所述工业大数据，对该工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传；以及

在所述数据接收接口处，接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

10.根据权利要求8所述的基于工业大数据的数据采集方法，其特征在于，该数据采集方法还包括：在通过所述多进程并发形式采集所述工业大数据后，对所述工业大数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述数据采集接口内的第一共享内存区。

11.根据权利要求9所述的基于工业大数据的数据采集方法，其特征在于，该数据采集方法还包括：采用断点续传技术传输数据，

该断点续传技术包括：

当数据采集接口与数据汇聚接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口，和/或

当所述数据汇聚接口与数据接收接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口。

12.根据权利要求9所述的基于工业大数据的数据采集方法，其特征在于，所述数据加密包括采用非对称加密算法进行数据加密，所述数据解密包括采用非对称解密算法进行数据解密。

13.根据权利要求9所述的基于工业大数据的数据采集方法，其特征在于，该数据采集方法还包括：

对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述数据汇聚接口内的第二共享内存区；

对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述数据接收接口内的第三共享内存区。

14.根据权利要求9所述的基于工业大数据的数据采集方法，其特征在于，在所述数据采集接口处，通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；在所述数据汇聚接口处，通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。