CN115038056A - 一种数据采集系统及数据采集方法 - Google Patents

一种数据采集系统及数据采集方法 Download PDF

Info

Publication number
CN115038056A
CN115038056A CN202210438501.2A CN202210438501A CN115038056A CN 115038056 A CN115038056 A CN 115038056A CN 202210438501 A CN202210438501 A CN 202210438501A CN 115038056 A CN115038056 A CN 115038056A
Authority
CN
China
Prior art keywords
data
module
storage
wireless
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210438501.2A
Other languages
English (en)
Inventor
魏东
杨柳
岳思汤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Qingjie Intelligent Technology Co ltd
Original Assignee
Zhejiang Qingjie Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Qingjie Intelligent Technology Co ltd filed Critical Zhejiang Qingjie Intelligent Technology Co ltd
Priority to CN202210438501.2A priority Critical patent/CN115038056A/zh
Publication of CN115038056A publication Critical patent/CN115038056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/03Protecting confidentiality, e.g. by encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/06Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据采集系统,特点是包括数据平台、数据采集模块、无线发送模块和无线接收模块,数据采集模块用于对工业现场总线上的初始数据进行侦听采集后通过无线发送模块发送至无线接收模块,无线接收模块将接收到的数据发送至数据平台,数据平台对接收到的数据进行处理后得到用于反应初始数据的状态的参考数据,还公开了数据采集方法;优点是数据采集模块采集的是工业现场总线上的数据,采样频率高;该种采集方式为非侵入式的被动侦听方式,保证不会对原有的工业控制系统产生负面影响。

Description

一种数据采集系统及数据采集方法
技术领域
本发明涉及数据采集领域,尤其是一种数据采集系统及数据采集方法。
背景技术
工业控制系统通过工业现场总线与输入/输出模块、传动相连,采集传感器数据,并发指令控制执行设备,其中,工业网络系统包括生产侧网关、工业路由器、工业控制系统和执行模块,生产侧网关通过工业路由器与工业以太网连接,工业控制系统的输入端通过工业以太网与工业路由器连接,工业控制系统的输出端通过工业现场总线与执行模块连接;工业控制系统再通过工业以太网与MES、HMI、工程师站、生产数据存储服务器、数据采集/分析服务器相连,在工业以太网上的数据一般以数秒、几百毫秒的速度更新,而现场工业总线上的数据交换周期在几十毫秒、甚至是毫秒级别;工业控制系统控制系统往往是为逻辑控制和过程控制的功能和性能设计的,一般是单CPU结构,不具备高频数据采集的功能,如果分配CPU去做数据采集的工作会占用CPU的算力资源,进而影响其控制的性能,使其对外部变化的响应变慢,因此,在工业以太网上的对工业控制系统的数据采集往往是事件驱动的。
当下绝大多数的生产运营数据采集是通过工业控制系统收集并传给生产数据存储系统里的,存在以下缺点:1)现有的采集方式是侵入式的,由于工业控制系统是为工业过程控制设计的,过多的去做数据采集会对控制性能产生不利的影响,尤其是动态响应性能变差;2)采样频率低,无法保证实时性,在工业以太网上数据的传输协议都是运行在TCP/IP通信协议栈上的,是面向链接的通信协议,因此,在工业以太网上采集数据的周期一般在秒级,最快也是在百毫秒级,采样频率不高,所以实时性不强、采样精度较低。
发明内容
本发明所要解决的技术问题是提供一种数据采集更方便快速、采集结果更精准的数据采集系统及数据采集方法。
本发明解决上述技术问题所采用的技术方案为:一种数据采集系统,包括数据平台、数据采集模块、无线发送模块和无线接收模块,所述的数据采集模块用于对工业现场总线上的执行模块的初始数据进行侦听采集后通过所述的无线发送模块发送至所述的无线接收模块,所述的无线接收模块将接收到的数据发送至所述的数据平台,所述的数据平台对接收到的数据进行处理后得到用于反应初始数据的状态的参考数据。
所述的数据采集模块包括侦听模块、解析模块、过滤模块、压缩模块、第一存储模块和加密模块,所述的侦听模块用于对所述的工业现场总线上的执行模块的初始数据进行侦听采集,所述的解析模块用于解析初始数据获得解析数据,所述的过滤模块用于过滤解析数据得到过滤数据,所述的压缩模块用于对过滤数据进行压缩得到压缩数据并发送至所述的第一存储模块进行存储,所述的加密模块用于对压缩数据进行加密得到加密数据,所述的无线发送模块用于将加密数据发送至所述的无线接收模块。通过对初始数据进行解析、压缩,减少数据上传所需要的网络带宽和流量;通过过滤模块对解析数据进行过滤,剔除其中的噪音,提升了数据的准确性和可靠性;第一存储模块能够保证即使在无线发送模块断网的情况下,生产运营数据不丢失。
所述的数据平台设置有解密模块、解压模块、对齐模块和第二存储模块,所述的无线接收模块将接收到的加密数据发送至所述的解密模块,所述的解密模块用于对加密数据进行解密得到解密数据并发送至所述的解压模块,所述的解压模块用于将解密数据解压得到还原数据,所述的数据对齐模块用于将还原数据中的各个数据在时间轴上对齐。解压模块对数据解压时通过合理插值的方式,如线性插值或三次样条插值等方式对数据进行解压还原,从而将生产运营过程产生的数据还原出来;在工业生产运营中,许多传感器数据的采集并不能在同一时刻采到,特别有些数据在后期数据分析时,彼此之间在机理上具有相关性,在某一刻的量必须对齐,数据对齐模块采用的对齐方式中所使用的插值算法有线性插值、三次样条插值、哈密尔顿插值等常规方法,第二存储模块用于存储海量的生产运营数据。
所述的无线发送模块采用5G通信发送模块,所述的无线接收模块采用5G通信接收模块。无线发送模块采用5G或4G通信发送模块,通过5G或4G网络上传数据到相应的无线接收模块,不用占用现有的工厂/企业网络的带宽,进而保证不会因为海量的生产运营数据的上传而对原有的工业网络、工业控制系统和信息系统产生负面影响,这也是非侵入式方法之一。
使用以上所述数据采集系统的数据采集方法,包括以下步骤:
步骤1):侦听模块对工业现场总线上的执行模块的初始数据进行侦听采集;
步骤2):解析模块解析初始数据获得解析数据,过滤模块过滤解析数据得到过滤数据;
步骤3):压缩模块对过滤数据进行压缩得到压缩数据并发送至第一存储模块进行存储,加密模块对压缩数据进行加密得到加密数据,无线发送模块将加密数据发送至无线接收模块;
步骤4:无线接收模块将接收到的加密数据发送至解密模块,解密模块对加密数据进行解密得到解密数据并发送至解压模块,解压模块将解密数据解压得到还原数据;
步骤5):数据对齐模块将还原数据中的各个数据在时间轴上对齐后发送至第二存储模块存储。
与现有技术相比,本发明的优点在于数据采集模块对工业现场总线上的执行模块的初始数据进行侦听采集后通过无线发送模块发送至无线接收模块,其中,工业现场总线为工业网络系统中结构,工业网络系统还包括生产侧网关、工业路由器、工业控制系统和执行模块,生产侧网关通过工业路由器与工业以太网连接,工业控制系统的输入端通过工业以太网与工业路由器连接,工业控制系统的输出端通过工业现场总线与执行模块连接,数据平台对接收到的数据进行处理后得到用于反应生产运行过程中产生的初始数据的状态的参考数据,由于数据采集模块采集的是工业现场总线上的数据,现场工业总线上的数据交换周期在几十毫秒、甚至是毫秒级别,采样频率高,可以提高实时性、精确性;该种采集方式为非侵入式的被动侦听方式,保证不会对原有的工业网络或工业控制系统产生负面影响;数据平台上还可设置外部接口模块用于为外部的数据使用提供接口,外部的数据使用包括数据的可视化应用、大数据分析、人工智能应用等。
附图说明
图1为本发明的系统原理框图;
图2为本发明中数据采集模块的工作原理框图;
图3为本发明中数据平台的工作原理框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
实施例一:一种数据采集系统,包括数据平台1、数据采集模块2、无线发送模块3和无线接收模块4,数据采集模块2用于对工业现场总线上的执行模块5的初始数据进行侦听采集后通过无线发送模块3发送至无线接收模块4,无线接收模块4将接收到的数据发送至数据平台1,数据平台1对接收到的数据进行处理后得到用于反应初始数据的状态的参考数据。
数据采集模块2包括侦听模块21、解析模块22、过滤模块23、压缩模块24、第一存储模块25和加密模块26,侦听模块21用于对工业现场总线上的执行模块5的初始数据进行侦听采集,解析模块22用于解析初始数据获得解析数据,过滤模块23用于过滤解析数据得到过滤数据,压缩模块24用于对过滤数据进行压缩得到压缩数据并发送至第一存储模块25进行存储,加密模块26用于对压缩数据进行加密得到加密数据,无线发送模块3用于将加密数据发送至无线接收模块4。通过对初始数据进行解析、压缩,减少数据上传所需要的网络带宽和流量;通过过滤模块23对解析数据进行过滤,剔除其中的噪音,提升了数据的准确性和可靠性;第一存储模块25能够保证即使在无线发送模块3断网的情况下,生产运营数据不丢失。
数据平台1设置有解密模块11、解压模块12、对齐模块13和第二存储模块14,无线接收模块4将接收到的加密数据发送至解密模块11,解密模块11用于对加密数据进行解密得到解密数据并发送至解压模块12,解压模块12用于将解密数据解压得到还原数据,数据对齐模块13用于将还原数据中的各个数据在时间轴上对齐。解压模块12对数据解压时通过合理插值的方式,如线性插值或三次样条插值等方式对数据进行解压还原,从而将生产运营过程产生的数据还原出来;在工业生产运营中,许多传感器数据的采集并不能在同一时刻采到,特别有些数据在后期数据分析时,彼此之间在机理上具有相关性,在某一刻的量必须对齐,数据对齐模块13采用的对齐方式中所使用的插值算法有线性插值、三次样条插值、哈密尔顿插值等常规方法,第二存储模块14用于存储海量的生产运营数据。
无线发送模块3采用5G通信发送模块,无线接收模块4采用5G通信接收模块。无线发送模块3采用5G或4G通信发送模块,通过5G或4G网络上传数据,而不用占用现有的工厂/企业网络的带宽,进而保证不会因为海量的生产运营数据的上传而对原有的工业网络、工业控制系统和信息系统产生负面影响,这也是非侵入式方法之一。
实施例二:使用实施例一中数据采集系统的数据采集方法,包括以下步骤:
步骤1):侦听模块21对工业现场总线上的执行模块5的初始数据进行侦听采集;
步骤2):解析模块22解析初始数据获得解析数据,过滤模块23过滤解析数据得到过滤数据;
步骤3):压缩模块24对过滤数据进行压缩得到压缩数据并发送至第一存储模块25进行存储,加密模块26对压缩数据进行加密得到加密数据,无线发送模块将加密数据发送至无线接收模块;
步骤4:无线接收模块将接收到的加密数据发送至解密模块11,解密模块11对加密数据进行解密得到解密数据并发送至解压模块12,解压模块12将解密数据解压得到还原数据;
步骤5):数据对齐模块13将还原数据中的各个数据在时间轴上对齐后发送至第二存储模块14存储。
该种采集方式为非侵入式的被动侦听方式,保证不会对原有的工业网络或工业控制系统产生负面影响。

Claims (5)

1.一种数据采集系统,其特征在于包括数据平台、数据采集模块、无线发送模块和无线接收模块,所述的数据采集模块用于对工业现场总线上的执行模块的初始数据进行侦听采集后通过所述的无线发送模块发送至所述的无线接收模块,所述的无线接收模块将接收到的数据发送至所述的数据平台,所述的数据平台对接收到的数据进行处理后得到用于反应初始数据的状态的参考数据。
2.根据权利要求1所述的一种数据采集系统,其特征在于所述的数据采集模块包括侦听模块、解析模块、过滤模块、压缩模块、第一存储模块和加密模块,所述的侦听模块用于对所述的工业现场总线上的执行模块的初始数据进行侦听采集,所述的解析模块用于解析初始数据获得解析数据,所述的过滤模块用于过滤解析数据得到过滤数据,所述的压缩模块用于对过滤数据进行压缩得到压缩数据并发送至所述的第一存储模块进行存储,所述的加密模块用于对压缩数据进行加密得到加密数据,所述的无线发送模块用于将加密数据发送至所述的无线接收模块。
3.根据权利要求2所述的一种数据采集系统,其特征在于所述的数据平台设置有解密模块、解压模块、对齐模块和第二存储模块,所述的无线接收模块将接收到的加密数据发送至所述的解密模块,所述的解密模块用于对加密数据进行解密得到解密数据并发送至所述的解压模块,所述的解压模块用于将解密数据解压得到还原数据,所述的数据对齐模块用于将还原数据中的各个数据在时间轴上对齐后发送至所述的第二存储模块存储。
4.根据权利要求2所述的一种数据采集系统,其特征在于所述的无线发送模块采用5G通信发送模块,所述的无线接收模块采用5G通信接收模块。
5.使用如权利要求3所述的数据采集系统的数据采集方法,其特征在于包括以下步骤:
步骤1):侦听模块对工业现场总线上的执行模块的初始数据进行侦听采集;
步骤2):解析模块解析初始数据获得解析数据,过滤模块过滤解析数据得到过滤数据;
步骤3):压缩模块对过滤数据进行压缩得到压缩数据并发送至第一存储模块进行存储,加密模块对压缩数据进行加密得到加密数据,无线发送模块将加密数据发送至无线接收模块;
步骤4:无线接收模块将接收到的加密数据发送至解密模块,解密模块对加密数据进行解密得到解密数据并发送至解压模块,解压模块将解密数据解压得到还原数据;
步骤5):数据对齐模块将还原数据中的各个数据在时间轴上对齐后发送至第二存储模块存储。
CN202210438501.2A 2022-04-25 2022-04-25 一种数据采集系统及数据采集方法 Pending CN115038056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210438501.2A CN115038056A (zh) 2022-04-25 2022-04-25 一种数据采集系统及数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210438501.2A CN115038056A (zh) 2022-04-25 2022-04-25 一种数据采集系统及数据采集方法

Publications (1)

Publication Number Publication Date
CN115038056A true CN115038056A (zh) 2022-09-09

Family

ID=83119486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210438501.2A Pending CN115038056A (zh) 2022-04-25 2022-04-25 一种数据采集系统及数据采集方法

Country Status (1)

Country Link
CN (1) CN115038056A (zh)

Similar Documents

Publication Publication Date Title
CN108566369B (zh) 基于工业大数据的数据采集系统及方法
US11009842B2 (en) Data collection system for wind turbine data
CN114024801B (zh) 一种工业边缘计算服务网关
CN110417757B (zh) 一种基于边缘计算网关的工业数据存储系统
CN106444662A (zh) 一种用于物联网的数据采集装置及方法
CN112335202B (zh) 处理局域网诊断数据
CN112187513A (zh) 一种基于大数据的医疗物联网云平台方法、系统及存储介质
CN101408756A (zh) 一种核电汽轮机调节系统远程监视与分析系统及方法
CN113722189A (zh) 基于工业互联网的风电多源异构数据采集汇聚系统
EP2869529B1 (en) Systems and methods for secure file transfers
US9191368B2 (en) Systems and methods for secure remote access
CN112335203A (zh) 处理局域网诊断数据
CN115038056A (zh) 一种数据采集系统及数据采集方法
CN114579664A (zh) 一种SQLite数据库远程实时增量同步方法及系统
CN110362036A (zh) 一种基于倍福工业以太网的机床监测系统和方法
CN113114626A (zh) 一种基于边缘计算的安全网关系统及其构建方法
CN114726674B (zh) 一种基于fpga的profibus总线工艺数据提取方法
CN201188626Y (zh) 一种核电汽轮机调节系统远程监视与分析系统
CN111835834B (zh) 考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置
CN113112038B (zh) 智能监测与诊断分析系统、装置、电子设备及存储介质
CN114257643B (zh) 一种日志传输方法及系统
CN116915502A (zh) 一种基于信创体系的国密算法数据采集交换系统
CN214587259U (zh) 一种边缘物联代理系统
KR100780890B1 (ko) 네트워크 트래픽 정보수집의 성능향상방법 및 시스템
CN117938977A (zh) 一种工业微型数据采集设备的数据解析与传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination