CN109451019A - 用于工业实时数据的高并发采集方法 - Google Patents

用于工业实时数据的高并发采集方法 Download PDF

Info

Publication number
CN109451019A
CN109451019A CN201811318882.0A CN201811318882A CN109451019A CN 109451019 A CN109451019 A CN 109451019A CN 201811318882 A CN201811318882 A CN 201811318882A CN 109451019 A CN109451019 A CN 109451019A
Authority
CN
China
Prior art keywords
acquisition
data
server
configuration information
time data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811318882.0A
Other languages
English (en)
Other versions
CN109451019B (zh
Inventor
向安宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tian An Intelligent Information Technology Co Ltd
Original Assignee
Beijing Tian An Intelligent Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tian An Intelligent Information Technology Co Ltd filed Critical Beijing Tian An Intelligent Information Technology Co Ltd
Priority to CN201811318882.0A priority Critical patent/CN109451019B/zh
Publication of CN109451019A publication Critical patent/CN109451019A/zh
Application granted granted Critical
Publication of CN109451019B publication Critical patent/CN109451019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开提供一种用于工业实时数据的高并发采集方法，包括以下步骤：确定采集设备的配置，并将配置信息传输至采集服务器；基于配置信息，采集服务器合并采集点表，并设置采集任务；采集服务器为每一个采集设备启用一个并发体，采集数据；基于配置信息，采集服务器拆分采集数据，并对采集数据进行预处理操作；采集服务器将数据存储至服务器端。

Description

用于工业实时数据的高并发采集方法
技术领域
本公开涉及一种用于工业实时数据的高并发采集方法。
背景技术
现有工业物联网数据采集主要以数据采集与监控(Supervisory Control AndData Acquisition，缩写为SCADA)系统为主，通常是指有监控程序及数据收集能力的电脑控制系统。通常，SCADA系统通过与远程终端控制单元(RTU)或者可编程逻辑控制器（PLC）建立连接进行数据采集。但是单个SCADA系统的数据采集点少，在采集点万点级别数据的实时性无法保证。
发明内容
为了解决至少一个上述技术问题，本公开提供一种用于工业实时数据的高并发采集方法。
根据本公开的一个方面，用于工业实时数据的高并发采集方法，包括以下步骤：
确定采集设备的配置，并将配置信息传输采集服务器；
基于所述配置信息，所述采集服务器合并点表后，设置采集任务；
所述采集服务器为每一个所述采集设备启用一个并发体，采集数据；
基于所述配置信息，所述采集服务器，对上述合并点表进行拆分，并对采集数据进行预处理操作；
所述采集服务器将已进行过预处理操作的数据存储至服务器端。
根据本公开的至少一个实施方式，采集设备包括：远程终端单元（RemoteTerminal Unit ，缩写为RTU）、可编程逻辑控制器（Programmable Logic Controller，缩写为PLC）、数据传输单元（Data Transfer unit，缩写为DTU）和具备网络传输功能的传感器。
根据本公开的至少一个实施方式，配置信息包括：
所述远程终端单元的配置信息，包括IP、端口、采集区域、采集起始地址、采集长度、预处理表达式；
所述可编程逻辑控制器的配置信息，包括IP、端口、机架号、槽号、连接类型、采集点、预处理表达式；
所述数据传输单元的配置信息，包括所述数据传输单元的唯一标识、采集点、预处理表达式；
所述传感器的配置信息，包括所述传感器的唯一标识。
根据本公开的至少一个实施方式，基于所述配置信息，所述采集服务器合并点表后，设置采集任务的步骤，包括：
所述节点服务器的根据采集数据长度，采集有效数据比例、数据区域类型要求等初始设置，确定单包请求数据长度；
基于所述单包请求数据长度，所述采集服务器在单包请求数据长度小于最大请求长度时，将点表合并为一个请求数据包；在单包请求长度大于最大请求长度时，将点表合并为多个请求数据包；
基于所述合并后的请求数据包，所述采集服务器将每一个请求数据包设置为一个采集任务。一个采集设备对应多个采集任务。
根据本公开的至少一个实施方式，所述采集服务器为每一个所述采集设备启用一个并发体，采集数据的步骤，包括：
所述采集服务器与采集设备建立连接，此连接为一个采集通道即为一个并发体，每个采集设备对应一个并发体；
基于所述并发体，所述采集服务器以轮询方式执行所述采集设备下对应所述采集任务，并返回实时数据包。
根据本公开的至少一个实施方式，基于所述配置信息，所述采集服务器，对上述合并点表进行拆分，并对采集数据进行预处理操作的步骤，包括：
所述采集服务器将返回的实时数据，根据所述配置信息进行拆包处理，为每个采集点返回原始实时数据；
所述采集服务器，根据所述预处理操作，对原始实时数据进行预处理操作，返回具有实际意义的实时数据。
根据本公开的至少一个实施方式，所述采集服务器将所述已进行过预处理操作的数据存储至所述服务器端。
根据本公开的至少一个实施方式，对采集数据进行大小端编码或者四则运算及小数位数设定处理。
根据本公开的至少一个实施方式，每一个采集设备对应一项或多项采集任务，每一个采集并发体承担至少一项采集任务。
根据本公开的至少一个实施方式，服务器端由至少一台服务器组成。
根据本公开的至少一个实施方式，确定配置信息的依据，包括采集设备的通信协议。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开具体实施方式的用于工业实时数据的高并发采集方法的流程示意图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
在本公开的一个可选实施方式中，用于工业实时数据的高并发采集方法包括以下步骤：
1）根据各个采集设备的通信协议，确定采集设备的各项配置，并将配置信息存储至采集服务器。
采集设备包括：远程终端单元（RTU）、可编程逻辑控制器（PLC）、数据传输单元（DTU）、具备网络传输功能或支持MQTT（Message Queuing Telemetry Transport，消息队列遥测传输）协议的传感器和其他用于工业的智能终端。
采集设备的配置信息包括：
RTU的配置信息，包括IP、端口、采集区域、采集起始地址、采集长度、预处理表达式等采集数据时所需要的信息；
PLC的配置信息，包括IP、端口、机架号、槽号、连接类型、采集点、预处理表达式等采集数据时所需要的信息；
DTU的配置信息，包括该设备的唯一标识、采集点、预处理表达式等采集数据时所需要的信息；
传感器的配置信息，包括传感器的唯一标识，例如IP、端口、其他具有唯一性标识的字符串。
上述配置信息是传感器和位于远程的RTU及其他传输设备，采集或接收数据所需的必要参数。不同的采集设备采用的通信协议不同，则所需的配置也不同，但其目的一般均是用于采集设备的网络定位及确定采集点。
基于上述配置信息，采集服务器可以合并点表后设置采集任务。
2）采集服务器为每一个所述采集设备启用一个并发体，采集数据。
首先，采集服务器接收并统计各个采集设备的配置信息。采集服务器根据采集设备连接信息，与采集设备建立采集通道。每一个采集设备对应一个并发体。每个并发体存在多个采集任务，在并发体内部，对所属采集任务进行轮询执行，并返回实时数据原始信息，这些信息存储在每个采集任务中。
3）采集服务器根据采集任务进行数据采集，将数据拆分至各采集点，并对采集数据进行预处理操作后，存储至服务器端。
根据每个采集设备下配置信息，将采集到数据分配给每个采集点，并对进行预处理操作，包括对数据进行加减乘除、大小端设置等。然后将数据存储至服务器。
下面以具体示例详细说明本公开技术方案。
用于工业实时数据的高并发采集的采集设备配置为10000台,分别为P1、P2、…、P10000,假设每个采集设备所采用的配置基本相同；服务器端配置1台服务器S1。每个采集设备的配置参数值见下表1：
表1 采集设备P1的配置参数
采集设备 点名 起始地址 长度 预处理表达式 寄存器类型
P1 PT1 40001 1 X 保持寄存器
P1 PT2 40008 1 ((X*10-8)/2)$2 保持寄存器
P1 PT3 40010 1 X 保持寄存器
P1 PT4 41000 1 X 保持寄存器
P1 PT5 41001 2 Lf(X) 保持寄存器
首先，根据上述每个采集设备的通信协议，确定每个采集设备的配置，将这些配置信息统一传输至S1。S1接收并统计这些配置信息，基于这些配置信息，S1根据基础设置，将40001至40010合并为一个数据包，将41000至41002合并为一个数据包，即采集设备P1设置两个采集任务。其他采集设备与P1类似。
然后，S1与P1、P2、P3、···、P10000分别建立连接，每个连接通道为一个并发体，共计10000个并发体。每个并发体执行相应的采集任务。P1对应的并发体首先执行数据包（40001至40010）采集后返回[1,2,3,4,5,6,7,8,9,10](示例数据)，然后执行数据包（41000至41002）采集后返回[1,1,2]（示例数据）。采集完成后，每个采集任务继续执行拆包,PT1=1,PT2=((8*10-8)/2)$2=36.00,PT3=10,PT4=1，PT5=65538，然后对数据进行预处理操作，X为实时数据占位符，直接用实时数据替换，得到具有实际意义的实时数据为PT1=1,PT2=8,PT3=10,PT4=1，PT5=9.404241792503794e-38,然后S1将各个点存储至服务器端。
综上，本公开技术方案通过传感器和位于远程的数据传输单元及其他传输设备，将并发采集到的数据实时传输至服务器端，同时，根据不同工况，服务器端还可以对采集数据进行合并，减少采集次数，提高采集频率，使数据的实时性大大提高。从而可以极大地提高工业实时数据的采集问题，有利于大量工业实时数据的分析与维护。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.一种用于工业实时数据的高并发采集方法，其特征在于，包括以下步骤：
确定采集设备的配置，并将配置信息传输采集服务器；
基于所述配置信息，所述采集服务器合并点表后，设置采集任务；
所述采集服务器为每一个所述采集设备启用一个并发体，采集数据；
基于所述配置信息，所述采集服务器，对上述合并点表进行拆分，并对采集数据进行预处理操作；
所述采集服务器将已进行过预处理操作的数据存储至服务器端。
2.根据权利要求1所述的采集方法，其特征在于，所述采集设备包括：远程终端单元（Remote Terminal Unit ，缩写为RTU）、可编程逻辑控制器（Programmable LogicController，缩写为PLC）、数据传输单元（Data Transfer unit，缩写为DTU）和具备网络传输功能的传感器。
3.根据权利要求2所述的采集方法，其特征在于，所述配置信息包括：
所述远程终端单元（RTU）的配置信息，包括IP、端口、采集区域、采集起始地址和采集长度、预处理表达式；
所述可编程逻辑控制器（PLC）的配置信息，包括IP、端口、机架号、槽号、连接类型、采集点、预处理表达式；
所述数据传输单元（DTU）的配置信息，包括所述数据传输单元的唯一标识、采集点、预处理表达式；
所述传感器的配置信息，包括所述传感器的唯一标识。
4.根据权利要求3中所述采集方法，其特征在于，所述预处理表达式是对实时数据进行运算逻辑的预见性定义，实时数据以占位符形式出现在表达式中；
所述运算逻辑包括数据大小端解析，整形，浮点，布尔型解析，并包括加减乘除四则运算及每一步骤涉及的浮点型小数点保留位数的设定。
5.根据权利要求1至3中任一项所述的采集方法，其特征在于，基于所述配置信息，所述采集服务器合并点表后，设置采集任务的步骤，包括：
所述采集服务器的根据采集数据长度，采集有效数据比例、数据区域类型要求的初始设置，确定单包请求数据长度；
基于所述单包请求数据长度，所述采集服务器在单包请求数据长度小于最大请求长度时，将点表合并为一个请求数据包；在单包请求长度大于最大请求长度时，将点表合并为多个请求数据包；
基于所述请求数据包，所述采集服务器将每一个请求数据包设置为一个采集任务，一个采集设备对应多个采集任务。
6.根据权利要求5所述的采集方法，其特征在于，所述采集服务器为每一个所述采集设备启用一个并发体，采集数据的步骤，包括：
所述采集服务器与采集设备建立连接，此连接为一个采集通道即为一个并发体，每个采集设备对应一个并发体；
基于所述并发体，所述采集服务器以轮询方式执行所述采集设备下对应所述采集任务，并返回实时数据包。
7.根据权利要求6中所述的采集方法，其特征在于，
基于所述配置信息，所述采集服务器，对上述合并点表进行拆分，并对采集数据进行预处理操作的步骤，包括：
所述采集服务器将返回的实时数据，根据所述配置信息进行拆包处理，为每个采集点返回原始实时数据；
所述采集服务器，根据预处理表达式，对原始实时数据进行预处理操作，返回具有实际意义的实时数据。
8.根据权利要求7所述的采集方法，其特征在于，所述采集服务器将已进行过预处理操作的数据存储至服务器端。
9.根据权利要求1至8中任一项所述采集方法，其特征在于，所述采集服务器由至少一台服务器组成。
10.根据权利要求1至9中任一项所述的采集方法，其特征在于，
确定所述配置信息的依据，包括所述采集设备的通信协议。
CN201811318882.0A 2018-11-07 2018-11-07 用于工业实时数据的高并发采集方法 Active CN109451019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811318882.0A CN109451019B (zh) 2018-11-07 2018-11-07 用于工业实时数据的高并发采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811318882.0A CN109451019B (zh) 2018-11-07 2018-11-07 用于工业实时数据的高并发采集方法

Publications (2)

Publication Number Publication Date
CN109451019A true CN109451019A (zh) 2019-03-08
CN109451019B CN109451019B (zh) 2021-07-13

Family

ID=65551836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811318882.0A Active CN109451019B (zh) 2018-11-07 2018-11-07 用于工业实时数据的高并发采集方法

Country Status (1)

Country Link
CN (1) CN109451019B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110261701A (zh) * 2019-06-27 2019-09-20 西安西拓电气股份有限公司 电力设备的配置方法、装置及系统
CN110874265A (zh) * 2019-11-15 2020-03-10 厦门物通博联网络科技有限公司 一种快速采集数据方法、装置、设备及存储介质
CN111597388A (zh) * 2020-07-27 2020-08-28 平安国际智慧城市科技股份有限公司 基于分布式系统的样本采集方法、装置、设备及介质
CN111638690A (zh) * 2020-05-26 2020-09-08 新奥数能科技有限公司 基于通用信息模型的数据采集方法、装置、系统和设备
CN114157661A (zh) * 2020-09-07 2022-03-08 北京奇艺世纪科技有限公司 数据请求方法、数据处理方法、相关装置、设备及系统
CN114528319A (zh) * 2022-02-22 2022-05-24 厦门四信通信科技有限公司 对多个plc数据的采集方法、装置、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237357A (zh) * 2008-02-04 2008-08-06 华中科技大学 工业无线传感器网络故障在线检测方法
CN103024814A (zh) * 2013-01-09 2013-04-03 中国人民解放军理工大学 一种基于冗余控制和分簇路由的无线传感网节能方法
CN103019215A (zh) * 2012-12-24 2013-04-03 珠海拓普智能电气股份有限公司 一种监测分站数据采集通道的信号类型控制系统
CN103634076A (zh) * 2013-11-27 2014-03-12 上海电器科学研究院 一种监控可编程逻辑控制器的通信数据打包方法
CN103841620A (zh) * 2012-11-27 2014-06-04 中国石油天然气股份有限公司 阴极保护数据自动采集系统无线传感器网络通信协议方法
CN106257874A (zh) * 2016-08-01 2016-12-28 上海海事大学 一种不稳定网络中大数据量远程采集方法与系统
CN107907570A (zh) * 2017-11-23 2018-04-13 华能沁北发电有限责任公司 一种压缩空气压力露点在线检测装置及其计算方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237357A (zh) * 2008-02-04 2008-08-06 华中科技大学 工业无线传感器网络故障在线检测方法
CN103841620A (zh) * 2012-11-27 2014-06-04 中国石油天然气股份有限公司 阴极保护数据自动采集系统无线传感器网络通信协议方法
CN103019215A (zh) * 2012-12-24 2013-04-03 珠海拓普智能电气股份有限公司 一种监测分站数据采集通道的信号类型控制系统
CN103024814A (zh) * 2013-01-09 2013-04-03 中国人民解放军理工大学 一种基于冗余控制和分簇路由的无线传感网节能方法
CN103634076A (zh) * 2013-11-27 2014-03-12 上海电器科学研究院 一种监控可编程逻辑控制器的通信数据打包方法
CN106257874A (zh) * 2016-08-01 2016-12-28 上海海事大学 一种不稳定网络中大数据量远程采集方法与系统
CN107907570A (zh) * 2017-11-23 2018-04-13 华能沁北发电有限责任公司 一种压缩空气压力露点在线检测装置及其计算方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110261701A (zh) * 2019-06-27 2019-09-20 西安西拓电气股份有限公司 电力设备的配置方法、装置及系统
CN110261701B (zh) * 2019-06-27 2021-08-13 西安西拓电气股份有限公司 电力设备的配置方法、装置及系统
CN110874265A (zh) * 2019-11-15 2020-03-10 厦门物通博联网络科技有限公司 一种快速采集数据方法、装置、设备及存储介质
CN111638690A (zh) * 2020-05-26 2020-09-08 新奥数能科技有限公司 基于通用信息模型的数据采集方法、装置、系统和设备
CN111638690B (zh) * 2020-05-26 2022-04-29 新奥数能科技有限公司 基于通用信息模型的数据采集方法、装置、系统和设备
CN111597388A (zh) * 2020-07-27 2020-08-28 平安国际智慧城市科技股份有限公司 基于分布式系统的样本采集方法、装置、设备及介质
CN114157661A (zh) * 2020-09-07 2022-03-08 北京奇艺世纪科技有限公司 数据请求方法、数据处理方法、相关装置、设备及系统
CN114157661B (zh) * 2020-09-07 2024-01-16 北京奇艺世纪科技有限公司 数据请求方法、数据处理方法、相关装置、设备及系统
CN114528319A (zh) * 2022-02-22 2022-05-24 厦门四信通信科技有限公司 对多个plc数据的采集方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN109451019B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN109451019A (zh) 用于工业实时数据的高并发采集方法
CN108847979B (zh) 一种基于scada的自适应组态系统及方法
CN101211277B (zh) 选择子os的一个执行计划的方法与使用该方法的虚拟机监视器
CN108989358B (zh) 一种基于tcp/ip协议纺机运行数据获取方法
CN110311990B (zh) 一种可配置物联网数据采集系统及配置方法
CN111638690B (zh) 基于通用信息模型的数据采集方法、装置、系统和设备
CN111242807B (zh) 一种变电站数据接入泛在电力物联网的方法
CN110677462B (zh) 多区块链网络的访问处理方法、系统、装置及存储介质
CN103248512A (zh) 通信网络中应用层拓扑结构的生成方法和系统
CN102970104A (zh) 一种获取数据的方法及服务器
CN108924228B (zh) 基于边缘计算的工业互联网优化系统
CN104243610A (zh) 一种分布式文件传输服务方法
CN105681285A (zh) 一种异构工业信号源信息获取方法
CN114095535B (zh) 一种将物理设备时序变量自动映射为数字模型的方法
CN100493113C (zh) 实现自动切换的方法、系统及装置
CN105007200B (zh) 网络数据包的分析方法及系统
CN110320837A (zh) 一种可边缘计算的工业电脑
CN107948005B (zh) 物联网协议的更新方法及装置
CN111315026B (zh) 信道的选择方法、装置、网关及计算机可读存储介质
CN111884915A (zh) 一种提高网关采集modbus设备效率的方法
CN116389321A (zh) 生产环境全链路的压力测试方法及其装置
CN110780630A (zh) 一种适用于物联网的协议库对接执行系统及工作方法
CN105871659A (zh) 新增服务器的监控方法及装置
CN116016579A (zh) 一种自动化设备的数据采集系统
CN114385541A (zh) 一种面向智能制造的opc ua聚合服务器及其设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 602, 6th floor, building D, No.2-2, Beijing Shichuang hi tech Development Corporation

Applicant after: BEIJING TIANAN WISDOM INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 411, 4th floor, building D, 2-2, Beijing Shichuang hi tech Development Corporation

Applicant before: BEIJING TIANAN WISDOM INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant