CN113944601A - 一种用于风机高频海量数据实时采集传输及处理的方法 - Google Patents

一种用于风机高频海量数据实时采集传输及处理的方法 Download PDF

Info

Publication number
CN113944601A
CN113944601A CN202111205931.1A CN202111205931A CN113944601A CN 113944601 A CN113944601 A CN 113944601A CN 202111205931 A CN202111205931 A CN 202111205931A CN 113944601 A CN113944601 A CN 113944601A
Authority
CN
China
Prior art keywords
data
acquisition
plc
transmission
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111205931.1A
Other languages
English (en)
Inventor
刘钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202111205931.1A priority Critical patent/CN113944601A/zh
Publication of CN113944601A publication Critical patent/CN113944601A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D80/00—Details, components or accessories not provided for in groups F03D1/00 - F03D17/00
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/10—Arrangements in telecontrol or telemetry systems using a centralized architecture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种用于风机高频海量数据实时采集传输及处理的方法，涉及数据采集传输方法领域。该用于风机高频海量数据实时采集传输及处理的方法，包括以下步骤：开发一套程序，包括服务器端和客户端，在风机PLC内部开发一套采集程序的服务器端负责数据采集和数据发送，数据采集设备侧作为客户端，请求采集程序的服务，实现实时数据的接收、解析和存储，PLC和数据采集设备之间通过以太网网络通信，通信协议采用TCP/IP。本发明设计的方法在风机PLC内部开发了一段采集程序服务器端，该程序交由PLC的定时任务控制，可实现毫秒级数据的采集，同时采用指针的方式读取变量的值，占用的计算资源很低，负载较低，可以实现1000个以上变量的采集。

Description

一种用于风机高频海量数据实时采集传输及处理的方法
技术领域
本发明涉及数据采集传输方法技术领域，具体为一种用于风机高频海量数据实时采集传输及处理的方法。
背景技术
基于PLC高频率的毫秒级数据的采集和分析是快速实现风机大部件故障预测的一条有效的研发途径。基于高频数据的分析可以充分利用风机现有传感器数据，在不加装新的传感器的情况下，能够进行更多大部件的异常发现和故障预警，是一种低成本的故障诊断方法；同时高频数据也能为风机运维团队日常的检修和故障排查，为研发团队跟踪风机实际运行状态和设计验证提供强有力的数据支撑。而国内目前大型风电整机装备中缺乏此类高频数据采集的能力，风电场自身的scada系统只能支持100-200个变量秒级数据的采集，高分辨率数据的不足限制了风电行业数据的分析和应用。
当前最常用的采集方式是通过Modbus TCP协议采集，但是该方式采集频率无法达到毫秒级别(一般为1秒)，采集的变量数量也只有100个左右。这是由于Modbus协议本身采用的请求/响应的模式，单次请求最多只能请求120多个变量，如果请求1000个变量需要发起多次请求，不仅增加了PLC的负载，响应时间也拉长了，无法达到毫秒级。此外，其他工业协议例如Ethernet POWERLINK、EtherNet/IP、以及PLC厂商私有协议也无法实现在具体工况下的1000个以上变量毫秒级数据的采集。
本发明可以实现对风电机组PLC的毫秒级数据，1000-2000个变量的采集，而且负载低，不影响相应控制程序的正常运行。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种用于风机高频海量数据实时采集传输及处理的方法，解决了国内目前大型风电整机装备中缺乏此类高频数据采集的能力，风电场自身的scada系统只能支持100-200个变量秒级数据的采集，高分辨率数据的不足限制了风电行业数据的分析和应用的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种用于风机高频海量数据实时采集传输及处理的方法，包括以下步骤：开发一套程序，包括服务器端和客户端，在风机PLC内部开发一套采集程序的服务器端负责数据采集和数据发送，数据采集设备侧作为客户端，请求采集程序的服务，实现实时数据的接收、解析和存储，PLC和数据采集设备之间通过以太网网络通信，通信协议采用TCP/IP；
PLC侧：在PLC内部使用C++语言开发一个模块，该模块包括两个功能程序：高频数据的采集程序和数据发送服务程序；
数据采集设备侧：在数据采集设备侧开发数据接收服务，通过网络从PLC侧接收、解析、存储数据。
优选的，所述高频数据的采集程序命名为collection,放置到PLC的定时任务中，每20ms周期性执行，具体过程如下：
S1.在PLC的SD卡上放置一份配置文件，配置文件中按照csv格式编写，每行的格式为：变量名:变量数据类型,每次开机首先读取配置文件；
S2.程序解析配置文件，调用PLC系统函数，获取每个变量的内存地址空间，存入变量address_list中；
S3.遍历address_list变量，通过指针的方式获取每个变量实际的值；
S4.将值存入空闲的buffer变量中。
优选的，所述数据发送服务程序命名为tcp,放置到PLC的定时任务中，每20ms周期性执行，过程如下：
a).开发一个TCP服务器，绑定并监听1000端口；
b).当接收到客户端发来的指令2时，判断哪个buffer处于待发送状态，将该buffer内容发送给客户端。
优选的，所述数据采集设备侧的数据接收服务采用Python开发，实现过程如下：
(A)数据采集设备侧手动存一份配置文件；
(B)连接PLC的1000端口；
(C)发送指令2，不停的接收数据,将数据写入消息队列Rabbitmq；
(D)从消息队列中读取数据，解析每条数据，按照配置文件中每个变量的类型解析成响应的数据类型；
(E)将结果存入时序数据库中。
优选的，所述高频数据的采集程序和数据发送服务程序放置到PLC的定时任务中时，其执行周期时间可以根据需求自行修改。
优选的，所述S4中的buffer变量定义为2个变量：buffer1和buffer2，数据类型为字符串，2个buffer循环使用，被用于存储变量的值和发送给数据采集设备侧。
优选的，所述数据采集设备侧的数据接收服务采用Python开发的过程中，步骤(A)中的配置文件和PLC侧的一致。
(三)有益效果
本发明提供了一种用于风机高频海量数据实时采集传输及处理的方法。
具备以下有益效果：
1.在PLC内部开发了一段采集程序服务器端，该程序交由PLC的定时任务控制(例如20ms，用户可自行修改)，从而实现毫秒级数据的采集。
2.本发明采用指针的方式读取变量的值，占用的计算资源很低，因此可以实现1000个以上变量的采集。
3.本发明采用TCP/IP协议传输数据，可以直接利用现有设备连接的网络架构，无需修改网络架构或增加设备。
附图说明
图1为本发明公开的用于风机高频海量数据实时采集传输及处理的方法的总体结构示意图；
图2为本发明公开的用于风机高频海量数据实时采集传输及处理的方法的高频数据采集功能实现流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1-2所示，本发明实施例提供一种用于风机高频海量数据实时采集传输及处理的方法，包括以下步骤：开发一套程序，包括服务器端和客户端。
具体为：在风机PLC内部开发一套采集程序的服务器端，负责数据采集和数据发送，数据采集设备侧作为客户请求采集程序的服务器，实现实时数据的接收、解析和存储，PLC和数据采集设备之间通过以太网网络通信，通信协议采用TCP/IP。
其中，
PLC侧：在PLC内部使用C++语言开发一个模块，该模块包括两个功能程序：高频数据的采集程序和数据发送服务程序。
高频数据的采集程序命名为collection,放置到PLC的定时任务中，每20ms周期性执行，具体过程如下：
S1.在PLC的SD卡上放置一份配置文件，配置文件中按照csv格式编写，每行的格式为：变量名:变量数据类型,每次开机首先读取配置文件；
S2.程序解析配置文件，调用PLC系统函数，获取每个变量的内存地址空间，存入变量address_list中；
S3.遍历address_list变量，通过指针的方式获取每个变量实际的值；
S4.将值存入空闲的buffer变量中，变量包括：buffer1和buffer2，数据类型为字符串，2个buffer循环使用，被用于存储变量的值和发送给数据采集设备侧。
数据发送服务程序命名为tcp,放置到PLC的定时任务中，每20ms周期性执行，过程如下：
a).开发一个TCP服务器，绑定并监听1000端口；
b).当接收到客户端发来的指令2时，判断哪个buffer处于待发送状态，将该buffer内容发送给客户端。
数据采集设备侧：在数据采集设备侧开发数据接收服务，通过网络从PLC侧接收、解析、存储数据。
数据采集设备侧：在数据采集设备侧开发数据接收服务，通过网络从PLC侧接收、解析、存储数据，数据采集设备侧的数据接收服务采用Python开发，具体过程如下：
(A)数据采集设备侧手动存一份配置文件，配置文件与PLC侧相同；
(B)连接PLC的1000端口；
(C)发送指令2，然后不停的接收数据发送服务程序发送的数据,将数据写入消息队列Rabbitmq；
(D)从消息队列中读取数据，解析每条数据，按照配置文件中每个变量的类型解析成响应的数据类型；
(E)将结果存入时序数据库中。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种用于风机高频海量数据实时采集传输及处理的方法，其特征在于：包括以下步骤：开发一套程序，包括服务器端和客户端，在风机PLC内部开发一套采集程序的服务器端负责数据采集和数据发送，数据采集设备侧作为客户端，请求采集程序的服务，实现实时数据的接收、解析和存储，PLC和数据采集设备之间通过以太网网络通信，通信协议采用TCP/IP；
PLC侧：在PLC内部使用C++语言开发一个模块，该模块包括两个功能程序：高频数据的采集程序和数据发送服务程序；
数据采集设备侧：在数据采集设备侧开发数据接收服务，通过网络从PLC侧接收、解析、存储数据。
2.根据权利要求1所述的一种用于风机高频海量数据实时采集传输及处理的方法，其特征在于：所述高频数据的采集程序命名为collection,放置到PLC的定时任务中，每20ms周期性执行，具体过程如下：
S1.在PLC的SD卡上放置一份配置文件，配置文件中按照csv格式编写，每行的格式为：变量名:变量数据类型,每次开机首先读取配置文件；
S2.程序解析配置文件，调用PLC系统函数，获取每个变量的内存地址空间，存入变量address_list中；
S3.遍历address_list变量，通过指针的方式获取每个变量实际的值；
S4.将值存入空闲的buffer变量中。
3.根据权利要求1所述的一种用于风机高频海量数据实时采集传输及处理的方法，其特征在于：所述数据发送服务程序命名为tcp,放置到PLC的定时任务中，每20ms周期性执行，过程如下：
a).开发一个TCP服务器，绑定并监听1000端口；
b).当接收到客户端发来的指令2时，判断哪个buffer处于待发送状态，将该buffer内容发送给客户端。
4.根据权利要求1所述的一种用于风机高频海量数据实时采集传输及处理的方法，其特征在于：所述数据采集设备侧的数据接收服务采用Python开发，实现过程如下：
(A)数据采集设备侧手动存一份配置文件；
(B)连接PLC的1000端口；
(C)发送指令2，不停的接收数据,将数据写入消息队列Rabbitmq；
(D)从消息队列中读取数据，解析每条数据，按照配置文件中每个变量的类型解析成响应的数据类型；
(E)将结果存入时序数据库中。
5.根据权利要求2或3所述的一种用于风机高频海量数据实时采集传输及处理的方法，其特征在于：所述高频数据的采集程序和数据发送服务程序放置到PLC的定时任务中时，其执行周期时间可以根据需求自行修改。
6.根据权利要求2所述的一种用于风机高频海量数据实时采集传输及处理的方法，其特征在于：所述S4中的buffer变量定义为2个变量：buffer1和buffer2，数据类型为字符串，2个buffer循环使用，被用于存储变量的值和发送给数据采集设备侧。
7.根据权利要求4所述的一种用于风机高频海量数据实时采集传输及处理的方法，其特征在于：所述数据采集设备侧的数据接收服务采用Python开发的过程中，步骤(A)中的配置文件和PLC侧的一致。
CN202111205931.1A 2021-10-15 2021-10-15 一种用于风机高频海量数据实时采集传输及处理的方法 Pending CN113944601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111205931.1A CN113944601A (zh) 2021-10-15 2021-10-15 一种用于风机高频海量数据实时采集传输及处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205931.1A CN113944601A (zh) 2021-10-15 2021-10-15 一种用于风机高频海量数据实时采集传输及处理的方法

Publications (1)

Publication Number Publication Date
CN113944601A true CN113944601A (zh) 2022-01-18

Family

ID=79330956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205931.1A Pending CN113944601A (zh) 2021-10-15 2021-10-15 一种用于风机高频海量数据实时采集传输及处理的方法

Country Status (1)

Country Link
CN (1) CN113944601A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010034782A1 (en) * 2000-01-14 2001-10-25 Ian Kinkade Efficient web based proxy message method and apparatus for message queuing middleware resident on a server computer
JP2003114908A (ja) * 2001-10-05 2003-04-18 Omron Corp データ収集装置及びデータ収集システム並びにプログラム製品
CN102748214A (zh) * 2012-07-10 2012-10-24 国电联合动力技术有限公司 耦合于控制系统的风电机组状态监测与故障诊断系统
CN105134493A (zh) * 2015-10-20 2015-12-09 重庆科凯前卫风电设备有限责任公司 一种基于风力发电机组控制系统的信息采集和存储方法
CN108885545A (zh) * 2016-03-23 2018-11-23 雾角系统公司 用于实时数据流编程语言的工具和方法
JP2020119190A (ja) * 2019-01-23 2020-08-06 トヨタ自動車株式会社 システム設計装置
CN112632214A (zh) * 2020-12-24 2021-04-09 中国建设银行股份有限公司 一种创建清单数据索引的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010034782A1 (en) * 2000-01-14 2001-10-25 Ian Kinkade Efficient web based proxy message method and apparatus for message queuing middleware resident on a server computer
JP2003114908A (ja) * 2001-10-05 2003-04-18 Omron Corp データ収集装置及びデータ収集システム並びにプログラム製品
CN102748214A (zh) * 2012-07-10 2012-10-24 国电联合动力技术有限公司 耦合于控制系统的风电机组状态监测与故障诊断系统
CN105134493A (zh) * 2015-10-20 2015-12-09 重庆科凯前卫风电设备有限责任公司 一种基于风力发电机组控制系统的信息采集和存储方法
CN108885545A (zh) * 2016-03-23 2018-11-23 雾角系统公司 用于实时数据流编程语言的工具和方法
JP2020119190A (ja) * 2019-01-23 2020-08-06 トヨタ自動車株式会社 システム設計装置
CN112632214A (zh) * 2020-12-24 2021-04-09 中国建设银行股份有限公司 一种创建清单数据索引的方法和装置

Similar Documents

Publication Publication Date Title
CN101846985B (zh) 远程数据采集系统及方法
CN100499521C (zh) 一种网络运行监测的方法和系统
CN108628727B (zh) 一种基于模式运行时特征的模式作业运行状态分析方法
CN112737936A (zh) 一种用于设备预维护的边缘计算网关
Corotinschi et al. Enabling IoT connectivity for Modbus networks by using IoT edge gateways
CN112101589B (zh) 一种基于云计算的船舶远程技术保障系统
CN116866154B (zh) 一种基于虚拟机集群的配电网通讯服务智能调度管理系统
CN113944601A (zh) 一种用于风机高频海量数据实时采集传输及处理的方法
CN115766398B (zh) 基于边缘计算的台区用电信息采集故障分析系统
KR20220060429A (ko) 원격지의 네트워크 스위치에 대한 로그 수집 시스템 및 이의 빅데이터 구축 방법
CN110531724B (zh) 一种基于智能电网调度控制系统的遥测自动采样定义方法
CN114328093A (zh) 一种基于Hadoop的监控方法、系统、存储介质及设备
CN113381907A (zh) 日志采集方法及装置、电子设备、存储介质
CN113596170A (zh) 基于负载均衡设备的停机处理方法、装置、介质及设备
CN113596055B (zh) 一种储能ems系统多规约设备接入方法
CN111524053B (zh) 空气质量预报系统的信息采集方法、装置、设备及介质
CN113608504B (zh) 自适应的风场信息采集方法及装置、介质、风电系统
CN204740730U (zh) 生产环境无损数据采集装置
CN113722256B (zh) 一种基于插件的通信管理机函数式控制系统及方法
CN220234721U (zh) 协议转换系统和发电机组并联控制器
CN117591229B (zh) 一种基于网关嵌入式Web的设备数据查看与展示方法及系统
CN116245502B (zh) 一种基于数字孪生的变压器设备虚实交互运检方法和系统
CN208224815U (zh) 一种基于大数据的高压变频器故障诊断系统
CN115810258A (zh) 弯管机设备维护方法及装置、服务器及介质
CN117793578A (zh) 基于组网环境的虚拟电表测试系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination