CN114567629A - 风场数据处理方法、处理装置、电子设备和介质 - Google Patents

风场数据处理方法、处理装置、电子设备和介质 Download PDF

Info

Publication number
CN114567629A
CN114567629A CN202210202481.9A CN202210202481A CN114567629A CN 114567629 A CN114567629 A CN 114567629A CN 202210202481 A CN202210202481 A CN 202210202481A CN 114567629 A CN114567629 A CN 114567629A
Authority
CN
China
Prior art keywords
data
wind field
field data
server
wind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210202481.9A
Other languages
English (en)
Inventor
王权
申文
张金光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Wind Power Group Co Ltd
Original Assignee
Shanghai Electric Wind Power Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Wind Power Group Co Ltd filed Critical Shanghai Electric Wind Power Group Co Ltd
Priority to CN202210202481.9A priority Critical patent/CN114567629A/zh
Publication of CN114567629A publication Critical patent/CN114567629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种风场数据处理方法、处理装置、电子设备和介质。该处理方法包括：定时导出SCADA数据采集服务器中的风场数据，对所述风场数据进行加密封装；将封装的所述风场数据下载至移动终端设备，通过所述移动终端设备发送至云端数据服务器。本发明能通过数据导出工具在指定时间自动从SCADA数据采集服务器中导出指定的数据，并对数据进行打包加密且导出操作简单，由现场运维人员下载数据并导入至云端，保障风场数据传输过程的安全，并对导入的风场数据形成记录，监控风场数据的处理过程，及时发现异常，并通知管理人员。

Description

风场数据处理方法、处理装置、电子设备和介质
技术领域
本发明涉及一种风场数据处理方法，尤其是一种风场数据处理方法、处理装置、电子设备和介质。
背景技术
现有风场地处偏远，风场端的数据导出需要对数据库进行操作，该操作对运维人员有很高的技术要求。而每次数据导出的人工操作，给企业造成巨大的人力成本及经济负担。
另一方面，对人工采集的数据的上云情况，缺乏对数据采集后，数据传输的监督和管控，难以形成闭环机制。
发明内容
本发明要解决的技术问题是为了克服现有技术中风场数据导出技术要求高，造成人力成本高且缺乏数据传输的监督和管控的缺陷，提供一种风场数据处理方法。
本发明是通过下述技术方案来解决上述技术问题：
第一方面提供一种风场数据处理方法，所述风场数据处理方法包括：
定时导出SCADA(Supervisory Control And Data Acquisition数据采集与监视控制系统)数据采集服务器中的风场数据，对所述风场数据进行加密封装；
将封装的所述风场数据下载至移动终端设备，通过所述移动终端设备发送至云端数据服务器。
可选地，所述云端数据服务器包括ftp(File Transfer Protocol文件传输协议)服务器、kafka服务器(卡夫卡服务器)和kafka producer(卡夫卡生产者)服务器，所述风场数据处理方法还包括：
将封装的所述风场数据导入ftp服务器，将导入成功的所述风场数据分发至所述kafka producer服务器，通过所述kafka producer服务器判断封装的所述风场数据是否完整；
若完整，则将完整的所述风场数据导入所述kafka服务器。
可选地，对所述风场数据进行加密封装的步骤包括：
将所述SCADA采集服务器导出的多个所述风场数据合并后进行封装，并生成MD5(Message-Digest Algorithm 5信息摘要算法)码进行加密；
所述判断封装的所述风场数据是否完整的步骤包括：
判断封装的所述风场数据的MD5码校验文件是否完整，若是，则所述风场数据完整。
可选地，所述将完整的风场数据导入所述云端数据服务器的步骤包括：
将导入的所述风场数据移动到kafka producer服务器的工作目录，并由kafkaproducer服务器解压、解密并读取后，写入所述kafka服务器；
若写入成功，则形成状态为成功的记录并添加至写入信息表，并删除写入所述kafka服务器的所述风场数据文件；
若写入失败，则形成状态为失败的记录并添加至写入信息表。
可选地，所述将封装的所述风场数据导入ftp服务器还包括：
建立导入ftp服务器的导入信息表；
若导入成功，则在导入信息表中对应生成导入成功的记录；
若导入失败，则在导入信息表中对应生成导入失败的记录。
可选地，所述风场具有多个所述SCADA数据采集服务器，所述风场数据处理方法还包括如下步骤：
定时导出所述SCADA数据采集服务器中的风场数据时，形成风场数据的导出记录；
判断所述风场数据的导出记录的形成时间与对应所述风场数据导入所述云端数据服务器的导入时间之间的时间间隔是否超出间隔阈值；
若是，则判断所述风场数据的导出记录中所记录的导出的所述风场数据数量与所述云端数据服务器的所述导入信息表中所记录的导入的所述风场数据数量是否一致；
若不一致，则向对应的所述SCADA采集服务器的管理员发送通知。
可选地，所述云端数据服务器具有多个服务器，所述将完整的所述风场数据导入所述云端数据服务器的步骤包括：
导入的所述风场数据以分布式存储方式分配至所述多个服务器。
第二方面提供一种风场数据处理装置，所述处理装置包括采集单元、一个或多个处理单元以及存储单元，所述一个或多个处理单元分别与所述采集单元、所述存储单元通信连接；
所述采集单元用于获取SCADA数据采集服务器中的风场数据；
所述存储单元被配置成存储指令，当所述指令被所述一个或多个处理单元执行时，使所述一个或多个处理单元执行步骤，所述步骤包括：
定时导出SCADA数据采集服务器中的风场数据，对所述风场数据进行加密封装；
将封装的所述风场数据下载至移动终端设备，通过所述移动终端设备发送至云端数据服务器。
第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如上述的风场数据处理方法。
第四方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的风场数据处理方法。
本发明的积极进步效果在于：通过数据导出工具在指定时间自动从SCADA数据采集服务器中导出指定的数据，并对数据进行打包加密且导出操作简单，由现场运维人员下载数据并导入至云端，保障风场数据传输过程的安全，并对导入的风场数据形成记录，监控风场数据的处理过程，及时发现异常，并通知管理人员。
附图说明
图1为本发明实施例1的风场数据处理方法的第一流程图；
图2为本发明实施例1的风场数据处理方法的第二流程图；
图3为本发明实施例1的风场数据处理方法的第三流程图；
图4为本发明实施例1的风场数据处理方法的第四流程图；
图5为本发明实施例1的风场数据处理方法的第五流程图；
图6为本发明实施例2的风场数据处理装置的模块示意图；
图7为本发明实施例3的电子设备的硬件结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供了一种风场数据处理方法，如图1所示，所述风场数据处理方法包括：
S101、定时导出SCADA数据采集服务器中的风场数据，对所述风场数据进行加密封装；
S102、将封装的所述风场数据下载至移动终端设备，通过所述移动终端设备发送至云端数据服务器。
作为较佳的实施方式，本实施例所述处理方法如图2所示，具体步骤包括：
S201、将所述SCADA采集服务器导出的多个所述风场数据合并后进行封装，并生成MD5码进行加密；
所述云端数据服务器包括ftp服务器、kafka服务器和kafka producer服务器，所述风场数据处理方法还包括：
S202、将封装的所述风场数据导入ftp服务器；
S203、将导入成功的所述风场数据分发至所述kafka producer服务器；
通过所述kafka producer服务器判断封装的所述风场数据是否完整；
若完整，则将完整的所述风场数据导入所述kafka服务器。
所述判断封装的所述风场数据是否完整的步骤包括：
S204、判断封装的所述风场数据的MD5码校验文件是否完整；
若是，则所述风场数据完整。
作为本实施例的一种可实现方式，如图3所示，SCADA数据采集服务器具有配置数据导出的界面及配置数据定时导出周期的界面。先配置SCADA采集服务器数据导出目录及配置数据定时导出的周期，SCADA数据采集服务器按照配置的周期导出数据文件到指定的目录，合并多个导出数据文件为一个，生成MD5码并进行加密，可以是同一时刻导出的多个不同类型的数据文件，或是不同时刻导出的多个同类型数据文件，所述数据文件优选的具有时间戳信息。
对于导出SCADA数据采集服务器的数据文件，更新文件导出信息表导出状态为已导出，将导出的数据下载到笔记本电脑，需注意的是，笔记本电脑为本实施例可实现的一种方式，所述移动终端包括但不限于便携式PC终端、笔记本电脑、平板电脑、车载电脑或智能手机。该笔记本电脑配置由下载数据的界面。对应的，SCADA数据采集服务器更新文件导出信息表导出状态为已下载。之后笔记本电脑使用WinSCP、FileZilla上传到云端服务器。
优选的，SCADA数据采集服务器还可执行历史数据导出，配置由历史数据导出界面，可将导出的历史数据插入信息到文件导出信息表。
SCADA数据采集服务器定时导出的风场数据，通过将多个风场数据压缩封装，降低了现场操作人员导出数据的操作难度，只需一键下载或导出压缩后的风场数据文件即可；同时，封装的风场数据通过MD5码加密后，确保风场数据在传输过程中的完整性与安全性。
而采用ftp服务器、kafka服务器和kafka producer服务器作为云端服务器导入风场数据，在保障数据安全性的同时，对风场数据进行合理的存储。
作为较佳的实施方式，所述将完整的风场数据导入所述云端数据服务器的步骤包括：
将导入的所述风场数据移动到kafka producer服务器的工作目录；
S205、由kafka producer服务器解压、解密并读取后；
S206、写入所述kafka服务器；
若写入成功，则形成状态为成功的记录并添加至写入信息表，并删除写入所述kafka服务器的所述风场数据文件；
若写入失败，则形成状态为失败的记录并添加至写入信息表。
将风场数据写入kafka服务器的情况记录并添加至写入信息表，便于后续对于风场数据的计算和可视化处理。
作为较佳的实施方式，所述将封装的所述风场数据导入ftp服务器还包括：
建立导入ftp服务器的导入信息表；
若导入成功，则在导入信息表中对应生成导入成功的记录；
若导入失败，则在导入信息表中对应生成导入失败的记录。
作为本实施例的一种可实现方式，如图4所示，从ftp服务器分发文件到相应的kafka producer服务器，优选地，将风场数据按照所属的部件或采集的时间等类型进行分类，将不同类型的数据根据SCP(Standard Communication Protocol数据传输协议)协议分发至不同的kafka producer服务器；
可选地，分发机制根据服务器的数量对文件名进行hash(哈希)取模分发；kafkaproducer服务器通过MD5码检查分发的数据是否完整，根据数据文件的压缩工具，作为本实施方式的一种可实现方式，完整的数据包括压缩的zip文件及同名的txt文件。
经检查文件传输是否完整后，移动文件到kafka producer的工作目录，再检测MD5校验文件的完整性，将插入导入成功或失败数据到导入信息表，并以分页展示文件导入情况。
进一步的，kafka producer解压文件并解密，kafka producer读取文件内容后写入kafka中，对于写入kafka是否成功，将写入成功的插入一条状态为成功的记录到kafka写入信息表，写入失败的插入一条状态为失败的记录到kafka写入信息表，并分页展示kafkaproducer写入kafka的情况，最后对于写入kafka成功的数据文件，删除已写入到kafka中的数据文件。
通过建立导入信息表用于监视风场数据的导入情况，以便发现导入失败的情况，可及时发现并通知上传的工作人员，以及后续数据维护或处理时，识别缺失的风场数据。
作为较佳的实施方式，所述风场具有多个所述SCADA数据采集服务器，所述风场数据处理方法还包括如下步骤：
定时导出所述SCADA数据采集服务器中的风场数据时，形成风场数据的导出记录；
判断所述风场数据的导出记录的形成时间与对应所述风场数据导入所述云端数据服务器的导入时间之间的时间间隔是否超出间隔阈值；
若是，则判断所述风场数据的导出记录中所记录的导出的所述风场数据数量与所述云端数据服务器的所述导入信息表中所记录的导入的所述风场数据数量是否一致；
若不一致，则向对应的所述SCADA采集服务器的管理员发送通知。
通过对风场数据的导出记录与导入记录的时间、数量等信息的监控，达到对整个风场数据处理过程的监控，并在处理过程发生异常时及时发出预警，告知管理人员介入，为云端服务器后续对风场数据进行计算或可视化操作提供可靠的数据源。
作为较佳的实施方式，所述云端数据服务器具有多个服务器，所述将完整的所述风场数据导入所述云端数据服务器的步骤包括：
导入的所述风场数据以分布式存储方式分配至所述多个服务器。
作为本实施例的一种可实现方式，如图5所示，云端服务器配置数据导入负责人、执行人、邮箱，每天扫面云端mongo数据库检查风场数据是否按时导入，扫面导入数据的信息：检查最近导入时间和数量，插入检查结果到延迟检查表，同时显示未及时导入数据的信息，对于数据导入不及时，发邮件给风场数据导入执行人和负责人，将发送邮件记录写入催导记录表，按风场、表名、最新导入时段、催导次数进行分类统计报表，并配置分类报表展示。
通过数据导出工具在指定时间自动从数据库中导出指定的数据，并对数据进行打包加密；由现场运维人员在文件下载界面下载数据并上传云端；云端程序解压解密数据文件，写入数据库中，并保留每天的上传记录；对于有延迟上传文件的风场相关责任人进行邮件延迟催导。
本实施例通过数据导出工具在指定时间自动从SCADA数据采集服务器中导出指定的数据，并对数据进行打包加密且导出操作简单，由现场运维人员下载数据并导入至云端，保障风场数据传输过程的安全，并对导入的风场数据形成记录，监控风场数据的处理过程，及时发现异常，并通知管理人员进行检查。
实施例2
本实施例提供一种风场数据处理装置，如图6所示，所述处理装置包括采集单元21、一个或多个处理单元23以及存储单元22，所述一个或多个处理单元23分别与所述采集单元21、所述存储单元22通信连接；
所述采集单元21用于获取SCADA数据采集服务器中的风场数据；
所述存储单元22被配置成存储指令，当所述指令被所述一个或多个处理单元23执行时，使所述一个或多个处理单元23执行步骤，所述步骤包括：
S201、定时导出SCADA数据采集服务器中的风场数据，对所述风场数据进行加密封装；
S202、将封装的所述风场数据下载至移动终端设备，通过所述移动终端设备发送至云端数据服务器。
具体的，移动终端设备可采用便携式PC终端、笔记本电脑、平板电脑、车载电脑或智能手机。
可选地，所述存储单元22和所述处理单元23包括所述云端数据服务器包括ftp服务器、kafka服务器和kafka producer服务器，所述处理单元23执行的所述风场数据处理方法还包括：
封装的所述风场数据导入ftp服务器，将导入成功的所述风场数据分发至所述kafka producer服务器，通过所述kafka producer服务器判断封装的所述风场数据是否完整；
若完整，则将完整的所述风场数据导入所述kafka服务器。
可选地，对所述风场数据进行加密封装的步骤包括：
将所述SCADA采集服务器导出的多个所述风场数据合并后进行封装，并生成MD5码进行加密；
所述判断封装的所述风场数据是否完整的步骤包括：
判断封装的所述风场数据的MD5码校验文件是否完整，若是，则所述风场数据完整。
可选地，所述处理单元23执行的所述将完整的风场数据导入所述云端数据服务器的步骤包括：
将导入的所述风场数据移动到kafka producer服务器的工作目录，并由kafkaproducer服务器解压、解密并读取后，写入所述kafka服务器；
若写入成功，则形成状态为成功的记录并添加至写入信息表，并删除写入所述kafka服务器的所述风场数据文件；
若写入失败，则形成状态为失败的记录并添加至写入信息表。
可选地，所述处理单元23执行的所述封装的所述风场数据导入ftp服务器还包括：
建立导入ftp服务器的导入信息表；
若导入成功，则在导入信息表中对应生成导入成功的记录；
若导入失败，则在导入信息表中对应生成导入失败的记录。
可选地，所述存储单元22包括所述风场具有多个所述SCADA数据采集服务器，所述处理单元23执行的所述风场数据处理方法还包括如下步骤：
定时导出所述SCADA数据采集服务器中的风场数据时，形成风场数据的导出记录；
判断所述风场数据的导出记录的形成时间与对应所述风场数据导入所述云端数据服务器的导入时间之间的时间间隔是否超出间隔阈值；
若是，则判断所述风场数据的导出记录中所记录的导出的所述风场数据数量与所述云端数据服务器的所述导入信息表中所记录的导入的所述风场数据数量是否一致；
若不一致，则向对应的所述SCADA采集服务器的管理员发送通知。
可选地，所述云端数据服务器具有多个服务器，所述将完整的所述风场数据导入所述云端数据服务器的步骤包括：
导入的所述风场数据以分布式存储方式分配至所述多个服务器。
实施例3
如图7所示，为本发明实施例3提供的一种电子设备的结构示意图。包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述实施例1的风场数据处理方法。图4显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1的风电场的数据采集控制方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1所述的风场数据处理方法。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所述的风场数据处理方法。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种风场数据处理方法，其特征在于，所述风场数据处理方法包括：
定时导出SCADA数据采集服务器中的风场数据，对所述风场数据进行加密封装；
将封装的所述风场数据下载至移动终端设备，通过所述移动终端设备发送至云端数据服务器。
2.根据权利要求1所述的风场数据处理方法，其特征在于，所述云端数据服务器包括ftp服务器、kafka服务器和kafka producer服务器，所述风场数据处理方法还包括：
将封装的所述风场数据导入ftp服务器，将导入成功的所述风场数据分发至所述kafkaproducer服务器，通过所述kafka producer服务器判断封装的所述风场数据是否完整；
若完整，则将完整的所述风场数据导入所述kafka服务器。
3.根据权利要求2所述的风场数据处理方法，其特征在于，对所述风场数据进行加密封装的步骤包括：
将所述SCADA采集服务器导出的多个所述风场数据合并后进行封装，并生成MD5码进行加密；
所述判断封装的所述风场数据是否完整的步骤包括：
判断封装的所述风场数据的MD5码校验文件是否完整，若是，则所述风场数据完整。
4.根据权利要求3所述的风场数据处理方法，其特征在于，所述将完整的风场数据导入所述云端数据服务器的步骤包括：
将导入的所述风场数据移动到kafka producer服务器的工作目录，并由kafkaproducer服务器解压、解密并读取后，写入所述kafka服务器；
若写入成功，则形成状态为成功的记录并添加至写入信息表，并删除写入所述kafka服务器的所述风场数据文件；
若写入失败，则形成状态为失败的记录并添加至写入信息表。
5.根据权利要求2所述的风场数据处理方法，其特征在于，所述将封装的所述风场数据导入ftp服务器还包括：
建立导入ftp服务器的导入信息表；
若导入成功，则在导入信息表中对应生成导入成功的记录；
若导入失败，则在导入信息表中对应生成导入失败的记录。
6.根据权利要求5所述的风场数据处理方法，其特征在于，所述风场具有多个所述SCADA数据采集服务器，所述风场数据处理方法还包括如下步骤：
定时导出所述SCADA数据采集服务器中的风场数据时，形成风场数据的导出记录；
判断所述风场数据的导出记录的形成时间与对应所述风场数据导入所述云端数据服务器的导入时间之间的时间间隔是否超出间隔阈值；
若是，则判断所述风场数据的导出记录中所记录的导出的所述风场数据数量与所述云端数据服务器的所述导入信息表中所记录的导入的所述风场数据数量是否一致；
若不一致，则向对应的所述SCADA采集服务器的管理员发送通知。
7.根据权利要求2所述的风场数据处理方法，其特征在于，所述云端数据服务器具有多个服务器，所述将完整的所述风场数据导入所述云端数据服务器的步骤包括：
导入的所述风场数据以分布式存储方式分配至所述多个服务器。
8.一种风场数据处理装置，其特征在于，所述处理装置包括采集单元、一个或多个处理单元以及存储单元，所述一个或多个处理单元分别与所述采集单元、所述存储单元通信连接；
所述采集单元用于获取SCADA数据采集服务器中的风场数据；
所述存储单元被配置成存储指令，当所述指令被所述一个或多个处理单元执行时，使所述一个或多个处理单元执行步骤，所述步骤包括：
定时导出SCADA数据采集服务器中的风场数据，对所述风场数据进行加密封装；
将封装的所述风场数据下载至移动终端设备，通过所述移动终端设备发送至云端数据服务器。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现如权利要求1～7中任一项所述的风场数据处理方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7中任一项所述的风场数据处理方法。
CN202210202481.9A 2022-03-03 2022-03-03 风场数据处理方法、处理装置、电子设备和介质 Pending CN114567629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210202481.9A CN114567629A (zh) 2022-03-03 2022-03-03 风场数据处理方法、处理装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210202481.9A CN114567629A (zh) 2022-03-03 2022-03-03 风场数据处理方法、处理装置、电子设备和介质

Publications (1)

Publication Number Publication Date
CN114567629A true CN114567629A (zh) 2022-05-31

Family

ID=81718449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210202481.9A Pending CN114567629A (zh) 2022-03-03 2022-03-03 风场数据处理方法、处理装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN114567629A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081775A (zh) * 2009-11-27 2011-06-01 阿里巴巴集团控股有限公司 一种广告投放方法、系统和设备
CN103533248A (zh) * 2013-10-24 2014-01-22 腾讯科技（上海）有限公司 一种图像处理的方法、终端及系统
CN107147706A (zh) * 2017-04-26 2017-09-08 努比亚技术有限公司 数据导出方法及装置
CN107330056A (zh) * 2017-06-29 2017-11-07 河北工业大学 基于大数据云计算平台的风电场scada系统及其运行方法
CN107769909A (zh) * 2017-09-29 2018-03-06 四川长虹电器股份有限公司 一种Egret引擎的前端数据发送处理的方法
CN108052574A (zh) * 2017-12-08 2018-05-18 南京中新赛克科技有限责任公司 基于Kafka技术的从FTP服务器导入海量数据的ETL系统及实现方法
CN108710689A (zh) * 2018-05-22 2018-10-26 中国华能集团清洁能源技术研究院有限公司 一种风电场气象数据管理系统及方法
CN110336818A (zh) * 2019-07-08 2019-10-15 郑州黑猫数字科技有限公司 一种基于数据感知的安全数据采集方法及系统
CN110365629A (zh) * 2018-04-11 2019-10-22 福建师范大学 一种实时监控视频数据安全存储的方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081775A (zh) * 2009-11-27 2011-06-01 阿里巴巴集团控股有限公司 一种广告投放方法、系统和设备
CN103533248A (zh) * 2013-10-24 2014-01-22 腾讯科技（上海）有限公司 一种图像处理的方法、终端及系统
CN107147706A (zh) * 2017-04-26 2017-09-08 努比亚技术有限公司 数据导出方法及装置
CN107330056A (zh) * 2017-06-29 2017-11-07 河北工业大学 基于大数据云计算平台的风电场scada系统及其运行方法
CN107769909A (zh) * 2017-09-29 2018-03-06 四川长虹电器股份有限公司 一种Egret引擎的前端数据发送处理的方法
CN108052574A (zh) * 2017-12-08 2018-05-18 南京中新赛克科技有限责任公司 基于Kafka技术的从FTP服务器导入海量数据的ETL系统及实现方法
CN110365629A (zh) * 2018-04-11 2019-10-22 福建师范大学 一种实时监控视频数据安全存储的方法及系统
CN108710689A (zh) * 2018-05-22 2018-10-26 中国华能集团清洁能源技术研究院有限公司 一种风电场气象数据管理系统及方法
CN110336818A (zh) * 2019-07-08 2019-10-15 郑州黑猫数字科技有限公司 一种基于数据感知的安全数据采集方法及系统

Similar Documents

Publication Publication Date Title
CN109039749B (zh) 一种远程日志采集和加密传输系统及方法
WO2022126974A1 (zh) 基于Kafka的增量数据同步方法、装置、设备及介质
CN102306114B (zh) 基于云存储的数据定时备份和恢复方法
US9396341B1 (en) Data encryption in a de-duplicating storage in a multi-tenant environment
CN109063011B (zh) 日志处理方法、电子装置及计算机可读存储介质
CN104022902A (zh) 一种监控服务器集群的方法和系统
CN110609813A (zh) 一种数据存储系统及方法
CN112114994B (zh) 异常处理方法、装置、设备及介质
CN111897877A (zh) 基于分布式思想的高性能高可靠数据共享系统及方法
CN110888778A (zh) 一种基于云桌面的日志文件监控系统及方法
CN110995739A (zh) 一种工业互联网监控云平台
CN116073512A (zh) 电力智能终端的运维方法、装置、设备和存储介质
CN109104458B (zh) 一种用于云平台可信性验证的数据采集方法及系统
CN114567629A (zh) 风场数据处理方法、处理装置、电子设备和介质
CN117939112A (zh) 一种ipc摄像头自动测试方法及系统
CN104038314A (zh) 一种新型的安监联网动态数据实时传输系统及方法
CN103942123A (zh) 一种反向数据抓取实现云容灾备份的方法及系统
CN116340977A (zh) 应用于存储盘的监控检测系统
CN106557530A (zh) 业务系统、数据修复方法及装置
CN116416085A (zh) 换电站的云管理方法、系统、服务器及存储介质
CN115632879B (zh) 日志管理方法、系统、电子设备及存储介质
CN111581107A (zh) Ftp程序疲劳测试方法及系统
CN114374702B (zh) 一种容灾数据的分析呈现方法
CN116432199B (zh) 云平台远程数据备份方法及其恢复方法、电子设备
CN109660604B (zh) 数据存取方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination