CN113190583B - 一种数据采集系统、方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据采集系统、方法、电子设备及存储介质，该系统包括网关采集模块、MQTT服务器、数据存储模块和数据统计模块，网关采集模块，用于获取连接的光伏发电站运行数据信息并发送至MQTT服务器；MQTT服务器，用于接收光伏发电站运行数据信息，并分发至相应的数据存储模块；所述数据存储模块，用于接收MQTT服务器发送的光伏发电站运行数据信息，若异常，记录异常日志信息，并将异常日志信息发送至数据库，若无异常，将光伏发电站运行数据信息发送至REDIS缓存中缓存；数据统计模块，用于定时从REDIS缓存中获取缓存的光伏发电站运行数据信息并进行统计，获得数据统计信息，并将数据统计信息发送至所述数据库。

Description

一种数据采集系统、方法、电子设备及存储介质

技术领域

本发明涉及数据采集技术领域，尤其涉及一种数据采集系统、方法、电子设备及存储介质。

背景技术

光伏数据采集系统用于采集光伏发电站的运行数据，然而传统的光伏数据采集系统的规模和采集量较小，光伏发电站的规模越来越大，尤其是分布式光伏发电站的发展越来越快，并且数据采集精度需求越来越高，导致光伏数据采集量也越来越多，目前的光伏数据采集系统对如此海量的光伏数据采集及存储效果不佳，而且，目前的光伏数据采集系统在采集数据的上传及通信过程中大多采用HTTP协议进行数据传输，导致网络开销较高，从而导致光伏数据采集系统的数据采集效率较低、系统不稳定以及拓展性不高。

发明内容

为了解决现有的光伏数据采集系统的数据采集效率较低、系统不稳定以及拓展性不高的问题，本发明实施例提供了一种数据采集系统、方法、电子设备及存储介质。

第一方面，本发明实施例提供了一种数据采集系统，包括至少一个网关采集模块、消息队列遥测传输MQTT服务器、至少一个数据存储模块和数据统计模块，其中：

所述网关采集模块，用于获取连接的光伏发电站运行数据信息，将当前获取的所述光伏发电站运行数据信息发送至所述MQTT服务器；

所述MQTT服务器，用于接收所述光伏发电站运行数据信息，根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块；

所述数据存储模块，用于订阅所述MQTT服务器，接收所述MQTT服务器发送的所述光伏发电站运行数据信息；当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储；当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至远程字典服务REDIS缓存中进行缓存；

所述数据统计模块，用于按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储。

一种实施方式中，所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息；

所述网关采集模块，具体用于采用轮询方式向所述光伏节点和所述逆变器分别发送数据请求，接收返回的所述光伏节点的运行数据信息和所述逆变器运行数据信息，对所述光伏节点的运行数据信息和所述逆变器运行数据信息分别进行数据校验，将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至所述MQTT服务器。

一种实施方式中，所述系统还包括前端服务器；

所述前端服务器，用于接收客户端发送的数据查询请求，从所述数据库或者REDIS缓存中获取满足查询条件的数据，将所述满足查询条件的数据返回至所述客户端。

一种实施方式中，当所述查询条件为查询实时数据时，所述数据查询请求中包含请求查询的目标光伏发电站的标识信息以及查询对象的标识信息，其中，所述查询对象包括所述目标光伏发电站中的光伏节点和/或逆变器；

所述前端服务器，具体用于从所述REDIS缓存当前缓存的数据中获取所述目标光伏发电站的标识信息和所述查询对象的标识信息对应的当前实时运行数据信息，并将获取的所述当前数据信息返回至所述客户端。

一种实施方式中，当所述查询条件为查询统计数据时，所述数据查询请求中包含请求查询的目标光伏发电站的标识信息、查询对象的标识信息以及查询时段的起止时间信息，其中，所述查询对象包括所述目标光伏发电站中的光伏节点和/或逆变器；

所述前端服务器，具体用于从所述数据库获取所述目标光伏发电站的标识信息和所述查询对象的标识信息在所述查询时段对应的数据统计信息，并将获取的所述数据统计信息返回至所述客户端。

一种实施方式中，所述数据存储模块，还用于当确定所述光伏发电站运行数据信息存在异常时，将所述异常日志信息推送至对应客户端。

一种实施方式中，所述客户端包括物理排序界面、接线图界面和数据统计界面，其中：

所述物理排序界面，用于展示所述客户端管理的光伏发电站中各个光伏节点物理位置排序以及各个光伏节点的实时运行数据信息；

所述接线图界面，用于展示所述客户端管理的光伏发电站中光伏节点和逆变器的连接线路图；

所述数据统计界面，用于展示所述客户端管理的光伏发电站中各个光伏节点和逆变器各自的数据统计信息及运行状态信息。

第二方面，本发明实施例提供了一种数据采集方法，包括：

消息队列遥测传输MQTT服务器接收网关采集模块发送的光伏发电站运行数据信息，所述光伏发电站运行数据信息是所述网关采集模块从连接的光伏发电站获取的；

根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块，以使所述数据存储模块当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储，当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至远程字典服务REDIS缓存中进行缓存，使得数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储。

一种实施方式中，所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息；所述光伏发电站运行数据信息是所述网关采集模块通过按照以下方式获取后发送至所述MQTT服务器的：所述网关采集模块采用轮询方式向所述光伏节点和所述逆变器分别发送数据请求，接收返回的所述光伏节点的运行数据信息和所述逆变器运行数据信息，对所述光伏节点的运行数据信息和所述逆变器运行数据信息分别进行数据校验，将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至所述MQTT服务器。

第三方面，本发明实施例提供了一种数据采集方法，包括：

网关采集模块获取连接的光伏发电站运行数据信息；

将当前获取的所述光伏发电站运行数据信息发送至消息队列遥测传输MQTT服务器，以使所述MQTT服务器根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块，以使所述数据存储模块当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储，当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至远程字典服务REDIS缓存中进行缓存，使得数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储。

一种实施方式中，所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息；

获取连接的光伏发电站运行数据信息，具体包括：

采用轮询方式向所述光伏节点和所述逆变器分别发送数据请求；

接收返回的所述光伏节点的运行数据信息和所述逆变器运行数据信息；以及

将当前获取的所述光伏发电站运行数据信息发送至MQTT服务器，具体包括：

对所述光伏节点的运行数据信息和所述逆变器运行数据信息分别进行数据校验；

将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至所述MQTT服务器。

第四方面，本发明实施例提供了一种数据采集方法，包括：

数据存储模块接收订阅的消息队列遥测传输MQTT服务器发送的光伏发电站运行数据信息，所述光伏发电站运行数据信息是由网关采集模块从连接的光伏发电站获取后发送至所述MQTT服务器，由所述MQTT服务器根据订阅信息分发至所述数据存储模块的；

当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储；

当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至远程字典服务REDIS缓存中进行缓存，以使数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储。

一种实施方式中，所述方法，还包括：

当确定所述光伏发电站运行数据存在异常时，将所述异常日志信息推送至对应客户端，所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息。

第五方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明所述的数据采集方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明所述的数据采集方法中的步骤。

本发明实施例的有益效果如下：

本发明实施例提供的数据采集系统，包括至少一个网关采集模块、MQTT(MessageQueuing Telemetry Transport，消息队列遥测传输)服务器、至少一个数据存储模块和数据统计模块，网关采集模块获取其连接的光伏发电站运行数据信息，将当前获取的光伏发电站运行数据信息发送至MQTT服务器，MQTT服务器接收到网关采集模块发送的光伏发电站运行数据信息，根据订阅信息将光伏发电站运行数据信息分发至相应的数据存储模块，订阅了MQTT服务器该信息的数据存储模块接收MQTT服务器发送的所述光伏发电站运行数据信息，当确定光伏发电站运行数据信息存在异常时，数据存储模块记录异常日志信息，并将异常日志信息发送至数据库进行存储，当确定光伏发电站运行数据信息不存在异常时，数据存储模块则将光伏发电站运行数据信息发送至REDIS(Remote Dictionary Server，远程字典服务)缓存中进行缓存，数据统计模块按照预设时间周期从REDIS缓存中获取暂存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将数据统计信息发送至数据库进行存储，相比于传统的单体系统架构各功能模块之间的耦合度较高，单个模块出现故障可能会导致整个系统瘫痪，本发明实施例提供的数据采集系统采用多级分布式架构，不同网关模块可以用于采集不同的光伏发电站运行数据，使用基于MQTT服务器的分布式系统架构可以并行采集、存储及处理海量光伏发电站运行数据，数据的上传采用轻量级MQTT通信协议，保证了数据采集系统的高可用性，提高了数据采集效率，由于系统功能模块是分布式的，降低了系统的耦合度，分布式架构可以冗余系统以消除单点故障，系统的可靠性高，系统的可用性以及扩展性更高，运行速度更快，而且，将正常的光伏发电站运行数据信息暂存到REDIS缓存中，以方便用户获取实时的光伏发电站相关数据，以及方便其它服务进行光伏发电站运行数据的统计，将异常日志信息以及数据统计信息持久化到数据库中，对光伏发电站远程监测，便于用户掌握光伏发电站关键设备和电站整体运行状态及信息。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的数据采集系统结构示意图；

图2为本发明实施例提供的MQTT服务器侧实施的数据采集方法的实施流程示意图；

图3为本发明实施例提供的网关采集模块侧实施的数据采集方法的实施流程示意图；

图4为本发明实施例提供的数据存储模块侧实施的数据采集方法的实施流程示意图；

图5为本发明实施例提供的电子设备的结构示意图。

具体实施方式

光伏发电站包括光伏组件(即太阳能电池组件)、逆变器、汇流箱、配电柜、箱变等运行设备，光伏组件由一定数量的光伏板(即太阳能电池片)采用串、并联的方式组合而成，现有技术中，传统的光伏运维系统只对光伏组件进行监控，并没有对单个光伏板监控的功能，若单个光伏板运行异常，就可能会导致整个光伏组件出现异常，非专业用户往往难以找到故障点。传统的光伏数据采集系统的规模和采集量较小，光伏发电站的规模越来越大，尤其是分布式光伏发电站的发展越来越快，并且数据采集精度需求越来越高，导致光伏数据采集量也越来越多，目前的光伏数据采集系统对如此海量的光伏数据采集及存储效果不佳，无法并发处理海量数据，间接影响了光伏系统的发展。而且，目前的光伏数据采集系统在采集数据的上传及通信过程中大多采用HTTP协议进行数据传输，为每个新的请求消息重新建立HTTP连接会导致网络开销较高，从而导致光伏数据采集系统的数据采集效率较低、系统不稳定以及拓展性不高。

为了解决以上问题，本发明实施例提供了一种数据采集系统、方法、电子设备及存储介质。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图1所示，其为本发明实施例提供的数据采集系统的结构示意图，数据采集系统包括至少一个网关采集模块11、MQTT服务器12、至少一个数据存储模块13和数据统计模块14，每一网关采集模块11可以与一个光伏发电站进行网络连接，其中：

网关采集模块11，用于获取连接的光伏发电站运行数据信息，将当前获取的光伏发电站运行数据信息发送至MQTT服务器。

具体实施时，光伏发电站运行数据信息可以但不限于包括光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息，其中，各个光伏节点即为所述光伏发电站中组成光伏组件的各个光伏板，光伏节点的运行数据信息可以但不限于包括：光伏板的温度、电压、电流、信号强度等信息，逆变器运行数据信息可以但不限于包括：逆变器的输入功率、逆变器效率、有功功率、绝缘阻抗值、累计发电量等信息。光伏发电站运行数据信息还可以包括光伏发电站中的其它运行设备如汇流箱、配电柜、箱变等设备的运行数据信息，本发明实施例对此不作限定，本发明实施例仅以采集各个光伏节点的运行数据信息和逆变器运行数据信息为例进行说明。

每一网关采集模块11与其对应的光伏发电站中的各个光伏节点可以通过无线模块采集各个光伏节点的运行数据信息，可以通过485有线传输采集逆变器运行数据信息。

每一网关采集模块11，具体用于采用轮询方式向对应的光伏发电站中的光伏节点和逆变器分别发送数据请求，接收返回的光伏节点的运行数据信息和逆变器运行数据信息，对光伏节点的运行数据信息和逆变器运行数据信息分别进行数据校验，将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至MQTT服务器12。

具体地，网关采集模块11向其连接的光伏发电站中的光伏节点以循环发送的方式轮询发送数据请求，光伏节点接收到该数据请求后，向网关采集模块11返回当前光伏节点的运行数据信息，网关采集模块11接收到光伏节点返回的当前光伏节点的运行数据信息后，对光当前伏节点的运行数据信息进行数据校验，如CRC校验，当校验通过后，将当前光伏节点的运行数据信息转换成JSON格式后通过网口发送至MQTT服务器12，如校验失败则丢弃本次光伏节点的运行数据信息。同样地，网关采集模块11向其连接的光伏发电站中的逆变器以循环发送的方式轮询发送数据请求，逆变器接收到数据请求后，向网关采集模块11返回当前逆变器运行数据信息，网关采集模块11接收到逆变器返回的当前逆变器运行数据信息后，对当前逆变器运行数据信息进行数据校验，如CRC校验，当校验通过后，将当前逆变器运行数据信息转换成JSON格式后通过网口发送至MQTT服务器12，如校验失败则丢弃本次逆变器运行数据信息。

MQTT协议是为硬件性能低下的远程设备以及网络质量较差的场景而设计的发布/订阅型消息协议，由于光伏发电站运行环境复杂，MQTT协议适合作为采集光伏发电站运行数据的上报协议，并且，系统及网关采集模块11无需制定复杂的协议，传输的数据更加直观，耦合度更低。

MQTT服务器12，用于接收光伏发电站运行数据信息，根据订阅信息将光伏发电站运行数据信息分发至相应的数据存储模块。

具体实施时，各个数据存储模块13订阅MQTT服务器12，各个数据存储模块13可以向MQTT服务器12订阅相同的主题以获取光伏发电站运行数据信息，当各个数据存储模块13同时向MQTT服务器12订阅光伏发电站运行数据信息时，MQTT服务器12下发光伏发电站运行数据时，可以并行向不同的数据存储模块13发送不同的光伏节点的运行数据信息以及逆变器运行数据信息，从而可保证足够的存储空间，并提高了数据传输效率。

数据存储模块13，用于订阅MQTT服务器12，接收MQTT服务器12发送的光伏发电站运行数据信息；当确定光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将异常日志信息发送至数据库进行存储；当确定光伏发电站运行数据信息不存在异常时，则将光伏发电站运行数据信息发送至REDIS缓存中进行缓存。

具体实施时，数据存储模块13接收到MQTT服务器12发送的JSON格式的光伏节点的运行数据信息和逆变器运行数据信息后，解析JSON格式的光伏节点的运行数据信息和逆变器运行数据信息，分别判断光伏节点的运行数据信息和逆变器运行数据信息是否存在异常，如果存在异常，则记录相应的异常日志信息，将异常日志信息持久化到数据库中，如果不存在异常，则将光伏节点的运行数据信息和逆变器运行数据信息发送至REDIS缓存中进行缓存，也就是说，在REDIS缓存暂存的是实时光伏节点的运行数据信息和实时逆变器运行数据信息，这样，当用户通过客户端查询光伏节点和逆变器的实施运行数据信息时，可以直接从REDIS缓存中获取，提高了数据获取效率，缓解了数据库的数据存储压力。

在判断是否存在异常时，以判断光伏节点的运行数据信息中的温度信息是否存在异常为例，将温度信息与预设温度阈值进行比对，如果光伏板的温度超过该温度阈值，则确定光伏节点的温度信息存在异常，如果光伏板的温度不超过该温度阈值，则确定光伏节点的温度信息正常。

在一种实施方式中，数据存储模块13，还用于当确定光伏发电站运行数据信息存在异常时，将异常日志信息推送至对应客户端。

具体地，如果光伏节点的运行数据信息或逆变器运行数据信息存在异常，数据存储模块13则可开启异常推送服务，可将异常数据信息以短信的方式推送至对应的客户端以提醒用户(如运维人员)，并记录相应的异常日志信息，将异常日志信息持久化到数据库中。

本发明实施例中，对光伏发电站中每个光伏板进行单板监控，可以精确定位故障点，当光伏板发生异常时，运维人员可以通过客户端前端网页精确定位到故障发生点，提高了运维效率，降低了安全隐患。

数据统计模块14，用于按照预设时间周期从REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将数据统计信息发送至数据库进行存储。

具体实施时，数据统计模块14可以预先创建定时任务，按照预设时间周期定时执行从REDIS缓存中获取当前缓存的光伏发电站运行数据，预设时间周期可以设置为1小时、1天、1周或者1个月，本发明实施例对此不作限定，例如，创建了以1小时为时间周期的定时任务，则每1小时执行一次从REDIS缓存中获取当前缓存的所有光伏发电站运行数据，并将获取的光伏发电站运行数据从REDIS缓存中删除，进而，数据统计模块14对获取的当前时段(即一小时内)的光伏发电站运行数据进行统计，获得对应的光伏节点和/或逆变器各自在当前统计时段的数据统计信息，并将获得的光伏节点和/或逆变器各自在当前时段的数据统计信息持久化到数据库中进行存储，其中，以光伏节点的数据统计信息为例，可以但不限于包括：在当前时段获取的每一光伏节点各自对应的最高温度信息、最低温度信息、平均温度信息、最高电压信息、最低电压信息、最高电流信息、最低电流信息、最高信号强度信息、最低信号强度信息等信息，生成每一光伏节点各自对应的运行报告。具体实施时，数据统计的方式可以根据需要自行设定，本发明实施例对此不作限定。

这样，在数据库中仅存储各时段的光伏发电站运行数据统计信息，提高数据的可利用性，并可节省数据库存储空间，缓解数据库存储压力。

本发明实施例提供的数据采集系统，还可以包括前端服务器，其中：

前端服务器，用于接收客户端发送的数据查询请求，从数据库或者REDIS缓存中获取满足查询条件的数据，将所述满足查询条件的数据返回至客户端。

其中，查询条件可以为查询实时数据，还可以为查询统计数据，当查询条件为查询实时数据时，所述数据查询请求中包含请求查询的目标光伏发电站的标识信息以及查询对象的标识信息，其中，查询对象包括该目标光伏发电站中的光伏节点和/或逆变器，光伏节点的标识可以为光伏节点的物理地址，逆变器的标识可以为逆变器的物理地址。

当查询条件为查询实时数据时，前端服务器，具体用于从REDIS缓存当前缓存的数据中获取目标光伏发电站的标识信息和查询对象的标识信息对应的当前实时运行数据信息，并将获取的当前数据信息返回至客户端。

当查询条件为查询统计数据时，所述数据查询请求中包含请求查询的目标光伏发电站的标识信息、查询对象的标识信息以及查询时段的起止时间信息，其中，查询对象包括目标光伏发电站中的光伏节点和/或逆变器。

当查询条件为查询统计数据时，前端服务器，具体用于从数据库获取目标光伏发电站的标识信息和查询对象的标识信息在所述查询时段对应的数据统计信息，并将获取的数据统计信息返回至客户端。

这样，当用户(运维人员)想要查看光伏发电站当前运行数据信息时，可通过客户端向前端服务器发送查询实时数据的数据查询请求，前端服务器可以从REDIS缓存中直接获取光伏发电站当前运行数据信息，提高了数据获取效率。当用户想要查看光伏发电站的统计数据信息时，可通过客户端向前端服务器发送查询统计数据的数据查询请求，前端服务器可以从数据库中直接获取光伏发电站当前运行数据信息，若用户同时请求查询实时数据和统计数据，前端服务器则可以并行从REDIS缓存中和数据库中获取请求的数据，进一步提高了数据获取效率。

一种实施方式中，客户端中的前端网页界面可以包括物理排序界面、接线图界面和数据统计界面，其中：

物理排序界面，用于展示客户端管理的光伏发电站中各个光伏节点物理位置排序以及各个光伏节点的实时运行数据信息。

接线图界面，用于展示客户端管理的光伏发电站中光伏节点和逆变器的连接线路图。

当光伏节点有异常时，该接线图界面能够快速定位该光伏节点连接到哪个逆变器上，以及该光伏节点位于该逆变器的哪个个光伏组件，以方便用户更直观的查看。

数据统计界面，用于展示客户端管理的光伏发电站中各个光伏节点和逆变器各自的数据统计信息及运行状态信息。

本发明实施例提供的数据采集系统，包括至少一个网关采集模块、MQTT(MessageQueuing Telemetry Transport，消息队列遥测传输)服务器、至少一个数据存储模块和数据统计模块，网关采集模块获取其连接的光伏发电站运行数据信息，将当前获取的光伏发电站运行数据信息发送至MQTT服务器，MQTT服务器接收到网关采集模块发送的光伏发电站运行数据信息，根据订阅信息将光伏发电站运行数据信息分发至相应的数据存储模块，订阅了MQTT服务器该信息的数据存储模块接收MQTT服务器发送的所述光伏发电站运行数据信息，当确定光伏发电站运行数据信息存在异常时，数据存储模块记录异常日志信息，并将异常日志信息发送至数据库进行存储，当确定光伏发电站运行数据信息不存在异常时，数据存储模块则将光伏发电站运行数据信息发送至REDIS(Remote Dictionary Server，远程字典服务)缓存中进行缓存，数据统计模块按照预设时间周期从REDIS缓存中获取暂存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将数据统计信息发送至数据库进行存储，相比于传统的单体系统架构各功能模块之间的耦合度较高，单个模块出现故障可能会导致整个系统瘫痪，本发明实施例提供的数据采集系统采用多级分布式架构，不同网关模块可以用于采集不同的光伏发电站运行数据，使用基于MQTT服务器的分布式系统架构可以并行采集、存储及处理海量光伏发电站运行数据，数据的上传采用轻量级MQTT通信协议，保证了数据采集系统的高可用性，提高了数据采集效率，由于系统功能模块是分布式的，降低了系统的耦合度，分布式架构可以冗余系统以消除单点故障，系统的可靠性高，系统的可用性以及扩展性更高，运行速度更快，而且，将正常的光伏发电站运行数据信息暂存到REDIS缓存中，以方便用户获取实时的光伏发电站相关数据，以及方便其它服务进行光伏发电站运行数据的统计，将异常日志信息以及数据统计信息持久化到数据库中，对光伏发电站远程监测，便于用户掌握光伏发电站关键设备和电站整体运行状态及信息。

基于同一发明构思，本发明实施例还提供了一种数据采集方法，应用于本发明实施例提供的上述数据采集系统，在MQTT服务器侧实施，由于上述数据采集方法解决问题的原理与数据采集系统相似，因此上述方法的实施可以参见系统的实施，重复之处不再赘述。

如图2所示，其为本发明实施例提供的MQTT服务器侧实施的数据采集方法的实施流程的示意图，可以包括以下步骤：

S21、MQTT服务器接收网关采集模块发送的光伏发电站运行数据信息，所述光伏发电站运行数据信息是所述网关采集模块从连接的光伏发电站获取的。

S22、根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块。

具体实施时，MQTT服务器根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块，以使所述数据存储模块当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储，当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至REDIS缓存中进行缓存，使得数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储。

一种实施方式中，所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息；所述光伏发电站运行数据信息是所述网关采集模块通过按照以下方式获取后发送至所述MQTT服务器的：所述网关采集模块采用轮询方式向所述光伏节点和所述逆变器分别发送数据请求，接收返回的所述光伏节点的运行数据信息和所述逆变器运行数据信息，对所述光伏节点的运行数据信息和所述逆变器运行数据信息分别进行数据校验，将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至所述MQTT服务器。

基于同一发明构思，本发明实施例还提供了一种数据采集方法，应用于本发明实施例提供的上述数据采集系统，在网关采集模块实施，由于上述数据采集方法解决问题的原理与数据采集系统相似，因此上述方法的实施可以参见系统的实施，重复之处不再赘述。

如图3所示，其为本发明实施例提供的网关采集模块侧实施的数据采集方法的实施流程的示意图，可以包括以下步骤：

S31、网关采集模块获取连接的光伏发电站运行数据信息。

S32、将当前获取的所述光伏发电站运行数据信息发送至MQTT服务器，以使所述MQTT服务器根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块。

具体实施时，网关采集模块将当前获取的所述光伏发电站运行数据信息发送至MQTT服务器，以使所述MQTT服务器根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块，以使所述数据存储模块当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储，当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至REDIS缓存中进行缓存，使得数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储。

一种实施方式中，所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息；

获取连接的光伏发电站运行数据信息，具体包括：

采用轮询方式向所述光伏节点和所述逆变器分别发送数据请求；

接收返回的所述光伏节点的运行数据信息和所述逆变器运行数据信息；以及

将当前获取的所述光伏发电站运行数据信息发送至MQTT服务器，具体包括：

对所述光伏节点的运行数据信息和所述逆变器运行数据信息分别进行数据校验；

将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至所述MQTT服务器。

基于同一发明构思，本发明实施例还提供了一种数据采集方法，应用于本发明实施例提供的上述数据采集系统，在数据存储模块实施，由于上述数据采集方法解决问题的原理与数据采集系统相似，因此上述方法的实施可以参见系统的实施，重复之处不再赘述。

如图4所示，其为本发明实施例提供的数据存储模块侧实施的数据采集方法的实施流程的示意图，可以包括以下步骤：

S41、数据存储模块接收订阅的MQTT服务器发送的光伏发电站运行数据信息。

所述光伏发电站运行数据信息是由网关采集模块从连接的光伏发电站获取后发送至所述MQTT服务器，由所述MQTT服务器根据订阅信息分发至所述数据存储模块的。

S42、确定所述光伏发电站运行数据信息是否存在异常，当确定所述光伏发电站运行数据信息存在异常时，则执行步骤S43，当确定所述光伏发电站运行数据信息不存在异常时，则执行步骤S44。

S43、记录异常日志信息，并将所述异常日志信息发送至数据库进行存储。

S44、将所述光伏发电站运行数据信息发送至REDIS缓存中进行缓存。

具体实施时，数据存储模块当确定所述光伏发电站运行数据信息不存在异常时，将所述光伏发电站运行数据信息发送至REDIS缓存中进行缓存，以使数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储。

一种实施方式中，所述数据采集方法，还包括：

当确定所述光伏发电站运行数据存在异常时，将所述异常日志信息推送至对应客户端，所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息。

基于同一技术构思，本发明实施例还提供了一种电子设备500，参照图5所示，电子设备500用于实施上述方法实施例记载的数据采集方法，该实施例的电子设备500可以包括：存储器501、处理器502以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如数据采集程序。所述处理器执行所述计算机程序时实现上述各个数据采集方法实施例中的步骤，例如图2所示的步骤S21。

本发明实施例中不限定上述存储器501、处理器502之间的具体连接介质。本申请实施例在图5中以存储器501、处理器502之间通过总线503连接，总线503在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线503可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器501可以是上述存储器的组合。

处理器502，用于实现如图2～4所示的数据采集方法。

本申请实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。

在一些可能的实施方式中，本发明提供的数据采集方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的数据采集方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为系统、方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种数据采集系统，其特征在于，包括至少一个网关采集模块、消息队列遥测传输MQTT服务器、至少一个数据存储模块和数据统计模块，其中：

所述网关采集模块，用于获取连接的光伏发电站运行数据信息，将当前获取的所述光伏发电站运行数据信息发送至所述MQTT服务器；

所述MQTT服务器，用于接收所述光伏发电站运行数据信息，根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块；

所述数据存储模块，用于订阅所述MQTT服务器，接收所述MQTT服务器发送的所述光伏发电站运行数据信息；当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储；当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至远程字典服务REDIS缓存中进行缓存；

所述数据统计模块，用于按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储；

所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息；

所述网关采集模块，具体用于采用轮询方式向所述光伏节点和所述逆变器分别发送数据请求，接收返回的所述光伏节点的运行数据信息和所述逆变器运行数据信息，对所述光伏节点的运行数据信息和所述逆变器运行数据信息分别进行数据校验，将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至所述MQTT服务器；

还包括前端服务器；

所述前端服务器，用于接收客户端发送的数据查询请求，从所述数据库或者REDIS缓存中获取满足查询条件的数据，将所述满足查询条件的数据返回至所述客户端；

当所述查询条件为查询实时数据时，所述数据查询请求中包含请求查询的目标光伏发电站的标识信息以及查询对象的标识信息，其中，所述查询对象包括所述目标光伏发电站中的光伏节点和/或逆变器；

所述前端服务器，具体用于从所述REDIS缓存当前缓存的数据中获取所述目标光伏发电站的标识信息和所述查询对象的标识信息对应的当前实时运行数据信息，并将获取的所述当前实时运行数据信息返回至所述客户端；

当所述查询条件为查询统计数据时，所述数据查询请求中包含请求查询的目标光伏发电站的标识信息、查询对象的标识信息以及查询时段的起止时间信息，其中，所述查询对象包括所述目标光伏发电站中的光伏节点和/或逆变器；

所述前端服务器，具体用于从所述数据库获取所述目标光伏发电站的标识信息和所述查询对象的标识信息在所述查询时段对应的数据统计信息，并将获取的所述数据统计信息返回至所述客户端；

所述数据存储模块，还用于当确定所述光伏发电站运行数据信息存在异常时，将所述异常日志信息推送至对应客户端；

所述客户端包括物理排序界面、接线图界面和数据统计界面，其中：

所述物理排序界面，用于展示所述客户端管理的光伏发电站中各个光伏节点物理位置排序以及各个光伏节点的实时运行数据信息；

所述接线图界面，用于展示所述客户端管理的光伏发电站中光伏节点和逆变器的连接线路图；

所述数据统计界面，用于展示所述客户端管理的光伏发电站中各个光伏节点和逆变器各自的数据统计信息及运行状态信息。

2.一种数据采集方法，其特征在于，在MQTT服务器侧实施包括：

消息队列遥测传输MQTT服务器接收网关采集模块发送的光伏发电站运行数据信息，所述光伏发电站运行数据信息是所述网关采集模块从连接的光伏发电站获取的；

根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块，以使所述数据存储模块当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储，当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至远程字典服务REDIS缓存中进行缓存，使得数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储；

所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息；所述光伏发电站运行数据信息是所述网关采集模块通过按照以下方式获取后发送至所述MQTT服务器的：所述网关采集模块采用轮询方式向所述光伏节点和所述逆变器分别发送数据请求，接收返回的所述光伏节点的运行数据信息和所述逆变器运行数据信息，对所述光伏节点的运行数据信息和所述逆变器运行数据信息分别进行数据校验，将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至所述MQTT服务器。

3.一种数据采集方法，其特征在于，在网关采集模块实施包括：

网关采集模块获取连接的光伏发电站运行数据信息；

将当前获取的所述光伏发电站运行数据信息发送至消息队列遥测传输MQTT服务器，以使所述MQTT服务器根据订阅信息将所述光伏发电站运行数据信息分发至相应的数据存储模块，以使所述数据存储模块当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储，当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至远程字典服务REDIS缓存中进行缓存，使得数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储；

所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息；

获取连接的光伏发电站运行数据信息，具体包括：

采用轮询方式向所述光伏节点和所述逆变器分别发送数据请求；

接收返回的所述光伏节点的运行数据信息和所述逆变器运行数据信息；以及

将当前获取的所述光伏发电站运行数据信息发送至MQTT服务器，具体包括：

对所述光伏节点的运行数据信息和所述逆变器运行数据信息分别进行数据校验；

将校验通过的光伏节点的运行数据信息和逆变器运行数据信息转换成预设数据格式后发送至所述MQTT服务器。

4.一种数据采集方法，其特征在于，在数据存储模块实施，包括：

数据存储模块接收订阅的消息队列遥测传输MQTT服务器发送的光伏发电站运行数据信息，所述光伏发电站运行数据信息是由网关采集模块从连接的光伏发电站获取后发送至所述MQTT服务器，由所述MQTT服务器根据订阅信息分发至所述数据存储模块的；

当确定所述光伏发电站运行数据信息存在异常时，则记录异常日志信息，并将所述异常日志信息发送至数据库进行存储；

当确定所述光伏发电站运行数据信息不存在异常时，则将所述光伏发电站运行数据信息发送至远程字典服务REDIS缓存中进行缓存，以使数据统计模块按照预设时间周期从所述REDIS缓存中获取缓存的光伏发电站运行数据信息，并对获取的光伏发电站运行数据信息进行统计，获得数据统计信息，并将所述数据统计信息发送至所述数据库进行存储；

当确定所述光伏发电站运行数据存在异常时，将所述异常日志信息推送至对应客户端，所述光伏发电站运行数据信息至少包括所述光伏发电站中各个光伏节点的运行数据信息和逆变器运行数据信息。

5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求2～4任一项所述的数据采集方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求2～4任一项所述的数据采集方法中的步骤。