CN109739439A - 大容量储能系统海量数据的分布式存储方法及系统 - Google Patents

Abstract

本发明公开了一种大容量储能系统海量数据的分布式存储方法及系统，该方法包括：采集储能系统的运行数据，其中，运行数据包括如下至少之一：储能系统处于充电状态或放电状态的第一运行数据，储能系统处于静置状态的第二运行数据；将储能系统的运行数据发送到数据存储服务器，其中，数据存储服务器按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储，第一目录结构的层数大于第二目录结构的层数。本发明可以实现对储能系统不同工作状态的运行数据进行分别采集和存储的目的，将储能系统处于静置状态下的运行数据以较低层数的目录结构存储，可以在数据读取时减少目录遍历带来的性能损失。

Description

大容量储能系统海量数据的分布式存储方法及系统

技术领域

本发明涉及能源领域，尤其涉及一种大容量储能系统海量数据的分布式存储方法及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

近年来，随着新能源发电技术的发展，风电、太阳能光伏发电等波动性电源接入电网的规模不断扩大，分布式电源在配网应用规模也不断扩大。为了有效解决新能源大规模接入电网后的电力系统安全稳定运行问题，除了加快优化电源结构、大力加强电网的建设外，利用风、光的互补特性以及通过大容量储能技术平抑功率波动作为破解新能源并网瓶颈的重要技术途径，获得了行业内的广泛认可。从应用技术来看，出现了适用于电网的兆瓦级的电池储能技术；从应用领域来看，储能技术在电网的应用已扩大到分布式发电及微网、可再生能源并网、电力输配等领域。未来，随着储能技术的发展，储能技术经济特性的进一步改善，适用于未来高比例可再生能源接入的现代电网先进大容量储能技术的市场潜力巨大。

为了匹配发电侧、电网侧和负荷侧等多场景下的多种应用需求，大容量储能系统通常具有多类型和多运行控制模式的特点，面临多点数据并发，若布局不合理，将存在较大传输压力。同时，针对多种组合运行工况，需设计分类采集流程和采集策略，以实现数据的区别化采集和提高数据后期分析效率。因此，针对大容量储能系统的海量数据，存储系统不仅要能高效稳定的储能系统采集的数据存储下来，而且在数据容量上，应适应未来数据的增长，具备良好的扩展性和高性能的并发读写。

在一个数据存储系统的中，存储的体系结构也是整个存储系统在数据存储和管理时要着重要考虑的方面。从数据存储的体系结构上看，直连式存储(DAS)、网络附属存储(NAS)和存储区域网络(SAN)三种存储技术是当今主流的存储技术，这三种存储技术在当前的海量数据存储中有着广泛的作用。分布式存储系统在体系结构上采用可扩展的系统结构，利用多台存储服务器分担存储压力，不但提高了系统的可靠性、可用性和存取效率，还易于轻松地扩展。目前，关于分布式存储技术的研究内容涉及了分布式存储的元数据、可靠性、数据保护、数据分配等方面。但大多是从技术本身考虑，对于分布式存储在储能系统上的应用研究较少。

综上所述，随着运行数据的成倍增长，如何有效地在储能系统的生命周期中做好运行数据的存储，是一项非常具有挑战性的工作，同时也是不可或缺的过程。因此，在未来的大容量储能系统数据存储中，急需一种能够高效存储大容量储能系统海量数据的存储系统。

发明内容

本发明实施例提供一种大容量储能系统海量数据的分布式存储方法，用以解决现有的数据存储方案不能满足大容量储能系统海量数据存储的技术问题，该方法包括：采集储能系统的运行数据，其中，运行数据包括如下至少之一：储能系统处于充电状态或放电状态的第一运行数据，储能系统处于静置状态的第二运行数据；将储能系统的运行数据发送到数据存储服务器，其中，数据存储服务器按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储，第一目录结构的层数大于第二目录结构的层数。

本发明实施例还提供一种大容量储能系统海量数据的分布式存储系统，用以解决现有的数据存储方案不能满足大容量储能系统海量数据存储的技术问题，该系统包括：储能系统；采集机，与储能系统通信，用于采集储能系统的运行数据，其中，运行数据包括如下至少之一：储能系统处于充电状态或放电状态的第一运行数据，储能系统处于静置状态的第二运行数据；客户端，与采集机通信，用于将储能系统的运行数据发送到数据存储服务器；数据存储服务器，与客户端通信，接收客户端发送的运行数据，按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储，第一目录结构的层数大于第二目录结构的层数。

本发明实施例中，根据储能系统中电池的工作状态，采集储能系统处于充电状态或放电状态的运行数据，以及储能系统处于静置状态的运行数据，并将储能系统处于充电状态或放电状态的运行数据按照较高层数的目录结构存储，储能系统处于静置状态的运行数据按照较低层数的目录结构存储，由于储能系统在充电状态或放电状态下需要存储的运行数据比较复杂，而静置状态下需要存储的运行数据比较简单，通过本发明实施例，实现了对储能系统不同工作状态的运行数据进行分别采集和存储的目的，将储能系统处于静置状态下的运行数据以较低层数的目录结构存储，可以在数据读取时减少目录遍历带来的性能损失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中一种大容量储能系统海量数据的分布式存储方法流程图；

图2为本发明实施例中一种大容量储能系统数据采集流程示意图；

图3为本发明实施例中一种大容量储能系统处于充放电状态采集的数据参数示意图；

图4为本发明实施例中一种大容量储能系统处于静置状态采集的数据参数示意图；

图5为本发明实施例中提供的一种充放电状态目录结构设计示意图；

图6为本发明实施例中提供的一种静置状态目录结构设计示意图；

图7为本发明实施例中提供的一种储能系统运行数据的突变识别与重构流程图；

图8为本发明实施例中提供的又一种大容量储能系统海量数据的分布式存储方法流程图；

图9为本发明实施例中提供的一种大容量储能系统海量数据的分布式存储系统示意图；

图10本发明实施例中提供的一种大容量储能系统的数据采集和存储策略示意图；

图11为本发明实施例中提供的一种数据采集终端示意图；

图12为本发明实施例中提供的一种数据存储服务器示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明实施例中提供了一种大容量储能系统海量数据的分布式存储方法。图1为本发明实施例中一种大容量储能系统海量数据的分布式存储方法流程图，如图1所示，该方法包括如下步骤：

S101，采集储能系统的运行数据，其中，运行数据包括如下至少之一：储能系统处于充电状态或放电状态的第一运行数据，储能系统处于静置状态的第二运行数据；

S102，将储能系统的运行数据发送到数据存储服务器，其中，数据存储服务器按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储，第一目录结构的层数大于第二目录结构的层数。

需要说明的是，上述储能系统可以是任意一种具有储能功能的系统，可以是但不限于大容量储能系统。本发明实施例中，以大容量储能系统为例来进行说明。由于大容量储能系统有海量数据需要存储，如果直接对大容量储能系统的海量数据进行采集和存储，将面临较大的传输压力。本发明实施例对储能系统处于不同工作状态的运行数据进行分别采集和传输，并采用不同目录结构的分布式文件系统进行存储，不仅可以降低数据传输压力，而且可以提高数据存储的性能。

由于储能系统处于静置状态的时候，只需要采集电池本体的一些数据，对于数据采集和传输的实时性要求不是很强，而储能系统处于充电状态或放电状态的时候，需要实时了解储能系统的运行情况，对于数据采集和传输的实时性要求较强。因而，针对不同工作状态的储能系统，可以制定不同的采集策略。作为一种可选的实施方式，上述S101可以包括如下至少之一：按照第一采集频率采集第一运行数据；按照第二采集频率采集第二运行数据，其中，第二采集频率低于第一采集频率；其中，第一运行数据通过实时传输通道发送到数据存储服务器，第二运行数据通过非实时传输通道发送到数据存储服务器。也即，在充放电状态下，数据采用高频率数据采集模式，在静置状态下，运行数据采用低频率采样模式。

图2为本发明实施例中一种大容量储能系统数据采集流程示意图，如图2所示，本发明实施例以常用电化学电池为例设计数据采集策略，由于大容量储能系统存在多种组合运行工况，设计分类采集流程，针对其多点并发数据传输，基于不同运行工况，区别传输储能系统数据，可以缓解大容量储能系统的数据传输压力。

本发明实施例基于储能系统不同运行工况需求，分别设计数据采集时间分辨率，采集不同运行工况下的运行数据，也即，依据电池充放电状态，通过实时通道和非实时通道进行数据采集，并分阶段设置采集流程中的判定条件，解决了数据区别化采集的问题，满足了系统运行需求。

在数据采集过程中，首先基于电池的工作状态进行特征参量的选择，若为充放电状态则采集变流器和电池管理系统的数据，若电池为静置状态则采集电池本体相关数据。继而根据不同电池的类型、不同运行模式、不同控制模式确定数据文件的信息。然后充放电状态数据进入实时传输通道，静置状态数据进入非实时通道进行传输。

由此，作为一种可选的实施例，上述第一运行数据可以包括但不限于：电池管理系统的运行数据和变流器的运行数据；上述第二运行数据可以包括但不限于：电池的本体数据。

图3为本发明实施例中一种大容量储能系统处于充放电状态采集的数据参数示意图，如图3所示，在充放电状态下针对电池管理系统和变流器进行数据采集，所采集的数据通过实时通道进行传输，电池管理系统监控相关的数据包括储能子单元告警和保护、总SOC、总SOH、当前可用充放电容量等，变流器监控主要采集有功功率、无功功率、变流器工作状态、最大允许充放电电流、三相有功功率、三相无功功率等。

图4为本发明实施例中一种大容量储能系统处于静置状态采集的数据参数示意图，如图4所示，为了节省数据传输带宽,将大容量储能系统在静置状态下的数据主要采集电池本体相关特征参量，所采集数据通过非实时通讯网络进行传输。储能电池相关的主要数据包括电池数目、标称容量、容量、总电压、电流、单体最高电压和电流、电池的荷电状态(State of Charge，SOC)、电池的健康状态(State of Health，SOH)、电池包最高、最低温度和平均温度、累计充放电量、工作状态、电压、电流和温度报警信息、故障信息、预充和主接触器状态。为降低数据传输压力，静置状态所采集的数据可降低时间分辨率，也即，以较低采集频率采集静置状态的数据。

由于目录树的遍历操作会带来一定的系统开销，由此，本发明实施例对目录树的深度进行了合理限制，将储能系统充放电状态和静置状态的目录结构分别进行设计，可以将目录树遍历操作对集群的性能和扩展性的影响降低到最小。以新能源中的储能系统为例，本发明实施例将储能系统的运行模式和控制模式分为四种。因此，作为一种可选的实施方式，上述第一目录结构可以包括监测时间、运行模式、控制模式和电池类型四层目录；第二目录结构可以包括监测时间和电池类型两层目录，其中，监测时间为运行数据的采集时间，运行模式包括：风光储模式、风储模式、光储模式和单储模式；控制模式包括：平滑模式、跟踪计划模式、跟踪网调模式、跟踪给定目标模式；电池类型包括：锂电池、铅酸电池、全钒液流电池、超级电容器。

图5为本发明实施例中提供的一种充放电状态目录结构设计示意图，如图5所示，在储能系统处于充电状态或放电状态的情况下，可以将目录存储方式按照四层设计，分别是监测时间、运行模式、控制模式和电池类型；图6为本发明实施例中提供的一种静置状态目录结构设计示意图，如图6所示，在储能系统处于静置状态的下，可以将目录存储方式按照两层设计，分别是监测时间和电池类型。通过这种设计方式，可以在满足数据读写要求的同时，减少目录遍历带来的性能损失。

由于储能系统的运行数据可能存在奇异点，需要对其进行辨识并剔除，以满足数据存储需求。本发明实施例采用小波变换对奇异点进行辨识，并依据时延相关性完成异常数据的重构。因而，一种可选的实施例中，在采集储能系统的运行数据之后，上述方法还可以包括：采用离散小波变换，识别异常的运行数据；利用运行数据之间的时延相关性，重构异常的运行数据。

根据小波变换的应用分类，在理论分析中常用连续小波变换，而离散小波变换更切合工程实践。在分析电池容量突变现象时，需要准确定位容量突变的位置，离散小波变换在对所分析的数据进行下采样时，采用二进抽取算法。该算法针对每层进行分解后，系数减半，无法实现数据突变的精确辨识。在离散小波变换基础上提出的静态小波变换在进行变换是不进行下采样，所分析得出的近似和细节系数与原数据采样点位置无较大差别，因此，本发明实施例中，采用离散小波变化进行突变位置辨识。

小波变换的具体定义是：对于一个时间序列函数f(t)，其小波变换为：

其中，t是时间；a是分析变换的伸缩尺度，其大小与频率相关；b为平移参数，对应着分析事例的起始时间。针对突变位置的辨识，在Mallat算法中可用李氏指数α来进行描述，其与所分析数据的小波变换模的关系为：

|W_f(a,b)|＝Aa^α (2)

其中，|W_f(a,b)|是f(t)的小波变换模，α为李氏指数，在时间和尺度的平面上，将所有模的极大值点进行连线，并求得其斜率，即为李氏指数。在二进制小波变换中，令a＝2^j，对式(1)两边取以2为底的对数，则：

lb|W_f(a,b)|＝lbA+jα (3)

在进行奇异点辨识时，判别的理论依据是α是否大于0，在t时刻，小波变换的模极大值由α的正负决定，随尺度j的增大而增大或减小。

通过对正负模极大值两条线的在低尺度上的交点即可辨识得出奇异点位置的辨识。为了保证两条曲线可以相交，因此其可延伸至尺度接近零处，进而准确定位信号奇异点的位置。

由于小波函数有很多种，在基本小波的选择中，选择较好正交性、双正交性的sym4小波作为基本小波，该小波光滑且接近对称，sym4小波的高层细节部分不会产生明显受小波形状影响的多分辨率分析成分。将电池发生容量突变的数据进行小波变换，利用sym4对突变后的电池容量数据进行5层静态小波分解，并求出各尺度细节系数的局部极大值和极小值，通过绘制模极大值线，判定各点幅值随尺度增大的变化情况，并计算李氏指数，即可确定电池性能测试过程中的容量突变点。

在确定了突变点之后，本发明实施例可以利用数据之间的时延相关性重构剔除的异常数据，具体方法如下：对于两个时间序列X＝{x₁,x₂,…,x_n}和Y＝{y₁,y₂,…,y_n}，Y相对于X延迟l时刻的相关系数计算公式为：

式中：

其中，l最大取值为n/2，当l从0变化到n/2时得到R(0),R(1),…,R(n/2)；R(l)取最大值时对应的延迟为l′(最大时延相关点)，如果R(l′)＞σ(σ为相关性阀值)，则X和Y具有时延相关性。

假设时间序列X＝{x₁,x₂,…,x_n}缺失数据的时段为[i,j]，其余相关时间数列为Y₁,Y₂,…。取各数列在时段[i-n,i]内的数据，分别计算X与Y₁,Y₂,…在该时段内数据的最大时延相关点和相应的时延相关系数。与Y_k相对应的最大时延相关点为l_k′，相应的时延相关系数为R(l_k′)，假设R(l_k′)＝max(R(l₁′),R(l₂′),…)，则利用数列Y_k的数据对X的历史数据进行重构。由于X与Y_k的数据具有时延相关性，则X与Y_k的数据关系可用线性回归拟合为：

其中，x_i和分别为X和Y_k在第i和i+l′时刻的数据；a和b为待确定的系数，可用最小二乘法求得。

综上，海量储能数据的突变辨识与重构的具体流程如图7所示。

本发明实施例中还提供了一种大容量储能系统海量数据的分布式存储方法。图8为本发明实施例中提供的又一种大容量储能系统海量数据的分布式存储方法流程图，如图8所示，该方法包括：

S801，获取储能系统的运行数据，其中，运行数据包括如下至少之一：储能系统处于充电状态或放电状态的第一运行数据，储能系统处于静置状态的第二运行数据；

S802，按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储，其中，第一目录结构的层数大于第二目录结构的层数。

作为一种可选的实施例，上述S801和S802公开的方案，可以应用于但不限于用于存储大容量储能系统的运行数据的服务器中，优选地，在使用分布式部署的多个数据服务器存储大容量储能系统的运行数据的情况下，上述S801和S802公开的方案，可以应用于分布式部署的任意一个数据服务器中。由于图8所示的方法实施例解决问题的原理与上述图1所示的方法实施例相似，因此图8所示的方法实施例可以参见上述图1所示的方法实施例的实施，重复之处不再赘述。

当采用分布式部署的多个数据服务器对大容量储能系统的运行数据进行存储的时候，随着存储数据量的增加，需要增加数据存储服务器的数量。在增加数据存储服务器的同时，为了不影响系统的可靠性，需尽可能使数据的存储均匀分配，而不是集中存储在某几台数据服务器上。若分配不均匀，将会导致存储数据集中访问某几台，分布式并行的方式就失去管理效果。当增加或减少一台数据服务器时，下一次数据的存储，需要获取增加或减少的服务器信息，尽量将数据分散开存储，避免数据访问热点问题。

因而，一种可选的实施例中，在按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储的时候，可以基于哈希Hash函数的负载均衡算法，将第一运行数据和第二运行数据存储到分布式部署的多个数据服务器上，其中，第一运行数据按照第一目录结构存储，第二运行数据按照第二目录结构存储。

其中，Hash函数使用式如下：

f_hash＝i mod N(其中,i≤N-1) (8)

通过上述实施例，如果某一台机器出现故障，那么落在该机器的数据存储请求就无法得到正确的处理，这时需要将出现故障的服务器去除，这种情况下，将会有(N-1)/N的服务器的缓存数据需要重新进行计算；如果新增一台机器，将会有N/(N+1)的服务器的缓存数据需要进行重新计算。简而言之，通过哈希分布可以使数据均匀分散在各个节点上，同时在扩展的时候只是对一个区间内的数据进行了重新整理，只影响了一部分的数据节点。

另外，为了提高数据安全性，在通过分布式部署的多个数据服务器存储储能系统的运行数据的时候，本发明实施例在数据分配上使用了一种基于规则的迁移算法，一个最优自稳状态下桶分布应具有以下规则约束，相同数据的备份不能出现在同一台存储节点上；物理节点之间的桶应均匀分布；某个节点中包含的桶应均匀的分布在其他节点中。因此需对ESSFS的数据分配的算法进行以下要求，在存储服务器中，主数据和备份数据不应出现在一个存储节点上，每个物理节点上所包含的数据同样应均匀分布在其他节点。上述规则可保证，在某一数据存储节点出现问题时，可以在其他物理节点通过数据复制机制达到集群恢复自稳的目的，而数据均匀的分布可以降低单个数据存储节点的压力。

此外，还需要说明的是，复制是数据存储的基本要求。大规模的分布式存储集群包含成很多服务器，高可扩展性和高可用性的实现变得越来越复杂，复制也是实现性能和可用性的有效措施之一。通过将客户端请求的数据复制为多份，可以提高并行度，以获得扩展性。也可以让一个数据拥有多个副本，提高系统的响应速度，获得可用性以及系统的容错性，同时对于分布式存储来说，数据的复制可以减少网络延迟。

分布式数据存储管理的要求还体现在容错性和扩展性两方面，这两方面的特性能通过数据的分配方法和复制实现。数据复制管理组件要负责的内容是提供单块数据的原子性写入接口。所以在数据复制管理上，采用基于Paxos算法的数据复制机制。在数据复制过程中，通过数据和信息通道，将数据本体复制出两个副本，并保证了一致性。

在分布式系统中，可以按写时复制(Copy On Write，CoW)的方式处理文件事务，区别于单机文件系统，有两方面难以保证。首先分布式系统不能保证数据修改操作串行执行，需要锁机制的辅助，其次分布式系统中元数据也具有分布特征，被分布在不同独立节点上，直接更新元数据将产生不一致状态，实现CoW中的元数据拷贝操作类似于元数据迁移，要通过反复执行分布式提交算法来实现。

为了实现CoW事务，使得写操作可以串行执行，需要设立以下锁定机制。首先，CoW事务执行前，客户端会在需要在文件元数据中采用Paxos算法申请锁，防止对单个文件并发的写入。锁分为读锁和写锁，其兼容性如表1所示：

表1事务锁的兼容性

客户端获得锁之后，可以向数据节点传输数据，数据传输可以并发进行。基于Paxos算法，可以准确地得到数据复制结果，为了保证元数据与数据的一致性，需要将数据复制结果更新到元数据库。整个数据复制过程，应在Paxos算法的协调下进行。另外，非单机文件系统更新节点过程对应于分布式文件系统更新目录元数据，在分布式文件系统中向上复制目录元数据时，要对过时的目录加写锁，防止其他该目录下的文件同时进行更新，破坏元数据的正确性。同时，目录和文件锁需要共享，在出现超时异常时锁同时释放，避免出现整个文件系统写入锁死的情况。

本发明实施例中还提供了一种数据存储系统，如下面的实施例所述。由于该系统实施例解决问题的原理与上述方法相似，因此该系统实施例的实施可以参见上述方法的实施，重复之处不再赘述。

图9为本发明实施例中提供的一种大容量储能系统海量数据的分布式存储系统示意图，如图9所示，该系统包括：储能系统901、采集机902、客户端903和数据存储服务器904。

其中，储能系统901；

采集机902，与储能系统901通信，用于采集储能系统的运行数据，其中，运行数据包括如下至少之一：储能系统处于充电状态或放电状态的第一运行数据，储能系统处于静置状态的第二运行数据；

客户端903，与采集机902通信，用于将储能系统901的运行数据发送到数据存储服务器；

数据存储服务器904，与客户端903通信，接收客户端903发送的运行数据，按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储，第一目录结构的层数大于第二目录结构的层数。

具体地，数据存储服务器904可以将客户端903发送的第一运行数据和第二运行数据存储到分布式部署的各个数据服务器905上，且每个数据服务器905按照第一目录结构存储储能系统处于充电状态或放电状态的第一运行数据，并按照第二目录结构存储储能系统处于静置状态的第二运行数据。

本发明实施例针对大容量储能系统数据存储的领域需求设计了面向海量储能数据的轻量级分布式存储系统--Energy Storage System File System(ESSFS)。该系统实现了对海量储能数据管理简单化，并便于后期维护。在整个大容量储能系统海量数据的存储系统中，本发明实施例合理设计了大容量储能系统的数据采集和存储策略。

在系统的运行环境方面，作为一种可选的实施方式，本发明实施例提供的ESSFS可以运行在Linux平台，由于大容量储能系统的采集机存在驱动程序的差异性，所以存储系统的客户端应可在在系统运行Linux和在Windows平台上应用。从当前的应用场景来看，储能系统主要的数据存储方式是储能数据文件的流式文件存储方式，数据存储模型是顺序读写I/O。

图10本发明实施例中一种大容量储能系统的数据采集和存储策略示意图，如图10所示，首先监测数据通过采集机，按照采集策略完成数据的采集，在进行数据预处理后进入数据存储流程，该数据存储流程包括但不限于数据投送流程、数据传输流程、元数据处理流程和数据处理流程四部分，在数据存储过程中，数据投递流程用来把缓存中的储能数据进行聚合和拆分，然后将其分发。元数据处理流程负责对所有的请求，进行数据分派、指派数据任务。数据传输流程用于把分发的数据传送到数据存储服务器上。数据处理流程则负责处理所有的数据存储请求，实际负责存储数据。数据投递流程、数据传输流程的宿主是客户端，采用主动的数据传输方式；元数据处理流程的宿主是元数据服务器，数据处理流程的宿主是数据服务器。这些流程之间设计为独立的运行方式，不同服务器之间的数据交互主要使用TCP/UDP协议进行数据传输。

在储能数据投递流程的流程中，数据拆分后被分拆为一个独立的存储小块，为了保证储能数据的存储安全性，需要综合考虑其分配机制，涉及数据在集群存储节点的组织、平衡节点的访问、管理节点失效、删除和新增等。为了获得灵活管理数据，将每个划分的小块组织在一起称为一个桶(Bucket)，桶被视为ESSFS存储管理数据的有效方式。一台物理存储节点可以包含一个或多个桶。当执行写入时，客户端(Chunk的拆分存储服务)依据块数据的命名做哈希计算，并将结果作为选择块数据所处桶的定位依据。当发生软硬件故障时，集群应具有自稳能力，使得数据的拷贝通过数据恢复机制能够恢复到稳定状态上。控制节点将通过心跳检测存储节点是否发生故障，一旦发现故障就要通过执行迁移算法增加新的数据备份以保证其安全性，使得集群恢复到稳定状态。

本发明实施例中还提供了一种数据采集终端，如下面的实施例所述。由于该数据采集终端实施例解决问题的原理与图1所示的大容量储能系统海量数据的分布式存储方法相似，因此该数据采集终端实施例的实施可以参见图1所示方法的实施，重复之处不再赘述。

图11为本发明实施例中提供的一种数据采集终端示意图，如图11所示，该数据采集终端包括：数据采集模块111和数据发送模块112。

其中，数据采集模块111，用于采集储能系统的运行数据，其中，运行数据包括如下至少之一：储能系统处于充电状态或放电状态的第一运行数据，储能系统处于静置状态的第二运行数据；

数据发送模块112，与数据采集模块通信，用于将数据采集模块采集的运行数据发送到数据存储服务器，其中，数据存储服务器按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储，第一目录结构的层数大于第二目录结构的层数。

可选地，第一运行数据包括：电池管理系统的运行数据和变流器的运行数据；第二运行数据包括：电池的本体数据；其中，第一目录结构包括监测时间、运行模式、控制模式和电池类型四层目录；第二目录结构包括监测时间和电池类型两层目录，其中，监测时间为运行数据的采集时间，运行模式包括：风光储模式、风储模式、光储模式和单储模式；控制模式包括：平滑模式、跟踪计划模式、跟踪网调模式、跟踪给定目标模式；电池类型包括：锂电池、铅酸电池、全钒液流电池、超级电容器。

在一种可选的实施例中，上述数据采集模块111还用于按照第一采集频率采集第一运行数据，以及按照第二采集频率采集第二运行数据，其中，第二采集频率低于第一采集频率；上述数据发送模块112还用于将第一运行数据通过实时传输通道发送到数据存储服务器，将第二运行数据通过非实时传输通道发送到数据存储服务器。

在一种可选的实施例中，本发明实施例提供的数据采集终端还用于采用离散小波变换，识别异常的运行数据；以及利用运行数据之间的时延相关性，重构异常的运行数据。

本发明实施例中还提供了一种数据存储服务器，如下面的实施例所述。由于该数据存储服务器实施例解决问题的原理与图8所示的大容量储能系统海量数据的分布式存储方法相似，因此该数据采集终端实施例的实施可以参见图8所示方法的实施，重复之处不再赘述。

图12为本发明实施例中提供的一种数据存储服务器示意图，如图12所示，该数据存储服务器包括：数据接收模块121和数据存储模块122。

其中，数据接收模块121，与数据采集终端通信，接收数据采集终端发送的储能系统的运行数据，其中，运行数据包括如下至少之一：储能系统处于充电状态或放电状态的第一运行数据，储能系统处于静置状态的第二运行数据；

数据存储模块122，用于按照第一目录结构将第一运行数据进行分布式存储，以及按照第二目录结构将第二运行数据进行分布式存储，其中，第一目录结构的层数大于第二目录结构的层数。

可选地，第一运行数据包括：电池管理系统的运行数据和变流器的运行数据；第二运行数据包括：电池的本体数据；其中，第一目录结构包括监测时间、运行模式、控制模式和电池类型四层目录；第二目录结构包括监测时间和电池类型两层目录，其中，监测时间为运行数据的采集时间，运行模式包括：风光储模式、风储模式、光储模式和单储模式；控制模式包括：平滑模式、跟踪计划模式、跟踪网调模式、跟踪给定目标模式；电池类型包括：锂电池、铅酸电池、全钒液流电池、超级电容器。

在一种可选的实施例中，上述数据接收模块121还用于通过实时传输通道接收数据采集终端发送的第一运行数据，以及通过非实时传输通道接收数据采集终端发送的第二运行数据。

在一种可选的实施例中，上述数据存储模块122还用于基于哈希函数的负载均衡算法，将第一运行数据和第二运行数据存储到分布式部署的多个数据服务器上，其中，第一运行数据按照第一目录结构存储，第二运行数据按照第二目录结构存储。

在一种可选的实施例中，本发明实施例提供的数据存储服务器还用于检测分布式部署的各个数据服务器的运行状态，其中，每个数据服务器上存储的数据备份存储到其他数据服务器上；在任意一个或多个数据服务器发生故障的情况下，根据其他数据服务器上备份的数据，恢复发生故障的数据服务器上存储的数据。

综上所述，本发明实施例针对大容量储能系统的海量数据存储，设计了大容量储能系统数据采集策略和突变数据辨识重构方法，构建了一种轻量级分布式文件系统，针对储能系统的不同工况，设计了不同目录结构的分布式文件系统，通过设计适合大容量储能的目录结构，解决了储能系统的运行数据在分布式存储下，元数据和数据的一致性问题，为未来先进的数据处理技术在储能数据处理技术中应用提供基础，为大容量储能系统并网运行提供数据支持。另外，本发明实施例还提出了数据分配、数据复制、负载均衡、一致性和并发控制的策略，实现了储能数据的高效存储。本发明实施例提供的存储控制策略不仅可保证储能系统在多类型多运行控制模式下数据多点并发，并具有良好的扩展性，以实现未来数据的增长。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种大容量储能系统海量数据的分布式存储方法，其特征在于，包括：

采集储能系统的运行数据，其中，所述运行数据包括如下至少之一：所述储能系统处于充电状态或放电状态的第一运行数据，所述储能系统处于静置状态的第二运行数据；

将所述储能系统的运行数据发送到数据存储服务器，其中，所述数据存储服务器按照第一目录结构将所述第一运行数据进行分布式存储，以及按照第二目录结构将所述第二运行数据进行分布式存储，所述第一目录结构的层数大于所述第二目录结构的层数。

2.如权利要求1所述的方法，其特征在于，

采集储能系统的运行数据，包括如下至少之一：

按照第一采集频率采集所述第一运行数据；

按照第二采集频率采集所述第二运行数据，其中，所述第二采集频率低于所述第一采集频率；

其中，所述第一运行数据通过实时传输通道发送到所述数据存储服务器，所述第二运行数据通过非实时传输通道发送到所述数据存储服务器。

3.如权利要求1所述的方法，其特征在于，在采集储能系统的运行数据之后，所述方法包括：

采用离散小波变换，识别异常的运行数据；

利用运行数据之间的时延相关性，重构所述异常的运行数据。

4.一种大容量储能系统海量数据的分布式存储方法，其特征在于，包括：

获取储能系统的运行数据，其中，所述运行数据包括如下至少之一：所述储能系统处于充电状态或放电状态的第一运行数据，所述储能系统处于静置状态的第二运行数据；

按照第一目录结构将所述第一运行数据进行分布式存储，以及按照第二目录结构将所述第二运行数据进行分布式存储，其中，所述第一目录结构的层数大于所述第二目录结构的层数。

5.如权利要求4所述的方法，其特征在于，按照第一目录结构将所述第一运行数据进行分布式存储，以及按照第二目录结构将所述第二运行数据进行分布式存储，包括：

基于哈希函数的负载均衡算法，将所述第一运行数据和第二运行数据存储到分布式部署的多个数据服务器上，其中，所述第一运行数据按照所述第一目录结构存储，所述第二运行数据按照所述第二目录结构存储。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

检测分布式部署的各个数据服务器的运行状态，其中，每个数据服务器上存储的数据备份存储到其他数据服务器上；

在任意一个或多个数据服务器发生故障的情况下，根据其他数据服务器上备份的数据，恢复发生故障的数据服务器上存储的数据。

7.如权利要求4至6任一所述的方法，其特征在于，所述第一运行数据包括：电池管理系统的运行数据和变流器的运行数据；所述第二运行数据包括：电池的本体数据；其中，所述第一目录结构包括监测时间、运行模式、控制模式和电池类型四层目录；所述第二目录结构包括监测时间和电池类型两层目录，其中，所述监测时间为运行数据的采集时间，所述运行模式包括：风光储模式、风储模式、光储模式和单储模式；控制模式包括：平滑模式、跟踪计划模式、跟踪网调模式、跟踪给定目标模式；电池类型包括：锂电池、铅酸电池、全钒液流电池、超级电容器。

8.一种大容量储能系统海量数据的分布式存储系统，其特征在于，包括：

储能系统；

采集机，与所述储能系统通信，用于采集储能系统的运行数据，其中，所述运行数据包括如下至少之一：所述储能系统处于充电状态或放电状态的第一运行数据，所述储能系统处于静置状态的第二运行数据；

客户端，与所述采集机通信，用于将所述储能系统的运行数据发送到数据存储服务器；

所述数据存储服务器，与所述客户端通信，接收所述客户端发送的运行数据，按照第一目录结构将所述第一运行数据进行分布式存储，以及按照第二目录结构将所述第二运行数据进行分布式存储，所述第一目录结构的层数大于所述第二目录结构的层数。