CN116932536A - 一种基于唯一id的逆变器数据持久化存储方法 - Google Patents

Abstract

本发明提供一种基于唯一ID的逆变器数据持久化存储方法，涉及数据存储技术领域，包括以下步骤：S1：获取逆变器设备采样数据时，获取设备uid；S2：解析uid，获取数据库id和数据表id，以表示设备采样数据存储的数据库位置和数据表位置；S3：对设备采样数据进行压缩；S4：对压缩数据按照步骤S2中的数据库id和数据表id进行分组；S5：对步骤S4的每一组数据进行持久化存储。本发明在设备采样数据获取时通过设备uid和采样数据上送时间计算出持久化的数据库位置和数据表位置后按照库表的位置进行分组，最终多线程处理分组数据持久化到数据库，可以有效提高逆变器设备数据采集效率。

Description

一种基于唯一ID的逆变器数据持久化存储方法

技术领域

本发明涉及数据存储技术领域，尤其是，本发明涉及一种基于唯一ID的逆变器数据持久化存储方法。

背景技术

随着全球户用储能市场的稳步增长，户用储能系统为广大住户提供了一种较使用电网用电更经济的手段，其大规模的应用也减少了电网的压力，可以有效的调节电网的峰谷，参与电网的调频。随着储能设备的增加，逆变器设备的数据采集、可视化、监控、告警等功能也需要一一实现。

例如中国专利发明专利CN114899949A公开了提出了一种适用于商用型光伏逆变器的数据采集方法及装置，涉及光伏逆变器技术领域。该方法包括：获取目标光伏逆变器的历史运行数据、各个生命周期阶段的时间信息和理论阶段数据。根据各个生命周期阶段的时间信息，比较历史运行数据和理论阶段数据，得到所有历史异常数据。根据历史异常数据设置重点监控点进行针对性监控。从历史运行数据中确定监控路径，实现了针对目标光伏逆变器的数据采集传输过程，设置监控路径的目的。利用训练好的神经网络模型输出监控方案。由于监控方案与目标光伏逆变器的数据采集传输过程相匹配，则按照监控方案对数据采集器和云平台的工作过程进行监控，实现了对数据采集过程的有效监控和针对性监控。

但是上述数据采集方法依然存在以下缺点：随着电网用电的大规模增加，储能设备也是在增加，在设备数量达到10万甚至数十万时，逆变器设备数据采集效率过低，可能导致在一个数据采集周期内无法处理完所有数据，最终无法保证数据的实时性。

因此为了解决所述问题，设计一种合理高效的基于唯一ID的逆变器数据持久化存储方法对我们来说是很有必要的。

发明内容

本发明的目的在于提供一种可基于唯一ID的逆变器数据持久化存储方法，在设备采样数据获取时通过设备uid和采样数据上送时间计算出持久化的数据库位置和数据表位置后按照库表的位置进行分组，最终多线程处理分组数据持久化到数据库，可以有效提高逆变器设备数据采集效率。

为达到上述目的，本发明采用如下技术方案得以实现的：

一种基于唯一ID的逆变器数据持久化存储方法，方法包括以下步骤：

S1：获取逆变器设备采样数据时，获取设备uid；

S2：解析uid，获取数据库id和数据表id，以表示设备采样数据存储的数据库位置和数据表位置；

S3：对设备采样数据进行压缩；

S4：对压缩数据按照步骤S2中的数据库id和数据表id进行分组；

S5：对步骤S4的每一组数据进行持久化存储。

作为本发明的优选，执行步骤S1时，获取设备uid，具体包括：

利用雪花算法，获取长整型数据生成全局ID，引入时间戳得到十进制的全局唯一ID，将全局唯一ID转换成二进制数据，即uid。

作为本发明的优选，执行步骤S1时，逆变器设备采样数据包括时间戳，uid，采样点，采样点值。

作为本发明的优选，执行步骤S2之前，将逆变器设备采样数据经前置采集模块上送到缓存模块处进行缓存，以便于采集模块对缓存的数据的uid进行解析。

作为本发明的优选，执行步骤S2时，获取数据库id和数据表id，具体包括：

通过获取uid中的预定位置的10bit数据，解析得到数据库id；

通过使用一致性哈希算法对uid进行hash运算，得到数据表id。

作为本发明的优选，执行步骤S3时，使用Snappy算法对设备采样数据进行压缩。

作为本发明的优选，执行步骤S4时，建立uid到数据库位置的映射和设备采样数据采样时间到数据表位置的映射，以此为基础对压缩数据进行分组。

作为本发明的优选，执行步骤S5时，对步骤S4的每一组数据进行持久化存储，具体包括：

创建多个异步任务对步骤S4的每一组数据进行持久化存储。

第二方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的任意一种实现方式提供的基于唯一ID的逆变器数据持久化存储方法。

第三方面，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，可实现本申请实施例第一方面的任意一种实现方式提供的基于唯一ID的逆变器数据持久化存储方法。

本发明一种基于唯一ID的逆变器数据持久化存储方法有益效果在于：在设备采样数据获取时通过设备uid和采样数据上送时间计算出持久化的数据库位置和数据表位置后按照库表的位置进行分组，最终多线程处理分组数据持久化到数据库，可以有效提高逆变器设备数据采集效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于唯一ID的逆变器数据持久化存储方法的一个实施例的控制流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

实施例：请参阅图1，为本发明一种基于唯一ID的逆变器数据持久化存储方法的控制流程示意图，一种基于唯一ID的逆变器数据持久化存储方法，方法包括以下步骤：

S1：获取逆变器设备采样数据时，获取设备uid；

在对逆变器设备的数据进行数据采样的时候，为了方便对这个数据进行有效存储，需要防止大量逆变器设备采样数据堆积堵塞，需要对这些采样数据进行分开存储，以增大存储效率，但是如果需要进行分组存储，为了确保数据的存储和读取，需要给这个采样数据进行适配一个id。

在这里，适配一个全局唯一的uid，使得每个逆变器设备的每次采样数据都是独一无二的，方便进行存储和读取；也正是具备独一无二的特性，可以持久化进行存储。

作为本申请实施例的一种可选，获取设备uid，具体包括：利用雪花算法，获取长整型数据生成全局ID，引入时间戳得到十进制的全局唯一ID，将全局唯一ID转换成二进制数据，即uid。

需要注意的是，全局唯一ID为长整型数据类型，通过雪花算法计算而来可以有效保证了其全局唯一性，那么转变成二进制的uid也具有全局唯一性;得到的uid为二进制的8byte的长整型数据类型，占用64bit。

例如得到的全局唯一ID为680570209811054595，得到的uid为100101110001110111110000000000000000100000000100000000000011；其中只有60个bit，那么在该数值之前添加4个0，形成64bit的数据。

64bit的uid中，字节分配如下：

1、第一个bit位（共1bit）：最高位是符号位代表正负，正数是0，负数是1，一般生成id都为正数，所以默认为0；这一部分内容一般不使用；

2、第二部分，即时间戳部分（共30bit）：秒级的时间戳，不建议存储当前时间戳，而是用“当前时间戳 - 固定开始时间戳”的差值，得到时间戳值，可以使产生的id从更小的值开始；且30bit的时间戳可以使用34年，(230 - 1) / (60 * 60 * 24 * 365) 约为34年；

3、第三部分，即工作机器id部分（10bit）：也被叫做work-id，这个可以灵活配置，数据中心号者机器号组合都可以。

4、第四部分，数据库id部分（10bit）：uid对应的数据的数据库位置，如每个数据库实例仅保存10万设备的采样数据，合理的配置db-id可以实现不同的设备分布在不同的数据库实例中，有利于解决数据库单点压力的问题，且利于后续数据库的扩容，满足高并发场景。

5、第五部分，序列号部分（13bit），自增值支持一秒内同一个节点可以生成8192个id；使得整个uid全局唯一性更加有保障。

作为本申请实施例的一种可选，逆变器设备采样数据包括时间戳，uid，采样点和采样点值。准确的说，上送的逆变器设备采样数据包括时间戳，uid，采样点和采样点值；也就是，初始采样数据只是包含采样点，采样点值；然后再初始采样数据时获取时间戳，通过时间戳的引进得到逆变器设备uid，最后将时间戳，uid，采样点和采样点值进行整合打包，视为逆变器设备采样数据进行上送。

S2：解析uid，获取数据库id和数据表id，以表示设备采样数据存储的数据库位置和数据表位置；

通过uid来对设备采样数据存储的存储位置以及存储表头进行获取，这样可以使得多个逆变器设备的采样数据分开效果更好。

需要注意的是，在执行步骤S2之前，将逆变器设备采样数据经前置采集模块上送到缓存模块处进行缓存，以便于采集模块对缓存的数据的uid进行解析。

在这里，采集模块对缓存的数据的uid进行获取时，还需要判断这条数据的上送时间，若是这条数据是15分钟内上送的，则该数据达到入库条件，即执行步骤S2，对uid进行解析；反之，这条数据不建议自动入库，需要提示工作人员进行手动入库操作。

作为本申请实施例的一种可选，执行步骤S2时，获取数据库id和数据表id，具体包括：

通过获取uid中的预定位置的10bit数据，解析得到数据库id；

实际上，就是直接读取uid中的第四部分，即数据库id部分（10bit），就可以得到数据库id；并且该uid对应的逆变器设备采样数据需要存储至这个数据库id对应的数据库中。

通过使用一致性哈希算法对uid进行hash运算，得到数据表id。

在这里，一致性哈希算法的基本原理，把数据通过hash函数映射到一个环形空间里，这里的hash函数一般是对2的32次方进行取余，使数据能够平均分配。例如只有A、B、C、D这4台服务器时，通过hash函数映射环形空间上的右上、右下、左下、左上四个位置，数据的存储时，先得到一个hash值，对应到这个环中的每个位置，如缓存数据K1对应到了环形空间上方位置，然后沿顺时针找到一个机器节点A，将K1存储到A节点上，K2存储到A节点上，K3、K4存储到B节点上。以此类推。当添加服务器时，只需要一个服务器需要重新平衡数据；在当前业场景下，把服务器节点当成表，且只有添加表的操作，并没有移除的操作。

S3：对设备采样数据进行压缩；

在这里本质就是将逆变器设备采样数据压缩小一点，更方便进行存储。

作为本申请实施例的一种可选，执行步骤S3时，使用Snappy算法对设备采样数据进行压缩；数据压缩速度快，压缩率较好。

需要注意的是，每一个逆变器设备采样数据都是单独压缩的，例如获取了一万个逆变器采样数据，就是这一万个数据都是单独压缩，得到一万个压缩数据。

S4：对压缩后的数据按照步骤S2中的数据库id和数据表id进行分组；

实际上，建立uid到数据库位置的映射和设备采样数据采样时间到数据表位置的映射，以此为基础对压缩数据进行分组。

S5：对步骤S4的每一组数据进行持久化存储。

最后，创建多个异步任务对步骤S4的每一组数据进行持久化存储。

本发明一种基于唯一ID的逆变器数据持久化存储方法，在设备采样数据获取时通过设备uid和采样数据上送时间计算出持久化的数据库位置和数据表位置后按照库表的位置进行分组，最终多线程处理分组数据持久化到数据库，可以有效提高逆变器设备数据采集效率。

实施例二，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的任意一种实现方式提供的基于唯一ID的逆变器数据持久化存储方法。

实施例三，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，可实现本申请实施例第一方面或第二方面的任意一种实现方式提供的基于唯一ID的逆变器数据持久化存储方法。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种基于唯一ID的逆变器数据持久化存储方法，其特征在于：方法包括以下步骤：

S1：获取逆变器设备采样数据时，获取设备uid；

S2：解析uid，获取数据库id和数据表id，以表示设备采样数据存储的数据库位置和数据表位置；

S3：对设备采样数据进行压缩；

S4：对压缩数据按照步骤S2中的数据库id和数据表id进行分组；

S5：对步骤S4的每一组数据进行持久化存储。

2.根据权利要求1所述的一种基于唯一ID的逆变器数据持久化存储方法，其特征在于：

执行步骤S1时，获取设备uid，具体包括：

利用雪花算法，获取长整型数据生成全局ID，引入时间戳得到十进制的全局唯一ID，将全局唯一ID转换成二进制数据，即uid。

3.根据权利要求1所述的一种基于唯一ID的逆变器数据持久化存储方法，其特征在于：

执行步骤S1时，逆变器设备采样数据包括时间戳，uid，采样点以及采样点值。

4.根据权利要求2所述的一种基于唯一ID的逆变器数据持久化存储方法，其特征在于：

执行步骤S2之前，将逆变器设备采样数据经前置采集模块上送到缓存模块处进行缓存，以便于采集模块对缓存的数据的uid进行解析。

5.根据权利要求4所述的一种基于唯一ID的逆变器数据持久化存储方法，其特征在于：

执行步骤S2时，获取数据库id和数据表id，具体包括：

通过获取uid中的预定位置的10bit数据，解析得到数据库id；

通过使用一致性哈希算法对uid进行hash运算，得到数据表id。

6.根据权利要求1所述的一种基于唯一ID的逆变器数据持久化存储方法，其特征在于：

执行步骤S3时，使用Snappy算法对设备采样数据进行压缩。

7.根据权利要求1所述的一种基于唯一ID的逆变器数据持久化存储方法，其特征在于：

执行步骤S4时，建立uid到数据库位置的映射和设备采样数据采样时间到数据表位置的映射，以此为基础对压缩数据进行分组。

8.根据权利要求1所述的一种基于唯一ID的逆变器数据持久化存储方法，其特征在于：

执行步骤S5时，对步骤S4的每一组数据进行持久化存储，具体包括：

创建多个异步任务对步骤S4的每一组数据进行持久化存储。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至8任一项所述的一种基于唯一ID的逆变器数据持久化存储方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至8任一项所述的一种基于唯一ID的逆变器数据持久化存储方法。