CN116910825B - 一种基于kafka的数据同步方法及装置 - Google Patents
一种基于kafka的数据同步方法及装置 Download PDFInfo
- Publication number
- CN116910825B CN116910825B CN202311167660.4A CN202311167660A CN116910825B CN 116910825 B CN116910825 B CN 116910825B CN 202311167660 A CN202311167660 A CN 202311167660A CN 116910825 B CN116910825 B CN 116910825B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- preset
- battery cell
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013500 data storage Methods 0.000 claims abstract description 109
- 230000001360 synchronised effect Effects 0.000 claims abstract description 61
- 238000003860 storage Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000005192 partition Methods 0.000 claims description 21
- 230000010076 replication Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 230000009365 direct transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioethics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了一种基于kafka的数据同步方法及装置,涉及数据处理技术领域。数据同步方法包括:获取第一数据端传输的待同步数据;待同步数据包括:电站采集的电芯数据;基于待同步数据对应的数据采集设备信息,确定待同步数据中的第一目标数据;其中,第一目标数据对应的数据采集设备信息符合预设条件,预设条件包括:数据采集周期条件和数据采集精度条件;基于第一目标数据对应的电芯信息,确定数据存储位置关联信息;数据存储位置关联信息用于表征第一目标数据的存储位置条件;通过kafka基于数据存储位置关联信息,将第一目标数据传输给第二数据端。该数据同步方法及装置能够提高数据传输的安全性,以及提高数据的完整性。
Description
技术领域
本申请是关于数据处理技术领域,特别是关于一种基于kafka的数据同步方法及装置。
背景技术
随着计算机技术的发展,在越来越多的应用场景中均涉及到数据的同步。以电站的数据同步为例,当一个电站的电芯数据被采集后,从电站侧将数据使用直连的方式将数据同步到应用侧的数据库。直连数据传输具体流程如下:采集器采集电厂设备中的电芯数据,然后将采集到的数据保存到边侧数据库中,应用端搭建环境,部署数据接收程序通过网络接收边侧数据库中的数据,然后写入到应用端数据库,再由应用数据库保存,根据业务逻辑提供给业务应用端。
对于这种直连的数据同步方式,当网络不好时,会造成数据时效性降低,并且数据也会丢包。而且,这种直传的方式没有数据校验,如果丢包是关键数据那么会产生很大的隐患。
因此,目前的数据同步方式难以保证数据的完整性,以及难以保证数据传输的安全性。
发明内容
本申请的目的在于提供一种基于kafka的数据同步方法及装置,其能够提高数据传输的安全性,以及提高数据的完整性。
为实现上述目的,本申请的实施例提供了一种基于kafka的数据同步方法,包括:获取第一数据端传输的待同步数据;所述待同步数据包括:电站采集的电芯数据;基于所述待同步数据对应的数据采集设备信息,确定所述待同步数据中的第一目标数据;其中,所述第一目标数据对应的数据采集设备信息符合预设条件,所述预设条件包括:数据采集周期条件和数据采集精度条件;基于所述第一目标数据对应的电芯信息,确定数据存储位置关联信息;所述数据存储位置关联信息用于表征所述第一目标数据的存储位置条件;通过kafka基于所述数据存储位置关联信息,将所述第一目标数据传输给第二数据端。
在一种可能的实施方式中,所述数据采集设备信息包括:数据采集周期和数据采集精度;所述数据采集周期条件包括预设数据采集周期,所述数据采集精度条件包括预设数据采集精度,所述基于所述待同步数据对应的数据采集设备信息,确定所述待同步数据中的第一目标数据,包括:针对所述待同步数据中的数据,比较该数据对应的数据采集设备的数据采集周期和所述预设数据采集周期,以及比较该数据对应的数据采集设备的数据采集精度和所述预设数据采集精度;若该数据对应的数据采集设备的数据采集周期大于所述预设数据采集周期,且该数据对应的数据采集设备的数据采集精度小于所述预设数据采集精度,确定该数据为所述第一目标数据。
在一种可能的实施方式中,所述电芯信息包括电芯类型和电芯使用率,所述数据存储位置关联信息包括:存储空间大小、数据读写速度和数据复制次数;所述基于所述第一目标数据对应的电芯信息,确定数据存储位置关联信息,包括:判断所述第一目标数据对应的电芯类型是否为目标电芯类型;若所述第一目标数据对应的电芯类型为目标电芯类型,将预设的数据存储位置关联信息确定为所述第一目标数据的数据存储位置关联信息;其中,所述预设的数据存储位置关联信息包括:预设存储空间大小、预设数据读写速度和预设数据复制次数;若所述第一目标数据对应的电芯类型不是目标电芯类型,获取所述目标电芯类型对应的电芯使用率;基于所述目标电芯类型对应的电芯使用率、所述第一目标数据对应的电芯使用率和所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息。
在一种可能的实施方式中,所述基于所述目标电芯类型对应的电芯使用率、所述第一目标数据对应的电芯使用率和所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息,包括:比较所述目标电芯类型对应的电芯使用率和所述第一目标数据对应的电芯使用率;若所述目标电芯类型对应的电芯使用率大于所述第一目标数据对应的电芯使用率,基于所述目标电芯类型对应的电芯使用率和所述第一目标数据对应的电芯使用率之间的使用率差值,以及所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息;若所述目标电芯类型对应的电芯使用率小于或者等于所述第一目标数据对应的电芯使用率,将所述预设的数据存储位置关联信息确定为所述第一目标数据的数据存储位置关联信息。
在一种可能的实施方式中,所述基于所述目标电芯类型对应的电芯使用率和所述第一目标数据对应的电芯使用率之间的使用率差值,以及所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息,包括:基于所述使用率差值、第一预设系数和所述预设存储空间大小,确定所述第一目标数据对应的存储空间大小;基于所述使用率差值、第二预设系数和所述预设数据读写速度,确定所述第一目标数据对应的数据读写速度;基于所述使用率差值、第三预设系数和所述预设数据复制次数,确定所述第一目标数据对应的数据复制次数;其中,所述第一预设系数、所述第二预设系数和所述第三预设系数的和小于或者等于预设值。
在一种可能的实施方式中,所述数据存储位置关联信息包括:存储空间大小、数据读写速度和数据复制次数,所述通过kafka基于所述数据存储位置关联信息,将所述第一目标数据传输给第二数据端,包括:通过所述kafka基于所述存储空间大小确定所述第一目标数据对应的数据存储分区,并将所述第一目标数据存储到所述数据存储分区中;基于所述数据读写速度和所述数据复制次数,将所述第一目标数据从所述数据存储分区中同步给所述第二数据端。
在一种可能的实施方式中,所述数据存储分区包括日志文件,所述第二数据端包括:doris数据库,所述将所述第一目标数据从所述数据存储分区中同步给所述第二数据端,包括:基于所述数据读写数据和所述数据复制次数,从所述日志文件中读取所述第一目标数据;基于所述doris数据库的数据存储机制,将读取的第一目标数据同步给所述doris数据库。
在一种可能的实施方式中,所述基于kafka的数据同步方法还包括:基于所述第二数据端的数据同步需求,确定所述待同步数据中的第二目标数据;所述第二目标数据为所述待同步数据中除所述第一目标数据外的其他数据,且所述第二目标数据符合所述数据同步需求;基于所述第二目标数据对应的数据采集设备信息、所述第二目标数据对应的电芯信息和所述第二目标数据的数据量大小,确定所述第二目标数据的加密策略;基于所述加密策略,对所述第二目标数据进行加密处理;通过公共网络将所述加密处理的第二目标数据同步给所述第二数据端。
在一种可能的实施方式中,所述数据采集设备信息包括:数据采集周期和数据采集精度,所述电芯信息包括电芯类型和电芯使用率,所述基于所述第二目标数据对应的数据采集设备信息、所述第二目标数据对应的电芯信息和所述第二目标数据的数据量大小,确定所述第二目标数据的加密策略,包括:基于所述数据采集周期和所述数据采集精度,确定所述第二目标数据的第一加密等级;基于所述电芯类型和所述电芯使用率,确定所述第二目标数据的第二加密等级;基于所述数据量大小,确定所述第二目标数据的加密复杂度;基于所述第一加密等级、所述第二加密等级和所述加密复杂度,确定所述第二目标数据的目标加密等级;基于所述目标加密等级和预设的加密等级与加密策略之间的对应关系,确定所述第二目标数据的加密策略。
本申请的实施例还提供一种基于kafka的数据同步装置,包括:获取单元,用于获取第一数据端传输的待同步数据;所述待同步数据包括:电站采集的电芯数据;处理单元,用于:基于所述待同步数据对应的数据采集设备信息,确定所述待同步数据中的第一目标数据;其中,所述第一目标数据对应的数据采集设备信息符合预设条件,所述预设条件包括:数据采集周期条件和数据采集精度条件;基于所述第一目标数据对应的电芯信息,确定数据存储位置关联信息;所述数据存储位置关联信息用于表征所述第一目标数据的存储位置条件;通过kafka基于所述数据存储位置关联信息,将所述第一目标数据传输给第二数据端。
与现有技术相比,本申请实施例提供的基于kafka的数据同步方法及装置,基于kafka实现数据的同步,kafka是一种开源流处理平台,相当于一种数据同步组件。则,基于该数据同步组件,对电站采集的电芯数据中的符合条件的数据进行同步,利用组件完成端对端的数据同步,省去同步程序的开发,省去代码开发的时间。以及,该数据同步组件能够保证数据传输的丢失,从而保证数据的完整性以及数据传输的安全性。并且,该数据同步组件的数据同步方式,与电站采集的电芯数据对应的电芯信息和数据采集设备关联,使得数据的同步与传输的数据之间的关联性和适配度增强,进一步提高数据同步的安全性与稳定性。从而,该基于kafka的数据同步方法及装置不仅可以提高数据传输的安全性,以及提高数据的完整性;还可以实现低代码开发。
附图说明
图1是根据现有技术的数据同步架构的结构示意图;
图2是根据本申请一实施方式的数据同步系统的结构示意图;
图3是根据本申请一实施方式的基于kafka的数据同步方法的流程图;
图4是根据本申请一实施方式的基于kafka的数据同步装置的结构示意图;
图5是根据本申请一实施方式的数据同步终端的结构示意图。
具体实施方式
下面结合附图,对本申请的具体实施方式进行详细描述,但应当理解本申请的保护范围并不受具体实施方式的限制。
除非另有其它明确表示,否则在整个说明书和权利要求书中,术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分,而并未排除其它元件或其它组成部分。
本申请实施例提供的技术方案可以应用于电站应用场景中的数据同步;具体的,可以应用于实现电芯数据的端对端同步。
目前,在电站应用场景中,采用的数据同步系统架构,如图1所示,采用直连的端对端同步方式,具体流程包括:采集器采集电厂设备中的电芯数据,然后将采集到的数据保存到边侧数据库中,应用端搭建环境,部署数据接收程序通过网络接收边侧数据库中的数据,然后写入到应用端数据库,再由应用数据库保存,根据业务逻辑提供给业务应用端。
对于这种直连的数据同步方式,当网络不好时,会造成数据时效性降低,并且数据也会丢包。而且,这种直传的方式没有数据校验,如果丢包是关键数据那么会产生很大的隐患。
基于此,本申请的实施例提供一种的基于kafka的数据同步方案,该数据同步方案,基于kafka实现数据的同步,kafka是一种开源流处理平台,相当于一种数据同步组件。则,基于该数据同步组件,对电站采集的电芯数据中的符合条件的数据进行同步,利用组件完成端对端的数据同步,省去同步程序的开发,省去代码开发的时间。以及,该数据同步组件能够保证数据传输的丢失,从而保证数据的完整性以及数据传输的安全性。
接下来请参照图2,为本申请实施例提供的基于kafka的数据同步系统,在该数据同步系统中,增加kafka,该kafka相当于数据同步组件。
在一些应用场景中,本申请实施例提供的数据同步方案可以应用于kafka所部署的终端设备,即,kafka组件部署在数据同步终端中,该数据同步终端基于kafka实现数据的同步。
在图2中,除了基于kafka,在目前的数据同步架构的基础上,还增加了应用端数据库,该应用端数据库为doris数据库(一种分析型数据库),关于该数据库的实施方式,在后续实施例中具体介绍。
接下来请参照图3,为本申请实施例提供的基于kafka的数据同步方法的流程图,该数据同步方法包括:
步骤301,获取第一数据端传输的待同步数据。其中,待同步数据包括:电站采集的电芯数据。
在一些实施例中,如图2所示的,第一数据端可以是与数据采集器连接的边侧数据库,待同步数据为从电厂设备至采集器采集到的电芯数据。
以及,如图2所示,待同步数据可能是来自不同电厂、不同电厂设备的电芯数据,所以存在着多样性的特点。
对于待同步数据,其中的一部分数据可能是安全性和完整性要求较高的数据,这部分数据可以通过kafka实现同步,而另一部分数据为安全性和完整性要求相对不高的数据,可以通过目前的公共网络实现数据同步。
因此,步骤302,基于待同步数据对应的数据采集设备信息,确定待同步数据中的第一目标数据。其中,第一目标数据对应的数据采集设备信息符合预设条件,预设条件包括:数据采集周期条件和数据采集精度条件。
在一些实施例中,如图2所示,待同步数据对应的数据采集设备为相应的电芯数据采集器,因此,当对应不同的电芯数据采集器时,对应的数据采集设备信息不相同。
作为一种可选的实施方式,数据采集设备信息包括:数据采集周期和数据采集精度;数据采集周期条件包括预设数据采集周期,数据采集精度条件包括预设数据采集精度。
则,步骤302包括:针对待同步数据中的数据,比较该数据对应的数据采集设备的数据采集周期和预设数据采集周期,以及比较该数据对应的数据采集设备的数据采集精度和预设数据采集精度;若该数据对应的数据采集设备的数据采集周期大于预设数据采集周期,且该数据对应的数据采集设备的数据采集精度小于预设数据采集精度,确定该数据为第一目标数据。
在一些实施例中,针对待同步数据,将其划分为不同的数据采集设备分别采集的数据,然后对划分的数据分别作第一目标数据的判断。
在一些实施例中,数据采集周期可以理解为数据采集设备的数据采集频率,例如:每隔2S采集一次电芯数据;数据采集精度可以理解为基于数据采集设备的数据精度和外界环境影响的数据精度,所确定的数据精度,例如:百分之九十、百分之八十等。
在一些实施例中,预设数据采集周期和预设数据采集精度,可以结合不同的应用场景配置,例如,根据不同的应用场景中对于高精度数据的要求配置。
步骤303,基于第一目标数据对应的电芯信息,确定数据存储位置关联信息。其中,数据存储位置关联信息用于表征第一目标数据的存储位置条件。
在一些实施例中,电芯信息包括电芯类型和电芯使用率,数据存储位置关联信息包括:存储空间大小、数据读写速度和数据复制次数。
在一些实施例中,电芯类型可以理解为电厂对电芯划分的电芯类型;电芯使用率可以理解为电芯在电厂中的使用率;存储空间大小可以理解为数据所需的存储空间大小;数据读写数据可以理解为对数据进行读写时的速度;数据复制次数可以理解为,对数据进行复制的次数。
从而,步骤303包括:判断第一目标数据对应的电芯类型是否为目标电芯类型;若第一目标数据对应的电芯类型为目标电芯类型,将预设的数据存储位置关联信息确定为第一目标数据的数据存储位置关联信息;其中,预设的数据存储位置关联信息包括:预设存储空间大小、预设数据读写速度和预设数据复制次数;若第一目标数据对应的电芯类型不是目标电芯类型,获取目标电芯类型对应的电芯使用率;基于目标电芯类型对应的电芯使用率、第一目标数据对应的电芯使用率和预设的数据存储位置关联信息,确定第一目标数据的数据存储位置关联信息。
在一些实施例中,目标电芯类型可以是预先指定的电芯类型,该电芯类型可以是电厂中较为重要的电芯类型,所以该电芯类型的电芯数据也较为重要,需要更安全的数据同步方式。
在一些实施例中,预设数据存储位置关联信息,可以根据不同的电芯类型进行制定,为与目标电芯类型匹配的相关信息,此处不对具体的值作限定。
在一些实施例中,基于目标电芯类型对应的电芯使用率、第一目标数据对应的电芯使用率和所述预设的数据存储位置关联信息,确定第一目标数据的数据存储位置关联信息,包括:比较目标电芯类型对应的电芯使用率和第一目标数据对应的电芯使用率;若目标电芯类型对应的电芯使用率大于第一目标数据对应的电芯使用率,基于目标电芯类型对应的电芯使用率和第一目标数据对应的电芯使用率之间的使用率差值,以及预设的数据存储位置关联信息,确定第一目标数据的数据存储位置关联信息;若目标电芯类型对应的电芯使用率小于或者等于第一目标数据对应的电芯使用率,将预设的数据存储位置关联信息确定为第一目标数据的数据存储位置关联信息。
作为一种可选的实施方式,基于目标电芯类型对应的电芯使用率和第一目标数据对应的电芯使用率之间的使用率差值,以及预设的数据存储位置关联信息,确定第一目标数据的数据存储位置关联信息,包括:基于使用率差值、第一预设系数和预设存储空间大小,确定第一目标数据对应的存储空间大小;基于使用率差值、第二预设系数和预设数据读写速度,确定第一目标数据对应的数据读写速度;基于使用率差值、第三预设系数和预设数据复制次数,确定第一目标数据对应的数据复制次数;其中,第一预设系数、第二预设系数和第三预设系数的和小于或者等于预设值。
在一些实施例中,预设值可以为0~1之间的任意值,可以根据不同的应用场景进行设置。
在一些实施例中,第一预设系数、第二预设系数和第三预设系数可以相互接近,但是不相同。
在一些实施例中,可以先确定使用率差值与各个预设系数的比值,再将该比值与相应的预设信息的乘积,确定为第一目标数据对应的相应信息。例如,先确定使用率差值与第一预设系数的比值,再将该比值与预设存储空间相乘,确定第一目标数据对应的存储空间大小。
步骤304,通过kafka基于数据存储位置关联信息,将第一目标数据传输给第二数据端。
在一些实施例中,如图2所示,第二数据端为doris数据库。在另一些实施例中,第二数据端也可以采用其他应用侧的数据库,在此不作限定。
在一些实施例中,数据存储位置关联信息包括:存储空间大小、数据读写速度和数据复制次数,则,步骤304包括:通过kafka基于存储空间大小确定第一目标数据对应的数据存储分区,并将第一目标数据存储到数据存储分区中;基于数据读写速度和数据复制次数,将第一目标数据从数据存储分区中同步给第二数据端。
在一些实施例中,kafka首先通过offset来管理内部数据的位置信息,通过保存在consumer上的current offset,保证每次consumer的消费的消息都有唯一序号并标记此位置信息,如果出现新的消息也会对新的消息进行递增式位置标注,以便下次读取的时候能够不重复消息。
在一些实施例中,kafka的事务可以实现端到端有且仅有一次语义的基础。kafka包括Transaction coordinator和Transaction Log两个组件,Transaction coordinator是运行在每个kafka broker 上的一个模块,是kafka broker 进程承载的功能之一;Transaction log 是kafka的一个内部topic,transaction log有多个分区,每个分区都有一个 leader,该leader对应哪个kafka broker,哪个 broker上的transactioncoordinator 就负责对这些分区的写操作,由于transaction coordinator 是kafkabroker 内部的一个模块,而 transaction log 是kakfa的一个内部topic, 所以KAFKA可以通过内部的复制协议和选举机制,来确保Transaction coordinator的可用性和Transaction state的持久性;transaction log topic内部存储的只是事务的最新状态和其相关元数据信息,kafka producer 生产的原始消息,仍然是只存储在kafka producer指定的 topic 中。事务的状态有:“Ongoing”,“Prepare commit”和 “Completed”。
可以理解,kafka的内部各模块或者各组件的定义,或者运作方式,可参照本领域的成熟技术,在此不作详细介绍。
从而,对于kafka来说,将数据读写速度和数据复制次数作为限制条件,执行数据的同步操作。
在一些实施例中,kafka内的所有数据保存日志文件中,所以会对日志文件中消息的提交状态进行控制,kafka控制消息的状态有两种,事务已经提交和已经被成功终止;从而,其可以实现数据是否提交成功的校验。
在一些实施例中,数据存储分区包括日志文件,第二数据端包括:doris数据库,将第一目标数据从数据存储分区中同步给第二数据端,包括:基于数据读写数据和数据复制次数,从日志文件中读取第一目标数据;基于doris数据库的数据存储机制,将读取的第一目标数据同步给doris数据库。
在一些实施例中,利用doris数据库的数据下载机制,doris数据库读取kafka日志文件,完成kafka到doris数据库的数据同步的过程。
在一些实施例中,首先,确定表结构不能出现多余字段或与doris数据库的表结构字段位置有出入的字段。然后,确认kafka是否有相应的安全方式认证,以及kafka中的消息格式是否为符合规范的格式。最后,再创建同步任务,执行数据同步操作。
在一些实施例中,在完成第一目标数据的同步之后,对于待同步数据中的剩余数据,也需要执行相应的同步操作。因此,作为一种可选的实施方式,该数据同步方法还包括:基于第二数据端的数据同步需求,确定待同步数据中的第二目标数据;第二目标数据为待同步数据中除第一目标数据外的其他数据,且第二目标数据符合数据同步需求;基于第二目标数据对应的数据采集设备信息、第二目标数据对应的电芯信息和第二目标数据的数据量大小,确定第二目标数据的加密策略;基于加密策略,对第二目标数据进行加密处理;通过公共网络将加密处理的第二目标数据同步给第二数据端。
在一些实施例中,数据同步需求中,可以包括数据同步量,指定的需要同步的数据等信息。基于数据同步量,可判断第一目标数据的同步量是否达到该需求同步量,若达到,则再进一步判断指定的需要同步的数据是否在第一目标数据中,若在,则可以将预设电芯类型的一些数据作为第二目标数据;若不在,则将指定的需要同步的数据确定为第二目标数据。若没有达到,则基于剩余的数据同步量,在指定的需要同步的数据优先同步的基础上,确定第二目标数据。
在一些实施例中,数据采集设备信息包括:数据采集周期和数据采集精度,电芯信息包括电芯类型和电芯使用率,基于第二目标数据对应的数据采集设备信息、第二目标数据对应的电芯信息和第二目标数据的数据量大小,确定第二目标数据的加密策略,包括:基于数据采集周期和数据采集精度,确定第二目标数据的第一加密等级;基于电芯类型和电芯使用率,确定第二目标数据的第二加密等级;基于数据量大小,确定第二目标数据的加密复杂度;基于第一加密等级、第二加密等级和加密复杂度,确定第二目标数据的目标加密等级;基于目标加密等级和预设的加密等级与加密策略之间的对应关系,确定第二目标数据的加密策略。
在一些实施例中,可以预设数据采集周期和数据采集精度,以及多个加密等级之间的对应关系,基于当前的数据采集周期和数据采集精度,确定出对应的加密等级,作为第一加密等级。
在一些实施例中,可以预设电芯类型、电芯使用率,以及多个加密等级之间的对应关系,基于当前的电芯类型、电芯使用率,确定对应的加密等级,作为第二加密等级。
在一些实施例中,可以预设不同的数据量大小与多个加密复杂度之间的对应关系,基于当前的数据量大小,确定出对应的加密复杂度。
在一些实施例中,预设加密复杂度对加密等级的影响值,基于当前的加密复杂度,确定出相应的影响值。然后,基于第一加密等级和第二加密等级,确定出整合的加密等级,例如,预设第一加密等级、第二加密等级和整合加密等级之间的对应关系,从而确定出整合的加密等级。最后,在整合的加密等级的基础上,基于加密影响值,确定出目标加密等级。
在一些实施例中,基于目标加密等级,确定出对应的加密策略,可确定出第二目标数据的加密策略。
通过前述介绍可以看出,本申请的实施例基于kafka实现数据的同步,kafka是一种开源流处理平台,相当于一种数据同步组件。则,基于该数据同步组件,对电站采集的电芯数据中的符合条件的数据进行同步,利用组件完成端对端的数据同步,省去同步程序的开发,省去代码开发的时间。以及,该数据同步组件能够保证数据传输的丢失,从而保证数据的完整性以及数据传输的安全性。并且,该数据同步组件的数据同步方式,与电站采集的电芯数据对应的电芯信息和数据采集设备关联,使得数据的同步与传输的数据之间的关联性和适配度增强,进一步提高数据同步的安全性与稳定性。从而,该技术方案不仅可以提高数据传输的安全性,以及提高数据的完整性;还可以实现低代码开发。
接下来请参照图4,为本申请实施例提供的基于kafka的数据同步装置的结构示意图,该装置包括:
获取单元401,用于获取第一数据端传输的待同步数据;所述待同步数据包括:电站采集的电芯数据;处理单元402,用于:基于所述待同步数据对应的数据采集设备信息,确定所述待同步数据中的第一目标数据;其中,所述第一目标数据对应的数据采集设备信息符合预设条件,所述预设条件包括:数据采集周期条件和数据采集精度条件;基于所述第一目标数据对应的电芯信息,确定数据存储位置关联信息;所述数据存储位置关联信息用于表征所述第一目标数据的存储位置条件;通过kafka基于所述数据存储位置关联信息,将所述第一目标数据传输给第二数据端。
在一些实施例中,所述数据采集设备信息包括:数据采集周期和数据采集精度;所述数据采集周期条件包括预设数据采集周期,处理单元402进一步用于:针对所述待同步数据中的数据,比较该数据对应的数据采集设备的数据采集周期和所述预设数据采集周期,以及比较该数据对应的数据采集设备的数据采集精度和所述预设数据采集精度;若该数据对应的数据采集设备的数据采集周期大于所述预设数据采集周期,且该数据对应的数据采集设备的数据采集精度小于所述预设数据采集精度,确定该数据为所述第一目标数据。
在一些实施例中,所述电芯信息包括电芯类型和电芯使用率,所述数据存储位置关联信息包括:存储空间大小、数据读写速度和数据复制次数;处理单元402进一步用于:判断所述第一目标数据对应的电芯类型是否为目标电芯类型;若所述第一目标数据对应的电芯类型为目标电芯类型,将预设的数据存储位置关联信息确定为所述第一目标数据的数据存储位置关联信息;其中,所述预设的数据存储位置关联信息包括:预设存储空间大小、预设数据读写速度和预设数据复制次数;若所述第一目标数据对应的电芯类型不是目标电芯类型,获取所述目标电芯类型对应的电芯使用率;基于所述目标电芯类型对应的电芯使用率、所述第一目标数据对应的电芯使用率和所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息。
在一些实施例中,处理单元402进一步用于:比较所述目标电芯类型对应的电芯使用率和所述第一目标数据对应的电芯使用率;若所述目标电芯类型对应的电芯使用率大于所述第一目标数据对应的电芯使用率,基于所述目标电芯类型对应的电芯使用率和所述第一目标数据对应的电芯使用率之间的使用率差值,以及所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息;若所述目标电芯类型对应的电芯使用率小于或者等于所述第一目标数据对应的电芯使用率,将所述预设的数据存储位置关联信息确定为所述第一目标数据的数据存储位置关联信息。
在一些实施例中,处理单元402进一步用于:基于所述使用率差值、第一预设系数和所述预设存储空间大小,确定所述第一目标数据对应的存储空间大小;基于所述使用率差值、第二预设系数和所述预设数据读写速度,确定所述第一目标数据对应的数据读写速度;基于所述使用率差值、第三预设系数和所述预设数据复制次数,确定所述第一目标数据对应的数据复制次数;其中,所述第一预设系数、所述第二预设系数和所述第三预设系数的和小于或者等于预设值。
在一些实施例中,处理单元402进一步用于:通过所述kafka基于所述存储空间大小确定所述第一目标数据对应的数据存储分区,并将所述第一目标数据存储到所述数据存储分区中;基于所述数据读写速度和所述数据复制次数,将所述第一目标数据从所述数据存储分区中同步给所述第二数据端。
在一些实施例中,处理单元402进一步用于:基于所述数据读写数据和所述数据复制次数,从所述日志文件中读取所述第一目标数据;基于所述doris数据库的数据存储机制,将读取的第一目标数据同步给所述doris数据库。
在一些实施例中,处理单元402还用于:基于所述第二数据端的数据同步需求,确定所述待同步数据中的第二目标数据;所述第二目标数据为所述待同步数据中除所述第一目标数据外的其他数据,且所述第二目标数据符合所述数据同步需求;基于所述第二目标数据对应的数据采集设备信息、所述第二目标数据对应的电芯信息和所述第二目标数据的数据量大小,确定所述第二目标数据的加密策略;基于所述加密策略,对所述第二目标数据进行加密处理;通过公共网络将所述加密处理的第二目标数据同步给所述第二数据端。
在一些实施例中,处理单元402进一步用于:基于所述数据采集周期和所述数据采集精度,确定所述第二目标数据的第一加密等级;基于所述电芯类型和所述电芯使用率,确定所述第二目标数据的第二加密等级;基于所述数据量大小,确定所述第二目标数据的加密复杂度;基于所述第一加密等级、所述第二加密等级和所述加密复杂度,确定所述第二目标数据的目标加密等级;基于所述目标加密等级和预设的加密等级与加密策略之间的对应关系,确定所述第二目标数据的加密策略。
如图5所示,本申请实施例还提供一种数据同步终端,包括处理器501和存储器502,处理器501和存储器502通信连接,该数据同步终端可作为前述的数据同步方法的执行主体。
处理器501、存储器502之间直接或间接地电连接,以实现数据的传输或交互。例如,这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。前述的数据同步方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器502中的软件功能模块。
处理器501可以是一种集成电路芯片,具有信号处理能力。处理器501可以是通用处理器,包括CPU (Central Processing Unit,中央处理器)、NP (Network Processor,网络处理器)等;还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器502可以存储各种软件程序以及模块,如本申请实施例提供的数据同步方法及装置对应的程序指令/模块。处理器501通过运行存储在存储器502中的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现本申请实施例中的方法。
存储器502可以包括但不限于RAM(Random Access Memory,随机存取存储器),ROM(Read Only Memory,只读存储器),PROM(Programmable Read-Only Memory,可编程只读存储器),EPROM(Erasable Programmable Read-Only Memory,可擦除只读存储器),EEPROM(Electric Erasable Programmable Read-Only Memory,电可擦除只读存储器)等。
可以理解,图5所示的结构仅为示意,数据同步终端还可包括比图5中所示更多或者更少的组件,或者具有与图5所示不同的配置。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本申请的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本申请限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本申请的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本申请的各种不同的示例性实施方案以及各种不同的选择和改变。本申请的范围意在由权利要求书及其等同形式所限定。
Claims (9)
1.一种基于kafka的数据同步方法,其特征在于,包括:
获取第一数据端传输的待同步数据;所述待同步数据包括:电站采集的电芯数据;
基于所述待同步数据对应的数据采集设备信息,确定所述待同步数据中的第一目标数据;其中,所述第一目标数据对应的数据采集设备信息符合预设条件,所述预设条件包括:数据采集周期条件和数据采集精度条件;
基于所述第一目标数据对应的电芯信息,确定数据存储位置关联信息;所述数据存储位置关联信息用于表征所述第一目标数据的存储位置条件;
通过kafka基于所述数据存储位置关联信息,将所述第一目标数据传输给第二数据端;
所述电芯信息包括电芯类型和电芯使用率,所述数据存储位置关联信息包括:存储空间大小、数据读写速度和数据复制次数;所述基于所述第一目标数据对应的电芯信息,确定数据存储位置关联信息,包括:
判断所述第一目标数据对应的电芯类型是否为目标电芯类型;
若所述第一目标数据对应的电芯类型为目标电芯类型,将预设的数据存储位置关联信息确定为所述第一目标数据的数据存储位置关联信息;其中,所述预设的数据存储位置关联信息包括:预设存储空间大小、预设数据读写速度和预设数据复制次数;
若所述第一目标数据对应的电芯类型不是目标电芯类型,获取所述目标电芯类型对应的电芯使用率;
基于所述目标电芯类型对应的电芯使用率、所述第一目标数据对应的电芯使用率和所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息。
2.根据权利要求1所述的基于kafka的数据同步方法,其特征在于,所述数据采集设备信息包括:数据采集周期和数据采集精度;所述数据采集周期条件包括预设数据采集周期,所述数据采集精度条件包括预设数据采集精度,所述基于所述待同步数据对应的数据采集设备信息,确定所述待同步数据中的第一目标数据,包括:
针对所述待同步数据中的数据,比较该数据对应的数据采集设备的数据采集周期和所述预设数据采集周期,以及比较该数据对应的数据采集设备的数据采集精度和所述预设数据采集精度;
若该数据对应的数据采集设备的数据采集周期大于所述预设数据采集周期,且该数据对应的数据采集设备的数据采集精度小于所述预设数据采集精度,确定该数据为所述第一目标数据。
3.根据权利要求1所述的基于kafka的数据同步方法,其特征在于,所述基于所述目标电芯类型对应的电芯使用率、所述第一目标数据对应的电芯使用率和所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息,包括:
比较所述目标电芯类型对应的电芯使用率和所述第一目标数据对应的电芯使用率;
若所述目标电芯类型对应的电芯使用率大于所述第一目标数据对应的电芯使用率,基于所述目标电芯类型对应的电芯使用率和所述第一目标数据对应的电芯使用率之间的使用率差值,以及所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息;
若所述目标电芯类型对应的电芯使用率小于或者等于所述第一目标数据对应的电芯使用率,将所述预设的数据存储位置关联信息确定为所述第一目标数据的数据存储位置关联信息。
4.根据权利要求3所述的基于kafka的数据同步方法,其特征在于,所述基于所述目标电芯类型对应的电芯使用率和所述第一目标数据对应的电芯使用率之间的使用率差值,以及所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息,包括:
基于所述使用率差值、第一预设系数和所述预设存储空间大小,确定所述第一目标数据对应的存储空间大小;
基于所述使用率差值、第二预设系数和所述预设数据读写速度,确定所述第一目标数据对应的数据读写速度;
基于所述使用率差值、第三预设系数和所述预设数据复制次数,确定所述第一目标数据对应的数据复制次数;
其中,所述第一预设系数、所述第二预设系数和所述第三预设系数的和小于或者等于预设值。
5.根据权利要求1所述的基于kafka的数据同步方法,其特征在于,所述数据存储位置关联信息包括:存储空间大小、数据读写速度和数据复制次数,所述通过kafka基于所述数据存储位置关联信息,将所述第一目标数据传输给第二数据端,包括:
通过所述kafka基于所述存储空间大小确定所述第一目标数据对应的数据存储分区,并将所述第一目标数据存储到所述数据存储分区中;
基于所述数据读写速度和所述数据复制次数,将所述第一目标数据从所述数据存储分区中同步给所述第二数据端。
6.根据权利要求5所述的基于kafka的数据同步方法,其特征在于,所述数据存储分区包括日志文件,所述第二数据端包括:doris数据库,所述将所述第一目标数据从所述数据存储分区中同步给所述第二数据端,包括:
基于所述数据读写数据和所述数据复制次数,从所述日志文件中读取所述第一目标数据;
基于所述doris数据库的数据存储机制,将读取的第一目标数据同步给所述doris数据库。
7.根据权利要求1所述的基于kafka的数据同步方法,其特征在于,所述基于kafka的数据同步方法还包括:
基于所述第二数据端的数据同步需求,确定所述待同步数据中的第二目标数据;所述第二目标数据为所述待同步数据中除所述第一目标数据外的其他数据,且所述第二目标数据符合所述数据同步需求;
基于所述第二目标数据对应的数据采集设备信息、所述第二目标数据对应的电芯信息和所述第二目标数据的数据量大小,确定所述第二目标数据的加密策略;
基于所述加密策略,对所述第二目标数据进行加密处理;
通过公共网络将所述加密处理的第二目标数据同步给所述第二数据端。
8.根据权利要求7所述的基于kafka的数据同步方法,其特征在于,所述数据采集设备信息包括:数据采集周期和数据采集精度,所述电芯信息包括电芯类型和电芯使用率,所述基于所述第二目标数据对应的数据采集设备信息、所述第二目标数据对应的电芯信息和所述第二目标数据的数据量大小,确定所述第二目标数据的加密策略,包括:
基于所述数据采集周期和所述数据采集精度,确定所述第二目标数据的第一加密等级;
基于所述电芯类型和所述电芯使用率,确定所述第二目标数据的第二加密等级;
基于所述数据量大小,确定所述第二目标数据的加密复杂度;
基于所述第一加密等级、所述第二加密等级和所述加密复杂度,确定所述第二目标数据的目标加密等级;
基于所述目标加密等级和预设的加密等级与加密策略之间的对应关系,确定所述第二目标数据的加密策略。
9.一种基于kafka的数据同步装置,其特征在于,包括:
获取单元,用于获取第一数据端传输的待同步数据;所述待同步数据包括:电站采集的电芯数据;
处理单元,用于:
基于所述待同步数据对应的数据采集设备信息,确定所述待同步数据中的第一目标数据;其中,所述第一目标数据对应的数据采集设备信息符合预设条件,所述预设条件包括:数据采集周期条件和数据采集精度条件;
基于所述第一目标数据对应的电芯信息,确定数据存储位置关联信息;所述数据存储位置关联信息用于表征所述第一目标数据的存储位置条件;
通过kafka基于所述数据存储位置关联信息,将所述第一目标数据传输给第二数据端;
所述电芯信息包括电芯类型和电芯使用率,所述数据存储位置关联信息包括:存储空间大小、数据读写速度和数据复制次数;所述处理单元进一步用于:
判断所述第一目标数据对应的电芯类型是否为目标电芯类型;
若所述第一目标数据对应的电芯类型为目标电芯类型,将预设的数据存储位置关联信息确定为所述第一目标数据的数据存储位置关联信息;其中,所述预设的数据存储位置关联信息包括:预设存储空间大小、预设数据读写速度和预设数据复制次数;
若所述第一目标数据对应的电芯类型不是目标电芯类型,获取所述目标电芯类型对应的电芯使用率;
基于所述目标电芯类型对应的电芯使用率、所述第一目标数据对应的电芯使用率和所述预设的数据存储位置关联信息,确定所述第一目标数据的数据存储位置关联信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311167660.4A CN116910825B (zh) | 2023-09-12 | 2023-09-12 | 一种基于kafka的数据同步方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311167660.4A CN116910825B (zh) | 2023-09-12 | 2023-09-12 | 一种基于kafka的数据同步方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116910825A CN116910825A (zh) | 2023-10-20 |
CN116910825B true CN116910825B (zh) | 2023-12-15 |
Family
ID=88356815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311167660.4A Active CN116910825B (zh) | 2023-09-12 | 2023-09-12 | 一种基于kafka的数据同步方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116910825B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10417250B1 (en) * | 2017-01-18 | 2019-09-17 | Amdocs Development Limited | System, method, and computer program for maintaining data dependencies during data transformation |
CN110401724A (zh) * | 2019-08-22 | 2019-11-01 | 北京旷视科技有限公司 | 文件管理方法、文件传输协议服务器及存储介质 |
JP2020038623A (ja) * | 2018-09-04 | 2020-03-12 | 北京百度网▲訊▼科技有限公司Beijing Baidu Netcom Science And Technology Co.,Ltd. | データを記憶するための方法、装置及びシステム |
CN112699130A (zh) * | 2021-01-15 | 2021-04-23 | 广东电网有限责任公司广州供电局 | 电力数据处理方法、装置、计算机设备 |
CN113656370A (zh) * | 2021-08-16 | 2021-11-16 | 南方电网数字电网研究院有限公司 | 电力量测系统数据处理方法、装置和计算机设备 |
CN114036238A (zh) * | 2021-11-23 | 2022-02-11 | 深信服科技股份有限公司 | 数据同步方法、装置、设备及存储介质 |
CN114691038A (zh) * | 2022-03-22 | 2022-07-01 | 崔达铭 | 一种电力数据中心的数据存储方法及装置 |
CN114968953A (zh) * | 2022-05-19 | 2022-08-30 | 招商银行股份有限公司 | 日志的存储检索方法、系统、终端设备及介质 |
CN115577041A (zh) * | 2022-09-09 | 2023-01-06 | 平凯星辰(北京)科技有限公司 | 数据库同步的方法、装置、电子设备及可读存储介质 |
CN115840767A (zh) * | 2022-11-25 | 2023-03-24 | 武汉蔚能电池资产有限公司 | 数据查询方法、装置、设备及存储介质 |
WO2023066182A1 (zh) * | 2021-10-19 | 2023-04-27 | 北京百度网讯科技有限公司 | 文件处理方法、装置、设备及存储介质 |
CN116150248A (zh) * | 2023-03-31 | 2023-05-23 | 重庆长安汽车股份有限公司 | 基于流应用的日志数据处理方法、装置、设备及介质 |
CN116226071A (zh) * | 2022-12-14 | 2023-06-06 | 中国联合网络通信集团有限公司 | 数据统计方法、装置、设备及存储介质 |
CN116634011A (zh) * | 2023-06-16 | 2023-08-22 | 北京轻松筹信息技术有限公司 | 数据推送方法、装置、存储介质及电子设备 |
CN116703114A (zh) * | 2023-06-27 | 2023-09-05 | 国网山东省电力公司滨州市沾化区供电公司 | 一种电力调度数据分类存储方法、系统、装置及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114416703A (zh) * | 2020-10-28 | 2022-04-29 | 北京中祥英科技有限公司 | 数据完整性自动监控方法、装置、设备及介质 |
-
2023
- 2023-09-12 CN CN202311167660.4A patent/CN116910825B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10417250B1 (en) * | 2017-01-18 | 2019-09-17 | Amdocs Development Limited | System, method, and computer program for maintaining data dependencies during data transformation |
JP2020038623A (ja) * | 2018-09-04 | 2020-03-12 | 北京百度网▲訊▼科技有限公司Beijing Baidu Netcom Science And Technology Co.,Ltd. | データを記憶するための方法、装置及びシステム |
CN110401724A (zh) * | 2019-08-22 | 2019-11-01 | 北京旷视科技有限公司 | 文件管理方法、文件传输协议服务器及存储介质 |
CN112699130A (zh) * | 2021-01-15 | 2021-04-23 | 广东电网有限责任公司广州供电局 | 电力数据处理方法、装置、计算机设备 |
CN113656370A (zh) * | 2021-08-16 | 2021-11-16 | 南方电网数字电网研究院有限公司 | 电力量测系统数据处理方法、装置和计算机设备 |
WO2023066182A1 (zh) * | 2021-10-19 | 2023-04-27 | 北京百度网讯科技有限公司 | 文件处理方法、装置、设备及存储介质 |
CN114036238A (zh) * | 2021-11-23 | 2022-02-11 | 深信服科技股份有限公司 | 数据同步方法、装置、设备及存储介质 |
CN114691038A (zh) * | 2022-03-22 | 2022-07-01 | 崔达铭 | 一种电力数据中心的数据存储方法及装置 |
CN114968953A (zh) * | 2022-05-19 | 2022-08-30 | 招商银行股份有限公司 | 日志的存储检索方法、系统、终端设备及介质 |
CN115577041A (zh) * | 2022-09-09 | 2023-01-06 | 平凯星辰(北京)科技有限公司 | 数据库同步的方法、装置、电子设备及可读存储介质 |
CN115840767A (zh) * | 2022-11-25 | 2023-03-24 | 武汉蔚能电池资产有限公司 | 数据查询方法、装置、设备及存储介质 |
CN116226071A (zh) * | 2022-12-14 | 2023-06-06 | 中国联合网络通信集团有限公司 | 数据统计方法、装置、设备及存储介质 |
CN116150248A (zh) * | 2023-03-31 | 2023-05-23 | 重庆长安汽车股份有限公司 | 基于流应用的日志数据处理方法、装置、设备及介质 |
CN116634011A (zh) * | 2023-06-16 | 2023-08-22 | 北京轻松筹信息技术有限公司 | 数据推送方法、装置、存储介质及电子设备 |
CN116703114A (zh) * | 2023-06-27 | 2023-09-05 | 国网山东省电力公司滨州市沾化区供电公司 | 一种电力调度数据分类存储方法、系统、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116910825A (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vukolić | Quorum systems: With applications to storage and consensus | |
US20210049715A1 (en) | Blockchain-based data procesing method, apparatus, and electronic device | |
CN112529694B (zh) | 授信处理方法、装置、设备及系统 | |
CN109587131A (zh) | 一种区块链网络间数据通信方法和装置 | |
CN111899019A (zh) | 一种黑名单多方交叉验证和共享的方法及系统 | |
CN112162768A (zh) | 一种区块链升级方法和系统 | |
US20120245793A1 (en) | Multi-cell voltage secure data encoding in hybrid vehicles | |
CN116910825B (zh) | 一种基于kafka的数据同步方法及装置 | |
CN110119947B (zh) | 共享工作量证明算力生成共生区块链的方法和设备 | |
CN111209339A (zh) | 区块同步方法、装置、计算机以及存储介质 | |
CN113111125B (zh) | 一种基于区块链的业务存证方法 | |
CN113806816A (zh) | 一种基于区块链的电子档案管理方法、装置及电子设备 | |
CN115988001A (zh) | 区块链系统的共识投票处理方法、装置、设备以及介质 | |
WO2020114310A1 (en) | Method, network node and network for recording and providing data, | |
CN112381599A (zh) | 一种基于区块链技术的共享充电宝租赁系统及方法 | |
CN109597706B (zh) | 一种核对差异数据的检测方法、装置及系统 | |
CN117336135A (zh) | 数据传输方法、装置、存储介质以及电子设备 | |
CN115577389A (zh) | 一种基于区块链系统的治理方法及系统 | |
CN113010495B (zh) | 一种数据库优化方法及装置 | |
CN115203697A (zh) | 一种文件检测方法、装置、设备及可读存储介质 | |
CN110837536B (zh) | 一种信息处理方法、装置和存储介质 | |
CN115080311B (zh) | 一种大数据的信息化远程控制方法及装置 | |
CN114862380B (zh) | 额度共享处理方法及装置 | |
CN114944998B (zh) | 基于模拟器的物联网系统测试方法及装置 | |
CN113010609B (zh) | 一种应用于门店经营的差异化同步方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |