CN118331967A - 一种默克尔树的生成方法、装置、设备及存储介质 - Google Patents
一种默克尔树的生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118331967A CN118331967A CN202410758948.7A CN202410758948A CN118331967A CN 118331967 A CN118331967 A CN 118331967A CN 202410758948 A CN202410758948 A CN 202410758948A CN 118331967 A CN118331967 A CN 118331967A
- Authority
- CN
- China
- Prior art keywords
- data
- data set
- merck tree
- importance coefficient
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 63
- 230000002159 abnormal effect Effects 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims 2
- 238000010276 construction Methods 0.000 abstract description 2
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种默克尔树的生成方法、装置、设备及存储介质,通过获取多个点位处的监测数据,生成第一数据集,对第一数据集中包含的数据进行压缩处理,得到第二数据集,基于各点位处的监测数据的重要性系数,将第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值,将第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在第二数据集中的原数据,得到第三数据集,基于第三数据集中的数据以及第三数据集中的数据对应的重要性系数,生成目标默克尔树,从而提高了默克尔树构建速度,进而实现了实时监测告警和快速异常定位。
Description
技术领域
本公开涉及工业信息化领域,尤其涉及一种默克尔树的生成方法、装置、设备及存储介质。
背景技术
默克尔树技术作为区块链技术中的一种重要的数据结构,由于其独特的结构形式和构建默克尔树所使用哈希算法的特点,可以快速进行数据校验和错误定位,因此被广泛应用于区块链、大数据、云计算、数据库迁移、日志审计等多个领域。
在工业大数据中台监测场景下,通常使用默克尔树对采集到的实时数据与标准数据进行对比来进行工业异常判断和定位。
但是在实际的应用过程中,由于工业数据具有周期性、数据量大的特点,通常会导致默克尔树构建缓慢,构建出的默克尔树节点和层级较多,影响异常数据校验的效率,使得目前大数据中台下的工业异常监测难以实现实时监测告警和快速异常定位,进而影响工业现场运维人员对故障点的快速定位和处理。
发明内容
为了解决上述技术问题,本公开提供了一种默克尔树的生成方法、装置、设备及存储介质。
第一方面,本公开实施例提供一种默克尔树的生成方法,包括:
获取多个点位处的监测数据,生成第一数据集,对第一数据集中包含的数据进行压缩处理,得到第二数据集,基于预先得到的各点位处的监测数据的重要性系数,将第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值,将第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,得到每组数据对应的默克尔树的根节点,通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在第二数据集中的原数据,得到第三数据集,基于第三数据集中的数据以及第三数据集中的数据对应的重要性系数,生成目标默克尔树,以使目标默克尔树从根节点开始的重要性系数逐级降低。
第二方面,本公开实施例提供一种哈希运算装置,包括:
第一数据集生成模块,用于获取多个点位处的监测数据,生成第一数据集;
第二数据集生成模块,用于对第一数据集中包含的数据进行压缩处理,得到第二数据集;
重要性系数调整模块,用于基于预先得到的各点位处的监测数据的重要性系数,将第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值;
第一默克尔树生成模块,将第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,得到每组数据对应的默克尔树的根节点;
第三数据集生成模块,用于通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在第二数据集中的原数据,得到第三数据集;
第二默克尔树生成模块,用于基于第三数据集中的数据以及第三数据集中的数据对应的重要性系数,生成目标默克尔树,以使目标默克尔树从根节点开始的重要性系数逐级降低。
第三方面,本公开实施例提供一种计算机设备,包括:
存储器;
处理器;以及
计算机程序;
其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如第一方面的方法。
第四方面,本公开实施例提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现第一方面的方法。
第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现第一方面的方法。
本公开实施例提供的默克尔树的生成方法、装置、设备及存储介质,通过获取多个点位处的监测数据,生成第一数据集,对第一数据集中包含的数据进行压缩处理,得到第二数据集,基于各点位处的监测数据的重要性系数,将第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值,将第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在第二数据集中的原数据,得到第三数据集,基于第三数据集中的数据以及第三数据集中的数据对应的重要性系数,生成目标默克尔树,减少了生成目标默克尔树的数据数量,从而提高了默克尔树构建速度,减少了目标默克尔树的节点数量,提高了异常数据的检索效率,进而实现了实时监测告警和快速异常定位。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种默克尔树的生成方法流程图;
图2为本公开实施例提供的数据集的示例图;
图3为本公开实施例提供的一种目标默克尔树的示例图;
图4为本公开另一实施例提供的一种异常检测方法流程图;
图5为本公开实施例提供的默克尔树的生成装置的结构示意图;
图6为本公开实施例提供的计算机装置的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
图1为本公开实施例提供的默克尔树的生成方法流程图。该方法示例性的可以由一种默克尔树的生成装置执行,该默克尔树的生成装置可以采用软件和/或硬件的方式实现,该默克尔树的生成装置可配置于计算机设备中,例如服务器或终端,其中,终端比如可以是手机、电脑或平板电脑等。
如图1所示,本公开实施例提供的默克尔树的生成方法可以包括如下步骤:
S101、获取多个点位处的监测数据,生成第一数据集。
具体的,本公开实施例中所指的点位比如可以是工业现场中预设的监测点位,监测数据可以示例性的理解为通过预设在监测点位的传感器采集得到的数据。以油罐工业现场为例,监测数据包括多个油罐的温度、压力、阀门开关状态、是否超限等信息数据。需要说明的是,不同场景中对应的监测数据可以不同,这里仅为示例说明。
具体的,通过预设在监测点位的传感器,对工业现场的数据进行采集,得到多个监测点位处的监测数据。
可选的,在采集到各点位处的监测数据后,可以将采集到的监测数据进行清洗整合。可选的,在对监测数据进行清洗整合之后,可以基于预先得到的各监测点位处的监测数据的重要性系数,筛除重要性系数低于第三阈值的监测数据。
将剩余的监测数据按照重要性系数进行排序,得到第一数据集,其中,第一数据集中,还可以包括每个监测点位的重要性系数。
例如,图2是本公开实施例提供的一种数据集的示例图,如图2所示,有a、b、c、d、e、f、g七个监测点位,其中七个监测点位的重要性数据分别是30、40、50、60、70、70、80,第一数据集中包括每个监测点位采集到的监测数据和监测点位对应的重要性系数。
具体的,本公开实施例所称的重要性系数是通过监测点位所在关联规则的置信度与该关联规则中故障的重要等级评分得到的。具体公式为:
其中,n代表与监测点位A有关的故障数量,M(A)表示监测点位A 的重要性系数,C(A->B)表示监测点位A与故障B之间关联规则的置信度,I(B)表示预先设置的故障B的重要性等级评分。
其中,监测点位与故障之间关联规则的置信度由关联规则挖掘算法(apriori)得到。
具体的,对于所有的监测点位,分析每个监测点位与当前工业生产中所有可能故障的关联情况。利用运维人员的先验知识和以前的运行日志作为基础数据集,计算每个监测点位和故障的关联规则的置信度。
可选的,在计算重要性系数时,可以设置一个最小置信阈值,对于置信度小于最小置信阈值的监测点位和故障的关联规则,将其置信度调整为0。通过将置信度小于最小置信阈值的监测点位和故障的关联规则的置信度调整为0,可以减少监测点位与之间关联较小的故障对计算监测点位的重要性系数的干扰。最小置信阈值可以根据运维人员的经验进行设置。
S102、对第一数据集中包含的数据进行压缩处理,得到第二数据集。
具体的,本公开实施例中对第一数据集中包含的数据进行压缩处理,可以是将第一数据集中的数据进行哈希运算得到第一数据集中每个数据的哈希值,基于对应数据的重要性系数,对计算得到的哈希值进行排序,生成第二数据集,得到第二数据集。其中,压缩处理中的哈希运算可以是预先设置的任意一种哈希运算。
具体的,本公开实施例中对第一数据集中包含的数据进行压缩处理,还可以基于预先得到的各点位处的监测数据的重要性系数,分别对第一数据集中重要性系数小于第四阈值的数据以及重要性系数大于或等于第四阈值的数据进行压缩处理,得到第二数据集。其中,针对重要性系小于第四阈值的数据的压缩方法和针对重要性系大于或等于第四阈值的数据的压缩方法不同。比如,可以对第一数据集中重要性系数小于第四阈值的数据进行分片,得到至少一个数据切片,对每个数据切片进行哈希计算,得到每个数据切片的哈希值。具体的,数据切片的数量可以基于第一数据集中重要性系数小于第四阈值的数据的数量确定,使每个数据切片中重要性系数小于第四阈值的数据的数量一致。针对重要性系数大于或等于第四阈值的数据的压缩,可以直接对重要性系数大于或等于第四阈值的数据进行哈希计算,得到第一数据集中重要性系数大于或等于第四阈值的数据的哈希值。基于对应数据切片或者数据的重要性系数,对计算得到的哈希值进行排序,生成第二数据集。通过对重要性系数不同的数据进行不同的压缩方式,使得构建默克尔树时小于第四阈值的数据的数量减少,提高了构建默克尔树的速度,减少了构建出的默克尔树的节点,进一步提高了异常数据的检索效率。
例如图2所示,设定第四阈值为65,将重要性系数小于第四阈值的数据进行分片得到数据切片A和数据切片B,H(X)指的是根据数据X计算出的哈希值。
S103、基于预先得到的各点位处的监测数据的重要性系数,将第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值。
具体的,在本公开实施例中,第一阈值与第四阈值可以相同,也可以不同,第二阈值是预先设置的小于第一阈值的一个阈值。
例如图2所示,设定第一阈值为65,设定第二阈值为0,将第二数据集中的H(A)和H(B)的重要性系数调整为0。
S104、将第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,得到每组数据对应的默克尔树的根节点。
具体的,本公开实施例中生成默克尔树的方法,为本领域的常用方法,在此不再赘述。
具体的,将第二数据集中的重要性相同的数据提取到同一组,得到多个重要性系数相同的数据组,针对每个数据组,生成对应的默克尔树。
具体的,在本公开实施例中,在将第二数据集中的重要性相同的数据提取到同一组之后,将第二数据集中重要性系数相同的数据进行合并。
例如将图2中的重要性系数都为0的H(A)和H(B)提取到同一组,生成对应的默克尔树,将重要性系数都为70的H(e)和H(f)提取到同一组,生成对应的默克尔树,从而得到H(e)和H(f)构成的数据组的默克尔树的根节点,通过将重要性系数相同数据划分到同一组,并得到该组数据的根节点,进一步减少了构建默克尔树时的数据量,提高了构建默克尔树的速度,减少了构建出的默克尔树的节点的数量,进一步提高了异常数据的检索效率。
S105、通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在第二数据集中的原数据,得到第三数据集。
例如图2所示,将第二数据集中重要性系数都为0的H(A)和H(B)合并,并替换为对应的默克尔树的根节点对应的哈希值H(AB);将第二数据集中重要性系数都为70的H(e)和H(f)合并,并替换为对应的默克尔树的根节点对应的哈希值H(ef),得到第三数据集。
S106、基于第三数据集中的数据以及第三数据集中的数据对应的重要性系数,生成目标默克尔树,以使目标默克尔树从根节点开始的重要性系数逐级降低。
具体的,在本公开实施例中,根据第三数据集中的数据对应的重要性系数,以由小到大的顺序依次取出两个数据进行拼接,根据拼接后的数据进行哈希运算,将得到的哈希值作为这两个数据的根节点,填入目标默克尔树中,并把第三数据集中这两个数据进行合并,将该哈希值替换到第三数据集中,形成新的数据集,其中该哈希值的重要性系数为该哈希值对应的两个数据的重要性系数的最大值,逐层迭代直至整个数据集中仅剩一个哈希值,将该哈希值作为目标默克尔树的根节点填入目标默克尔树中,生成目标默克尔树。由于,在生成目标默克尔树时,以数据集中的数据对应的重要性系数由小到大的顺序,将数据集中的数据以及根据数据得到的哈希值填入目标默克尔树的,因此,目标默克尔树从根节点开始的重要性系数逐级降低。
可选的,在生成目标默克尔树后,可以将步骤S104中生成的默克尔树拼接到对应的目标默克尔树的节点上,生成目标默克尔树。由于,在S104中生成的默克尔树上的每个节点的重要性相同,因此,目标默克尔树从根节点开始的重要性系数逐级降低。
例如图2所示,根据第三数据集中数据的重要性系数,取出数据H(AB)和H(ef)拼接,进行哈希运算得到哈希值H(ABef),将H(ABef)填入第三数据集后,得到第四数据集,在第四数据集中取出数据H(ABef)和H(g)拼接,进行哈希运算得到哈希值H(ABefg),将H(ABefg)填入第四数据集后,得到第五数据集。
图3为根据图2中的第三数据集生成的一个目标默克尔树的示意图。如图3所示,该目标默克尔树的根节点为H(ABefg),该目标默克尔树从根节点开始的重要性系数逐级降低。
本公开实施例通过获取多个点位处的监测数据,生成第一数据集,对第一数据集中包含的数据进行压缩处理,得到第二数据集,基于各点位处的监测数据的重要性系数,将第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值,将第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在第二数据集中的原数据,得到第三数据集,基于第三数据集中的数据以及第三数据集中的数据对应的重要性系数,生成目标默克尔树,减少了生成目标默克尔树的数据数量,从而提高了目标默克尔树构建速度,减少了目标默克尔树的节点数量,进而实现了实时监测告警和快速异常定位。
进一步的,在上述实施例的基础上,在基于第三数据集中的数据以及第三数据集中的数据对应的重要性系数,生成目标默克尔树之后,比对目标默克尔树和预设的标准默克尔树上的节点的哈希值,基于比对结果确定异常位置,其中,标准默克尔树和目标默克尔树是采用相同方式生产得到的,生成标准默克尔树的数据是监测节点采集的工业生产处于安全状态的数据。
图4为本公开另一实施例提供的一种异常检测方法流程图,如图4所示,该异常检测方法包括如下几个步骤:
S401、比对目标默克尔树的根节点和标准默克尔树的根节点的哈希值。
S402、响应于目标默克尔树的根节点和标准默克尔树的根节点的哈希值不一致,则确定发生异常。
具体的,由于默克尔树的根节点是由哈希算法生成的,当目标默克尔树和标准默克尔树的任一叶节点存在不同,都会使默克尔树的根节点不同。当目标默克尔树和标准默克尔树的任一叶节点存在不同时,代表着工业生产存在异常。因此,通过只比对根节点的方式,就能够快速的确定有没有发生异常,提高了异常检测效率,实现了实时监测告警。
S403、从根节点开始逐级比对目标默克尔树和标准默克尔树上相同位置的节点,直到确定目标默克尔树上和标准默克尔树上哈希值不同的节点,得到异常位置。
具体的,当确定目标默克尔树上和标准默克尔树上哈希值相同的节点时,不再检测该节点的子节点。
具体的,当查找到目标默克尔树上和标准默克尔树上哈希值不同的节点时,判断该节点是否存在子节点,如果该节点不存在子节点,那么采集到该节点对应的数据的监测点位为异常位置,如果该节点存在子节点,就继续比对该节点在目标默克尔树和标准默克尔树上相同位置的子节点。
本公开实施例通过比对目标默克尔树的根节点和标准默克尔树的根节点的哈希值,响应于目标默克尔树的根节点和标准默克尔树的根节点的哈希值不一致,则确定发生,从根节点开始逐级比对目标默克尔树和标准默克尔树上相同位置的节点,直到确定目标默克尔树上和标准默克尔树上哈希值不同的节点,得到异常位置,由于目标默克尔树的节点数量减少,从而实现了实时监测告警和快速异常定位。
图5为本公开实施例提供的默克尔树的生成装置的结构示意图。该默克尔树的生成装置可以是如上实施例的计算机设备,或者该默克尔树的生成装置可以该计算机设备中的部件或组件。本公开实施例提供的默克尔树的生成装置可以执行默克尔树的生成方法实施例提供的处理流程,如图5所示,默克尔树的生成装置500包括:
第一数据集生成模块510,可以用于获取多个点位处的监测数据,生成第一数据集;
第二数据集生成模块520,可以用于对第一数据集中包含的数据进行压缩处理,得到第二数据集;
重要性系数调整模块530,可以用于基于预先得到的各点位处的监测数据的重要性系数,将第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值;
第一默克尔树生成模块540,可以用于将第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,得到每组数据对应的默克尔树的根节点;
第三数据集生成模块550,可以用于通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在第二数据集中的原数据,得到第三数据集;
第二默克尔树生成模块560,可以用于基于第三数据集中的数据以及第三数据集中的数据对应的重要性系数,生成目标默克尔树,以使目标默克尔树从根节点开始的重要性系数逐级降低。
第二数据集生成模块520,还可以具体用于基于预先得到的各点位处的监测数据的重要性系数,分别对第一数据集中重要性系数小于第四阈值的数据以及重要性系数大于或等于第四阈值的数据进行压缩处理,得到第二数据集。
可选的,第二数据集生成模块520,还可以包括:
分片单元521,用于对第一数据集中重要性系数小于第四阈值的数据进行分片,得到至少一个数据切片;
哈希值计算单元522,用于计算每个数据切片的哈希值,以及第一数据集中重要性系数大于或等于第四阈值的数据的哈希值;
排序单元523,用于基于对应数据切片或者数据的重要性系数,对计算得到的哈希值进行排序,生成第二数据集。
可选的,默克尔树的生成装置500,还可以包括:
异常检测模块570,可以用于比对目标默克尔树和预设的标准默克尔树上的节点的哈希值,基于比对结果确定异常位置,其中,标准默克尔树和目标默克尔树是采用相同方式生产得到的。
异常检测模块570,还可以包括:
比对单元571,可以用于比对目标默克尔树的根节点和标准默克尔树的根节点的哈希值;
异常确定单元572,可以用于响应于目标默克尔树的根节点和标准默克尔树的根节点的哈希值不一致,则确定发生异常;
异常查询单元573,可以用于从根节点开始逐级比对目标默克尔树和标准默克尔树上相同位置的节点,直到确定目标默克尔树上和标准默克尔树上哈希值不同的节点,得到异常位置。
图5所示实施例的默克尔树的生成装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图6为本公开实施例提供的计算机设备的结构示意图。该计算机设备可以是如上实施例的终端。本公开实施例提供的计算机设备可以执行默克尔树的生成方法实施例提供的处理流程,如图6所示,计算机设备60包括:存储器61、处理器62、计算机程序和通讯接口63;其中,计算机程序存储在存储器61中,并被配置为由处理器62执行如上的默克尔树的生成方法。
另外,本公开实施例还提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现上述实施例的默克尔树的生成方法。
此外,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上所述的默克尔树的生成方法。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (14)
1.一种默克尔树的生成方法,其特征在于,所述方法包括:
获取多个点位处的监测数据,生成第一数据集;
对所述第一数据集中包含的数据进行压缩处理,得到第二数据集;
基于预先得到的各点位处的监测数据的重要性系数,将所述第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值;
将所述第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,得到每组数据对应的默克尔树的根节点;
通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在所述第二数据集中的原数据,得到第三数据集;
基于所述第三数据集中的数据以及所述第三数据集中的数据对应的重要性系数,生成目标默克尔树,以使目标默克尔树从根节点开始的重要性系数逐级降低。
2.根据权利要求1所述的方法,其特征在于,所述多个点位处的监测数据是基于预先得到的各点位处的监测数据的重要性系数,筛除重要性系数低于第三阈值的监测数据后得到的。
3.根据权利要求1所述的方法,其特征在于,所述对所述第一数据集中包含的数据进行压缩处理,得到第二数据集,包括:
基于预先得到的各点位处的监测数据的重要性系数,分别对所述第一数据集中重要性系数小于第四阈值的数据以及重要性系数大于或等于第四阈值的数据进行压缩处理,得到第二数据集。
4.根据权利要求3所述的方法,其特征在于,所述基于预先得到的各点位处的监测数据的重要性系数,分别对所述第一数据集中重要性系数小于第四阈值的数据以及重要性系数大于或等于第四阈值的数据进行压缩处理,得到第二数据集,包括:
对所述第一数据集中重要性系数小于第四阈值的数据进行分片,得到至少一个数据切片;
计算每个数据切片的哈希值,以及所述第一数据集中重要性系数大于或等于所述第四阈值的数据的哈希值;
基于对应数据切片或者数据的重要性系数,对计算得到的哈希值进行排序,生成第二数据集。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述基于所述第三数据集中的数据以及所述第三数据集中的数据对应的重要性系数,生成目标默克尔树之后,所述方法包括:
比对所述目标默克尔树和预设的标准默克尔树上的节点的哈希值,基于比对结果确定异常位置,其中,所述标准默克尔树和所述目标默克尔树是采用相同方式生产得到的。
6.根据权利要求5所述的方法,其特征在于,所述比对所述目标默克尔树和预设的标准默克尔树上的节点的哈希值,基于比对结果确定异常位置,包括:
比对所述目标默克尔树的根节点和所述标准默克尔树的根节点的哈希值;
响应于所述目标默克尔树的根节点和所述标准默克尔树的根节点的哈希值不一致,则确定发生异常;
从根节点开始逐级比对所述目标默克尔树和所述标准默克尔树上相同位置的节点,直到确定所述目标默克尔树上和所述标准默克尔树上哈希值不同的节点,得到异常位置。
7.一种默克尔树的生成装置,其特征在于,所述装置包括:
第一数据集生成模块,用于获取多个点位处的监测数据,生成第一数据集;
第二数据集生成模块,用于对所述第一数据集中包含的数据进行压缩处理,得到第二数据集;
重要性系数调整模块,用于基于预先得到的各点位处的监测数据的重要性系数,将所述第二数据集中重要性系数小于第一阈值的数据的重要性系数调整为第二阈值;
第一默克尔树生成模块,将所述第二数据集中重要性系数相同的数据划分为一组,分别针对每组数据生成默克尔树,得到每组数据对应的默克尔树的根节点;
第三数据集生成模块,用于通过每组数据对应的默克尔树的根节点对应的哈希值替换每组数据在所述第二数据集中的原数据,得到第三数据集;
第二默克尔树生成模块,用于基于所述第三数据集中的数据以及所述第三数据集中的数据对应的重要性系数,生成目标默克尔树,以使目标默克尔树从根节点开始的重要性系数逐级降低。
8.根据权利要求7所述的装置,其特征在于,所述多个点位处的监测数据是基于预先得到的各点位处的监测数据的置信度,筛除重要性系数低于第三阈值的监测数据后得到的。
9.根据权利要求7所述的装置,其特征在于,所述第二数据集生成模块,具体用于基于预先得到的各点位处的监测数据的重要性系数,分别对所述第一数据集中重要性系数小于第四阈值的数据以及重要性系数大于或等于第四阈值的数据进行压缩处理,得到第二数据集。
10.根据权利要求9所述的装置,其特征在于,所述第二数据集生成模块,包括:
分片单元,用于对所述第一数据集中重要性系数小于第四阈值的数据进行分片,得到至少一个数据切片;
哈希值计算单元,用于计算每个数据切片的哈希值,以及所述第一数据集中重要性系数大于或等于所述第四阈值的数据的哈希值;
排序单元,用于基于对应数据切片或者数据的重要性系数,对计算得到的哈希值进行排序,生成第二数据集。
11.根据权利要求7-10中任一项所述的装置,其特征在于,所述装置还包括:
异常检测模块,用于比对所述目标默克尔树和预设的标准默克尔树上的节点的哈希值,基于比对结果确定异常位置,其中,所述标准默克尔树和所述目标默克尔树是采用相同方式生产得到的。
12.根据权利要求11所述的装置,其特征在于,所述异常检测模块,包括:
比对单元,用于比对所述目标默克尔树的根节点和所述标准默克尔树的根节点的哈希值;
异常确定单元,用于响应于所述目标默克尔树的根节点和所述标准默克尔树的根节点的哈希值不一致,则确定发生异常;
异常查询单元,用于从根节点开始逐级比对所述目标默克尔树和所述标准默克尔树上相同位置的节点,直到确定所述目标默克尔树上和所述标准默克尔树上哈希值不同的节点,得到异常位置。
13.一种计算机设备,其特征在于,包括:存储器;处理器;以及计算机程序;其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求 1-6中任一项所述的方法。
14.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-6中任一项所述的默克尔树的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410758948.7A CN118331967B (zh) | 2024-06-13 | 2024-06-13 | 一种默克尔树的生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410758948.7A CN118331967B (zh) | 2024-06-13 | 2024-06-13 | 一种默克尔树的生成方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118331967A true CN118331967A (zh) | 2024-07-12 |
CN118331967B CN118331967B (zh) | 2024-10-18 |
Family
ID=91771069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410758948.7A Active CN118331967B (zh) | 2024-06-13 | 2024-06-13 | 一种默克尔树的生成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118331967B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118520517A (zh) * | 2024-07-24 | 2024-08-20 | 江苏华存电子科技有限公司 | 基于错误校验的固态硬盘数据保护系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018143694A1 (ko) * | 2017-02-01 | 2018-08-09 | 삼성전자 주식회사 | 블록체인 기반의 데이터의 무결성을 검증하는 전자 장치 및 방법 |
CN109657499A (zh) * | 2018-10-31 | 2019-04-19 | 深圳市网心科技有限公司 | 元数据验证方法、系统服务器和计算机可读存储介质 |
WO2021003985A1 (zh) * | 2019-07-08 | 2021-01-14 | 深圳壹账通智能科技有限公司 | 区块链数据归档存储方法、装置、计算机设备和存储介质 |
CN112561700A (zh) * | 2020-12-14 | 2021-03-26 | 长沙理工大学 | 区块链中交易数据的存储方法、验证方法、及区块链系统 |
CN114820181A (zh) * | 2021-01-22 | 2022-07-29 | 富士通株式会社 | 用于处理交易的方法、设备和存储介质 |
CN116305303A (zh) * | 2022-09-07 | 2023-06-23 | 杭州趣链科技有限公司 | 默克尔树的构建方法、装置、计算机设备及介质 |
CN117912641A (zh) * | 2024-01-23 | 2024-04-19 | 安徽影联云享医疗科技有限公司 | 医学影像数据的处理方法、装置、存储介质及电子设备 |
-
2024
- 2024-06-13 CN CN202410758948.7A patent/CN118331967B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018143694A1 (ko) * | 2017-02-01 | 2018-08-09 | 삼성전자 주식회사 | 블록체인 기반의 데이터의 무결성을 검증하는 전자 장치 및 방법 |
CN109657499A (zh) * | 2018-10-31 | 2019-04-19 | 深圳市网心科技有限公司 | 元数据验证方法、系统服务器和计算机可读存储介质 |
WO2021003985A1 (zh) * | 2019-07-08 | 2021-01-14 | 深圳壹账通智能科技有限公司 | 区块链数据归档存储方法、装置、计算机设备和存储介质 |
CN112561700A (zh) * | 2020-12-14 | 2021-03-26 | 长沙理工大学 | 区块链中交易数据的存储方法、验证方法、及区块链系统 |
CN114820181A (zh) * | 2021-01-22 | 2022-07-29 | 富士通株式会社 | 用于处理交易的方法、设备和存储介质 |
CN116305303A (zh) * | 2022-09-07 | 2023-06-23 | 杭州趣链科技有限公司 | 默克尔树的构建方法、装置、计算机设备及介质 |
CN117912641A (zh) * | 2024-01-23 | 2024-04-19 | 安徽影联云享医疗科技有限公司 | 医学影像数据的处理方法、装置、存储介质及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118520517A (zh) * | 2024-07-24 | 2024-08-20 | 江苏华存电子科技有限公司 | 基于错误校验的固态硬盘数据保护系统 |
Also Published As
Publication number | Publication date |
---|---|
CN118331967B (zh) | 2024-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111158977B (zh) | 一种异常事件根因定位方法及装置 | |
CN110839016B (zh) | 异常流量监测方法、装置、设备及存储介质 | |
CN108833416B (zh) | 一种scada系统信息安全风险评估方法及系统 | |
CN118331967B (zh) | 一种默克尔树的生成方法、装置、设备及存储介质 | |
CN108924084B (zh) | 一种网络设备安全评估方法及装置 | |
CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
CN110535702A (zh) | 一种告警信息处理方法及装置 | |
CN112415331B (zh) | 基于多源故障信息的电网二次系统故障诊断方法 | |
CN107241296A (zh) | 一种Webshell的检测方法及装置 | |
CN115511398B (zh) | 一种基于时间敏感网络的焊接质量智能检测方法及系统 | |
CN113032238A (zh) | 基于应用知识图谱的实时根因分析方法 | |
CN115001753B (zh) | 一种关联告警的分析方法、装置、电子设备及存储介质 | |
CN116737510B (zh) | 一种基于数据分析的键盘智能监测方法及系统 | |
CN113971425A (zh) | 一种异常分析方法、装置及存储介质 | |
CN114465874A (zh) | 故障预测方法、装置、电子设备与存储介质 | |
CN112988509A (zh) | 一种告警消息过滤方法、装置、电子设备及存储介质 | |
CN108306997B (zh) | 域名解析监控方法及装置 | |
CN114647558A (zh) | 一种日志异常检测的方法和装置 | |
CN116228045B (zh) | 基于性能退化的产品可靠性薄弱环节评估方法和装置 | |
CN112632564A (zh) | 一种威胁评估方法及装置 | |
CN116030955B (zh) | 基于物联网的医疗设备状态监测方法及相关装置 | |
CN117786656A (zh) | 一种api识别方法、装置、电子设备及存储介质 | |
CN114679335B (zh) | 电力监控系统网络安全风险评估训练方法、评估方法及设备 | |
CN110442837B (zh) | 复杂周期模型的生成方法、装置及其检测方法、装置 | |
CN114371950A (zh) | 应用业务异常的根因定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |