CN117336296B - 一种集群共识的智能选择方法 - Google Patents

一种集群共识的智能选择方法 Download PDF

Info

Publication number
CN117336296B
CN117336296B CN202311630506.6A CN202311630506A CN117336296B CN 117336296 B CN117336296 B CN 117336296B CN 202311630506 A CN202311630506 A CN 202311630506A CN 117336296 B CN117336296 B CN 117336296B
Authority
CN
China
Prior art keywords
cluster
consensus
algorithm
data
consensus algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311630506.6A
Other languages
English (en)
Other versions
CN117336296A (zh
Inventor
王语博
祁纲
韩国权
李芳�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiji Computer Corp Ltd
Original Assignee
Taiji Computer Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiji Computer Corp Ltd filed Critical Taiji Computer Corp Ltd
Priority to CN202311630506.6A priority Critical patent/CN117336296B/zh
Publication of CN117336296A publication Critical patent/CN117336296A/zh
Application granted granted Critical
Publication of CN117336296B publication Critical patent/CN117336296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种集群共识的智能选择方法,属于智能选择技术领域,其方法包括对系统的预置需求进行因素分析,确定需求占比情况,获取系统处理数据类型,并根据数据类型生成对应特征子集,结合特征子集对需求占比情况进行优化;根据预置需求从当下文献与技术文档库筛选可用共识算法并进行初级评估,确定每种共识算法在不同节点的数据一致性;将一致性超出设定值的共识算法基于优化后的需求占比情况对每个集群进行质量分析,根据质量分析结果选择最适合预置需求的集群共识算法,实现准确高效的选择集群共识算法,更好地满足系统的需求,提高系统与集群的性能与可靠性。

Description

一种集群共识的智能选择方法
技术领域
本发明涉及智能选择技术领域,特别涉及一种集群共识的智能选择方法。
背景技术
随着分布式系统的广泛应用,集群共识成为了一个重要的研究领域。在分布式系统中,多个节点需要达成一致的决策,例如在区块链系统中需要达成一致的交易记录,而在分布式数据库系统中需要达成一致的数据视图。共识算法是一种在分布式系统中达成一致决策的方法,它们被广泛应用于区块链、数据库、分布式文件系统等领域。
目前,已经有很多共识算法被提出和研究,但是算法的优缺点也较为明显,比如小型数据集的数据可能运算不准确,因此需要根据具体的应用场景和需求来选择。同时,也需要考虑算法的可扩展性、安全性、容错性等方面的因素。
因此,本发明提供一种集群共识的智能选择方法。
发明内容
本发明提供一种集群共识的智能选择方法,用以通过系统的预置需求与处理数据类型得出需求占比情况与特征子集,对预置需求进行可用共识算法的筛选,对其进行初级评估,确定每种算法的不同节点的数据一致性,根据一致性判定结果对每个集群进行质量分析,最终得出最适合预置需求的集群共识算法,实现准确高效的选择集群共识算法,更好地满足系统的需求,提高系统与集群的性能与可靠性。
本发明提供一种集群共识的智能选择方法,包括:
步骤1:对系统的预置需求进行因素分析,确定需求占比情况,获取系统处理数据类型,并根据数据类型生成对应特征子集,结合特征子集对需求占比情况进行优化;
步骤2:根据预置需求从当下文献与技术文档库筛选可用共识算法并进行初级评估,确定每种共识算法在不同节点的数据一致性;
步骤3:将一致性超出设定值的共识算法基于优化后的需求占比情况对每个集群进行质量分析,根据质量分析结果选择最适合预置需求的集群共识算法。
本发明提供一种集群共识的智能选择方法,对系统的预置需求进行因素分析,确定需求占比情况,包括:
根据系统目标对每个预置需求进行重要性、影响程度和紧急程度的因素分析,确定每个预置需求的分配权重;
根据分配权重计算每个预置需求的需求占比情况,其中,预置需求包括功能需求、性能需求与安全需求。
本发明提供一种集群共识的智能选择方法,获取系统处理数据类型,并根据数据类型生成对应特征子集,结合特征子集对需求占比情况进行优化,包括:
获取系统处理数据类型,提取每个处理数据类型针对系统的每个预置需求的特征子集,对每个预置需求涉及到的所有特征子集进行需求贡献评估;
根据评估结果对相应预置需求的需求占比情况进行调整。
本发明提供一种集群共识的智能选择方法,根据预置需求从当下文献与技术文档库筛选可用共识算法,并进行初级评估,确定每种共识算法在不同节点的数据一致性,包括:
根据预置需求从当下文献与技术文档库筛选可用共识算法;
基于算法遍历模型对可用共识算法进行遍历,确定对应可用共识算法的算法执行机制;
对所有预设需求涉及到的特征子集按照数据类型进行聚类分析,确定每个聚类结果中涉及到的运行节点以及每个运行节点涉及到的子数据集;
根据子数据集中的数据分布情况以及运行节点基于子数据集的节点执行权重以及基于节点原本权重,对所有聚类结果进行主次划分;
获取主要划分下的聚类结果中的所有运行节点以及节点-算法映射表所匹配的对应算法执行机制,对相应主要聚类结果进行第一模拟评估;
根据第一模拟评估结果,分别获取同个主要聚类结果下的每个算法执行机制的第一执行向量;
从每个次要划分下的聚类结果中筛选数据量最大的子数据集对应运行节点,并根据匹配的算法执行机制,得到对应次要聚类结果进行第二模拟评估;
根据第二模拟评估结果,获取得到对应算法执行机制的第二执行向量;
将所有聚类结果下的同个算法执行机制的所有第一执行向量以及所有第二执行向量进行一致性分析,确定对应共识算法在不同节点的数据一致性;
;其中,表示对应共识算法下的第i个向量/>与第j个向量/>的相似度;/>表示对应共识算法下的所有相似度的相似方差;/>表示方差阈值;/>表示对应共识算法下存在的向量的总个数;/>示对应共识算法下除去最大相似度与最小相似度外的剩余相似度的相似方差;/>表示数据一致性;
筛选数据一致性超过设定值的共识算法。
本发明提供一种集群共识的智能选择方法,筛选数据一致性超过设定值的共识算法的过程中,还包括:
将主要划分下的聚类结果中每个运行节点的子数据集打包,生成单个集群区块,其中,每个聚类结果即为一个集群,且每个集群涉及若干单个集群区块;
基于单个集群区块设定验证条件且结合首轮共识日志,确定单个集群区块所在集群的验证节点集合,并从验证节点集合中随机筛选n1个验证节点,来分别统计每个验证节点对相应打包的子数据集的接收时间上限;
若最大的接收时间上限小于所在集群的设定共识时间上限,则向相应打包发送的运行节点设置适用标签;
筛选数据一致性超过设定值的第一共识算法;
根据设置适用标签的节点涉及到的共识算法,来与筛选的第一共识算法进行相交处理;
根据相交处理结果,得到对应集群的适应共识算法进行保留。
本发明提供一种集群共识的智能选择方法,基于优化后的需求占比情况对每个集群进行质量分析,根据质量分析结果选择最适合系统需求的集群共识算法,包括:
基于预置需求确定系统可用性,根据系统可用性对所有集群的适应共识算法进行一致性衡量;
将每个适用共识算法基于衡量结果且结合优化后的需求占比情况对每个集群进行质量分析,得到针对每个集群的质量分析向量;
将所有质量分析向量按照行的先后顺序进行放置,得到分析矩阵;
分别确定分析矩阵中每列的分析精确度;
从所有分析精确度中提取最大精确度以及第二大精度对应的适用共识算法作为最适合系统需求的集群共识算法。
本发明提供一种集群共识的智能选择方法,根据质量分析结果选择最适合系统需求的集群共识算法之后,还包括:
根据每个集群共识算法的可满足需求与系统的预置需求的需求占比,确定可计算数据规模;
从算法数据库中,确定每个集群共识算法对集群故障的处理策略与集群数据的保障情况,得出对应集群共识算法的安全性;
根据所述可计算数据规模以及安全性,进行系统网络覆盖。
本发明提供一种集群共识的智能选择方法,将每个适用共识算法基于衡量结果且结合优化后的需求占比情况对每个集群进行质量分析,得到针对每个集群的质量分析向量,包括:
基于关键参数提取模块分别提取适用共识算法的第一关键参数以及每个第一关键参数的第一权重、衡量结果的第二关键参数以及每个第二关键参数的第二权重、基于优化后的需求占比情况所匹配的第三关键参数以及每个第三关键参数的第三权重;
根据每个关键参数的出现次数以及每个关键参数涉及到的不同权重,得到对应关键参数的最终权重;
根据每个关键参数的最终权重,且结合关键参数的参数类型与类型-指标映射表的匹配指标,确定每个匹配指标的分析权重;
基于所述匹配指标以及分析权重,获取得到每个计算基于相应匹配指标的质量分析值;
基于所有质量分析值,构建得到对应集群的质量分析向量。
与现有技术相比,本申请的有益效果如下:通过系统的预置需求与处理数据类型得出需求占比情况与特征子集,对预置需求进行可用共识算法的筛选,对其进行初级评估,确定每种算法的不同节点的数据一致性,根据一致性判定结果对每个集群进行质量分析,最终得出最适合预置需求的集群共识算法,实现准确高效的选择集群共识算法,更好地满足系统的需求,提高系统与集群的性能与可靠性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种集群共识的智能选择方法的步骤图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明实施例提供一种集群共识的智能选择方法,如图1所示,包括:
步骤1:对系统的预置需求进行因素分析,确定需求占比情况,获取系统处理数据类型,并根据数据类型生成对应特征子集,结合特征子集对需求占比情况进行优化;
步骤2:根据预置需求从当下文献与技术文档库筛选可用共识算法并进行初级评估,确定每种共识算法在不同节点的数据一致性;
步骤3:将一致性超出设定值的共识算法基于优化后的需求占比情况对每个集群进行质量分析,根据质量分析结果选择最适合预置需求的集群共识算法。
该实施例中,优化过程是对特征子集进行贡献评估,根据评估结果对占比情况进行优化。
该实施例中,初级评估是对系统可能处理数据的数据集进行聚类分析之后进行主次划分,并向对应数据集匹配对应的算法执行机制,根据算法执行机制对数据集进行模拟评估。
该实施例中,预置需求是以根据系统目标和期望为依据的,系统目标包括功能目标、性能目标、安全目标与可维护性和可扩展性目标。
该实施例中,特征子集是与该数据类型相关的具体特征或属性,例如,对于图像数据,特征子集可以包括颜色、形状、纹理等特征。
该实施例中,需求占比情况是根据分配的权重计算每个预置需求的需求占比,通过将权重与总需求数量相乘来实现,根据需求占比确定每个预置需求的优先级,高占比的需求通常会被视为更重要并首先满足,根据需求的优先级,制定项目计划和资源分配,以确保高优先级需求能够在适当的时间内得到满足。
该实施例中,当下文献与技术文档库中包括当下所有的科研成果及对应论文,从系统的应用场景、预置需求与实现算法的实现难度进行可用共识算法的筛选。
该实施例中,质量分析过程是基于系统需求运行所有的可用共识算法,并记录每个算法的性能与可靠性指标,对每个算法的性能和可靠性指标进行分析和比较,以确定最佳算法。
上述技术方案的工作原理及有益效果是:通过系统的预置需求与处理数据类型得出需求占比情况与特征子集,对预置需求进行可用共识算法的筛选,对其进行初级评估,确定每种算法的不同节点的数据一致性,根据一致性判定结果对每个集群进行质量分析,最终得出最适合预置需求的集群共识算法,实现准确高效的选择集群共识算法,更好地满足系统的需求,提高系统与集群的性能与可靠性。
实施例2:
本发明实施例提供一种集群共识的智能选择方法,对系统的预置需求进行因素分析,确定需求占比情况,包括:
根据系统目标对每个预置需求进行重要性、影响程度和紧急程度的因素分析,确定每个预置需求的分配权重;
根据分配权重计算每个预置需求的需求占比情况,其中,预置需求包括功能需求、性能需求与安全需求。
该实施例中,根据预置需求评估其对系统目标的贡献和重要性,包括与系统目标的直接相关性,如提供核心功能、满足法规要求或关键用户需求等。
该实施例中,考虑每个预置需求对系统其他部分的影响程度,一些需求会对整个系统的性能、可维护性或集成性产生更大的影响。
该实施例中,评估每个预置需求的时间敏感性,一些需求可能会涉及到立即解决,而其他需求可能可以在较长时间内处理。
该实施例中,为每个预置需求分配权重,权重基于其重要性、影响程度和紧急程度来确定,以百分比或权重系数的形式表示,总和应等于100%。
上述技术方案的工作原理及有益效果是:通过系统目标对预置需求进行因素分析确定对应分配权重,根据分配权重确定预置需求的需求占比情况,确保资源的有效分配,以实现系统的目标。
实施例3:
本发明实施例提供一种集群共识的智能选择方法,获取系统处理数据类型,并根据数据类型生成对应特征子集,结合特征子集对需求占比情况进行优化,包括:
获取系统处理数据类型,提取每个处理数据类型针对系统的每个预置需求的特征子集,对每个预置需求涉及到的所有特征子集进行需求贡献评估;
根据评估结果对相应预置需求的需求占比情况进行调整。
该实施例中,系统处理数据类型包括文本、图像、音频、视频、数值数据等,每种数据类型都可能需要不同的处理和特征。
该实施例中,需求贡献评估是根据预设需求与特征子集的关联关系,从特征子集的关键性、影响范围、满足程度与风险关系进行贡献因素的定义。
该实施例中,基于需求贡献评估的结果,对相应预置需求的需求占比进行调整,如果某个特征子集对满足需求非常关键,相关的需求占比增加,相反,如果某个特征子集对需求的满足程度不重要,需求占比降低。
上述技术方案的工作原理及有益效果是:通过对系统处理数据类型提取针对系统预置需求的特征子集,并对特征子集进行贡献评估,对需求占比情况进行调整,实现共识算法对系统的可靠性提高,减少人工干预风险。
实施例4:
本发明实施例提供一种集群共识的智能选择方法,根据预置需求从当下文献与技术文档库筛选可用共识算法,并进行初级评估,确定每种共识算法在不同节点的数据一致性,包括:
根据预置需求从当下文献与技术文档库筛选可用共识算法;
基于算法遍历模型对可用共识算法进行遍历,确定对应可用共识算法的算法执行机制;
对所有预设需求涉及到的特征子集按照数据类型进行聚类分析,确定每个聚类结果中涉及到的运行节点以及每个运行节点涉及到的子数据集;
根据子数据集中的数据分布情况以及运行节点基于子数据集的节点执行权重以及基于节点原本权重,对所有聚类结果进行主次划分;
获取主要划分下的聚类结果中的所有运行节点以及节点-算法映射表所匹配的对应算法执行机制,对相应主要聚类结果进行第一模拟评估;
根据第一模拟评估结果,分别获取同个主要聚类结果下的每个算法执行机制的第一执行向量;
从每个次要划分下的聚类结果中筛选数据量最大的子数据集对应运行节点,并根据匹配的算法执行机制,得到对应次要聚类结果进行第二模拟评估;
根据第二模拟评估结果,获取得到对应算法执行机制的第二执行向量;
将所有聚类结果下的同个算法执行机制的所有第一执行向量以及所有第二执行向量进行一致性分析,确定对应共识算法在不同节点的数据一致性;
;其中,表示对应共识算法下的第i个向量/>与第j个向量/>的相似度;/>表示对应共识算法下的所有相似度的相似方差;/>表示方差阈值;/>表示对应共识算法下存在的向量的总个数;/>示对应共识算法下除去最大相似度与最小相似度外的剩余相似度的相似方差;/>表示数据一致性;
筛选数据一致性超过设定值的共识算法。
该实施例中,算法执行机制是算法在计算机中的实现方式和执行过程,包括输入输出、数据结构、控制结构、算法实现与算法优化,不同的共识算法在执行流程上可能会有所不同,例如,Paxos算法的执行流程包括选举阶段、提交阶段等,而Raft算法的执行流程包括领导选举、日志复制等;不同的共识算法可能会使用不同的数据结构和算法实现。例如,Paxos算法使用的是状态机复制技术,而Raft算法使用的是日志复制技术;不同的共识算法在容错机制上可能会有所不同,例如,PBFT算法可以容忍一定数量的恶意节点,而Raft算法则需要大多数节点的支持才能进行决策。
该实施例中,聚类分析的涉及方面包括数据类型、节点分布、数据处理方式与节点负载均衡,其中,不同的数据类型需要不同的处理方式,例如,区块链系统需要处理交易记录,而分布式数据库系统需要处理数据视图;节点的分布影响数据处理的效率和可靠性,例如,当节点数量很大时,可能需要更复杂的共识算法来保证数据一致性;数据处理方式会影响节点的负载均衡和数据一致性,例如,当节点处理大量写入请求时,可能需要更高效的共识算法来保证数据一致性,节点的负载均衡可能会影响数据处理的效率和可靠性。如果某些节点的负载过高,可能会导致数据处理速度变慢,从而影响数据一致性。
该实施例中,节点-算法映射表是节点ID、共识算法的执行机制、算法的执行流程与对应的数据处理方式。
该实施例中,主次划分是根据数据分布情况和节点执行权重,将聚类结果划分为主要和次要两类,主要聚类结果包含系统中最重要的数据和节点,需要优先保证其性能和可靠性,次要聚类结果则包含系统中次要的数据和节点,需要在保证主要聚类结果的前提下,优化其性能和可靠性。
该实施例中,第一执行向量与第二执行向量包括性能指标、可靠性指标与资源占用情况,其中,性能指标包括吞吐量、延迟、可用性等性能指标,用于评估共识算法执行机制的性能表现,可靠性指标包括容错性、安全性等可靠性指标,用于评估共识算法执行机制的可靠性表现,资源占用包括CPU、内存、网络带宽等资源占用情况,用于评估共识算法执行机制对系统资源的占用情况。
该实施例中,第一模拟评估结果是对所有主要划分节点执行对应的算法机制之后的模拟评估结果。
该实施例中,第二模拟评估结果是对所有次要划分节点执行对应的算法机制之后的模拟评估结果。
上述技术方案的工作原理及有益效果是:通过预置需求确定可用共识算法,对算法进行遍历,确定对应的算法执行机制,对特征子集进行聚类分析,根据聚类分析结果进行主次划分,并进行模拟评估,根据模拟评估结果生成对应的执行向量,最终确定对应共识算法在不同节点的数据一致性,实现共识算法优化和调整,提高系统的性能和可靠性,更好地选择和优化共识算法执行机制。
实施例5:
本发明实施例提供一种集群共识的智能选择方法,筛选数据一致性超过设定值的共识算法的过程中,还包括:
将主要划分下的聚类结果中每个运行节点的子数据集打包,生成单个集群区块,其中,每个聚类结果即为一个集群,且每个集群涉及若干单个集群区块;
基于单个集群区块设定验证条件且结合首轮共识日志,确定单个集群区块所在集群的验证节点集合,并从验证节点集合中随机筛选n1个验证节点,来分别统计每个验证节点对相应打包的子数据集的接收时间上限;
若最大的接收时间上限小于所在集群的设定共识时间上限,则向相应打包发送的运行节点设置适用标签;
筛选数据一致性超过设定值的第一共识算法;
根据设置适用标签的节点涉及到的共识算法,来与筛选的第一共识算法进行相交处理;
根据相交处理结果,得到对应集群的适应共识算法进行保留。
该实施例中,打包数据子集是将主要划分下的聚类结果中每个运行节点的子数据集打包,生成单个集群区块,其中,每个聚类结果即为一个集群,且每个集群涉及若干单个集群区块。
该实施例中,接收时间上限是指验证节点在规定时间内能够接收到相应打包的子数据集的最长时间,是根据验证节点的网络带宽、处理能力等因素,计算出每个验证节点对相应打包的子数据集的接收时间上限,需要结合首轮共识日志,确定单个集群区块所在集群的验证节点集合,以便更好地确定每个验证节点的接收时间上限。
上述技术方案的工作原理及有益效果是:通过将主要划分的聚类结果进行子数据集打包,确定集群区块,根据每个集群区块进行验证条件的时间上限统计设置适用标签,依据适用标签确定第一共识算法并对其进行相交处理,得出每个集群的适应共识算法,实现对集群共识的智能选择和优化,从而提高系统的性能和可靠性,提升小型数据集运算的准确性。
实施例6:
本发明实施例提供一种集群共识的智能选择方法,基于优化后的需求占比情况对每个集群进行质量分析,根据质量分析结果选择最适合系统需求的集群共识算法,包括:
基于预置需求确定系统可用性,根据系统可用性对所有集群的适应共识算法进行一致性衡量;
将每个适用共识算法基于衡量结果且结合优化后的需求占比情况对每个集群进行质量分析,得到针对每个集群的质量分析向量;
将所有质量分析向量按照行的先后顺序进行放置,得到分析矩阵;
分别确定分析矩阵中每列的分析精确度;
从所有分析精确度中提取最大精确度以及第二大精度对应的适用共识算法作为最适合系统需求的集群共识算法。
该实施例中,系统可用性是根据预置需求确定的,例如吞吐量、延迟、容错性等。
该实施例中,一致性衡量是评估每个共识算法的性能和可靠性。
该实施例中,质量分析向量包括响应时间、吞吐量、可用性、可靠性、容错性、扩展性、数据一致性、安全性。
该实施例中,使用各种统计方法,如方差、标准差、均值等来计算每列的精确度,确定每列的数据分布情况,从而确定每列的分析精确度,从所有分析精确度中提取最大精确度以及第二大精度对应的适用共识算法作为最适合系统需求的集群共识算法中的分析精确度,最大精确度和第二大精度表示最优的共识算法和备选共识算法,可以满足系统的需求。
该实施例中,确定最适合系统需求的集群共识算法需要考虑多个因素,包括系统可用性、集群的适应共识算法、质量分析向量等。
上述技术方案的工作原理及有益效果是:通过预置需求确定系统可用性并进行一致性衡量,将每个适用共识算法根据衡量结果与优化后的需求占比情况进行质量分析,得出质量分析向量,将质量分析向量按照先后顺序放置得出分析矩阵,确定每列的分析精度,得出最适合系统需求的集群共识算法,实现对集群共识的智能选择和优化,从而提高系统的性能和可靠性。
实施例7:
本发明实施例提供一种集群共识的智能选择方法,根据质量分析结果选择最适合系统需求的集群共识算法之后,还包括:
根据每个集群共识算法的可满足需求与系统的预置需求的需求占比,确定可计算数据规模;
从算法数据库中,确定每个集群共识算法对集群故障的处理策略与集群数据的保障情况,得出对应集群共识算法的安全性;
根据所述可计算数据规模以及安全性,进行系统网络覆盖。
该实施例中,可计算数据规模是指系统中可以进行计算和处理的数据量大小,在确定可计算数据规模时,需要考虑多个因素,如系统硬件配置、网络带宽、数据处理能力等,还需要根据系统的预置需求和集群共识算法的可满足需求,确定可计算数据规模的具体范围。
该实施例中,可计算数据规模可以是系统中所有数据的总量,也可以是系统中某个特定数据集的大小,在进行系统网络覆盖时,需要根据可计算数据规模和集群共识算法的安全性,选择合适的网络拓扑结构和数据传输协议,以确保数据能够在节点之间传输和共享,并保证数据的安全和完整性。
该实施例中,安全性包括身份验证、访问控制、数据加密、漏洞修复。
该实施例中,系统网络覆盖是设定对应的网络拓扑结构,以此确定系统中各个节点之间的连接方式和通信协议,以确保数据能够在节点之间传输和共享,选择合适的数据传输协议,以确保数据在传输过程中的安全性和完整性,制定合适的安全策略,以确保系统在面对各种攻击和故障时能够保持数据的安全和完整性,建立监控和管理机制,及时发现和处理系统中的故障和异常情况,以确保系统的稳定性和可靠性。
上述技术方案的工作原理及有益效果是:通过可满足需求与优化后的需求占比情况确定可计算数据规模,同时确定每个集群共识算法的安全性,对系统进行网络覆盖,方便对系统进行扩容和优化操作,以提高系统的安全性和可靠性。
实施例8:
本发明实施例提供一种集群共识的智能选择方法,将每个适用共识算法基于衡量结果且结合优化后的需求占比情况对每个集群进行质量分析,得到针对每个集群的质量分析向量,包括:
基于关键参数提取模块分别提取适用共识算法的第一关键参数以及每个第一关键参数的第一权重、衡量结果的第二关键参数以及每个第二关键参数的第二权重、基于优化后的需求占比情况所匹配的第三关键参数以及每个第三关键参数的第三权重;
根据每个关键参数的出现次数以及每个关键参数涉及到的不同权重,得到对应关键参数的最终权重;
根据每个关键参数的最终权重,且结合关键参数的参数类型与类型-指标映射表的匹配指标,确定每个匹配指标的分析权重;
基于所述匹配指标以及分析权重,获取得到每个计算基于相应匹配指标的质量分析值;
基于所有质量分析值,构建得到对应集群的质量分析向量。
该实施例中,一种将不同类型的指标映射到相应的类型中的表格或映射关系,在质量分析中,这种映射关系可以用于确定每个匹配指标的分析权重,以便计算基于相应匹配指标的质量分析值。具体而言,类型指标映射表可能包括不同类型的指标,例如性能、可靠性、可用性等,以及与每种指标相关联的具体参数或测量方法。
该实施例中,匹配指标包括各种性能指标,如吞吐量、延迟、并发性等。以及可靠性指标,如故障率、恢复时间等,其中,可用性指标,如可用时间、可用性百分比等,也是匹配指标之一。
该实施例中,类型-指标映射表是将不同类型的指标映射到相应的类型中的表格或映射关系,在质量分析中,用于确定每个匹配指标的分析权重,以便计算基于相应匹配指标的质量分析值,类型-指标映射表包括不同类型的指标,例如性能、可靠性、可用性等,以及与每种指标相关联的具体参数或测量方法。
上述技术方案的工作原理及有益效果是:通过关键参数的出现次数与对应关键参数的权重得出适用共识算法的每个关键参数的最终权重,确定对应匹配指标与分析权重,根据分析权重与匹配指标得出质量分析向量,实现对集群共识的智能选择和优化,从而提高系统的性能和可靠性,提升小型数据集运算的准确性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种集群共识的智能选择方法,其特征在于,包括:
步骤1:对系统的预置需求进行因素分析,确定需求占比情况,获取系统处理数据类型,并根据数据类型生成对应特征子集,结合特征子集对需求占比情况进行优化;
步骤2:根据预置需求从当下文献与技术文档库筛选可用共识算法并进行初级评估,确定每种共识算法在不同节点的数据一致性;
步骤3:将一致性超出设定值的共识算法基于优化后的需求占比情况对每个集群进行质量分析,根据质量分析结果选择最适合预置需求的集群共识算法。
2.根据权利要求1所述的一种集群共识的智能选择方法,其特征在于,对系统的预置需求进行因素分析,确定需求占比情况,包括:
根据系统目标对每个预置需求进行重要性、影响程度和紧急程度的因素分析,确定每个预置需求的分配权重;
根据分配权重计算每个预置需求的需求占比情况,其中,预置需求包括功能需求、性能需求与安全需求。
3.根据权利要求1所述的一种集群共识的智能选择方法,其特征在于,获取系统处理数据类型,并根据数据类型生成对应特征子集,结合特征子集对需求占比情况进行优化,包括:
获取系统处理数据类型,提取每个处理数据类型针对系统的每个预置需求的特征子集,对每个预置需求涉及到的所有特征子集进行需求贡献评估;
根据评估结果对相应预置需求的需求占比情况进行调整。
4.根据权利要求3所述的一种集群共识的智能选择方法,其特征在于,根据预置需求从当下文献与技术文档库筛选可用共识算法,并进行初级评估,确定每种共识算法在不同节点的数据一致性,包括:
根据预置需求从当下文献与技术文档库筛选可用共识算法;
基于算法遍历模型对可用共识算法进行遍历,确定对应可用共识算法的算法执行机制;
对所有预设需求涉及到的特征子集按照数据类型进行聚类分析,确定每个聚类结果中涉及到的运行节点以及每个运行节点涉及到的子数据集;
根据子数据集中的数据分布情况以及运行节点基于子数据集的节点执行权重以及基于节点原本权重,对所有聚类结果进行主次划分;
获取主要划分下的聚类结果中的所有运行节点以及节点-算法映射表所匹配的对应算法执行机制,对相应主要聚类结果进行第一模拟评估;
根据第一模拟评估结果,分别获取同个主要聚类结果下的每个算法执行机制的第一执行向量;
从每个次要划分下的聚类结果中筛选数据量最大的子数据集对应运行节点,并根据匹配的算法执行机制,得到对应次要聚类结果进行第二模拟评估;
根据第二模拟评估结果,获取得到对应算法执行机制的第二执行向量;
将所有聚类结果下的同个算法执行机制的所有第一执行向量以及所有第二执行向量进行一致性分析,确定对应共识算法在不同节点的数据一致性;
;其中,/>表示对应共识算法下的第i个向量/>与第j个向量/>的相似度;/>表示对应共识算法下的所有相似度的相似方差;/>表示方差阈值;/>表示对应共识算法下存在的向量的总个数;/>示对应共识算法下除去最大相似度与最小相似度外的剩余相似度的相似方差;表示数据一致性;
筛选数据一致性超过设定值的共识算法。
5.根据权利要求4所述的一种集群共识的智能选择方法,其特征在于,筛选数据一致性超过设定值的共识算法的过程中,还包括:
将主要划分下的聚类结果中每个运行节点的子数据集打包,生成单个集群区块,其中,每个聚类结果即为一个集群,且每个集群涉及若干单个集群区块;
基于单个集群区块设定验证条件且结合首轮共识日志,确定单个集群区块所在集群的验证节点集合,并从验证节点集合中随机筛选n1个验证节点,来分别统计每个验证节点对相应打包的子数据集的接收时间上限;
若最大的接收时间上限小于所在集群的设定共识时间上限,则向相应打包发送的运行节点设置适用标签;
筛选数据一致性超过设定值的第一共识算法;
根据设置适用标签的节点涉及到的共识算法,来与筛选的第一共识算法进行相交处理;
根据相交处理结果,得到对应集群的适应共识算法进行保留。
6.根据权利要求5所述的一种集群共识的智能选择方法,其特征在于,基于优化后的需求占比情况对每个集群进行质量分析,根据质量分析结果选择最适合系统需求的集群共识算法,包括:
基于预置需求确定系统可用性,根据系统可用性对所有集群的适应共识算法进行一致性衡量;
将每个适用共识算法基于衡量结果且结合优化后的需求占比情况对每个集群进行质量分析,得到针对每个集群的质量分析向量;
将所有质量分析向量按照行的先后顺序进行放置,得到分析矩阵;
分别确定分析矩阵中每列的分析精确度;
从所有分析精确度中提取最大精确度以及第二大精度对应的适用共识算法作为最适合系统需求的集群共识算法。
7.根据权利要求1所述的一种集群共识的智能选择方法,其特征在于,根据质量分析结果选择最适合系统需求的集群共识算法之后,还包括:
根据每个集群共识算法的可满足需求与系统的预置需求的需求占比,确定可计算数据规模;
从算法数据库中,确定每个集群共识算法对集群故障的处理策略与集群数据的保障情况,得出对应集群共识算法的安全性;
根据所述可计算数据规模以及安全性,进行系统网络覆盖。
8.根据权利要求6中所述的一种集群共识的智能选择方法,其特征在于,将每个适用共识算法基于衡量结果且结合优化后的需求占比情况对每个集群进行质量分析,得到针对每个集群的质量分析向量,包括:
基于关键参数提取模块分别提取适用共识算法的第一关键参数以及每个第一关键参数的第一权重、衡量结果的第二关键参数以及每个第二关键参数的第二权重、基于优化后的需求占比情况所匹配的第三关键参数以及每个第三关键参数的第三权重;
根据每个关键参数的出现次数以及每个关键参数涉及到的不同权重,得到对应关键参数的最终权重;
根据每个关键参数的最终权重,且结合关键参数的参数类型与类型-指标映射表的匹配指标,确定每个匹配指标的分析权重;
基于所述匹配指标以及分析权重,获取得到每个计算基于相应匹配指标的质量分析值;
基于所有质量分析值,构建得到对应集群的质量分析向量。
CN202311630506.6A 2023-12-01 2023-12-01 一种集群共识的智能选择方法 Active CN117336296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311630506.6A CN117336296B (zh) 2023-12-01 2023-12-01 一种集群共识的智能选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311630506.6A CN117336296B (zh) 2023-12-01 2023-12-01 一种集群共识的智能选择方法

Publications (2)

Publication Number Publication Date
CN117336296A CN117336296A (zh) 2024-01-02
CN117336296B true CN117336296B (zh) 2024-03-26

Family

ID=89293885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311630506.6A Active CN117336296B (zh) 2023-12-01 2023-12-01 一种集群共识的智能选择方法

Country Status (1)

Country Link
CN (1) CN117336296B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647967A (zh) * 2018-05-10 2018-10-12 北京京东尚科信息技术有限公司 选择区块链共识机制的方法、装置以及共识节点
CN108848125A (zh) * 2018-05-22 2018-11-20 北京京东尚科信息技术有限公司 区块链中提供共识服务的方法和装置及存储介质
CN110365695A (zh) * 2019-07-24 2019-10-22 中国工商银行股份有限公司 可切换共识算法的区块链数据交互方法及装置
CN112907082A (zh) * 2021-02-23 2021-06-04 上海腾天节能技术有限公司 一种区块链共识算法评估优化方法
CN113783947A (zh) * 2021-08-26 2021-12-10 浙商银行股份有限公司 一种自适应区块链节点容错提升方法、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11038690B2 (en) * 2018-10-04 2021-06-15 EMC IP Holding Company LLC Policy-driven dynamic consensus protocol selection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647967A (zh) * 2018-05-10 2018-10-12 北京京东尚科信息技术有限公司 选择区块链共识机制的方法、装置以及共识节点
CN108848125A (zh) * 2018-05-22 2018-11-20 北京京东尚科信息技术有限公司 区块链中提供共识服务的方法和装置及存储介质
CN110365695A (zh) * 2019-07-24 2019-10-22 中国工商银行股份有限公司 可切换共识算法的区块链数据交互方法及装置
CN112907082A (zh) * 2021-02-23 2021-06-04 上海腾天节能技术有限公司 一种区块链共识算法评估优化方法
CN113783947A (zh) * 2021-08-26 2021-12-10 浙商银行股份有限公司 一种自适应区块链节点容错提升方法、设备及存储介质

Also Published As

Publication number Publication date
CN117336296A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN110113388B (zh) 一种基于改进型聚类算法的区块链系统共识的方法和装置
US10965466B2 (en) Estimable proof-of-work for blockchain
WO2021012930A1 (zh) 投票节点配置方法及系统
CN109165153B (zh) 一种高仿真证券业交易类系统的性能测试方法
CN111753016B (zh) 数据处理方法、装置、系统及计算机可读存储介质
CN111552509B (zh) 一种接口间依赖关系的确定方法及装置
CN111507470A (zh) 一种异常账户的识别方法及装置
CN117707771A (zh) 基于多线程技术的分布式对象读写性能提升方法
CN113900921A (zh) 法院信息系统运行状态评估方法、装置、设备及存储介质
CN112328332B (zh) 一种面向云计算环境的数据库配置优化方法
CN117033004B (zh) 负载均衡方法、装置、电子设备及存储介质
CN117336296B (zh) 一种集群共识的智能选择方法
CN114153646A (zh) 一种运维故障处置方法、装置及存储介质、处理器
CN117149392A (zh) 资源处理方法、装置、服务器及存储介质
CN111858656A (zh) 一种基于分布式架构的静态数据的查询方法和设备
CN116523640A (zh) 一种基于调度反馈算法的金融信息管理系统
CN116962419A (zh) 服务器分配策略的生成方法及装置、电子设备及存储介质
CN116185797A (zh) 预测服务器资源饱和度的方法、装置及存储介质
CN115314400A (zh) 网络系统异常检测方法、装置、电子设备及存储介质
CN111988131B (zh) 一种面向移动群智感知的区块链构建方法
CN114913033A (zh) 一种电网多样性数据分级存储均衡与交易安全方法及系统
Guo et al. Handling data skew at reduce stage in Spark by ReducePartition
Walkowiak et al. Decentralized distributed computing system for privacy-preserving combined classifiers–modeling and optimization
CN112035533B (zh) 基于多参数量化策略回测的系统资源调度方法及装置
Yu et al. Byzantine Fault Tolerant Consensus Algorithm Based on Credit Model and Verifiable Random Function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant