CN113094556A - 数据负荷自平衡的分散控制方法及装置 - Google Patents

数据负荷自平衡的分散控制方法及装置 Download PDF

Info

Publication number
CN113094556A
CN113094556A CN202110215185.8A CN202110215185A CN113094556A CN 113094556 A CN113094556 A CN 113094556A CN 202110215185 A CN202110215185 A CN 202110215185A CN 113094556 A CN113094556 A CN 113094556A
Authority
CN
China
Prior art keywords
data processing
data
task
block chain
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110215185.8A
Other languages
English (en)
Other versions
CN113094556B (zh
Inventor
姜宗星
于晶晶
陈明
别锦锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG LUNENG CONTROL ENGINEERING CO LTD
Original Assignee
SHANDONG LUNENG CONTROL ENGINEERING CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG LUNENG CONTROL ENGINEERING CO LTD filed Critical SHANDONG LUNENG CONTROL ENGINEERING CO LTD
Priority to CN202110215185.8A priority Critical patent/CN113094556B/zh
Publication of CN113094556A publication Critical patent/CN113094556A/zh
Application granted granted Critical
Publication of CN113094556B publication Critical patent/CN113094556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9027Trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明属于数据处理技术领域,具体涉及数据负荷自平衡的分散控制方法及装置。所述方法执行以下步骤:步骤1:将多个数据处理单元以区块链网络的连接结构,彼此互联,构成数据处理区块链网络;同时,设置一个分散控制单元,作为数据处理区块链网络的入口。其通过将数据处理任务的数据进行分发后,再进行并行的数据处理,以提升数据处理的效率,同时又将各个数据处理单元中的数据使用全局数据处理树进行关联,以实现数据处理任务的协同,在一方面,降低了单个数据处理单元进行数据处理时的数据负荷,另一方面,又保证了数据处理的效率和准确率。

Description

数据负荷自平衡的分散控制方法及装置
技术领域
本发明属于数据处理技术领域,具体涉及数据负荷自平衡的分散控制方法及装置。
背景技术
分散控制的特点是与集中控制相反,不同的信息流入不同的控制中心,不同的控制指令由不同的控制中心发出。
分散控制没有统一的控制器,全部控制功能分散在各个子运算中完成,在此控制方式中,各子运算的输出、输入信号及系统信号相互关联。分散控制的时序可以是同步的,也可以是异步的。
分散控制的优点是针对性强,信息传递效率高单,系统适应性强。缺点是信息不完整,整体协调困难。分散控制适应系统组织较松散的部门,如城市各交叉路口的交通管理、企业集团的一些外围企业等。
专利号为CNB038263017A的专利公开了数据通信负荷分散控制、负荷分散数据发送方法及装置。其能够在与不具有中继功能的交换集线器之间进行灵活性高的中继。计算机生成分散算法通知数据包,该分散算法通知数据包含有多个通信接口的物理地址以及使通信对象计算机发送到计算机处的数据分散到多个通信接口时的分散算法,并发送到计算机。计算机根据所通知的分散算法确定应是向计算机发送的发送数据的发送目的地的通信接口,指定该通信接口的物理地址作为发送目的地,把发送数据发送。
其通过分散控制算法来保证高灵活性的数据中继,虽然在通信的负荷上实现了分散控制,但对于多数据传输的数据本身负荷较高的情况,没有提出解决方案。使得负荷较高的数据在进行数据传输和数据处理时,依然效率较低。
发明内容
有鉴于此,本发明的主要目的在于提供数据负荷自平衡的分散控制方法及装置,其通过将数据处理任务的数据进行分发后,再进行并行的数据处理,以提升数据处理的效率,同时又将各个数据处理单元中的数据使用全局数据处理树进行关联,以实现数据处理任务的协同,在一方面,降低了单个数据处理单元进行数据处理时的数据负荷,另一方面,又保证了数据处理的效率和准确率。
为达到上述目的,本发明的技术方案是这样实现的:
数据负荷自平衡的分散控制方法,所述方法执行以下步骤:
步骤1:将多个数据处理单元以区块链网络的连接结构,彼此互联,构成数据处理区块链网络;同时,设置一个分散控制单元,作为数据处理区块链网络的入口;
步骤2:分散控制单元首先接收数据处理任务的指令和数据处理任务的数据;若数据处理任务为单任务,则进入单任务分散控制模式;若数据处理任务为多任务,则进入多任务分散控制模式;
步骤3:在单任务分散控制模式下,首先进行数据分发,将数据分发至每个数据处理单元中,在数据分发过程中,以数据处理单元为节点,建立数据处理区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理;
步骤4:在多任务分散控制模式下,首先进行任务区块划分,具体包括:根据任务的数量,每个任务的数据量的大小,将数据处理区块链网络划分为多个子任务区块链网络,在每个子任务区块链网络中,指定一个数据处理单元作为子分散控制单元,将每个任务对应的数据分发至每个任务对应的子任务区块链网络中的子分散控制单元,子分散控制单元在所在的子任务区块链网络中进行数据分发,基建立子任务区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理。
进一步的,所述步骤3和步骤4中,全局关键字数据处理树的建立方法包括:步骤S1:将数据处理任务中的数据的每一个值,指定一个对应的键,形成键值对,确立一个主键值,同时,指定第一个接收到数据的数据处理单元为主节点,根据主键值类型在主节点抽取得到数据主键值,在所述主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点,同时建立全局关键字数据处理树索引;主键值类型包括文本属性取值、数值区间取值以及空间栅格三种基本类型;步骤S2:根据所述全局关键字数据处理树索引将数据分发到所述主键值对应的从节点。
进一步的,所述包括以下步骤:利用预先注册的分发策略从当前数据中提取指定的列对应的数据取值构成当前数据属性,根据策略类型抽取该属性作为当前数据的主键值;所述分发策略信息注册在全局关键字分区表中,根据当前数据表对应类型的全局关键字数据处理树获取当前数据键值对应的映射关系对;通过这一映射关系对绑定特定的从节点,实现基于主键值取值的定向发送;其中,全局关键字数据处理树由一存放在根结点的全局关键字分区表和一组关键字到分发从节点标识的映射组成;根据所述主键值类型建立与全局关键字数据处理树索引一一对应的数据处理树索引包括:关键词/字索引、关键值索引以及空间栅格索引三种基本类型;在所述从节点接受数据分发请求,在本地将数据存储在子节点中。
进一步的,所述基于建立的全局关键字数据处理树,进行数据处理的方法包括:每个数据处理单元基于建立的全局关键字数据处理树进行数据处理;在数据处理的同时,随机划分一个效率数据处理域,统计效率数据处理域内的数据处理单元的使用率;基于统计得到的使用率,进行数据的重新分配,将使用率高于设定值的数据处理单元中的数据抽取部分,分配到使用率低于设定值的数据处理单元中。
进一步的,所述统计效率数据处理域内的数据处理单元的使用率的方法包括:
Figure BDA0002950984060000041
其中,α为效率数据处理域的周长,定义为所有节点按照顺序顺次连接的长度;β为顺次连接的节点形成的路线的转折数,取值为:N-1,vt为效率数据处理域的起始点,vl为效率数据处理域的终点,
Figure BDA0002950984060000042
表示效率数据处理域的直径长度,
Figure BDA0002950984060000043
为所有测试单元的使用率的平均值,<>表示取差值的绝对值运算,rt,l表示效率数据处理域的网络复杂度,其定义为将效率数据处理域中的所有节点相连接后,构成的多边形的面积,f(rt,l)表示对多边形的面积进行数据转换,使其数值转换到一个设定的范围内;根据计算出的效率数据处理域的效率进行排序,将效率最高的对应的效率数据处理域,作为最终的构建的效率数据处理域。
一种数据负荷自平衡的分散控制装置,所述系统包括:由多个数据处理单元构成的数据处理区块链网络;所述多个数据处理单元以区块链网络的连接结构,彼此互联,构成数据处理区块链网络;同时,设置一个分散控制单元,作为数据处理区块链网络的入口。
进一步的,所述分散控制单元首先接收数据处理任务的指令和数据处理任务的数据;若数据处理任务为单任务,则进入单任务分散控制模式;若数据处理任务为多任务,则进入多任务分散控制模式;在单任务分散控制模式下,首先进行数据分发,将数据分发至每个数据处理单元中,在数据分发过程中,以数据处理单元为节点,建立数据处理区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理;在多任务分散控制模式下,首先进行任务区块划分,具体包括:根据任务的数量,每个任务的数据量的大小,将数据处理区块链网络划分为多个子任务区块链网络,在每个子任务区块链网络中,指定一个数据处理单元作为子分散控制单元,将每个任务对应的数据分发至每个任务对应的子任务区块链网络中的子分散控制单元,子分散控制单元在所在的子任务区块链网络中进行数据分发,基建立子任务区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理。
进一步的,所述步骤3和步骤4中,全局关键字数据处理树的建立方法包括:步骤S1:将数据处理任务中的数据的每一个值,指定一个对应的键,形成键值对,确立一个主键值,同时,指定第一个接收到数据的数据处理单元为主节点,根据主键值类型在主节点抽取得到数据主键值,在所述主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点,同时建立全局关键字数据处理树索引;主键值类型包括文本属性取值、数值区间取值以及空间栅格三种基本类型;步骤S2:根据所述全局关键字数据处理树索引将数据分发到所述主键值对应的从节点。
进一步的,所述包括以下步骤:利用预先注册的分发策略从当前数据中提取指定的列对应的数据取值构成当前数据属性,根据策略类型抽取该属性作为当前数据的主键值;所述分发策略信息注册在全局关键字分区表中,根据当前数据表对应类型的全局关键字数据处理树获取当前数据键值对应的映射关系对;通过这一映射关系对绑定特定的从节点,实现基于主键值取值的定向发送;其中,全局关键字数据处理树由一存放在根结点的全局关键字分区表和一组关键字到分发从节点标识的映射组成;根据所述主键值类型建立与全局关键字数据处理树索引一一对应的数据处理树索引包括:关键词/字索引、关键值索引以及空间栅格索引三种基本类型;在所述从节点接受数据分发请求,在本地将数据存储在子节点中。
进一步的,所述基于建立的全局关键字数据处理树,进行数据处理的方法包括:每个数据处理单元基于建立的全局关键字数据处理树进行数据处理;在数据处理的同时,随机划分一个效率数据处理域,统计效率数据处理域内的数据处理单元的使用率;基于统计得到的使用率,进行数据的重新分配,将使用率高于设定值的数据处理单元中的数据抽取部分,分配到使用率低于设定值的数据处理单元中。
本发明的数据负荷自平衡的分散控制方法及装置,具有如下有益效果:
其通过将数据处理任务的数据进行分发后,再进行并行的数据处理,以提升数据处理的效率,同时又将各个数据处理单元中的数据使用全局数据处理树进行关联,以实现数据处理任务的协同,在一方面,降低了单个数据处理单元进行数据处理时的数据负荷,另一方面,又保证了数据处理的效率和准确率。主要通过以下过程实现:
1.数据的分发和分散控制:本发明通过将数据分散到各个数据处理单元中进行数据处理,同时在数据处理的同时,统计各个数据处理单元的使用率,以确保各个处理单元的使用率在设定的阈值范围内,以提升数据处理单元的使用率,也使得数据负荷能够达到相对的平衡;
2.全局关键字数据处理树的建立:针对分发和分散的数据,本发明使用全局关键字数据处理树建立连接,以确保数据在处理过程中,能够保持联系,确保数据处理的效率不会因为分散和分发降低,同时,由于建立了全局关键字数据处理树,提升了各个数据处理单元的协同数据处理能力,进一步提升了数据处理的效率;
3.数据处理单元的使用率的统计:本发明统计效率数据处理域内的数据处理单元的使用率的方法使用如下公式:
Figure BDA0002950984060000061
Figure BDA0002950984060000062
该方法统计得到的数据处理单元的使用率,统计结果更加准确。
附图说明
图1为本发明实施例提供的数据负荷自平衡的分散控制方法的方法流程示意图;
图2为本发明实施例提供的数据负荷自平衡的分散控制装置的装置结构示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
如图1所示,数据负荷自平衡的分散控制方法,所述方法执行以下步骤:
步骤1:将多个数据处理单元以区块链网络的连接结构,彼此互联,构成数据处理区块链网络;同时,设置一个分散控制单元,作为数据处理区块链网络的入口;
步骤2:分散控制单元首先接收数据处理任务的指令和数据处理任务的数据;若数据处理任务为单任务,则进入单任务分散控制模式;若数据处理任务为多任务,则进入多任务分散控制模式;
步骤3:在单任务分散控制模式下,首先进行数据分发,将数据分发至每个数据处理单元中,在数据分发过程中,以数据处理单元为节点,建立数据处理区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理;
步骤4:在多任务分散控制模式下,首先进行任务区块划分,具体包括:根据任务的数量,每个任务的数据量的大小,将数据处理区块链网络划分为多个子任务区块链网络,在每个子任务区块链网络中,指定一个数据处理单元作为子分散控制单元,将每个任务对应的数据分发至每个任务对应的子任务区块链网络中的子分散控制单元,子分散控制单元在所在的子任务区块链网络中进行数据分发,基建立子任务区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理。
具体的,通过将数据处理任务的数据进行分发后,再进行并行的数据处理,以提升数据处理的效率,同时又将各个数据处理单元中的数据使用全局数据处理树进行关联,以实现数据处理任务的协同,在一方面,降低了单个数据处理单元进行数据处理时的数据负荷,另一方面,又保证了数据处理的效率和准确率。主要通过以下过程实现:
1.数据的分发和分散控制:本发明通过将数据分散到各个数据处理单元中进行数据处理,同时在数据处理的同时,统计各个数据处理单元的使用率,以确保各个处理单元的使用率在设定的阈值范围内,以提升数据处理单元的使用率,也使得数据负荷能够达到相对的平衡;
2.全局关键字数据处理树的建立:针对分发和分散的数据,本发明使用全局关键字数据处理树建立连接,以确保数据在处理过程中,能够保持联系,确保数据处理的效率不会因为分散和分发降低,同时,由于建立了全局关键字数据处理树,提升了各个数据处理单元的协同数据处理能力,进一步提升了数据处理的效率;
3.数据处理单元的使用率的统计:本发明统计效率数据处理域内的数据处理单元的使用率的方法使用如下公式:
Figure BDA0002950984060000081
Figure BDA0002950984060000082
该方法统计得到的数据处理单元的使用率,统计结果更加准确。
实施例2
在上一实施例的基础上,所述步骤3和步骤4中,全局关键字数据处理树的建立方法包括:步骤S1:将数据处理任务中的数据的每一个值,指定一个对应的键,形成键值对,确立一个主键值,同时,指定第一个接收到数据的数据处理单元为主节点,根据主键值类型在主节点抽取得到数据主键值,在所述主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点,同时建立全局关键字数据处理树索引;主键值类型包括文本属性取值、数值区间取值以及空间栅格三种基本类型;步骤S2:根据所述全局关键字数据处理树索引将数据分发到所述主键值对应的从节点。
具体的,分散控制是指系统中的控制部分表现为若干个分散的,有一定相对独立性的子控制机构,这些机构在各自的范围内各司其责,各行其是,互不干涉,各自完成自己的目标。当然这些目标是整个系统目标中的分目标
实施例3
在上一实施例的基础上,所述包括以下步骤:利用预先注册的分发策略从当前数据中提取指定的列对应的数据取值构成当前数据属性,根据策略类型抽取该属性作为当前数据的主键值;所述分发策略信息注册在全局关键字分区表中,根据当前数据表对应类型的全局关键字数据处理树获取当前数据键值对应的映射关系对;通过这一映射关系对绑定特定的从节点,实现基于主键值取值的定向发送;其中,全局关键字数据处理树由一存放在根结点的全局关键字分区表和一组关键字到分发从节点标识的映射组成;根据所述主键值类型建立与全局关键字数据处理树索引一一对应的数据处理树索引包括:关键词/字索引、关键值索引以及空间栅格索引三种基本类型;在所述从节点接受数据分发请求,在本地将数据存储在子节点中。
具体的,分散控制的特点是与集中控制相反,不同的信息流入不同的控制中心,不同的控制指令由不同的控制中心发出。
分散控制没有统一的控制器,全部控制功能分散在各个子运算中完成,在此控制方式中,各子运算的输出、输入信号及系统信号相互关联。分散控制的时序可以是同步的,也可以是异步的。
分散控制的优点是针对性强,信息传递效率高单,系统适应性强。缺点是信息不完整,整体协调困难。分散控制适应系统组织较松散的部门,如城市各交叉路口的交通管理、企业集团的一些外围企业等。
实施例4
在上一实施例的基础上,所述基于建立的全局关键字数据处理树,进行数据处理的方法包括:每个数据处理单元基于建立的全局关键字数据处理树进行数据处理;在数据处理的同时,随机划分一个效率数据处理域,统计效率数据处理域内的数据处理单元的使用率;基于统计得到的使用率,进行数据的重新分配,将使用率高于设定值的数据处理单元中的数据抽取部分,分配到使用率低于设定值的数据处理单元中。
具体的,传统集中式控制方法需同时采用系统所有测量信号,进而计算出所有作动器的控制力并发出信号进行振动控制,其控制系统复杂且可靠性较差。而基于系统局部信息反馈的分散控制策略,设计简单可靠性高。由于分散控制采用系统局部信号反馈的控制方法,少数作动器的失效并不会致使整个系统的控制失败,更适于实际应用。
但是分散控制策略的作动器控制力仅采用建筑物的相邻两层测量信号进行控制,虽然能够控制住结构的响应,但信息过少,控制效果不好。为达到更好的控制效果,在鲁棒控制策略基础上,通过设置特殊矩阵的方式,提出一种基于建筑物相邻四层信号的鲁棒分散控制方法。从动力仿真的结果来看,该方法的控制效果比仅依靠相邻二层信号的控制效果好得多。
对于建筑结构在地震激励下的振动控制,传统鲁棒集中控制策略的系统复杂且可靠性相对较低,当其中少数作动器的失效就可能导致整个控制系统控制失败。因此,具有系统简单可靠性高等优点的鲁棒分散控制策略,在保证控制效果的情况下,可以一定程度上弥补鲁棒集中控制策略的不足。
实施例5
在上一实施例的基础上,所述统计效率数据处理域内的数据处理单元的使用率的方法包括:
Figure BDA0002950984060000101
Figure BDA0002950984060000102
其中,α为效率数据处理域的周长,定义为所有节点按照顺序顺次连接的长度;β为顺次连接的节点形成的路线的转折数,取值为:N-1,vt为效率数据处理域的起始点,vl为效率数据处理域的终点,
Figure BDA0002950984060000103
表示效率数据处理域的直径长度,
Figure BDA0002950984060000104
为所有测试单元的使用率的平均值,<>表示取差值的绝对值运算,rt,l表示效率数据处理域的网络复杂度,其定义为将效率数据处理域中的所有节点相连接后,构成的多边形的面积,f(rt,l)表示对多边形的面积进行数据转换,使其数值转换到一个设定的范围内;根据计算出的效率数据处理域的效率进行排序,将效率最高的对应的效率数据处理域,作为最终的构建的效率数据处理域。
具体的,本发明通过将数据处理任务的数据进行分发后,再进行并行的数据处理,以提升数据处理的效率,同时又将各个数据处理单元中的数据使用全局数据处理树进行关联,以实现数据处理任务的协同,在一方面,降低了单个数据处理单元进行数据处理时的数据负荷,另一方面,又保证了数据处理的效率和准确率。
实施例6
一种数据负荷自平衡的分散控制装置,所述系统包括:由多个数据处理单元构成的数据处理区块链网络;所述多个数据处理单元以区块链网络的连接结构,彼此互联,构成数据处理区块链网络;同时,设置一个分散控制单元,作为数据处理区块链网络的入口。
实施例7
在上一实施例的基础上,所述分散控制单元首先接收数据处理任务的指令和数据处理任务的数据;若数据处理任务为单任务,则进入单任务分散控制模式;若数据处理任务为多任务,则进入多任务分散控制模式;在单任务分散控制模式下,首先进行数据分发,将数据分发至每个数据处理单元中,在数据分发过程中,以数据处理单元为节点,建立数据处理区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理;在多任务分散控制模式下,首先进行任务区块划分,具体包括:根据任务的数量,每个任务的数据量的大小,将数据处理区块链网络划分为多个子任务区块链网络,在每个子任务区块链网络中,指定一个数据处理单元作为子分散控制单元,将每个任务对应的数据分发至每个任务对应的子任务区块链网络中的子分散控制单元,子分散控制单元在所在的子任务区块链网络中进行数据分发,基建立子任务区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理。
具体的,本发明主要通过以下过程实现:
1.数据的分发和分散控制:本发明通过将数据分散到各个数据处理单元中进行数据处理,同时在数据处理的同时,统计各个数据处理单元的使用率,以确保各个处理单元的使用率在设定的阈值范围内,以提升数据处理单元的使用率,也使得数据负荷能够达到相对的平衡;
2.全局关键字数据处理树的建立:针对分发和分散的数据,本发明使用全局关键字数据处理树建立连接,以确保数据在处理过程中,能够保持联系,确保数据处理的效率不会因为分散和分发降低,同时,由于建立了全局关键字数据处理树,提升了各个数据处理单元的协同数据处理能力,进一步提升了数据处理的效率;
3.数据处理单元的使用率的统计:本发明统计效率数据处理域内的数据处理单元的使用率的方法使用如下公式:
Figure BDA0002950984060000121
Figure BDA0002950984060000122
该方法统计得到的数据处理单元的使用率,统计结果更加准确。
实施例9
在上一实施例的基础上,所述步骤3和步骤4中,全局关键字数据处理树的建立方法包括:步骤S1:将数据处理任务中的数据的每一个值,指定一个对应的键,形成键值对,确立一个主键值,同时,指定第一个接收到数据的数据处理单元为主节点,根据主键值类型在主节点抽取得到数据主键值,在所述主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点,同时建立全局关键字数据处理树索引;主键值类型包括文本属性取值、数值区间取值以及空间栅格三种基本类型;步骤S2:根据所述全局关键字数据处理树索引将数据分发到所述主键值对应的从节点。
实施例10
在上一实施例的基础上,所述包括以下步骤:利用预先注册的分发策略从当前数据中提取指定的列对应的数据取值构成当前数据属性,根据策略类型抽取该属性作为当前数据的主键值;所述分发策略信息注册在全局关键字分区表中,根据当前数据表对应类型的全局关键字数据处理树获取当前数据键值对应的映射关系对;通过这一映射关系对绑定特定的从节点,实现基于主键值取值的定向发送;其中,全局关键字数据处理树由一存放在根结点的全局关键字分区表和一组关键字到分发从节点标识的映射组成;根据所述主键值类型建立与全局关键字数据处理树索引一一对应的数据处理树索引包括:关键词/字索引、关键值索引以及空间栅格索引三种基本类型;在所述从节点接受数据分发请求,在本地将数据存储在子节点中。
在上一实施例的基础上,所述基于建立的全局关键字数据处理树,进行数据处理的方法包括:每个数据处理单元基于建立的全局关键字数据处理树进行数据处理;在数据处理的同时,随机划分一个效率数据处理域,统计效率数据处理域内的数据处理单元的使用率;基于统计得到的使用率,进行数据的重新分配,将使用率高于设定值的数据处理单元中的数据抽取部分,分配到使用率低于设定值的数据处理单元中。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的系统,仅以上述各功能单元的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能单元来完成,即将本发明实施例中的单元或者步骤再分解或者组合,例如,上述实施例的单元可以合并为一个单元,也可以进一步拆分成多个子单元,以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称,仅仅是为了区分各个单元或者步骤,不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应能够意识到,结合本文中所公开的实施例描述的各示例的单元、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“另一部分”等是配置用于区别类似的对象,而不是配置用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术标记作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述,仅为本发明的较佳实施例而已,并非配置用于限定本发明的保护范围。

Claims (10)

1.数据负荷自平衡的分散控制方法,其特征在于,所述方法执行以下步骤:
步骤1:将多个数据处理单元以区块链网络的连接结构,彼此互联,构成数据处理区块链网络;同时,设置一个分散控制单元,作为数据处理区块链网络的入口;
步骤2:分散控制单元首先接收数据处理任务的指令和数据处理任务的数据;若数据处理任务为单任务,则进入单任务分散控制模式;若数据处理任务为多任务,则进入多任务分散控制模式;
步骤3:在单任务分散控制模式下,首先进行数据分发,将数据分发至每个数据处理单元中,在数据分发过程中,以数据处理单元为节点,建立数据处理区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理;
步骤4:在多任务分散控制模式下,首先进行任务区块划分,具体包括:根据任务的数量,每个任务的数据量的大小,将数据处理区块链网络划分为多个子任务区块链网络,在每个子任务区块链网络中,指定一个数据处理单元作为子分散控制单元,将每个任务对应的数据分发至每个任务对应的子任务区块链网络中的子分散控制单元,子分散控制单元在所在的子任务区块链网络中进行数据分发,基建立子任务区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理。
2.如去权利要求1所述的方法,其特征在于,所述步骤3和步骤4中,全局关键字数据处理树的建立方法包括:步骤S1:将数据处理任务中的数据的每一个值,指定一个对应的键,形成键值对,确立一个主键值,同时,指定第一个接收到数据的数据处理单元为主节点,根据主键值类型在主节点抽取得到数据主键值,在所述主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点,同时建立全局关键字数据处理树索引;主键值类型包括文本属性取值、数值区间取值以及空间栅格三种基本类型;步骤S2:根据所述全局关键字数据处理树索引将数据分发到所述主键值对应的从节点。
3.如权利要求2所述的方法,其特征在于,所述包括以下步骤:利用预先注册的分发策略从当前数据中提取指定的列对应的数据取值构成当前数据属性,根据策略类型抽取该属性作为当前数据的主键值;所述分发策略信息注册在全局关键字分区表中,根据当前数据表对应类型的全局关键字数据处理树获取当前数据键值对应的映射关系对;通过这一映射关系对绑定特定的从节点,实现基于主键值取值的定向发送;其中,全局关键字数据处理树由一存放在根结点的全局关键字分区表和一组关键字到分发从节点标识的映射组成;根据所述主键值类型建立与全局关键字数据处理树索引一一对应的数据处理树索引包括:关键词/字索引、关键值索引以及空间栅格索引三种基本类型;在所述从节点接受数据分发请求,在本地将数据存储在子节点中。
4.如权利要求3所述的方法,其特征在于,所述基于建立的全局关键字数据处理树,进行数据处理的方法包括:每个数据处理单元基于建立的全局关键字数据处理树进行数据处理;在数据处理的同时,随机划分一个效率数据处理域,统计效率数据处理域内的数据处理单元的使用率;基于统计得到的使用率,进行数据的重新分配,将使用率高于设定值的数据处理单元中的数据抽取部分,分配到使用率低于设定值的数据处理单元中。
5.如权利要求4所述的方法,其特征在于,所述统计效率数据处理域内的数据处理单元的使用率的方法包括:
Figure FDA0002950984050000021
Figure FDA0002950984050000022
其中,α为效率数据处理域的周长,定义为所有节点按照顺序顺次连接的长度;β为顺次连接的节点形成的路线的转折数,取值为:N-1,vt为效率数据处理域的起始点,vl为效率数据处理域的终点,
Figure FDA0002950984050000023
表示效率数据处理域的直径长度,
Figure FDA0002950984050000024
为所有测试单元的使用率的平均值,<>表示取差值的绝对值运算,rt,l表示效率数据处理域的网络复杂度,其定义为将效率数据处理域中的所有节点相连接后,构成的多边形的面积,f(rt,l)表示对多边形的面积进行数据转换,使其数值转换到一个设定的范围内;根据计算出的效率数据处理域的效率进行排序,将效率最高的对应的效率数据处理域,作为最终的构建的效率数据处理域。
6.一种基于权利要求1至5之一所述系统的数据负荷自平衡的分散控制装置,其特征在于,所述系统包括:由多个数据处理单元构成的数据处理区块链网络;所述多个数据处理单元以区块链网络的连接结构,彼此互联,构成数据处理区块链网络;同时,设置一个分散控制单元,作为数据处理区块链网络的入口。
7.如权利要求6所述的装置,其特征在于,所述分散控制单元首先接收数据处理任务的指令和数据处理任务的数据;若数据处理任务为单任务,则进入单任务分散控制模式;若数据处理任务为多任务,则进入多任务分散控制模式;在单任务分散控制模式下,首先进行数据分发,将数据分发至每个数据处理单元中,在数据分发过程中,以数据处理单元为节点,建立数据处理区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理;在多任务分散控制模式下,首先进行任务区块划分,具体包括:根据任务的数量,每个任务的数据量的大小,将数据处理区块链网络划分为多个子任务区块链网络,在每个子任务区块链网络中,指定一个数据处理单元作为子分散控制单元,将每个任务对应的数据分发至每个任务对应的子任务区块链网络中的子分散控制单元,子分散控制单元在所在的子任务区块链网络中进行数据分发,基建立子任务区块链网络的全局关键字数据处理树;再基于建立的全局关键字数据处理树,进行数据处理。
8.如权利要求7所述的装置,其特征在于,所述步骤3和步骤4中,全局关键字数据处理树的建立方法包括:步骤S1:将数据处理任务中的数据的每一个值,指定一个对应的键,形成键值对,确立一个主键值,同时,指定第一个接收到数据的数据处理单元为主节点,根据主键值类型在主节点抽取得到数据主键值,在所述主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点,同时建立全局关键字数据处理树索引;主键值类型包括文本属性取值、数值区间取值以及空间栅格三种基本类型;步骤S2:根据所述全局关键字数据处理树索引将数据分发到所述主键值对应的从节点。
9.如权利要求8所述的装置,其特征在于,所述包括以下步骤:利用预先注册的分发策略从当前数据中提取指定的列对应的数据取值构成当前数据属性,根据策略类型抽取该属性作为当前数据的主键值;所述分发策略信息注册在全局关键字分区表中,根据当前数据表对应类型的全局关键字数据处理树获取当前数据键值对应的映射关系对;通过这一映射关系对绑定特定的从节点,实现基于主键值取值的定向发送;其中,全局关键字数据处理树由一存放在根结点的全局关键字分区表和一组关键字到分发从节点标识的映射组成;根据所述主键值类型建立与全局关键字数据处理树索引一一对应的数据处理树索引包括:关键词/字索引、关键值索引以及空间栅格索引三种基本类型;在所述从节点接受数据分发请求,在本地将数据存储在子节点中。
10.如权利要求9所述的装置,其特征在于,所述基于建立的全局关键字数据处理树,进行数据处理的方法包括:每个数据处理单元基于建立的全局关键字数据处理树进行数据处理;在数据处理的同时,随机划分一个效率数据处理域,统计效率数据处理域内的数据处理单元的使用率;基于统计得到的使用率,进行数据的重新分配,将使用率高于设定值的数据处理单元中的数据抽取部分,分配到使用率低于设定值的数据处理单元中。
CN202110215185.8A 2021-02-24 2021-02-24 数据负荷自平衡的分散控制方法及装置 Active CN113094556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110215185.8A CN113094556B (zh) 2021-02-24 2021-02-24 数据负荷自平衡的分散控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110215185.8A CN113094556B (zh) 2021-02-24 2021-02-24 数据负荷自平衡的分散控制方法及装置

Publications (2)

Publication Number Publication Date
CN113094556A true CN113094556A (zh) 2021-07-09
CN113094556B CN113094556B (zh) 2021-11-02

Family

ID=76667694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110215185.8A Active CN113094556B (zh) 2021-02-24 2021-02-24 数据负荷自平衡的分散控制方法及装置

Country Status (1)

Country Link
CN (1) CN113094556B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457319A (zh) * 2019-07-31 2019-11-15 阿里巴巴集团控股有限公司 区块链状态数据存储方法及装置、电子设备
US20200394181A1 (en) * 2019-06-13 2020-12-17 Tyson York Winarski Big data blockchains with merkle trees
CN112100185A (zh) * 2020-11-03 2020-12-18 江西云本数字科技有限公司 区块链数据平衡负载的索引系统及方法
CN112380209A (zh) * 2020-10-29 2021-02-19 华东师范大学 一种面向区块链多通道状态数据的聚集结构树方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200394181A1 (en) * 2019-06-13 2020-12-17 Tyson York Winarski Big data blockchains with merkle trees
CN110457319A (zh) * 2019-07-31 2019-11-15 阿里巴巴集团控股有限公司 区块链状态数据存储方法及装置、电子设备
CN112380209A (zh) * 2020-10-29 2021-02-19 华东师范大学 一种面向区块链多通道状态数据的聚集结构树方法
CN112100185A (zh) * 2020-11-03 2020-12-18 江西云本数字科技有限公司 区块链数据平衡负载的索引系统及方法

Also Published As

Publication number Publication date
CN113094556B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN103309738B (zh) 用户作业调度方法及装置
Liu et al. Task scheduling in fog enabled Internet of Things for smart cities
DE602006013128D1 (de) Empfangen von daten gemäss eines datentransferprotokolls von daten, die ein beliebiges einer mehrzahl von empgangsgeräten gerichtet sind
CN109933631A (zh) 基于Infiniband网络的分布式并行数据库系统及数据处理方法
CN101883094B (zh) 嵌入式通用即插即用工业监控网络数据库服务系统
CN105959347B (zh) 一种基于p2p网络的全数字协同仿真系统通信方法
CN105022717A (zh) 附加请求数优先级的片上网络资源仲裁方法及仲裁单元
CN109831524A (zh) 一种负载均衡处理方法及装置
CN102110014A (zh) 虚拟机负载均衡处理的方法
CN104615684A (zh) 一种海量数据通信并发处理方法及系统
CN103530247B (zh) 一种基于多服务器节点间总线访问的优先权调配方法
CN108920111A (zh) 数据共享方法及分布式数据共享系统
Guo Aggregating uncertain incast transfers in BCube-like data centers
CN113094556B (zh) 数据负荷自平衡的分散控制方法及装置
CN106776014A (zh) 异构计算中的并行加速方法及系统
CN111858656A (zh) 一种基于分布式架构的静态数据的查询方法和设备
Wu et al. Optimization design and realization of ceph storage system based on software defined network
CN114760318A (zh) 一种边缘计算管理方法及系统
CN112541038A (zh) 时序数据管理方法、系统、计算设备及存储介质
CN111835791B (zh) 一种bgp安全事件快速检测系统
CN112954022A (zh) 一种基于智能变电站的多并发实时通信方法及装置
CN106850345B (zh) 一种网络用户状态的监测及查询方法
CN105765569B (zh) 一种数据分发方法,装载机及存储系统
CN113965623B (zh) 基于移动代理的工业控制网络数据采集系统
CN115062771B (zh) 一种分布式机器学习梯度汇聚方法、装置及模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant