CN117032997A - 数据与算力资源融合方法、系统和计算机设备 - Google Patents
数据与算力资源融合方法、系统和计算机设备 Download PDFInfo
- Publication number
- CN117032997A CN117032997A CN202311294096.2A CN202311294096A CN117032997A CN 117032997 A CN117032997 A CN 117032997A CN 202311294096 A CN202311294096 A CN 202311294096A CN 117032997 A CN117032997 A CN 117032997A
- Authority
- CN
- China
- Prior art keywords
- storage
- data
- computing cloud
- network
- storage computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 8
- 230000001276 controlling effect Effects 0.000 claims abstract description 4
- 230000001105 regulatory effect Effects 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 49
- 108091026890 Coding region Proteins 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了数据与算力资源融合方法、系统和计算机设备,包括建立用于存储计算集群,并在每个存储计算云网内通过数学存储模型构建所有存储单元的双向链接关系;将相邻两个存储计算云网之间建立关联通道,所有存储计算云网中相同的存储单元通过关联通道进行数据连接,所有存储单元通过关联通道和链接关系形成数据融合立体网;识别访问存储计算云网的数据平台身份,基于数据平台身份调控数据融合立体网的节点通断,以控制数据平台对存储计算云网的访问深度,基于数据平台的请求限制数据平台在存储计算集群的流动路径;本发明将存储计算云网的不同存储单元之间形成数据融合立体网,具保证数据存储和访问工作的准确性,提高资源融合工作的精度。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及数据与算力资源融合方法、系统和计算机设备。
背景技术
广义上,算力是计算机设备或计算/数据中心处理信息的能力,是计算机硬件和软件配合共同执行某种计算需求的能力,狭义定义是一台计算机具备的理论上最大的每秒浮点运算次数,但是,计算机不光具有运算能力,还有数据存储与访问能力、与外界的数据交换能力、数据显示能力等。
现有基于算力运算的资源融合方式大多是各个数据平台将各自的数据保存在计算机设备内,由于各个计算机设备保存在不同的网络环境内,因此当访问数据时,需要对网络环境进行转换,从而影响数据融合的效率,因此需要一种对多个数据平台进行资源融合的算力系统。
而现有利用多个数据平台算力系统中,缺少对不同请求指令下的访问路径限制工作,而是通过不断的身份认证来提高算力资源系统的安全性,这种操作使得频繁的进行身份认证,降低每个数据平台的数据操作的流畅性,影响工作效率和智能化处理。
发明内容
本发明的目的在于提供数据与算力资源融合方法、系统和计算机设备,以解决现有技术中,由于频繁的进行身份认证,降低每个数据平台的数据操作的流畅性,影响工作效率和智能化处理的技术问题。
为解决上述技术问题,本发明具体提供下述技术方案:
数据与算力资源融合方法,包括以下步骤:
建立用于融合多源异构数据平台的存储计算集群,所述存储计算集群内的所有存储计算云网能够与多源异构的数据平台建立互连,并在每个所述存储计算云网内通过数学存储模型构建该所述存储计算云网内所有存储单元的双向链接关系;
将相邻两个所述存储计算云网之间建立关联通道,所有存储计算云网中相同的所述存储单元通过所述关联通道进行数据连接,所有存储单元通过关联通道和链接关系形成数据融合立体网;
识别访问所述存储计算云网的数据平台身份,基于数据平台身份调控所述数据融合立体网的节点通断,以控制数据平台对所述存储计算云网的访问深度,基于所述数据平台的请求限制所述数据平台在所述存储计算集群的流动路径。
作为本发明的一种优选方案,参与数据融合的所述数据平台在所述存储计算云网内具备数据写入功能和数据读取功能;
其中,每个所述数据平台按照所述存储计算云网的编码顺序在所分配的所述存储单元内依次写入数据;
每个所述数据平台按照所述存储计算云网的编码顺序依次访问所有存储计算云网内的存储数据。
作为本发明的一种优选方案,每个所述存储计算云网具备定值存储容量,利用所述数学存储模型构建每个所述存储计算云网内所有存储单元的链接关系的实现步骤为:
划分存储单元,每个所述存储计算云网根据其对应所述数据平台的数量划分为多个柔性存储结构的存储单元,每个所述存储单元的存储容量分为基准容量和活动容量,所有存储单元的总存储容量小于所述存储计算云网具备的定值存储容量;
设置访问遍历路径,每个所述存储单元的访问遍历路径分为本体遍历路径和链接遍历路径,同一个所述存储单元的所有存储单元之间通过链接遍历路径一一建立链接关系,所述数据平台经过链接关系访问同一所述存储计算云网内的其它任一存储单元。
作为本发明的一种优选方案,按照所述存储计算云网的编码顺序依次将相邻两个所述存储计算云网之间建立关联通道,具体的实现方式为:
对所述存储计算云网进行编码,并按照编码顺序设定所有存储计算云网的分布次序;
按照分布次序将所述存储计算云网内两个相同的所述存储单元之间设定单向的关联通道,单向所述关联通道设定所述数据平台按照分布次序依次跳转至下一个所述存储单元。
作为本发明的一种优选方案,两个相邻的所述存储计算云网的同一个所述存储单元建立单向的关联通道;
实时监控每个所述存储计算云网的剩余容量,所述存储计算云网根据所述存储计算云网的剩余容量自动将每个所述数据平台的数据分配至当前所述存储单元进行数据存储,或将每个所述数据平台的数据通过所述关联通道转移至下一个所述存储单元进行数据存储;
两个相邻的所述存储计算云网的同一个所述存储单元之间的关联通道为通用通道,所述关联通道形成所述数据平台的存储路径以及所述数据平台的访问遍历路径。
作为本发明的一种优选方案,在分布次序最前的所述存储计算云网进行身份识别认证,并识别所述数据平台的操作类型,并基于身份识别认证结果、操作类型和所述存储计算云网的剩余容量控制所述数据融合立体网的通断,以控制所述数据融合立体网的连通层级;
将身份识别认证结果、操作类型和存储计算云网的剩余容量设置为影响所述数据融合立体网的通断的影响因子,基于影响因子设定所述数据融合立体网的连通深度,以及该所述数据融合立体网的链接关系通断。
作为本发明的一种优选方案,设定影响所述数据融合立体网的连通深度的具体实现步骤为:
以身份识别认证结果作为影响所述数据融合立体网的连通深度的第一优先级,以操作类型作为影响所述数据融合立体网的连通深度的第二优先级,以当前所述存储计算云网的剩余容量作为影响所述数据融合立体网的连通深度的第三优先级;
其中,在操作类型为访问工作的情况下,仅根据身份识别认证结果和操作类型确定所述数据融合立体网的连通深度;
在操作类型为存储工作的情况下,根据身份识别认证结果、操作类型和当前所述存储计算云网的剩余容量共同确定所述数据融合立体网的连通深度。
作为本发明的一种优选方案,设定在所述数据融合立体网的连通深度下的所有存储单元的链接关系通断的具体实现步骤为:
在操作类型为存储工作的情况下,仅根据操作类型确定设定当前所述数据融合立体网的连通深度下的不同存储单元之间的链接关系断开;
在操作类型为访问工作的情况下,仅根据身份识别认证结果确定设定当前所述数据融合立体网的连通深度下的不同存储单元之间的链接关系通断。
另一方面,本发明提供了数据与算力资源融合方法的资源融合系统,包括:
硬件存储模块,分为多个建立单向关联通道的存储计算云网,每个所述存储计算云网分为多个相互建立双向链接关系的存储单元,每个存储单元能够存储参与数据融合的单个特定数据平台产生的数据,且所有存储单元形成数据融合立体网;
软件判定模块,包括设置在其中一个存储计算云网上的身份识别认证单元和操作类型识别单元,以及设置在每个所述存储计算云网上的容量监控单元,所述身份识别认证单元、操作类型识别单元和容量监控单元共同决定所述存储计算云网形成的数据融合立体网的连通深度,以及所述存储单元之间的链接关系;
其中,软件判定模块分为存储选择模块和访问选择模块;
存储选择模块在参与数据融合的所述数据平台请求写入所述存储计算云网时,通过多个存储计算云网之间的相同存储单元的关联通道,将数据平台的数据按序写入不同的存储计算云网;
访问选择模块在参与数据融合的所述数据平台所述数据平台请求访问所述存储计算云网时,通过双向链接关系以及多个存储计算云网之间的相同存储单元的关联通道,将数据平台转至目标所述存储单元进行数据访问。
另一方面,本发明提供了基于资源融合系统的计算机设备,该计算机设备经过网络交换机与不同网域环境的所述数据平台进行互联,每个所述数据平台直接通过匹配的网络通道与所述计算机设备连接进行数据存储或者数据访问,无需进行网络转换。
本发明与现有技术相比较具有如下有益效果:
本发明将参与资源融合的所有数据平台的数据进行云存储,存储计算云网被配置为多种网络环境,可以与不同网络环境的数据平台进行互连,因此当不同网络环境的数据平台进行数据交互时,无需调配网络数据,直接与存储计算云网进行互联访问数据,实现方便更加简单方便,提高资源融合工作的智能化和高速化。
另外,将存储计算云网的不同存储单元之间形成数据融合立体网,根据每个数据平台的身份识别结果、操作类型和每个存储计算云网的剩余容量来调整数据融合立体网的纵向连通深度,以及横向链接关系的通断,从而预先形成一个数据流通渠道,然后具体根据请求指令的分解具体选择数据访问方式,保证数据存储和访问工作的准确性,提高资源融合工作的精度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例的数据与算力资源融合方法的流程示意图;
图2为本发明实施例的数据与算力资源融合系统的结构框图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1和图2所示,本发明提供了数据与算力资源融合方法,包括以下步骤:
第一步:搭建单个存储计算云网的工作环境,以及单个存储计算云网内多个存储单元的链接关系;
建立用于融合多源异构数据平台的存储计算集群,存储计算集群内的所有存储计算云网能够与多源异构的数据平台建立互连,并在每个存储计算云网内通过数学存储模型构建该存储计算云网内所有存储单元的双向链接关系。
第二步:将所有存储计算云网构建数据融合立体网;
将相邻两个存储计算云网之间建立关联通道,所有存储计算云网中相同的存储单元通过关联通道进行数据连接,所有存储单元通过关联通道和链接关系形成数据融合立体网。
参与数据融合的数据平台在存储计算云网内具备数据写入功能和数据读取功能。
其中,每个数据平台按照存储计算云网的编码顺序在所分配的存储单元内依次写入数据。
每个数据平台按照存储计算云网的编码顺序依次访问所有存储计算云网内的存储数据。
由于存储计算集群内包含至少两个存储计算云网,为了提高数据写入的顺序,方便后期的数据查询工作,以及为了提高数据遍历访问的有序性,避免重复遍历导致数据读取时间长的问题。
即按照存储计算云网的编码顺序依次将相邻两个存储计算云网之间建立关联通道,具体的实现方式为:
对存储计算云网进行编码,并按照编码顺序设定所有存储计算云网的分布次序;
按照分布次序将存储计算云网内两个相同的存储单元之间设定单向的关联通道,单向关联通道设定数据平台按照分布次序依次跳转至下一个存储单元。
本实施方式将参与资源融合的多个数据平台的数据存储在同一个存储集群内,由于该存储计算集群内的所有存储计算云网能够与多源异构的数据平台建立互连,因此每个数据平台向存储计算云网内进行数据写入或者数据读取时,无需转变网络格式,另外,每个数据平台还能够通过双向链接关系读取其他数据平台的数据,同时也无需转变网络格式。
因此本实施方式相对比现有技术进行数据融合时,获取数据的方式更加流畅方便,也更加的智能。
另外,作为本实施方式的优选,针对存储计算集群设置一个统一的网络环境,无需针对多个存储计算云网配置多个网络环境,保证网络环境的统一性。
本实施方式将相邻两个存储计算云网之间通过单向的关联通道连接,因此设定了存储计算云网的编码顺序,在数据写入时,根据存储计算云网的编码顺序和单向的关联通道进行分时段存储,在数据遍历访问时,根据单向的关联通道进行各个存储计算云网的同步独立访问,避免各个存储计算云网的串流访问,从而提高数据访问的效率。
因此本实施方式提供的基于多数据平台的数据资源融合方法,能够根据算力算法,来确定数据融合方式,其中,将每个存储计算云网内所有存储单元设置链接关系,因此参与数据融合的数据平台能够在其网络环境下访问其他数据平台的数据,无需进行网络环境转换。
由于每个存储计算云网具备定值存储容量,利用数学存储模型构建每个存储计算云网内所有存储单元的链接关系的具体实现步骤为:
(1)划分存储单元,每个存储计算云网根据其对应数据平台的数量划分为多个柔性存储结构的存储单元,每个存储单元的存储容量分为基准容量和活动容量,所有存储单元的总存储容量小于存储计算云网具备的定值存储容量。
当每个存储计算云网的所有存储单元的总存储容量达到设定阈值时,则自动通过单向的关联通道,将存储数据以分布次序靠前的存储计算云网中对应的存储单元为媒介,转移至其他分布次序靠后的存储计算云网中相同的存储单元内。
本实施方式人为设定存储次序,方便确定多个数据平台在同一时间范围内产生的数据存储位置,因此方便资源融合工作,也方便资源选择应用工作。
(2)设置访问遍历路径,每个存储单元的访问遍历路径分为本体遍历路径和链接遍历路径,同一个存储单元的所有存储单元之间通过链接遍历路径一一建立链接关系,数据平台经过链接关系访问同一存储计算云网内的其它任一存储单元。
需要补充说明的是,将两个相邻的存储计算云网的同一个存储单元建立单向的关联通道,其中,两个相邻的存储计算云网的同一个存储单元之间的关联通道为通用通道,关联通道形成数据平台的存储路径以及数据平台的访问遍历路径。
由于存储计算集群内的所有存储计算云网能够与多源异构的数据平台建立互连,也就是说,相当于存储计算集群具备多种网络环境,而通过匹配的网络环境与不同网络环境内的数据平台进行互连。
根据上述,本实施方式当两个不同网络环境的数据平台进行资源融合时,先按照自身的网络环境与存储计算集群进行网络通讯,然后直接在存储计算云网内读取相应数据平台对应的存储单元,无需更改网络环境,因此访问操作效率高,更加智能高效。
另外,由于每个存储单元的访问遍历路径分为本体遍历路径和链接遍历路径,当数据平台请求链接遍历路径时,直接跳转至对应的存储单元访问数据,然后按照该存储单元的关联通道继续访问请求读取的数据平台对应的存储单元。
第三步:限制数据融合立体网的连通关系;
识别访问存储计算云网的数据平台身份,基于数据平台身份调控数据融合立体网的节点通断,以控制数据平台对存储计算云网的访问深度,基于数据平台的请求限制数据平台在存储计算集群的流动路径。
本实施方式将多个数据平台进行资源融合工作包括数据写入存储工作,以及数据访问读取工作,两种工作状态下的数据融合立体网的连通状态存在较大的区别。
在数据写入存储工作时,实时监控每个存储计算云网的剩余容量,存储计算云网根据存储计算云网的剩余容量自动将每个数据平台的数据分配至当前存储单元进行数据存储,或将每个数据平台的数据通过关联通道转移至下一个存储单元进行数据存储。
作为本实施方式的另一个优选方案,本实施方式利用单向的关联通道设定了存储计算云网的数据流通方向,因此不管是数据写入工作还是数据访问工作,都需要先进入分布次序最前的存储计算云网,然后基于请求指令的解码,确定是遍历当前存储单元内的数据,还是其他数据平台的数据,并且确定是否向分布次序在后的存储计算云网内进行数据遍历工作。
因此,为了实现参与数据融合的数据平台在存储计算云网内的操作流畅性,仅在分布次序最前的存储计算云网进行身份识别认证,并识别数据平台的操作类型,并基于身份识别认证结果、操作类型和存储计算云网的剩余容量控制数据融合立体网的通断,以控制数据融合立体网的连通层级。
将身份识别认证结果、操作类型和存储计算云网的剩余容量设置为影响数据融合立体网的通断的影响因子,基于影响因子设定数据融合立体网的连通深度,以及该数据融合立体网的链接关系通断。
无需在每个存储计算云网均进行身份识别认证和操作类型识别工作,这样每个存储计算云网只需要识别数据平台的请求指令进行相应的算力操作即可。在本实施方式中,每个数据平台在存储计算云网内的操作类型分为数据写入操作和数据访问读取操作,因此针对不同的操作类型、身份识别认证结果以及当前存储计算云网的剩余容量来调整数据融合立体网的连通关系。其中,设定影响数据融合立体网的连通深度的实现步骤为:
以身份识别认证结果作为影响数据融合立体网的连通深度的第一优先级,以操作类型作为影响数据融合立体网的连通深度的第二优先级,以当前存储计算云网的剩余容量作为影响数据融合立体网的连通深度的第三优先级。
其中,在操作类型为访问工作的情况下,仅根据身份识别认证结果和操作类型确定数据融合立体网的连通深度。
在操作类型为存储工作的情况下,根据身份识别认证结果、操作类型和当前存储计算云网的剩余容量共同确定数据融合立体网的连通深度。
设定在数据融合立体网的连通深度下的所有存储单元的链接关系通断的实现步骤为:
在操作类型为存储工作的情况下,仅根据操作类型确定设定当前数据融合立体网的连通深度下的不同存储单元之间的链接关系断开;
在操作类型为访问工作的情况下,仅根据身份识别认证结果确定设定当前数据融合立体网的连通深度下的不同存储单元之间的链接关系通断。
具体的分类情况为:
对于数据存储工作,在身份识别认证结果为参与数据融合的数据平台,操作类型为存储工作,且当前存储计算云网的剩余容量充足的情况下,设定数据融合立体网的连通深度为当前存储计算云网;
在身份识别认证结果为参与数据融合的数据平台,操作类型为存储工作,且当前存储计算云网的剩余容量不足的情况下,设定数据融合立体网的连通深度为下一分布次序的存储计算云网;
在身份识别认证结果为非参与数据融合的数据平台的情况下,设定数据融合立体网的连通深度为零;
在操作类型为存储工作的情况下,设定当前数据融合立体网的连通深度下的不同存储单元之间的链接关系断开。
对于数据访问工作,在身份识别认证结果为参与数据融合的数据平台,操作类型为访问工作的情况下,基于存在存储数据的存储计算云网编码设定数据融合立体网的连通深度,且将不同存储单元之间的链接关系连通。
在身份识别认证结果为非参与数据融合的数据平台,操作类型为访问工作的情况下,基于存在存储数据的存储计算云网编码设定数据融合立体网的连通深度,且将不同存储单元之间的链接关系断开。
另外,本发明还提供了上述数据与算力资源融合方法的资源融合系统,包括:
硬件存储模块,分为多个建立单向关联通道的存储计算云网,每个存储计算云网分为多个相互建立双向链接关系的存储单元,每个存储单元能够存储参与数据融合的单个特定数据平台产生的数据,且所有存储单元形成数据融合立体网;
软件判定模块,包括设置在其中一个存储计算云网上的身份识别认证单元和操作类型识别单元,以及设置在每个存储计算云网上的容量监控单元,身份识别认证单元、操作类型识别单元和容量监控单元共同决定存储计算云网形成的数据融合立体网的连通深度,以及存储单元之间的链接关系。
其中,软件判定模块分为存储选择模块和访问选择模块;
存储选择模块在参与数据融合的数据平台请求写入存储计算云网时,通过多个存储计算云网之间的相同存储单元的关联通道,将数据平台的数据按序写入不同的存储计算云网。
当非参与数据融合的数据平台请求写入存储计算云网时,直接锁定数据融合立体网,将数据融合立体网的连通深度设为0。
访问选择模块在参与数据融合的数据平台请求访问存储计算云网时,通过双向链接关系以及多个存储计算云网之间的相同存储单元的关联通道,将数据平台转至目标存储单元进行数据访问。
当非参与数据融合的数据平台请求访问存储计算云网时,直接根据存在存储数据的存储计算云网编码设定数据融合立体网的连通深度,且将不同存储单元之间的链接关系断开。
另外,本发明还提供了应用资源融合系统的计算机设备,该计算机设备经过网络交换机与不同网域环境的数据平台进行互联,每个数据平台直接通过匹配的网络通道与计算机设备连接进行数据存储或者数据访问,无需进行网络转换。
本实施方式将现有技术中的数据平台本身之间的资源融合工作,调整至将参与资源融合的所有数据平台的数据进行云存储,存储计算云网被配置为多种网络环境,可以与不同网络环境的数据平台进行互连,因此当不同网络环境的数据平台进行数据交互时,无需调配网络数据,直接与存储计算云网进行互联访问数据,实现方便更加简单方便,提高资源融合工作的智能化和高速化。
另外,将存储计算云网的不同存储单元之间形成数据融合立体网,根据每个数据平台的身份识别结果、操作类型和每个存储计算云网的剩余容量来调整数据融合立体网的纵向连通深度,以及横向链接关系的通断,从而预先形成一个数据流通渠道,然后具体根据请求指令的分解具体选择数据访问方式,保证数据存储和访问工作的准确性,提高资源融合工作的精度。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.数据与算力资源融合方法,其特征在于,包括以下步骤:
建立用于融合多源异构数据平台的存储计算集群,并在每个所述存储计算云网内通过数学存储模型构建该所述存储计算云网内所有存储单元的双向链接关系;
将相邻两个所述存储计算云网之间建立关联通道,所有存储计算云网中相同的所述存储单元通过所述关联通道进行数据连接,所有存储单元通过关联通道和链接关系形成数据融合立体网;
识别访问所述存储计算云网的数据平台身份,基于数据平台身份调控所述数据融合立体网的节点通断,以控制数据平台对所述存储计算云网的访问深度,基于所述数据平台的请求限制所述数据平台在所述存储计算集群的流动路径。
2.根据权利要求1所述的数据与算力资源融合方法,其特征在于,
参与数据融合的所述数据平台在所述存储计算云网内具备数据写入功能和数据读取功能;
其中,每个所述数据平台按照所述存储计算云网的编码顺序在所分配的所述存储单元内依次写入数据;
每个所述数据平台按照所述存储计算云网的编码顺序依次访问所有存储计算云网内的存储数据。
3.根据权利要求2所述的数据与算力资源融合方法,其特征在于,
每个所述存储计算云网具备定值存储容量,利用所述数学存储模型构建每个所述存储计算云网内所有存储单元的链接关系的实现步骤为:
划分存储单元,每个所述存储计算云网根据其对应所述数据平台的数量划分为多个柔性存储结构的存储单元,每个所述存储单元的存储容量分为基准容量和活动容量,所有存储单元的总存储容量小于所述存储计算云网具备的定值存储容量;
设置访问遍历路径,每个所述存储单元的访问遍历路径分为本体遍历路径和链接遍历路径,同一个所述存储单元的所有存储单元之间通过链接遍历路径一一建立链接关系,所述数据平台经过链接关系访问同一所述存储计算云网内的其它任一存储单元。
4.根据权利要求2或3所述的数据与算力资源融合方法,其特征在于,
按照所述存储计算云网的编码顺序依次将相邻两个所述存储计算云网之间建立关联通道,具体的实现方式为:
对所述存储计算云网进行编码,并按照编码顺序设定所有存储计算云网的分布次序;
按照分布次序将所述存储计算云网内两个相同的所述存储单元之间设定单向的关联通道,单向所述关联通道设定所述数据平台按照分布次序依次跳转至下一个所述存储单元。
5.根据权利要求4所述的数据与算力资源融合方法,其特征在于,
两个相邻的所述存储计算云网的同一个所述存储单元建立单向的关联通道;
实时监控每个所述存储计算云网的剩余容量,所述存储计算云网根据所述存储计算云网的剩余容量自动将每个所述数据平台的数据分配至当前所述存储单元进行数据存储,或将每个所述数据平台的数据通过所述关联通道转移至下一个所述存储单元进行数据存储;
两个相邻的所述存储计算云网的同一个所述存储单元之间的关联通道为通用通道,所述关联通道形成所述数据平台的存储路径以及所述数据平台的访问遍历路径。
6.根据权利要求4所述的数据与算力资源融合方法,其特征在于,
在分布次序最前的所述存储计算云网进行身份识别认证,并识别所述数据平台的操作类型,并基于身份识别认证结果、操作类型和所述存储计算云网的剩余容量控制所述数据融合立体网的通断,以控制所述数据融合立体网的连通层级;
将身份识别认证结果、操作类型和存储计算云网的剩余容量设置为影响所述数据融合立体网的通断的影响因子,基于影响因子设定所述数据融合立体网的连通深度,以及该所述数据融合立体网的链接关系通断。
7.根据权利要求6所述的数据与算力资源融合方法,其特征在于,
设定影响所述数据融合立体网的连通深度的具体实现步骤为:
以身份识别认证结果作为影响所述数据融合立体网的连通深度的第一优先级,以操作类型作为影响所述数据融合立体网的连通深度的第二优先级,以当前所述存储计算云网的剩余容量作为影响所述数据融合立体网的连通深度的第三优先级;
其中,在操作类型为访问工作的情况下,仅根据身份识别认证结果和操作类型确定所述数据融合立体网的连通深度;
在操作类型为存储工作的情况下,根据身份识别认证结果、操作类型和当前所述存储计算云网的剩余容量共同确定所述数据融合立体网的连通深度。
8.根据权利要求7所述的数据与算力资源融合方法,其特征在于,
设定在所述数据融合立体网的连通深度下的所有存储单元的链接关系通断的具体实现步骤为:
在操作类型为存储工作的情况下,仅根据操作类型确定设定当前所述数据融合立体网的连通深度下的不同存储单元之间的链接关系断开;
在操作类型为访问工作的情况下,仅根据身份识别认证结果确定设定当前所述数据融合立体网的连通深度下的不同存储单元之间的链接关系通断。
9.基于权利要求1-8任一项所述的数据与算力资源融合方法的资源融合系统,其特征在于,包括:
硬件存储模块,分为多个建立单向关联通道的存储计算云网,每个所述存储计算云网分为多个相互建立双向链接关系的存储单元,每个存储单元能够存储参与数据融合的单个特定数据平台产生的数据,且所有存储单元形成数据融合立体网;
软件判定模块,包括设置在其中一个存储计算云网上的身份识别认证单元和操作类型识别单元,以及设置在每个所述存储计算云网上的容量监控单元,所述身份识别认证单元、操作类型识别单元和容量监控单元共同决定所述存储计算云网形成的数据融合立体网的连通深度,以及所述存储单元之间的链接关系;
其中,软件判定模块分为存储选择模块和访问选择模块;
存储选择模块在参与数据融合的所述数据平台请求写入所述存储计算云网时,通过多个存储计算云网之间的相同存储单元的关联通道,将数据平台的数据按序写入不同的存储计算云网;
访问选择模块在参与数据融合的所述数据平台请求访问所述存储计算云网时,通过双向链接关系以及多个存储计算云网之间的相同存储单元的关联通道,将数据平台转至目标所述存储单元进行数据访问。
10.应用于权利要求9所述的资源融合系统的计算机设备,其特征在于,该计算机设备经过网络交换机与不同网域环境的所述数据平台进行互联,每个所述数据平台直接通过匹配的网络通道与所述计算机设备连接进行数据存储或者数据访问,无需进行网络转换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311294096.2A CN117032997B (zh) | 2023-10-09 | 2023-10-09 | 数据与算力资源融合方法、系统和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311294096.2A CN117032997B (zh) | 2023-10-09 | 2023-10-09 | 数据与算力资源融合方法、系统和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117032997A true CN117032997A (zh) | 2023-11-10 |
CN117032997B CN117032997B (zh) | 2024-01-26 |
Family
ID=88645262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311294096.2A Active CN117032997B (zh) | 2023-10-09 | 2023-10-09 | 数据与算力资源融合方法、系统和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117032997B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118138497A (zh) * | 2024-05-06 | 2024-06-04 | 深圳云天畅想信息科技有限公司 | 云工作站的资源安全监测方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200034248A1 (en) * | 2018-07-30 | 2020-01-30 | Commvault Systems, Inc. | Storing data to cloud libraries in cloud native formats |
US10778597B1 (en) * | 2015-05-21 | 2020-09-15 | EMC IP Holding Company LLC | Orchestration management system and method for managing a resource pool across multiple computing clouds |
CN112800145A (zh) * | 2021-01-27 | 2021-05-14 | 西安重装配套技术服务有限公司 | 基于大数据体系的综采工作面数据融合方法 |
CN113746855A (zh) * | 2021-09-09 | 2021-12-03 | 国网电子商务有限公司 | 一种能源工业云网的数据接入方法及相关设备 |
CN115633048A (zh) * | 2022-09-06 | 2023-01-20 | 深圳市一航网络信息技术有限公司 | 一种基于分布式分发网络存储介质及建设成本控制共识方法 |
CN116455817A (zh) * | 2023-03-23 | 2023-07-18 | 中国人民解放军军事科学院系统工程研究院 | 一种软件定义云网融合架构及路由实现方法 |
-
2023
- 2023-10-09 CN CN202311294096.2A patent/CN117032997B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10778597B1 (en) * | 2015-05-21 | 2020-09-15 | EMC IP Holding Company LLC | Orchestration management system and method for managing a resource pool across multiple computing clouds |
US20200034248A1 (en) * | 2018-07-30 | 2020-01-30 | Commvault Systems, Inc. | Storing data to cloud libraries in cloud native formats |
CN112800145A (zh) * | 2021-01-27 | 2021-05-14 | 西安重装配套技术服务有限公司 | 基于大数据体系的综采工作面数据融合方法 |
CN113746855A (zh) * | 2021-09-09 | 2021-12-03 | 国网电子商务有限公司 | 一种能源工业云网的数据接入方法及相关设备 |
CN115633048A (zh) * | 2022-09-06 | 2023-01-20 | 深圳市一航网络信息技术有限公司 | 一种基于分布式分发网络存储介质及建设成本控制共识方法 |
CN116455817A (zh) * | 2023-03-23 | 2023-07-18 | 中国人民解放军军事科学院系统工程研究院 | 一种软件定义云网融合架构及路由实现方法 |
Non-Patent Citations (1)
Title |
---|
宋亚奇 等: "云平台下输变电设备状态监测大数据存储优化与并行处理", 《中国电机工程学报》, vol. 35, no. 2, pages 255 - 265 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118138497A (zh) * | 2024-05-06 | 2024-06-04 | 深圳云天畅想信息科技有限公司 | 云工作站的资源安全监测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117032997B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117032997B (zh) | 数据与算力资源融合方法、系统和计算机设备 | |
US8984085B2 (en) | Apparatus and method for controlling distributed memory cluster | |
US11968122B2 (en) | Joint optimization method and system for delay and spectrum occupation in cloud-edge collaborative network | |
KR20210132500A (ko) | 연합 학습 시스템 및 방법 | |
Xu et al. | Cnn partitioning and offloading for vehicular edge networks in web3 | |
CN109886693B (zh) | 区块链系统的共识实现方法、装置、设备和介质 | |
CN110427039A (zh) | 一种基于ros2的分布式云导航系统及导航方法 | |
CN109151030B (zh) | 一种物联网物体分布式交互系统、方法 | |
CN111880911A (zh) | 一种任务负载调度方法、装置、设备及可读存储介质 | |
CN113821332B (zh) | 自动机器学习系统效能调优方法、装置、设备及介质 | |
CN109547541B (zh) | 雾计算环境下基于过滤及分配机制的节点低开销协作方法 | |
CN108449383A (zh) | 分布式实时移动微云计算系统 | |
CN106776014A (zh) | 异构计算中的并行加速方法及系统 | |
CN117726153A (zh) | 一种适用于无人机集群作业任务的实时重归划方法 | |
CN107453926B (zh) | 一种电力通信网站点通信带宽估算方法及装置 | |
CN110492908B (zh) | 一种基于区块链技术的电力通讯管理机 | |
Wassing et al. | A machine learning approach for service function chain embedding in cloud datacenter networks | |
CN116961696A (zh) | 一种双模模块通信方法、装置、电子设备及存储介质 | |
CN115087042A (zh) | 5g专网数据分流方法、装置、设备及存储介质 | |
CN105072047B (zh) | 一种报文传输及处理方法 | |
CN115002215A (zh) | 面向云上政企的资源分配模型训练方法以及资源分配方法 | |
CN112256427A (zh) | 一种基于改进分支限界法的大规模资源快速分配装置 | |
CN111245938B (zh) | 机器人集群管理方法、机器人集群、机器人以及相关设备 | |
Lin et al. | Container application migration algorithm in Internet of Vehicles | |
CN113132138B (zh) | 一种基于虚拟网络的分布式训练网络系统及通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |