CN114640690B - 一种文件存储方法、系统、介质和设备 - Google Patents

一种文件存储方法、系统、介质和设备 Download PDF

Info

Publication number
CN114640690B
CN114640690B CN202210534833.0A CN202210534833A CN114640690B CN 114640690 B CN114640690 B CN 114640690B CN 202210534833 A CN202210534833 A CN 202210534833A CN 114640690 B CN114640690 B CN 114640690B
Authority
CN
China
Prior art keywords
storage
storage node
file
node
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210534833.0A
Other languages
English (en)
Other versions
CN114640690A (zh
Inventor
王淑春
李明
郭民
施志龙
韦淑波
余小燕
叶雪强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wireless Operation Branch Of Zhejiang Public Information Industry Co ltd
Original Assignee
Wireless Operation Branch Of Zhejiang Public Information Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wireless Operation Branch Of Zhejiang Public Information Industry Co ltd filed Critical Wireless Operation Branch Of Zhejiang Public Information Industry Co ltd
Priority to CN202210534833.0A priority Critical patent/CN114640690B/zh
Publication of CN114640690A publication Critical patent/CN114640690A/zh
Application granted granted Critical
Publication of CN114640690B publication Critical patent/CN114640690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments

Abstract

本发明涉及一种文件存储方法，该方法包括：实时调度策略制定步骤：根据自定义的存储节点编排规则控制存储节点资源，实时下发调度策略，以动态配置存储节点的调用；文件存储步骤：获取待存储文件，对待存储文件的大小基于阈值进行切片，根据下发的调度策略以及各个待存储的存储节点的健康状态，动态选择最优存储节点，并在最优存储节点进行文件存储。本发明还涉及一种文件存储的系统、介质和设备。本发明解决了不同存储系统的单点故障问题，并实现了实时动态切换存储节点。

Description

一种文件存储方法、系统、介质和设备
技术领域
本发明涉及计算机存储技术领域，尤其涉及一种文件存储方法、装置、介质和设备。
背景技术
当前，随着互联网数据的极具增长，互联网应用对存储的需求越来越高。传统的对象存储方式过于单一，不能很好的处理单个存储系统故障的问题，传统的存储方式仅针对于单一节点的处理，存储环境较为不稳定，且不同存储厂商的对象存储由于存在特性，会有独自的存储系统进行对象的存储，并不能统一适配对外进行其他对象存储。
因此，有必要设计一种新的文件存储方法，实现分布式存储选用各类存储厂商的对象存储，解决对象存储中不同存储系统单点故障问题，能动态切换存储节点。
发明内容
本发明所要解决的技术问题在于克服现有技术的缺陷，提供文件存储方法及装置，实现分布式存储选用各类存储厂商的对象存储，解决对象存储中不同存储系统单点故障问题，能动态切换存储节点。
本发明解决上述技术问题的技术方案如下：
本发明提供一种文件存储方法，该方法包括：
实时调度策略制定步骤：根据自定义的存储节点编排规则控制存储节点资源，实时下发调度策略，以动态配置存储节点的调用；
文件存储步骤：获取待存储文件，对待存储文件的大小基于阈值进行切片，根据下发的调度策略以及各个待存储的存储节点的健康状态，动态选择最优存储节点，并在最优存储节点进行文件存储。
优选的，上述文件存储步骤包括：
存储节点选择步骤：根据下发的调度策略，通过自定义的业务优先调度算法：
N=F(X,o,s)，其中，变量N表示通过业务优先调度算法得到的存储节点列表，方法F（）为具体业务优先调度算法函数名，变量o为当前业务类型参数；变量s为下发的调度策略类型，提供地区优先，配置优先，高响应优先等调度策略的选择；变量X表示规划可选存储节点{x1,x2,x3,...xn}的集合，其中x1,x2到xn为具体规划的存储节点对象。
并依据所述存储节点列表内相关的所有所述存储节点的健康状态采用权重优先排序法：
D=S(N,Y,y)，其中，变量D表示通过节点健康权重优先排序后得到的最优存储节点，方法S()为具体节点健康权重排序函数名，变量N为上述业务优先调度算法筛选出的存储节点列表，变量Y为存储节点集合对应的业务健康状态集合，y为对应业务健康状态权重，选择最优存储节点，动态调度到各个所述最优存储节点进行存储；
动态热备步骤：最优存储节点优先选用内存缓存待存储文件，当内存剩余值小于阈值时，切换为磁盘缓存，并且实时感知最优存储节点的可用性，最优存储节点不可用，则切换到其他可用存储节点。
优选的，上述文件存储步骤还包括：
文件获取步骤：获取来自客户端的存储写入请求，得到待存储文件；
判断步骤：判断待存储文件的大小是否超过设定阈值；
切片步骤：若待存储文件的大小超过设定阈值，则对待存储文件进行切片处理，以得到文件流；
第一缓存步骤：用于本地缓存文件流，以得到本地缓存对象；
第二缓存步骤：用于传输本地缓存对象至最优存储节点，以使最优存储节点根据本地缓存对象动态选择对应的存储单元进行文件存储。
优选的，上述实时调度策略制定步骤包括：
存储列表配置步骤：依赖地区设置或依赖用户配置，根据地区就近获取对应的存储节点列表，或者根据用户配置获取已关联的存储节点列表；
编排规则步骤：存储节点编排规则为对存储节点进行编码处理的规则，存储节点的编码内容包括多个字符，字符含义包括：存储节点的用途编码、节点业务类型、地市编码、预留字段及节点序号。
优选的，上述存储节点选择包括：
列表选择步骤：根据调度策略选择对应的存储节点列表；
状态获取步骤：获取存储节点列表内所有存储节点的健康状态；
筛选步骤：按照健康状态的可用容量以及可用存储单元的数量从高到低进行排序并筛选出符合要求的存储节点；
封装步骤：对存储节点的信息进行封装，得到最优存储节点，健康状态是由存储节点获取自身处理事务的可用能力数，获取所有存储单元的健康信息，并集合所有存储单元的健康信息，统计可用容量以及可用存储单元的数量，并封装可用容量以及可用存储单元的数量形成的。
本发明解决上述技术问题的另一技术方案如下：
本发明提供一种文件存储系统，采用如上所述文件存储方法，系统包括：
实时调度策略制定单元：根据自定义的存储节点编排规则控制存储节点资源，实时下发调度策略动态配置存储节点的调用；
文件存储单元：获取待存储文件，对待存储文件的大小基于阈值进行切片，根据下发的调度策略以及各个待存储的存储节点的健康状态，选择最优存储节点，并在最优存储节点进行文件存储。
优选的，上述文件存储单元包括：
存储节点选择单元：根据下发的调度策略，通过自定义的业务优先调度算法：
N=F(X,o,s)，其中，变量N表示通过所述业务优先调度算法得到的存储节点列表，方法F（）为业务优先调度算法函数名，变量o为当前业务类型参数；变量s为下发的所述调度策略类型，提供地区优先，配置优先，高响应优先调度策略的选择；变量X表示规划可选存储节点{x1,x2,x3,...xn}的集合，其中，x1,x2,x3,...xn为具体规划的存储节点对象；
并依据所述存储节点列表内相关的所有所述存储节点的健康状态采用权重优先排序法：
D=S(N,Y,y)，其中，变量D表示通过节点健康权重优先排序后得到的最优存储节点，方法S()为具体节点健康权重排序函数名，变量N为上述业务优先调度算法筛选出的存储节点列表，变量Y为存储节点集合对应的业务健康状态集合，y为对应业务健康状态权重，选择最优存储节点，动态调度到各个所述最优存储节点进行存储；
动态热备单元：最优存储节点优先选用内存缓存待存储文件，当内存剩余值小于阈值时，切换为磁盘缓存，并且实时感知最优存储节点的可用性，最优存储节点不可用，则切换到其他可用存储节点。
优选的，上述实时调度策略制定单元包括：
存储列表配置单元：依赖地区设置或依赖用户配置，根据地区就近获取对应的存储节点列表，或者根据用户配置获取已关联的存储节点列表；
编排规则单元：存储节点编排规则为对存储节点进行编码处理的规则，存储节点的编码内容包括多个字符，字符含义包括：存储节点的用途编码、节点业务类型、地市编码、预留字段及节点序号。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于环境数字证书的电子水印的方法的步骤。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述基于环境数字证书的电子水印的方法的步骤。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本发明文件存储方法的流程示意图；
图2是本发明实施例提供的文件存储方法的应用场景示意图；
图3是本发明实施例提供的文件存储方法的示意性流程图；
图4是本发明实施例健康状态选择的流程示意图；
图5是本发明实施例文件存储装置的示意图；
图6是本发明实施节点选择单元的示意图；
图7是本发明实施例计算机设备系统的示意图；
图8是本发明文件存储系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本发明旨在提供一种本发明通过根据待存储文件的大小进行切片，根据管理平台下发的调度策略，选择对应的存储节点列表，并依据存储节点列表内相关的所有存储节点的健康状态选择最优存储节点进行存储，动态调度到各个存储节点进行存储，解决对象存储中不同存储系统单点故障问题，实现分布式存储选用各类存储厂商的对象存储，能动态切换存储节点。
如图1所示，本发明实施例提供的一种文件存储方法，该方法包括：
实时调度策略制定步骤S10：根据自定义的存储节点编排规则控制存储节点资源，实时下发调度策略，以动态配置存储节点的调用；
文件存储步骤S20：获取待存储文件，对待存储文件的大小基于阈值进行切片，根据下发的调度策略以及各个待存储的存储节点的健康状态，动态选择最优存储节点，并在最优存储节点进行文件存储。
优选的，上述实时调度策略制定步骤S10包括：
存储列表配置步骤：依赖地区设置或依赖用户配置，根据地区就近获取对应的存储节点列表，或者根据用户配置获取已关联的存储节点列表；
编排规则步骤：存储节点编排规则为对存储节点进行编码处理的规则，存储节点的编码内容包括多个字符，字符含义包括：存储节点的用途编码、节点业务类型、地市编码、预留字段及节点序号。
优选的，上述文件存储步骤S20包括：
存储节点选择步骤：根据下发的调度策略，通过自定义的业务优先调度算法：
N=F(X,o,s)，其中，变量N表示通过所述业务优先调度算法得到的存储节点列表，方法F（）为业务优先调度算法函数名，变量o为当前业务类型参数；变量s为下发的所述调度策略类型，提供地区优先，配置优先，高响应优先调度策略的选择；变量X表示规划可选存储节点{x1,x2,x3,...xn}的集合，其中，x1,x2,x3,...xn为具体规划的存储节点对象；
并依据所述存储节点列表内相关的所有所述存储节点的健康状态采用权重优先排序法：
D=S(N,Y,y)，其中，变量D表示通过节点健康权重优先排序后得到的最优存储节点，方法S()为具体节点健康权重排序函数名，变量N为上述业务优先调度算法筛选出的存储节点列表，变量Y为存储节点集合对应的业务健康状态集合，y为对应业务健康状态权重，选择最优存储节点，动态调度到各个所述最优存储节点进行存储；
动态热备步骤：最优存储节点优先选用内存缓存待存储文件，当内存剩余值小于阈值时，切换为磁盘缓存，并且实时感知最优存储节点的可用性，最优存储节点不可用，则切换到其他可用存储节点。
优选的，上述文件存储步骤S20还包括：
文件获取步骤：获取来自客户端的存储写入请求，得到待存储文件；
判断步骤：判断待存储文件的大小是否超过设定阈值；
切片步骤：若待存储文件的大小超过设定阈值，则对待存储文件进行切片处理，以得到文件流；
第一缓存步骤：用于本地缓存文件流，以得到本地缓存对象；
第二缓存步骤：用于传输本地缓存对象至最优存储节点，以使最优存储节点根据本地缓存对象动态选择对应的存储单元进行文件存储。
优选的，上述存储节点选择包括：
列表选择步骤：根据调度策略选择对应的存储节点列表；
状态获取步骤：获取存储节点列表内所有存储节点的健康状态；
筛选步骤：按照健康状态的可用容量以及可用存储单元的数量从高到低进行排序并筛选出符合要求的存储节点；
封装步骤：对存储节点的信息进行封装，得到最优存储节点，健康状态是由存储节点获取自身处理事务的可用能力数，获取所有存储单元的健康信息，并集合所有存储单元的健康信息，统计可用容量以及可用存储单元的数量，并封装可用容量以及可用存储单元的数量形成的。
以下结合附图对本发明解决上述技术问题的技术方案如下：
如图2和图3所示，图2是本发明实施例提供的文件存储方法的应用场景示意图。图3是本发明实施例提供的文件存储方法的示意性流程图。本发明提供的文件存储方法包括：
1）获取来自客户端的存储写入请求，以得到待存储文件；
2）判断所述待存储文件的大小是否超过设定阈值；
3）若所述待存储文件的大小超过设定阈值，则对所述待存储文件进行切片处理，以得到文件流；
4）本地缓存所述文件流，以得到本地缓存对象；
5）根据所有存储节点的健康状态选择最优存储节点；
6）传输所述本地缓存对象至最优存储节点，以使所述最优存储节点根据所述本地缓存对象动态选择对应的存储单元进行文件存储;
7）所述根据所有存储节点的健康状态选择最优存储节点，包括：
8）获取来自管理平台的调度策略；具体是根据自定义的存储节点编排规则控制存储节点资源，下发调度策略动态配置存储节点的调用；存储节点编排规则是指对存储节点进行编码处理的规则，存储节点的编码内容包括八个字符，第一个字符为存储节点的用途编码、第二个字符为节点业务类型、第三个字符以及第四个字符为地市编码、第五个字符为预留字段，最后三个字符为节点序号；也就是调度策略是存储节点的编码内容以及监控的情况来决定的，每个存储节点都配备有对应的编码内容;
9）根据所述调度策略选择对应的存储节点列表；
10）获取来自管理平台下发的所述存储节点列表内所有存储节点的健康状态；
11）按照所述健康状态的可用容量以及可用存储单元的数量从高到低进行排序并筛选出符合要求的存储节点；
12）对所述存储节点的信息进行封装，以得到最优存储节点。
进一步地，对所述待存储文件进行切片处理，得到文件流，包括：
使用TCP分片技术对所述待存储文件进行切片处理，以得到文件流。
进一步地，判断所述待存储文件的大小是否超过设定阈值之后，还包括：
若所述待存储文件的大小不超过设定阈值，则本地存储所述待存储文件，以得到本地缓存对象，并执行所述根据所有存储节点的健康状态选择最优存储节点。
进一步地，健康状态是由存储节点获取自身处理事务的可用能力数，获取所有存储单元的健康信息，并集合所有存储单元的健康信息，统计可用容量及可用存储单元的数量，并封装可用容量以及可用存储单元的数量形成的。
进一步地，存储单元的健康信息是由存储节点获取向总线获取挂载的存储单元列表信息，根据存储单元信息及类别分别检测存储单元的连接情况、容量使用和读写速度，并对检测所得的结果进行缓存和批量上报所得的。
进一步地，调度策略包括根据地区选择存储节点列表的策略以及选择已关联的存储节点列表的策略中至少一种。
如图2和图3，本发明实施例提供的文件存储方法应用于网关服务器中。该网关服务器与客户端、管理平台以及若干个存储节点进行数据交互，其中存储节点是分布式服务平台中的一台服务器，该网关服务器通过获取来自客户端的待存储文件，根据管理平台下发的调度策略以及涉及的存储节点的监控状态选择最优存储节点，并在最优存储节点进行文件存储。
网关服务器面向存储业务的客户端，主要实现文件流的转发，存储节点的调度及重试功能；存储节点囊括底层多种类型的存储能力，接收并网关服务器转发的文件存储请求，主要功能包括文件接收及上传、大文件的事务合并，存储单元和节点的健康检查及上报，接收网关服务器转发的文件流并异步上传到对应的存储单元中去；管理平台下发管理配置控制网关的调度策略和节点的存储能力，主要功能包括调度策略的管理，存储节点、网关服务器和存储单元资源的管理。依据节点上报的健康信息和调度策略统一评分为网关服务器提供可用的存储节点序列；存储单元用于存储的平台、系统或下级存储网关。如S3、NFS、GlusterFs等。
如图3所示，本发明实施例提供的文件存储方法包括以下步骤S110至S170。
S110、获取来自客户端的存储写入请求，以得到待存储文件。
在本实施例中，待存储文件是指由客户端上传至网关服务器的需要进行缓存或存储的对象。
S120、判断所述待存储文件的大小是否超过设定阈值。
在本实施例中，根据待存储文件的大小判断是否需要进行待存储文件的预处理，对于较大的待存储文件进行切片处理，以便于快速且确保成功率地传输到存储节点进行存储。
S130、若所述待存储文件的大小超过设定阈值，则对所述待存储文件进行切片处理，以得到文件流。
在本实施例中，文件流是指对待存储文件切片后得到的文件片段。
具体地，使用TCP（传输控制协议，Transmission Control Protocol）分片技术对所述待存储文件进行切片处理，以得到文件流。
在TCP中有一个概念叫做最大报文段长度，它规定了TCP的报文段的最大长度，可根据实际情况设置切片大小，即设置最大报文段长度。
S140、本地缓存所述文件流，以得到本地缓存对象。
在本实施例中，本地缓存对象是指缓存在本地指定位置的内容。
将文件流传输到网关服务器的本地进行缓存，当网关服务器出现故障时，也可通过本地缓存获取到对应的待存储文件。
S150、根据所有存储节点的健康状态选择最优存储节点。
在本实施例中，最优存储节点是指根据管理平台下发的调度策略以及所涉及到的存储节点的健康状态筛选所得的符合要求的存储节点。
具体地，所述健康状态是由存储节点获取自身处理事务的可用能力数，获取所有存储单元的健康信息，并集合所有存储单元的健康信息，统计可用容量以及可用存储单元的数量，并封装可用容量以及可用存储单元的数量形成的。
在本实施例中，自身处理事务的可用能力数是指存储节点单元时间内能够处理的文件分片数，即单位时间内所能处理的文件流的数量。
所述存储单元的健康信息是由存储节点获取向总线获取挂载的存储单元列表信息，根据存储单元信息及类别分别检测存储单元的连接情况、容量使用和读写速度，并对检测所得的结果进行缓存和批量上报所得的。具体地，将检测所得的结果批量上报至管理平台，以由管理平台下发至网关服务器。
在本实施例中，在存储节点的维度上统计存储节点的可用容量和可用存储单元的数量等健康信息，根据统一json结构体封装健康信息并上报至管理平台，由管理平台下发至网关服务器。
在一实施例中，如图4所示，上述的步骤S150可包括步骤S151~S155。
S151、获取来自管理平台的调度策略。
在本实施例中，调度策略包括根据地区选择存储节点列表的策略以及选择已关联的存储节点列表的策略中至少一种。
网关服务器向管理平台请求获取可用节点信息，根据网关编号获取调度策略，在此之前，依据实际情况，管理平台会将不同网关编号下的网关服务器设定对应的调度策略。
在本实施例中，具体是根据自定义的存储节点编排规则控制存储节点资源，下发调度策略动态配置存储节点的调用；存储节点编排规则是指对存储节点进行编码处理的规则，存储节点的编码内容包括八个字符，第一个字符为存储节点的用途编码、第二个字符为节点业务类型、第三个字符以及第四个字符为地市编码、第五个字符为预留字段，最后三个字符为节点序号；也就是调度策略是存储节点的编码内容以及监控的情况来决定的，每个存储节点都配备有对应的编码内容。
S152、根据所述调度策略选择对应的存储节点列表。
在本实施例中，存储节点列表是指不同调度策略下所涉及到的存储节点集成的一个列表，其包括存储节点的名称以及健康状态等信息。
依赖地区或依赖配置，默认为根据地区就近获取对应的节点列表，或者可以获取已关联的节点列表，调度策略后期还可根据具体业务场景进行扩充。动态切换存储节点的调度，能通过下发策略配置存储节点的调度。通过配置调度策略，如根据地区、容量、速率等因素按需进行策略存储，使存储离业务侧更近。
S153、获取来自管理平台下发的所述存储节点列表内所有存储节点的健康状态；
S154、按照所述健康状态的可用容量以及可用存储单元的数量从高到低进行排序并筛选出符合要求的存储节点。
具体地，根据存储节点可用容量、可用能力数、异常以及可用存储单元的数量等维度进行从高到低排序，并剔除超过健康阈值的存储节点，如容量过低、异常频率过高。
S155、对所述存储节点的信息进行封装，以得到最优存储节点。
在本实施例中，根据统一json结构体封装可用的存储节点的信息并返回给网关服务器，其中，存储节点的信息包括存储节点的健康状态以及名称等信息。
通过一个网关服务器关联多个存储节点，动态调度到各节存储点的方式，解决对象存储中不同存储系统单点故障问题。通过网关服务器实现业务存储服务与存储单元解耦。
S160、传输所述本地缓存对象至最优存储节点，以使所述最优存储节点根据所述本地缓存对象动态选择对应的存储单元进行文件存储。
在本实施例中，存储节点接收到本地缓存对象后，会将本地缓存对象根据文件ID、分片游标进行文件合并得到最初的待存储文件，并进行本地缓存，本地缓存完毕后会传输至存储单元进行最终的存储。具体地，存储节点根据容量、速率等存储单元的健康因素动态选择存储单元进行文件上传。
存储单元进行文件存储时，通过内存与磁盘实现二级缓存文件，优先选用内存缓存文件，当内存剩余大小小于阈值时，切换为磁盘缓存。实时感知存储节点的可用性，一旦判断当前的存储节点不可用，则切换到其他可用存储节点，以此来确保存储业务的稳定性。
采用多个存储节点的分布式存储，选用各类存储厂商的对象存储，通过TCP及http相结合的方法，支持现有对象存储的所有特性，并能动态切换存储节点。
S170、本地存储所述待存储文件，以得到本地缓存对象，并执行所述步骤S150。
当无需进行切片处理时，可整个待存储文件进行缓存和传输。
搭建管理平台，部署opentsdb用于保存健康指标信息，部署mysql数据库用于存储资源及策略信息,默认使用地区优先，健康估值排序的方式下发节点列表给存储网关；搭建存储节点，配置节点编码并录入对应节点信息至管理平台中；部署redis用于存储文件事务信息；部署节点监控模块，需要依赖工具包有：jq>=1.5,jo>=1.4,bc>= 1.06.95；搭建文件系统即存储单元，如S3对象存储，NFS等,根据不同的使用方式将对应的存储单元信息录入到管理平台中，绑定其所属存储节点。注：存储单元已挂载方式使用时，需根据各自的协议挂载到对应的存储节点上；搭建存储网关，根据适配的业务节点业务量来评估部署方案，默认采用5备2的实例搭建网关集群。配置存储网关编码并将网关信息录入到管理平台，网关会自动获取可用节点信息用于文件流的转发调用。
上述的文件存储方法，通过根据待存储文件的大小进行切片，根据管理平台下发的调度策略，选择对应的存储节点列表，并依据存储节点列表内相关的所有存储节点的健康状态选择最优存储节点进行存储，动态调度到各个存储节点进行存储，解决对象存储中不同存储系统单点故障问题，实现分布式存储选用各类存储厂商的对象存储，能动态切换存储节点。
图5是本发明实施例提供的一种文件存储装置300的示意性框图。如图5所示，对应于以上文件存储方法，本发明还提供一种文件存储装置300。该文件存储装置300包括用于执行上述文件存储方法的单元，该装置可以被配置于服务器中。具体地，请参阅图5，该文件存储装置300包括文件获取单元301、判断单元302、切片单元303、第一缓存单元304、节点选择单元305以及第二缓存单元306。
文件获取单元301，用于获取来自客户端的存储写入请求，以得到待存储文件；判断单元302，用于判断所述待存储文件的大小是否超过设定阈值；切片单元303，用于若所述待存储文件的大小超过设定阈值，则对所述待存储文件进行切片处理，以得到文件流；第一缓存单元304，用于本地缓存所述文件流，以得到本地缓存对象；节点选择单元305，用于根据所有存储节点的健康状态选择最优存储节点；第二缓存单元306，用于传输所述本地缓存对象至最优存储节点，以使所述最优存储节点根据所述本地缓存对象动态选择对应的存储单元进行文件存储。
在一实施例中，所述切片单元303，用于使用TCP分片技术对所述待存储文件进行切片处理，以得到文件流。但本发明并不限于此，还可以采用其他分片技术。
在一实施例中，还包括第三缓存单元，所述第三缓存单元，用于若所述待存储文件的大小不超过设定阈值，则本地存储所述待存储文件，以得到本地缓存对象，并执行所述根据所有存储节点的健康状态选择最优存储节点。
在一实施例中，如图6所示，所述节点选择单元305包括策略获取子单元3051、列表选择子单元3052、状态获取子单元3053、筛选子单元3054以及封装子单元3055。
策略获取子单元3051，用于获取来自管理平台的调度策略；列表选择子单元3052，用于根据所述调度策略选择对应的存储节点列表；状态获取子单元3053，用于获取来自管理平台下发的所述存储节点列表内所有存储节点的健康状态；筛选子单元3054，用于按照所述健康状态的可用容量以及可用存储单元的数量从高到低进行排序并筛选出符合要求的存储节点；封装子单元3055，用于对所述存储节点的信息进行封装，以得到最优存储节点。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述文件存储装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
本发明还提供了文件存储装置，其包括：
文件获取单元，用于获取来自客户端的存储写入请求，以得到待存储文件；
判断单元，用于判断所述待存储文件的大小是否超过设定阈值；
切片单元，用于若所述待存储文件的大小超过设定阈值，则对所述待存储文件进行切片处理，以得到文件流；
第一缓存单元，用于本地缓存所述文件流，以得到本地缓存对象；
节点选择单元，用于根据所有存储节点的健康状态选择最优存储节点；
第二缓存单元，用于传输所述本地缓存对象至最优存储节点，以使所述最优存储节点根据所述本地缓存对象动态选择对应的存储单元进行文件存储。
上述文件存储装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种文件存储方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种文件存储方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取来自客户端的存储写入请求，以得到待存储文件；判断所述待存储文件的大小是否超过设定阈值；若所述待存储文件的大小超过设定阈值，则对所述待存储文件进行切片处理，以得到文件流；本地缓存所述文件流，以得到本地缓存对象；根据所有存储节点的健康状态选择最优存储节点；传输所述本地缓存对象至最优存储节点，以使所述最优存储节点根据所述本地缓存对象动态选择对应的存储单元进行文件存储。
其中，所述健康状态是由存储节点获取自身处理事务的可用能力数，获取所有存储单元的健康信息，并集合所有存储单元的健康信息，统计可用容量以及可用存储单元的数量，并封装可用容量以及可用存储单元的数量形成的。
所述存储单元的健康信息是由存储节点获取向总线获取挂载的存储单元列表信息，根据存储单元信息及类别分别检测存储单元的连接情况、容量使用和读写速度，并对检测所得的结果进行缓存和批量上报所得的。
在一实施例中，处理器502在实现所述对所述待存储文件进行切片处理，以得到文件流步骤时，具体实现如下步骤：
使用TCP分片技术对所述待存储文件进行切片处理，以得到文件流。
在一实施例中，处理器502在实现所述判断所述待存储文件的大小是否超过设定阈值步骤之后，还实现如下步骤：
若所述待存储文件的大小不超过设定阈值，则本地存储所述待存储文件，以得到本地缓存对象，并执行所述根据所有存储节点的健康状态选择最优存储节点。
在一实施例中，处理器502在实现所述根据所有存储节点的健康状态选择最优存储节点步骤时，具体实现如下步骤：
获取来自管理平台的调度策略；根据所述调度策略选择对应的存储节点列表；获取来自管理平台下发的所述存储节点列表内所有存储节点的健康状态；按照所述健康状态的可用容量以及可用存储单元的数量从高到低进行排序并筛选出符合要求的存储节点；对所述存储节点的信息进行封装，以得到最优存储节点。
其中，所述调度策略包括根据地区选择存储节点列表的策略以及选择已关联的存储节点列表的策略中至少一种。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明解决上述技术问题的另一技术方案如下：
如图8所示，本发明提供一种文件存储系统，采用如上所述文件存储方法，系统包括：
实时调度策略制定单元10：根据自定义的存储节点编排规则控制存储节点资源，实时下发调度策略动态配置存储节点的调用；
文件存储单元20：获取待存储文件，对待存储文件的大小基于阈值进行切片，根据下发的调度策略以及各个待存储的存储节点的健康状态，选择最优存储节点，并在最优存储节点进行文件存储。
优选的，上述实时调度策略制定单元10包括：
存储列表配置单元：依赖地区设置或依赖用户配置，根据地区就近获取对应的存储节点列表，或者根据用户配置获取已关联的存储节点列表；
编排规则单元：存储节点编排规则为对存储节点进行编码处理的规则，存储节点的编码内容包括多个字符，字符含义包括：存储节点的用途编码、节点业务类型、地市编码、预留字段及节点序号。
优选的，上述文件存储单元20包括：
存储节点选择单元：根据下发的调度策略，通过自定义的业务优先调度算法：
N=F(X,o,s)，其中，变量N表示通过所述业务优先调度算法得到的存储节点列表，方法F（）为业务优先调度算法函数名，变量o为当前业务类型参数；变量s为下发的所述调度策略类型，提供地区优先，配置优先，高响应优先调度策略的选择；变量X表示规划可选存储节点{x1,x2,x3,...xn}的集合，其中，x1,x2,x3,...xn为具体规划的存储节点对象；
并依据所述存储节点列表内相关的所有所述存储节点的健康状态采用权重优先排序法：
D=S(N,Y,y)，其中，变量D表示通过节点健康权重优先排序后得到的最优存储节点，方法S()为具体节点健康权重排序函数名，变量N为上述业务优先调度算法筛选出的存储节点列表，变量Y为存储节点集合对应的业务健康状态集合，y为对应业务健康状态权重，选择最优存储节点，动态调度到各个所述最优存储节点进行存储；
动态热备单元：最优存储节点优先选用内存缓存待存储文件，当内存剩余值小于阈值时，切换为磁盘缓存，并且实时感知最优存储节点的可用性，最优存储节点不可用，则切换到其他可用存储节点。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取来自客户端的存储写入请求，以得到待存储文件；判断所述待存储文件的大小是否超过设定阈值；若所述待存储文件的大小超过设定阈值，则对所述待存储文件进行切片处理，以得到文件流；本地缓存所述文件流，以得到本地缓存对象；根据所有存储节点的健康状态选择最优存储节点；传输所述本地缓存对象至最优存储节点，以使所述最优存储节点根据所述本地缓存对象动态选择对应的存储单元进行文件存储。
其中，所述健康状态是由存储节点获取自身处理事务的可用能力数，获取所有存储单元的健康信息，并集合所有存储单元的健康信息，统计可用容量以及可用存储单元的数量，并封装可用容量以及可用存储单元的数量形成的。
所述存储单元的健康信息是由存储节点获取向总线获取挂载的存储单元列表信息，根据存储单元信息及类别分别检测存储单元的连接情况、容量使用和读写速度，并对检测所得的结果进行缓存和批量上报所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述待存储文件进行切片处理，以得到文件流步骤时，具体实现如下步骤：
使用TCP分片技术对所述待存储文件进行切片处理，以得到文件流。
在一实施例中，所述处理器在执行所述计算机程序而实现所述判断所述待存储文件的大小是否超过设定阈值步骤之后，还实现如下步骤：
若所述待存储文件的大小不超过设定阈值，则本地存储所述待存储文件，以得到本地缓存对象，并执行所述根据所有存储节点的健康状态选择最优存储节点。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所有存储节点的健康状态选择最优存储节点步骤时，具体实现如下步骤：
获取来自管理平台的调度策略；根据所述调度策略选择对应的存储节点列表；获取来自管理平台下发的所述存储节点列表内所有存储节点的健康状态；按照所述健康状态的可用容量以及可用存储单元的数量从高到低进行排序并筛选出符合要求的存储节点；对所述存储节点的信息进行封装，以得到最优存储节点。
其中，所述调度策略包括根据地区选择存储节点列表的策略以及选择已关联的存储节点列表的策略中至少一种。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种文件存储方法，其特征在于，所述方法包括：
实时调度策略制定步骤：根据自定义的存储节点编排规则控制存储节点资源，实时下发调度策略，以动态配置存储节点的调用；
文件存储步骤：获取待存储文件，对所述待存储文件的大小基于阈值进行切片，根据下发的所述调度策略以及各个待存储的存储节点的健康状态，动态选择最优存储节点，并在所述最优存储节点进行文件存储；
其中，所述文件存储步骤包括：
存储节点选择步骤：根据下发的所述调度策略，通过自定义的业务优先调度算法：
N＝F(X,o,s)，其中，变量N表示通过所述业务优先调度算法得到的存储节点列表，方法F()为业务优先调度算法函数名，变量o为当前业务类型参数；变量s为下发的所述调度策略类型，提供地区优先，配置优先，高响应优先调度策略的选择；变量X表示规划可选存储节点{x1,x2,x3,...xn}的集合，其中，x1,x2,x3,...xn为具体规划的存储节点对象；
并依据所述存储节点列表内相关的所有所述存储节点的健康状态采用权重优先排序法：
D＝S(N,Y,y)，其中，变量D表示通过节点健康权重优先排序后得到的最优存储节点，方法S()为具体节点健康权重排序函数名，变量N为上述业务优先调度算法筛选出的存储节点列表，变量Y为存储节点集合对应的业务健康状态集合，y为对应业务健康状态权重，选择最优存储节点，动态调度到各个所述最优存储节点进行存储；
动态热备步骤：所述最优存储节点优先选用内存缓存所述待存储文件，当内存剩余值小于阀值时，切换为磁盘缓存，并且实时感知所述最优存储节点的可用性，所述最优存储节点不可用，则切换到其他可用所述存储节点；
所述健康状态是由存储节点获取自身处理事务的可用能力数，获取所有存储单元的健康信息，并集合所有存储单元的健康信息，统计可用容量以及可用存储单元的数量，并封装可用容量以及可用存储单元的数量形成的。
2.根据权利要求1所述的文件存储方法，其特征在于，所述文件存储步骤还包括：
文件获取步骤：获取来自客户端的存储写入请求，得到所述待存储文件；
判断步骤：判断所述待存储文件的大小是否超过设定所述阈值；
切片步骤：若所述待存储文件的大小超过设定所述阈值，则对所述待存储文件进行切片处理，以得到文件流；
第一缓存步骤：用于本地缓存所述文件流，以得到本地缓存对象；
第二缓存步骤：用于传输所述本地缓存对象至所述最优存储节点，以使所述最优存储节点根据所述本地缓存对象动态选择对应的存储单元进行文件存储。
3.根据权利要求1或2所述的文件存储方法，其特征在于，所述实时调度策略制定步骤包括：
存储列表配置步骤：依赖地区设置或依赖用户配置，根据地区就近获取对应的所述存储节点列表，或者根据用户配置获取已关联的所述存储节点列表；
编排规则步骤：所述存储节点编排规则为对存储节点进行编码处理的规则，存储节点的编码内容包括多个字符，所述字符含义包括：存储节点的用途编码、节点业务类型、地市编码、预留字段及节点序号。
4.根据权利要求1或2所述的文件存储方法，其特征在于，所述存储节点选择步骤包括：
列表选择步骤：根据所述调度策略选择对应的存储节点列表；
状态获取步骤：获取所述存储节点列表内所有存储节点的健康状态；
筛选步骤：按照所述健康状态的可用容量以及可用存储单元的数量从高到低进行排序并筛选出符合要求的存储节点；
封装步骤：对所述存储节点的信息进行封装，得到最优存储节点。
5.一种文件存储系统，采用如权利要求1-4中任意一项所述的文件存储方法，其特征在于，所述系统包括：
实时调度策略制定单元：根据自定义的存储节点编排规则控制存储节点资源，实时下发调度策略动态配置存储节点的调用；
文件存储单元：获取待存储文件，对所述待存储文件的大小基于阈值进行切片，根据下发的所述调度策略以及各个待存储的存储节点的健康状态，选择最优存储节点，并在所述最优存储节点进行文件存储。
6.根据权利要求5所述的文件存储系统，其特征在于，所述文件存储单元包括：
存储节点选择单元：根据下发的所述调度策略，通过自定义的业务优先调度算法：
N＝F(X,o,s)，其中，变量N表示通过所述业务优先调度算法得到的存储节点列表，方法F()为业务优先调度算法函数名，变量o为当前业务类型参数；变量s为下发的所述调度策略类型，提供地区优先，配置优先，高响应优先调度策略的选择；变量X表示规划可选存储节点{x1,x2,x3,...xn}的集合，其中，x1,x2,x3,...xn为具体规划的存储节点对象；
并依据所述存储节点列表内相关的所有所述存储节点的健康状态采用权重优先排序法：
D＝S(N,Y,y)，其中，变量D表示通过节点健康权重优先排序后得到的最优存储节点，方法S()为具体节点健康权重排序函数名，变量N为上述业务优先调度算法筛选出的存储节点列表，变量Y为存储节点集合对应的业务健康状态集合，y为对应业务健康状态权重，选择最优存储节点，动态调度到各个所述最优存储节点进行存储；
动态热备单元：所述最优存储节点优先选用内存缓存所述待存储文件，当内存剩余值小于阀值时，切换为磁盘缓存，并且实时感知所述最优存储节点的可用性，所述最优存储节点不可用，则切换到其他可用所述存储节点。
7.根据权利要求5所述的文件存储系统，其特征在于，所述实时调度策略制定单元包括：
存储列表配置单元：依赖地区设置或依赖用户配置，根据地区就近获取对应的所述存储节点列表，或者根据用户配置获取已关联的所述存储节点列表；
编排规则单元：所述存储节点编排规则为对存储节点进行编码处理的规则，存储节点的编码内容包括多个字符，所述字符含义包括：存储节点的用途编码、节点业务类型、地市编码、预留字段及节点序号。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任一项所述的文件存储方法的步骤。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的文件存储方法的步骤。
CN202210534833.0A 2022-05-17 2022-05-17 一种文件存储方法、系统、介质和设备 Active CN114640690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210534833.0A CN114640690B (zh) 2022-05-17 2022-05-17 一种文件存储方法、系统、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210534833.0A CN114640690B (zh) 2022-05-17 2022-05-17 一种文件存储方法、系统、介质和设备

Publications (2)

Publication Number Publication Date
CN114640690A CN114640690A (zh) 2022-06-17
CN114640690B true CN114640690B (zh) 2022-08-23

Family

ID=81953154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210534833.0A Active CN114640690B (zh) 2022-05-17 2022-05-17 一种文件存储方法、系统、介质和设备

Country Status (1)

Country Link
CN (1) CN114640690B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN106294511A (zh) * 2015-06-10 2017-01-04 中国移动通信集团广东有限公司 一种Hadoop分布式文件系统的存储方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100490380C (zh) * 2005-12-26 2009-05-20 北大方正集团有限公司 轻量级分布式文件存储系统文件上传的方法
CN103647824A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种存储资源优化调度发现算法
CN103747047A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种cdn文件存储方法、文件分发控制中心及系统
CN103825837B (zh) * 2014-02-19 2017-06-06 上海视云网络科技有限公司 一种节点负载的分布式cdn全局调度的方法
US10642532B2 (en) * 2017-02-28 2020-05-05 International Business Machines Corporation Storing data sequentially in zones in a dispersed storage network
US11461203B2 (en) * 2018-07-10 2022-10-04 Here Data Technology Systems and methods of handling node failure in a distributed data storage using multi-layer consistent hashing
CN111049884A (zh) * 2019-11-18 2020-04-21 武汉方始科技有限公司 一种分布式大文件存储系统及文件上传和下载方法
CN111158595B (zh) * 2019-12-27 2023-05-23 中国建设银行股份有限公司 企业级异构存储资源调度方法及系统
CN111541753B (zh) * 2020-04-16 2024-02-27 深圳市迅雷网络技术有限公司 区块链数据的分布式存储系统、方法、计算机设备及介质
CN114048183A (zh) * 2021-09-27 2022-02-15 广州炒米信息科技有限公司 分布式存储方法、装置、存储介质及计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN106294511A (zh) * 2015-06-10 2017-01-04 中国移动通信集团广东有限公司 一种Hadoop分布式文件系统的存储方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向云存储的I/O资源效用优化调度算法研究;王健宗等;《计算机研究与发展》;20130815(第08期);全文 *

Also Published As

Publication number Publication date
CN114640690A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN111614570B (zh) 一种用于服务网格的流量控制系统及方法
CN107968802B (zh) 一种资源调度的方法、装置和过滤式调度器
US8126914B2 (en) Selecting a resource manager to satisfy a service request
CN108370341B (zh) 资源配置方法、虚拟网络功能管理器和网元管理系统
CN109672627A (zh) 基于集群服务器的业务处理方法、平台、设备及存储介质
US20160210061A1 (en) Architecture for a transparently-scalable, ultra-high-throughput storage network
CN111641563B (zh) 基于分布式场景的流量自适应方法与系统
CN111600952A (zh) 场景推送方法、执行方法、装置、终端、服务器和系统
CN107656807A (zh) 一种虚拟资源的自动弹性伸缩方法及装置
CN112162829B (zh) 一种边缘计算场景下的资源监控数据预处理系统
CN110968479B (zh) 一种针对应用程序的业务级全链路监控方法及服务器
CN110764904B (zh) 一种基于fpga芯片的资源调度方法及系统
CN114640690B (zh) 一种文件存储方法、系统、介质和设备
CN115549754B (zh) 基于核心网的卫星通信高低轨切换方法、设备及存储介质
CN107046581A (zh) 一种服务运行状态的监测方法、装置及服务器
CN111756798B (zh) 基于网关级联的服务调度方法、装置、设备和存储介质
CN114356625A (zh) 分布式系统冗余诊断方法、装置、电子装置和存储介质
CN111143033B (zh) 基于可伸缩操作系统的操作执行方法及装置
CN115333917A (zh) 一种cdn异常检测方法及装置
CN116668379B (zh) 数据传输方法及系统、fds管理模块、存储介质及电子装置
CN112104682A (zh) 云桌面服务器智能分配方法及系统、存储介质及中控服务器
CN105099912A (zh) 一种多路径的数据调度方法及装置
CN114448987B (zh) 基于云服务的负荷分散管理方法、装置、设备及介质
CN113421028B (zh) 资源水位监测平台及方法、终端设备及可读存储介质
CN108900604A (zh) 信息分发方法、装置、分行服务端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant