CN109413207A - 一种文件上传方法、系统、装置及计算机可读存储介质 - Google Patents
一种文件上传方法、系统、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109413207A CN109413207A CN201811512252.7A CN201811512252A CN109413207A CN 109413207 A CN109413207 A CN 109413207A CN 201811512252 A CN201811512252 A CN 201811512252A CN 109413207 A CN109413207 A CN 109413207A
- Authority
- CN
- China
- Prior art keywords
- file
- uploaded
- node
- uploading
- uploading nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种文件上传方法,应用于分布式存储系统的文件接收节点中,获取待上传文件;在分布式存储系统中,选取性能评分高的节点作为上传节点;传输待上传文件至上传节点,以使上传节点传输待上传文件至目标存储节点。本申请还公开了一种文件上传系统、装置及计算机可读存储介质,文件接收节点获取待上传文件后,直接在分布式存储系统中,选取性能评分高的节点作为上传节点,并传输待上传文件至上传节点,与现有技术相比,不需要将待上传文件传输至预置的服务器,也即不需要借助服务器来传输待上传文件,从而也不需要将待上传文件存储至临时缓存,节省了待上传文件进行额外缓存的时间,提高了传输速率。
Description
技术领域
本申请涉及分布式存储技术领域,更具体地说,涉及一种文件上传方法、系统、装置及计算机可读存储介质。
背景技术
在分布式存储中,当分布式存储系统接收上传文件时,现有的一种方法是:分布式存储系统的文件接收节点接收待上传文件,将待上传文件传输至预先设置的服务器中,服务器将待上传文件存储至临时缓存,并发送存储任务至存储节点,以使存储节点从临时缓存中获取数据并存储。
然而,现有的一种文件上传方法中,待上传数据需先存储至临时缓存中,使得整体的文件上传速度较慢。
综上所述,如何提高分布式存储系统中文件上传速度是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种文件上传方法,其能在一定程度上解决如何提高分布式存储系统中文件上传速度的技术问题。本申请还提供了一种文件上传系统、装置及计算机可读存储介质。
为了实现上述目的,本申请提供一种文件上传方法,应用于分布式存储系统的文件接收节点中,包括:
获取待上传文件;
在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点;
传输所述待上传文件至所述上传节点,以使所述上传节点传输所述待上传文件至目标存储节点。
优选的,所述在所述分布式存储系统中,选取性能评分高的节点作为上传节点,包括:
在所述分布式存储系统中,选取性能评分高的存储节点作为所述上传节点。
优选的,所述在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点,包括:
在所述分布式存储系统中,选取网络性能评分高的存储节点作为所述上传节点,其中,所述网络性能评分与所述网络性能正相关。
优选的,所述在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点,包括:
在所述分布式存储系统中,选取空间容量评分高的存储节点作为所述上传节点,其中,所述空间容量评分与所述空间容量的大小正相关。
优选的,所述在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点,包括:
在所述分布式存储系统中,选取数据传输评分高的存储节点作为所述上传节点,其中,所述数据传输评分与所述数据传输的速率正相关。
优选的,所述在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点,包括:
在所述分布式存储系统中,选取第一预设数量的性能评分高的存储节点作为所述上传节点。
优选的,所述获取待上传文件之后,所述传输所述待上传文件至所述上传节点之前,还包括:
将所述待上传文件切分为第二预设数量的待上传文件块;
添加所述待上传文件块至任务队列中;
所述传输所述待上传文件至所述上传节点,包括:
传输所述任务队列中的所述待上传文件块至所述上传节点。
优选的,所述在所述分布式存储系统中,选取性能评分高的节点作为上传节点之后,还包括:
为所述上传节点添加标记。
为实现上述目的,本申请进一步提供一种文件上传系统,应用于分布式存储系统的文件接收节点中,包括:
第一获取模块,用于获取待上传文件;
第一选取模块,用于在所述分布式存储系统中,选取性能评分高的节点作为上传节点;
第一传输模块,用于传输所述待上传文件至所述上传节点,以使所述上传节点传输所述待上传文件至目标存储节点。
优选的,所述第一选取模块包括:
第一选取单元,用于在所述分布式存储系统中,选取性能评分高的存储节点作为所述上传节点。
优选的,所述第一选取单元包括:
第一选取子单元,用于在所述分布式存储系统中,选取网络性能评分高的存储节点作为所述上传节点,其中,所述网络性能评分与所述网络性能正相关。
优选的,所述第一选取单元包括:
第二选取子单元,用于在所述分布式存储系统中,选取空间容量评分高的存储节点作为所述上传节点,其中,所述空间容量评分与所述空间容量的大小正相关。
优选的,所述第一选取单元包括:
第三选取子单元,用于在所述分布式存储系统中,选取数据传输评分高的存储节点作为所述上传节点,其中,所述数据传输评分与所述数据传输的速率正相关。
优选的,所述第一选取单元包括:
第四选取子单元,用于在所述分布式存储系统中,选取第一预设数量的性能评分高的存储节点作为所述上传节点。
优选的,还包括:
第一切分模块,用于所述第一获取模块获取待上传文件之后,所述第一传输模块传输所述待上传文件至所述上传节点之前,将所述待上传文件切分为第二预设数量的待上传文件块;
第一添加模块,用于添加所述待上传文件块至任务队列中;
所述第一传输模块包括:
第一传输单元,用于传输所述任务队列中的所述待上传文件块至所述上传节点。
优选的,还包括:
第二添加模块,用于所述第一选取模块在所述分布式存储系统中,选取性能评分高的节点作为上传节点之后,为所述上传节点添加标记。
为实现上述目的,本申请进一步提供一种文件上传装置,应用于分布式存储系统的文件接收节点中,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的文件上传程序,所述文件上传程序被处理器执行时实现如上任一所述的方法。
为实现上述目的,本申请进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有文件上传程序,所述文件上传程序可被一个或者多个处理器执行,以实现如上任一所述的文件上传方法。
为实现上述目的,本申请进一步提供一种文件上传方法,应用于如上任一项所述的上传节点中,包括:
接收文件接收节点传输的待上传文件;
在所述分布式存储系统中,选取存储节点作为目标存储节点,广播部署任务至所述目标存储节点,以使所述目标存储节点接收所述部署任务后存储所述待上传文件。
本申请提供的一种文件上传方法,应用于分布式存储系统的文件接收节点中,获取待上传文件;在分布式存储系统中,选取性能评分高的节点作为上传节点;传输待上传文件至上传节点,以使上传节点传输待上传文件至目标存储节点。本申请提供的一种文件上传方法,文件接收节点获取待上传文件后,直接在分布式存储系统中,选取性能评分高的节点作为上传节点,并传输待上传文件至上传节点,也即直接将待上传文件传输至分布式存储系统的节点中,与现有技术相比,不需要将待上传文件传输至预置的服务器,也即不需要借助服务器来传输待上传文件,从而也不需要将待上传文件存储至临时缓存,节省了待上传文件进行额外缓存的时间,提高了传输速率。本申请提供的一种文件上传系统、装置及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请第一实施例的流程示意图;
图2为本申请第二实施例的流程示意图;
图3为本申请一实施例揭露的文件传输系统的结构示意图;
图4为本申请实施例提供的分布式存储系统的结构示意图;
图5为本申请一实施例揭露的文件上传装置的内部结构示意图;
图6为本申请第三实施例的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本申请提供的一种文件上传方法。
参照图1,图1为本申请第一实施例的流程示意图。
在第一实施例中,该方法包括:
S101,获取待上传文件。
实际应用中,文件接收节点可以先获取待上传文件,待上传文件的类型及内容可以根据实际需要确定,比如,待上传文件可以为视频文件,可以为音频文件等。文件接收节点获取的待上传文件可以是文件接收节点通过自身的传输接口接收的文件,也可以是文件接收节点通过自身的人机交互界面接收的文件等。应当指出,本申请所涉及的文件接收节点指的是分布式存储系统中负责接收外界传输的文件的节点,其是分布式存储系统与外界进行信息交互的节点。
S102,在分布式存储系统中,选取性能评分高的节点作为上传节点。
实际应用中,文件接收节点获取待上传文件后,可以在分布式存储系统中,选取性能评分高的节点作为上传节点,也即选取性能优异的节点作为上传节点。具体的性能种类可以根据实际需要确定。应当指出,具体应用场景中,本申请并不限制步骤S101、步骤S102的执行先后顺序。
S103,传输待上传文件至上传节点,以使上传节点传输待上传文件至目标存储节点。
实际应用中,文件接收节点选取出上传节点后,便可以传输待上传文件至上传节点,以使上传节点传输待上传文件至目标存储节点,也即本申请所描述的上传节点指的是传输文件接收节点获取的待上传文件至存储节点的节点。
上传节点传输待上传文件至目标存储节点的过程可以为:上传节点在分布式存储系统中,选取存储节点作为目标存储节点,广播部署任务至目标存储节点;相应的,目标存储节点接收部署任务后从上传节点接收并存储待上传文件。
本申请提供的一种文件上传方法,应用于分布式存储系统的文件接收节点中,获取待上传文件;在分布式存储系统中,选取性能评分高的节点作为上传节点;传输待上传文件至上传节点,以使上传节点传输待上传文件至目标存储节点。本申请提供的一种文件上传方法,文件接收节点获取待上传文件后,直接在分布式存储系统中,选取性能评分高的节点作为上传节点,并传输待上传文件至上传节点,也即直接将待上传文件传输至分布式存储系统的节点中,与现有技术相比,不需要将待上传文件传输至预置的服务器,也即不需要借助服务器来传输待上传文件,从而也不需要将待上传文件存储至临时缓存,节省了待上传文件进行额外缓存的时间,提高了传输速率。
在第一实施例中,为了进一步提高文件传输速率,在分布式存储系统中,选取性能评分高的节点作为上传节点的步骤可以具体为:在分布式存储系统中,选取性能评分高的存储节点作为上传节点。也即直接将存储节点选取为上传节点,这样,待上传文件传输至上传节点后便相当于直接传输至分布式存储节点的存储节点中,可以提高传输速率。
在第一实施例中,为了进一步提高文件传输速率,可以对上传节点的选取条件进行优化,则在分布式存储系统中,选取性能评分高的存储节点作为上传节点的步骤可以具体为:在分布式存储系统中,选取网络性能评分高的存储节点作为上传节点,其中,网络性能评分与网络性能正相关。上传节点的网络性能评分高,也即上传节点的网络性能优异,从而便于上传节点接收待上传文件,便于待上传文件的传输。
在第一实施例中,为了进一步提高文件传输速率,可以对上传节点的选取条件进行优化,则在分布式存储系统中,选取性能评分高的存储节点作为上传节点的步骤可以具体为:在分布式存储系统中,选取空间容量评分高的存储节点作为上传节点,其中,空间容量评分与空间容量的大小正相关。上传节点的空间容量评分高,也即上传节点的空间容量越大,从而使得上传节点用于更多的空间存储待上传文件,不需要额外更换上传节点,也即可以节省更换上传节点的时间,提高文件传输效率。
在第一实施例中,为了进一步提高文件传输速率,可以对上传节点的选取条件进行优化,则在分布式存储系统中,选取性能评分高的存储节点作为上传节点的步骤可以具体为:在分布式存储系统中,选取数据传输评分高的存储节点作为上传节点,其中,数据传输评分与数据传输的速率正相关。上传节点的数据传输评分高,也即上传节点的数据传输速率快,从而使得上传节点可以快速传输待上传文件。
在第一实施例中,为了进一步提高文件传输速率,可以对上传节点的选取条件进行优化,则在分布式存储系统中,选取性能评分高的存储节点作为上传节点的步骤可以具体为:在分布式存储系统中,选取第一预设数量的性能评分高的存储节点作为上传节点。上传节点的数量为多个,这样便可以并行传输待上传文件至每一个上传节点,与传输待上传文件至一个上传节点的技术相比,文件传输速率快。
应当指出,本申请并不限制上传节点的选取条件为单一条件还是多样条件,其可以根据实际需要确定,比如上传节点的选取条件可以为:选取网络性能评分高和空间容量评分高的存储节点作为上传节点等。
请参阅图2,图2为本申请第二实施例的流程示意图。
在第二实施例中,该方法包括:
S201,获取待上传文件。
S202,在分布式存储系统中,选取性能评分高的节点作为上传节点。
S203,将待上传文件切分为第二预设数量的待上传文件块。
实际应用中,文件接收节点选取出上传节点后,可以将待上传文件切分为第二预设数量的待上传文件块,这样可以以待上传文件块为单位进行文件传输,并且待上传文件块的数据量小于待上传文件块,从而可以使得单次文件传输的速率较快,使得文件接收节点可以根据具体需要灵活确定文件传输方式,比如在有加急待上传文件时,可以在传输完当前传输的待上传文件块后,便开始加急待上传文件的传输等。具体应用场景中,文件接收节点在将待上传文件切分时,可以借助软件开发工具包来对待上传文件进行切分等。
S204,添加待上传文件块至任务队列中。
实际应用中,文件接收节点还可以添加待上传文件块至任务队列,借助任务队列来保存待上传文件块及其相应的文件传输任务,便于明确待上传文件块的任务,并且便于根据任务队列中的待上传文件块决定待上传文件块的任务划分。
S205,传输任务队列中的待上传文件块至上传节点,以使上传节点传输待上传文件至目标存储节点。
实际应用中,文件接收节点可以直接传输任务队列中的待上传文件块至上传节点。
在第一、第二实施例中,在分布式存储系统中,选取性能评分高的存储节点作为上传节点之后,还可以为上传节点添加标记。从而使得可以借助上传节点的标记快速确定出上传节点,上传节点的标记可以为上传节点的数据编号等。
另一方面,本申请提供一种文件上传系统。
请参照图3,图3为本申请一实施例揭露的文件传输系统的结构示意图。
本申请提供的一种文件上传系统,可以包括:
第一获取模块301,用于获取待上传文件;
第一选取模块302,用于在分布式存储系统中,选取性能评分高的节点作为上传节点;
第一传输模块303,用于传输待上传文件至上传节点,以使上传节点传输待上传文件至目标存储节点。
本申请提供的一种文件上传系统,第一选取模块可以包括:
第一选取单元,用于在分布式存储系统中,选取性能评分高的存储节点作为上传节点。
本申请提供的一种文件上传系统,第一选取单元可以包括:
第一选取子单元,用于在分布式存储系统中,选取网络性能评分高的存储节点作为上传节点,其中,网络性能评分与网络性能正相关。
本申请提供的一种文件上传系统,第一选取单元可以包括:
第二选取子单元,用于在分布式存储系统中,选取空间容量评分高的存储节点作为上传节点,其中,空间容量评分与空间容量的大小正相关。
本申请提供的一种文件上传系统,第一选取单元可以包括:
第三选取子单元,用于在分布式存储系统中,选取数据传输评分高的存储节点作为上传节点,其中,数据传输评分与数据传输的速率正相关。
本申请提供的一种文件上传系统,第一选取单元可以包括:
第四选取子单元,用于在分布式存储系统中,选取第一预设数量的性能评分高的存储节点作为上传节点。
本申请提供的一种文件上传系统,还可以包括:
第一切分模块,用于第一获取模块获取待上传文件之后,第一传输模块传输待上传文件至上传节点之前,将待上传文件切分为第二预设数量的待上传文件块;
第一添加模块,用于添加待上传文件块至任务队列中;
第一传输模块可以包括:
第一传输单元,用于传输任务队列中的待上传文件块至上传节点。
本申请提供的一种文件上传系统,还可以包括:
第二添加模块,用于第一选取模块在分布式存储系统中,选取性能评分高的节点作为上传节点之后,为上传节点添加标记。
请参阅图4,图4为本申请实施例提供的分布式存储系统的结构示意图。
本申请实施例提供的分布式存储系统可以包括文件接收节点401、上传节点402及存储节点403,各个节点的描述请参阅上述实施例。其中,各类节点的数量可以根据具体应用场景确定。
另一方面,本申请提供一种文件上传装置。
参照图5,图5为本申请一实施例揭露的文件上传装置的内部结构示意图。
本申请提供的一种文件上传装置,应用于分布式存储系统的文件接收节点中,装置包括存储器和处理器,存储器上存储有可在处理器上运行的文件上传程序,文件上传程序被处理器执行时实现如上任一实施例所描述的方法。
本实施例中,文件上传装置1可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备。
该文件上传装置1可以包括存储器11、处理器12和总线13。
其中,存储器11至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是文件上传装置1的内部存储单元,例如该文件上传装置1的硬盘。存储器11在另一些实施例中也可以是文件上传装置1的外部存储设备,例如文件上传装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括文件上传装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于文件上传装置1的应用软件及各类数据,例如文件上传程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行文件上传程序01等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,文件上传装置还可以包括网络接口14,网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该装置1与其他电子设备之间建立通信连接。
可选地,该文件上传装置1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在文件上传装置1中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有组件11-14以及文件上传程序01的文件上传装置1,本领域技术人员可以理解的是,图5示出的结构并不构成对文件上传装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本申请提供的一种计算机可读存储介质,计算机可读存储介质上存储有文件上传程序,文件上传程序可被一个或者多个处理器执行,以实现如上任一实施例所描述的文件上传方法。
这里所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
参照图6,图6为本申请第三实施例的流程示意图。
在第三实施例中,该方法应用于如上任一实施例所描述的上传节点中,包括:
S601,接收文件接收节点传输的待上传文件;
S602,在分布式存储系统中,选取存储节点作为目标存储节点,广播部署任务至目标存储节点,以使目标存储节点接收部署任务后存储待上传文件。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种文件上传方法,其特征在于,应用于分布式存储系统的文件接收节点中,包括:
获取待上传文件;
在所述分布式存储系统中,选取性能评分高的节点作为上传节点;
传输所述待上传文件至所述上传节点,以使所述上传节点传输所述待上传文件至目标存储节点。
2.根据权利要求1所述的方法,其特征在于,所述在所述分布式存储系统中,选取性能评分高的节点作为上传节点,包括:
在所述分布式存储系统中,选取性能评分高的存储节点作为所述上传节点。
3.根据权利要求2所述的方法,其特征在于,所述在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点,包括:
在所述分布式存储系统中,选取网络性能评分高的存储节点作为所述上传节点,其中,所述网络性能评分与所述网络性能正相关。
4.根据权利要求2所述的方法,其特征在于,所述在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点,包括:
在所述分布式存储系统中,选取空间容量评分高的存储节点作为所述上传节点,其中,所述空间容量评分与所述空间容量的大小正相关。
5.根据权利要求2所述的方法,其特征在于,所述在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点,包括:
在所述分布式存储系统中,选取数据传输评分高的存储节点作为所述上传节点,其中,所述数据传输评分与所述数据传输的速率正相关。
6.根据权利要求2所述的方法,其特征在于,所述在所述分布式存储系统中,选取性能评分高的存储节点作为上传节点,包括:
在所述分布式存储系统中,选取第一预设数量的性能评分高的存储节点作为所述上传节点。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述获取待上传文件之后,所述传输所述待上传文件至所述上传节点之前,还包括:
将所述待上传文件切分为第二预设数量的待上传文件块;
添加所述待上传文件块至任务队列中;
所述传输所述待上传文件至所述上传节点,包括:
传输所述任务队列中的所述待上传文件块至所述上传节点。
8.根据权利要求7所述的方法,其特征在于,所述在所述分布式存储系统中,选取性能评分高的节点作为上传节点之后,还包括:
为所述上传节点添加标记。
9.一种文件上传系统,其特征在于,应用于分布式存储系统的文件接收节点中,包括:
第一获取模块,用于获取待上传文件;
第一选取模块,用于在所述分布式存储系统中,选取性能评分高的节点作为上传节点;
第一传输模块,用于传输所述待上传文件至所述上传节点,以使所述上传节点传输所述待上传文件至目标存储节点。
10.一种文件上传装置,其特征在于,应用于分布式存储系统的文件接收节点中,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的文件上传程序,所述文件上传程序被处理器执行时实现如权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有文件上传程序,所述文件上传程序可被一个或者多个处理器执行,以实现如权利要求1至8中任一项所述的文件上传方法。
12.一种文件上传方法,其特征在于,应用于权利要求1至8任一项所述的上传节点中,包括:
接收文件接收节点传输的待上传文件;
在所述分布式存储系统中,选取存储节点作为目标存储节点,广播部署任务至所述目标存储节点,以使所述目标存储节点接收所述部署任务后存储所述待上传文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811512252.7A CN109413207A (zh) | 2018-12-11 | 2018-12-11 | 一种文件上传方法、系统、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811512252.7A CN109413207A (zh) | 2018-12-11 | 2018-12-11 | 一种文件上传方法、系统、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109413207A true CN109413207A (zh) | 2019-03-01 |
Family
ID=65458503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811512252.7A Pending CN109413207A (zh) | 2018-12-11 | 2018-12-11 | 一种文件上传方法、系统、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109413207A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110149384A (zh) * | 2019-05-09 | 2019-08-20 | 北京猫盘技术有限公司 | 基于网络存储设备集群的数据分布式存储方法及装置 |
CN110213337A (zh) * | 2019-05-09 | 2019-09-06 | 北京猫盘技术有限公司 | 分布式存储系统及穿透方法 |
CN110347648A (zh) * | 2019-07-18 | 2019-10-18 | 深圳市网心科技有限公司 | 文件部署方法及装置、计算机装置及存储介质 |
WO2020220646A1 (zh) * | 2019-04-29 | 2020-11-05 | 平安国际智慧城市科技股份有限公司 | 基于分布式存储系统的数据存储方法、存储节点及介质 |
CN112667579A (zh) * | 2020-12-30 | 2021-04-16 | 杭州趣链科技有限公司 | 文件存储方法、装置、设备和存储介质 |
CN113259449A (zh) * | 2021-05-27 | 2021-08-13 | 四块科技(深圳)有限公司 | 分布式存储方法、装置、设备及存储介质 |
CN114338654A (zh) * | 2021-12-31 | 2022-04-12 | 中国电信股份有限公司 | 文件传输方法、存储服务分配方法、装置、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102045402A (zh) * | 2010-12-28 | 2011-05-04 | 云海创想信息技术(北京)有限公司 | 一种分布式文件系统的数据采集方法和数据采集系统 |
CN103457963A (zh) * | 2012-05-28 | 2013-12-18 | 联想(北京)有限公司 | 存储文件的方法及分布式存储系统 |
CN103699494A (zh) * | 2013-12-06 | 2014-04-02 | 北京奇虎科技有限公司 | 一种数据存储方法、数据存储设备和分布式存储系统 |
CN104683422A (zh) * | 2013-12-03 | 2015-06-03 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
CN105025053A (zh) * | 2014-04-24 | 2015-11-04 | 苏宁云商集团股份有限公司 | 基于云存储技术的分布式文件的上传方法及其系统 |
US20180165280A1 (en) * | 2016-12-09 | 2018-06-14 | Nhn Entertainment Corporation | Method and system for managing cloud storage |
-
2018
- 2018-12-11 CN CN201811512252.7A patent/CN109413207A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102045402A (zh) * | 2010-12-28 | 2011-05-04 | 云海创想信息技术(北京)有限公司 | 一种分布式文件系统的数据采集方法和数据采集系统 |
CN103457963A (zh) * | 2012-05-28 | 2013-12-18 | 联想(北京)有限公司 | 存储文件的方法及分布式存储系统 |
CN104683422A (zh) * | 2013-12-03 | 2015-06-03 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
CN103699494A (zh) * | 2013-12-06 | 2014-04-02 | 北京奇虎科技有限公司 | 一种数据存储方法、数据存储设备和分布式存储系统 |
CN105025053A (zh) * | 2014-04-24 | 2015-11-04 | 苏宁云商集团股份有限公司 | 基于云存储技术的分布式文件的上传方法及其系统 |
US20180165280A1 (en) * | 2016-12-09 | 2018-06-14 | Nhn Entertainment Corporation | Method and system for managing cloud storage |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020220646A1 (zh) * | 2019-04-29 | 2020-11-05 | 平安国际智慧城市科技股份有限公司 | 基于分布式存储系统的数据存储方法、存储节点及介质 |
CN110149384A (zh) * | 2019-05-09 | 2019-08-20 | 北京猫盘技术有限公司 | 基于网络存储设备集群的数据分布式存储方法及装置 |
CN110213337A (zh) * | 2019-05-09 | 2019-09-06 | 北京猫盘技术有限公司 | 分布式存储系统及穿透方法 |
CN110149384B (zh) * | 2019-05-09 | 2022-06-24 | 北京猫盘技术有限公司 | 基于网络存储设备集群的数据分布式存储方法及装置 |
CN110213337B (zh) * | 2019-05-09 | 2022-08-02 | 北京猫盘技术有限公司 | 分布式存储系统及穿透方法 |
CN110347648A (zh) * | 2019-07-18 | 2019-10-18 | 深圳市网心科技有限公司 | 文件部署方法及装置、计算机装置及存储介质 |
CN110347648B (zh) * | 2019-07-18 | 2022-04-01 | 深圳市网心科技有限公司 | 文件部署方法及装置、计算机装置及存储介质 |
CN112667579A (zh) * | 2020-12-30 | 2021-04-16 | 杭州趣链科技有限公司 | 文件存储方法、装置、设备和存储介质 |
CN112667579B (zh) * | 2020-12-30 | 2023-07-28 | 杭州趣链科技有限公司 | 文件存储方法、装置、设备和存储介质 |
CN113259449A (zh) * | 2021-05-27 | 2021-08-13 | 四块科技(深圳)有限公司 | 分布式存储方法、装置、设备及存储介质 |
CN114338654A (zh) * | 2021-12-31 | 2022-04-12 | 中国电信股份有限公司 | 文件传输方法、存储服务分配方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109413207A (zh) | 一种文件上传方法、系统、装置及计算机可读存储介质 | |
CN109933420A (zh) | 节点任务调度方法、电子设备及系统 | |
CN105094707A (zh) | 一种数据存储、读取方法及装置 | |
CN109634915A (zh) | 文件部署方法、云服务器、系统及存储介质 | |
CN112765271A (zh) | 区块链交易索引的存储方法、装置、计算机设备及介质 | |
CN110493357A (zh) | 一种资源部署方法、系统、装置及计算机存储介质 | |
CN108614859A (zh) | 智能搜索方法、服务器及存储介质 | |
US20190205342A1 (en) | Identifying and structuring related data | |
CN103714141A (zh) | 信息推送方法及装置 | |
CN110191204A (zh) | 一种内网设备间通信方法、系统、装置及计算机存储介质 | |
CN109918203A (zh) | 接入服务器内存管理优化方法、接入服务器及通信系统 | |
CN109582246A (zh) | 基于矿机的数据访问方法、装置、系统及可读存储介质 | |
CN109684413A (zh) | 一种区块链存储证明方法、系统及电子设备和存储介质 | |
CN109818810A (zh) | 一种接入服务器连接优化方法、接入服务器以及通信系统 | |
CN110223044A (zh) | 一种邮件推送方法、系统及电子设备和存储介质 | |
CN103176913B (zh) | 硬盘动态映射方法与应用其的服务器 | |
CN111756832B (zh) | 推送信息的方法、装置、电子设备及计算机可读存储介质 | |
CN110399181A (zh) | 软件开发工具包功能调用方法、系统及电子设备和介质 | |
CN109491962A (zh) | 一种文件目录树管理方法及相关装置 | |
CN109801427A (zh) | 一种随机数获得方法、装置、系统及存储介质 | |
CN109741038A (zh) | 基于区块链账户的token处理方法、计算机可读存储介质及电子设备 | |
CN111813517A (zh) | 任务队列的分配方法、装置、计算机设备及介质 | |
CN109739738A (zh) | 基于html5的事件日志管理方法、系统及相关装置 | |
CN109697019A (zh) | 基于fat文件系统的数据写入的方法和系统 | |
CN104572981B (zh) | 一种网页页面缓存处理方法和移动终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |
|
RJ01 | Rejection of invention patent application after publication |