CN109981702B - 一种文件存储方法及系统 - Google Patents

一种文件存储方法及系统 Download PDF

Info

Publication number
CN109981702B
CN109981702B CN201711450781.4A CN201711450781A CN109981702B CN 109981702 B CN109981702 B CN 109981702B CN 201711450781 A CN201711450781 A CN 201711450781A CN 109981702 B CN109981702 B CN 109981702B
Authority
CN
China
Prior art keywords
file
server
storage
preset
local storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711450781.4A
Other languages
English (en)
Other versions
CN109981702A (zh
Inventor
熊友军
贾亮亮
罗小虎
杨志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN201711450781.4A priority Critical patent/CN109981702B/zh
Publication of CN109981702A publication Critical patent/CN109981702A/zh
Application granted granted Critical
Publication of CN109981702B publication Critical patent/CN109981702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明适用于数据存储技术领域,提供了一种文件存储方法及系统,包括:文件客户端服务器判断接收到用户上传的文件大小是否小于预设第一阈值;若判断结果为文件大小小于预设第一阈值,将文件发送至云服务器进行文件存储;若判断结果为文件大小大于或等于预设第一阈值,将文件存储至本地存储服务器集群;本地存储服务器集群在当前时间属于预设上传时间段时,将本地存储服务器集群中的文件发送至云服务器进行文件存储,并删除本地存储服务器集群中的文件。通过小文件直接上传云服务器+大文件本地暂存上传的方式,使得对本地存储设备的要求大大减小,有效地利用了本地存储空间资源以及闲时带宽,极大地减小了对文件存储的成本。

Description

一种文件存储方法及系统
技术领域
本发明属于数据存储技术领域,尤其涉及一种文件存储方法及系统。
背景技术
现代社会被称为“信息社会”,信息技术渗透到政治、经济、产业、服务领域的所有部门,信息化产业在国民经济中占有的比重越来越大。随着互联网、物联网、移动互联网、大数据等领域的发展,社会信息化更是达到了前所未有的高度。社会信息化程度越高产生的信息数据也越多,在享有信息化高速发展带来便利和效率的同时,如何对信息数据进行有效存储,是摆在企业面前的重要问题。
传统对信息数据存储的方法是将包含信息数据的文件直接存储在大存储容量的本地存储设备中,然而这需要耗费企业大量资金来进行本地存储设备的购买与日常维护,使得企业的运营成本急剧增加。
发明内容
有鉴于此,本发明实施例提供了一种文件存储方法及系统,以解决现有技术中对文件的存储方法成本过高的问题。
本发明实施例的第一方面提供了一种文件存储方法,包括:
文件客户端服务器判断接收到用户上传的文件大小是否小于预设第一阈值;
若判断结果为所述文件大小小于所述预设第一阈值,将所述文件发送至云服务器进行文件存储;
若判断结果为所述文件大小大于或等于所述预设第一阈值,将所述文件存储至本地存储服务器集群;
所述本地存储服务器集群识别当前时间是否属于预设上传时间段,并在当前时间属于所述预设上传时间段时,将所述本地存储服务器集群中的所述文件发送至所述云服务器进行文件存储,并删除所述本地存储服务器集群中的所述文件,所述预设上传时间段内用户访问量小于预设访问量阈值。
本发明实施例的第二方面提供了一种文件存储系统,包括:
文件客户端服务器、云服务器以及本地存储服务器群集;
所述文件客户端服务器,用于判断接收到用户上传的文件大小是否小于预设第一阈值;当判断结果为所述文件大小小于所述第一阈值时,将所述文件发送至所述云服务器进行文件存储;当判断结果为所述文件大小大于或等于所述第一阈值时,将所述文件存储至所述本地存储服务器群集;
所述本地存储服务器群集,用于识别当前时间是否属于预设上传时间段,并在当前时间属于所述预设上传时间段时,将所述本地存储服务器集群中的所述文件发送至所述云服务器进行文件存储,并删除所述本地存储服务器集群中的所述文件,所述预设上传时间段内用户访问量小于预设访问量阈值。
本发明实施例与现有技术相比存在的有益效果是:由于进行大量文件存储时云服务器的存储成本远小于本地存储的成本,因此本发明实施例采用了云服务器来存储文件以降低文件存储的成本,并在此基础上对文件大小进行识别,判断出接收到的文件大小,对于小文件而言,直接将其上传到云服务器以减小对本地存储空间的占用。而对于大文件而言,考虑到直接将其上传至云服务器会占用大量的带宽,可能会导致网络堵塞影响用户正常使用的情况,因此,本发明实施例中会先将其进行本地存储,并在用户访问量较小的时间段,如凌晨进行文件上传,同时删除上传成功的本地文件,由于文件在每次上传成功后就进行了删除,相当于仅在本地进行了文件暂存,因此不会对本地存储带来额外负担更无需过多的日常维护,对本地存储设备的要求极低。通过小文件直接上传云服务器+大文件本地暂存上传的方式,使得对本地存储设备的要求大大减小,在用户访问量较小的时段再将本地暂存的文件上传云服务器,有效地利用了本地存储空间资源以及闲时带宽,实现了在不影响用户正常使用的前提下,将文件进行云服务器存储的目的,极大地减小了对文件存储的成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的文件存储方法的实现流程示意图;
图2是本发明实施例二提供的文件存储方法的实现流程示意图;
图3是本发明实施例三提供的文件存储方法的实现流程示意图;
图4是本发明实施例四提供的文件存储方法的实现流程示意图;
图5是本发明实施例五提供的文件存储系统的交互流程示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本发明实施例一提供的文件存储方法的实现流程图,详述如下:
S101,文件客户端服务器判断接收到用户上传的文件大小是否小于预设第一阈值。
本发明实施例中,文件客户端服务器主要用于对用户上传的文件进行大小判断,并根据文件的大小来对文件进行不同的存储方式选取,其中,文件大小所使用的计量单位,包括但不限于如字节、千字节、兆字节以及吉字节。第一阈值用于对文件大小判断提供划分标准,以为后续文件存储方式的选取提供判断依据,本发明实施例中,对文件大小小于第一阈值的文件判定为小文件,对文件大小大于或等于第一阈值的文件则判定为大文件。其中,第一阈值的具体数值需由技术人员根据实际应用中的需求进行预先设定,优选地,可将第一阈值设定为100兆字节。
当用户需要对文件进行存储时,首先需要通过用户终端来将所需存储的文件上传至文件客户端服务器,如使用用户的个人电脑来将文件进行上传。在本发明实施例中,用户终端与文件客户端服务器之间,既可以是直连的方式进行文件传输,也可以是通过多层网络设备连接的方式来进行文件传输,具体的连接方式可由技术人员根据实际的需求进行设定,此处不予限定。作为本发明的一个优选实施例,可以在用户终端与文件客户端服务器之间增添文件服务端服务器,并利用文件服务端服务器来对文件客户端服务器的文件存储处理任务进行负载均衡调控,以实现对文件客户端服务器任务的负载均衡,详见本发明实施例二。
S102,若判断结果为文件大小小于预设第一阈值,将文件发送至云服务器进行文件存储。
云服务器是指由第三方机构提供的用于文件云存储的服务器,由于对于大量文件存储而言,云服务器的租赁成本远低于对本地存储设备购买和维护的成本,因此本发明实施例中采用云服务器来进行文件存储,可以大大降低对文件的存储成本。
当确定出文件为小文件时,由于对小文件的文件传输对带宽的占用比较小,因此为了减少小文件对本地存储空间的占用,本发明实施例中会直接将小文件上传到云服务器中进行云存储。
S103,若判断结果为文件大小大于或等于预设第一阈值,将文件存储至本地存储服务器集群。
S104,本地存储服务器集群识别当前时间是否属于预设上传时间段,并在当前时间属于预设上传时间段时,将本地存储服务器集群中的文件发送至云服务器进行文件存储,并删除本地存储服务器集群中的文件,预设上传时间段内用户访问量小于预设访问量阈值。
其中,本地存储服务器集群是指,与文件客户端服务器处于同一局域网内用于进行文件存储的服务器集群。
由于大文件上传云服务器时对带宽的占用较高,考虑到实际情况中用户网络的总带宽有限带宽资源较为宝贵,因此为了防止大文件传输对带宽占用过高导致用户正常网络使用受到影响,本发明实施例在确定出文件是大文件时,不会直接将文件进行上传,而是先进行本地存储服务器集群存储,并在用户访问量较小的时间段,将文件上传至云服务器,以充分利用闲时带宽完成大文件的云存储,实现了在保证用户正常使用的前提下对文件的云存储。其中,访问量阈值以及上传时间段的具体值,均可由技术人员根据实际用户网络使用情况进行设定,优选地,可以设置上传时间段为凌晨时段。同时本发明实施例在对文件上传云服务成功后,还会将本地存储服务器集群中的文件进行删除,以减少大文件对本地存储服务器集群存储空间的占用,提高对大文件的存储效率。
作为本发明的一个优选实施例,本地存储服务器集群为与文件客户端服务器处于同一局域网中的分布式存储服务器集群。由于分布式存储可以对存储设备的要求较低,同时维护成本也较低,通过利用分布式存储服务器集群进行大文件的本地存储,进一步地降低了对文件存储的成本。
在本发明实施例中,利用云服务器来降低文件存储的成本,并在此基础上对小文件直接将其上传到云服务器以减小对本地存储空间的占用,而对大文件,考虑到直接将其上传至云服务器会占用大量的带宽,可能会导致网络堵塞影响用户正常使用,因此,本发明实施例中会先将其进行本地存储,并在用户访问量较小的时间段进行文件上传,同时删除上传成功的本地文件,由于文件在每次上传成功后就进行了删除,相当于仅在本地进行了文件暂存,因此不会对本地存储带来额外负担更无需过多的日常维护,对本地存储设备的要求极低。通过小文件直接上传云服务器+大文件本地暂存上传的方式,使得对本地存储设备的要求大大减小,在用户访问量较小的时段再将本地暂存的文件上传云服务器,有效地利用了本地存储空间资源以及闲时带宽,实现了在不影响用户正常使用的前提下,将文件进行云服务器存储的目的,极大地减小了对文件存储的成本。
作为本发明的一个优选实施例二,如图2所示,在S101之前,还包括:
S201,文件服务端服务器以预设时间周期计算每个文件客户端服务器的权重,权重与文件客户端服务器对文件的存储处理能力正相关。
本发明实施例中,对文件的存储处理能力主要包括对文件的存储能力以及写入能力,因此进行权重计算时也是主要考虑文件客户端服务器对文件的存储能力以及写入能力,其中,文件客户端服务器内的可用内存越大,说明其对文件的存储能力越强,文件客户端服务器对文件的写入速度越快,说明其对文件的写入能力越强。同时,由于文件客户端服务器在对文件进行存储处理的过程中,其可用内存以及写入速度都会实时发生变化,因此文件客户端服务器的权重也是一个变化的值,为了保证得到的权重的实时有效,本发明实施例中会以预设的时间周期来对文件客户端服务器进行权重计算,如以每隔十分钟进行一次文件客户端服务器的权重计算,并将得到的最新的权重作为文件客户端服务器当前用于负载均衡处理的依据。
作文本发明进行权重计算的一种具体实现方式,包括,预先对文件客户端服务器的可用内存以及写入速度进行多级划分,并为每一级配置对应权重值,在计算文件客户端服务器权重时,只需将文件客户端服务器可用内存对应的权重值与写入速度对应的权重值进行求和即可。
例如,对文件客户端服务器的可用内存多级划分以及权重值设置为:当可用内存>=32吉字节时权重为200,当可用内存>=16吉字节时权重为100,当可用内存>=8吉字节时权重为50,当可用内存>=4吉字节时权重为25,当可用内存>=2吉字节时权重为10,当可用内存<2吉字节时权重为5。同时,对文件客户端服务器的写入速度多级划分以及权重值设置为:当写入速度>=100 兆字节/秒时权重为50,当写入速度>=50兆字节/秒时权重为50,当写入速度>= 25兆字节/秒时权重为25,当写入速度<25兆字节/秒时权重为5。在计算文件客户端服务器的权重时,只需读取文件客户端服务器的可用内存以及写入速度数据,并对照上述的权重设置确定出可用内存以及写入速度对应的权重并进行求和,即可得出所需的文件客户端服务器的权重,如,当某个文件客户端服务器的可用内存为8吉字节,写入速度为100兆字节/秒时,其权重=50+50=100。
S202,文件服务端服务器接收用户上传的文件,并根据权重将文件上传至文件客户端服务器。
实际情况中,每台文件客户端服务器对文件的存储处理能力均是有限的,当文件客户端服务器的文件存储任务过大时(即将过多的文件上传至该文件客户端服务器时),可能造成文件客户端服务器超负荷工作,使得文件客户端服务器工作出现异常。同时,在多台文件客户端服务器共同进行文件存储处理时,若只是简单的将文件存储处理任务随机分配至各个文件客户端服务器进行处理,对于存储处理能力不同的文件客户端服务器而言,无法充分发挥出各个文件客户端服务器的存储处理性能。因此,本发明实施例中,由文件服务端服务器根据得到的权重对文件客户端服务器的文件存储处理任务进行负载均衡调控,以充分发挥出各个文件客户端服务器的性能,提升文件云存储的效率。
作为本发明根据权重进行负载均衡调控的一种具体实现方式,包括:将文件上传至权重最高的前N个文件客户端服务器,其中N为正整数。
由于文件客户端服务器权重越高对文件的存储处理能力越强,而存储处理能力越强,其进行文件存储的效率也就越高,因此本发明实施例中会优先将文件存储处理任务分配给权重高的文件客户端服务器进行处理,以提升对文件的存储处理的效率。考虑到文件客户端服务器在对文件存储处理之后,其可用内存以及写入速度都会随之下降,即对文件的存储处理能力也在随之下降,若一直将文件存储处理任务分配给某台文件客户端服务器进行处理,会导致对文件存储的效率降低,因此本发明实施例中每隔一段时间就会重新计算一次各个文件客户端服务器的最新权重,并根据得到的最新权重从新对文件客户端服务器进行文件存储处理任务的分配,从而使得每次都是存储处理能力最强的文件客户端服务器负责文件存储处理,实现了对文件客户端服务器文件存储处理任务的负载均衡,保证了对文件存储处理的效率。其中N的具体值可由技术人员根据需求进行设定,优选地可设置为1,即每次仅向权重最高的文件客户端服务器上传文件,由权重最高的文件客户端服务器负责对文件进行存储处理。
应当理解地,在本发明实施例中,权重的取值是与文件客户端服务器存储处理能力正相关的,但同样的,也可以设置为权重与文件客户端服务器存储处理能力负相关,此时优选选取权重较小的文件客户端服务器进行存储处理任务分配即可,因此,设置权重与文件客户端服务器存储处理能力负相关并进行文件客户端服务器的负载均衡调控,也应当属于本申请的保护范围。
作为本发明的一个实施例,考虑到所需存储处理的文件量可能比较大,初始搭建的文件客户端服务器可能不足以满足较大文件量的处理,因此为了满足文件量扩增带来的新的文件存储处理任务处理需求,本发明实施例中,允许用户手动添加新的文件客户端服务器来进行文件存储处理,而文件服务端服务器会实时监控是否有新的文件客户端服务器加入,并在发现有新的文件客户端服务器加入时,计算出新的文件客户端服务器的权重,
本发明实施例中,通过在文件量较大时增添新的文件客户端服务器,并进行权重计算,以同步对新的文件客户端服务器也进行负载均衡调控,提高了文件存储的效率。
作为本发明的一个优选实施例,在文件服务端服务器与用户终端之间,还包括:负载均衡服务器。
由于文件服务端服务器负责着对文件客户端服务器文件存储处理任务的负载均衡调控,因此,其是否能够正常工作对于整个文件存储系统而言十分重要。为了保障文件服务端服务器的正常运作,本发明实施例中还会在文件服务端服务器与用户终端添加一层负载均衡服务器,该负载均衡服务器负责将用户终端上传的文件发送给文件服务端服务器,同时还负责对文件服务端服务器是否出现故障进行监测,详述如下:
当多台文件服务端服务器同时工作时,负载均衡服务器会对接收到的用户终端上传的文件进行任务均衡分配,以保证每台文件服务端服务器所接收到的文件量的均衡。同时,还会对每台文件服务端服务器进行故障监测,若发现有文件服务端服务器出现故障,如文件服务端服务器宕机,此时会停止向出现故障的文件服务端服务器上传文件,并对剩余无故障的文件服务端服务器重新分配文件上传任务,保证文件服务端服务器的正常运行。
作为本发明的一个优选实施例,根据用户的优先等级选定负载均衡服务器的数量。由于负载均衡服务器资源有限,为了进一步保证重要用户文件存储的可靠性,本发明实施例中会对用户进行不同优先等级的标记,并根据用户的优先等级进行负载均衡服务器数量的选取,如对于优先等级高的,可以选取两台负载均衡服务器进行处理,以防止单台负载均衡服务器故障给用户造成造成影响。
作为本发明实施例三,如图3所示,包括:
S301,在将文件发送至云服务器进行文件存储,或者将文件存储至本地存储服务器集群之后,还包括:将文件的文件名信息以及文件存储地址信息发送至数据库服务器。
S302,在将本地存储服务器集群中存储的文件发送至云服务器进行文件存储之后,还包括:将文件的文件名信息以及文件存储地址信息发送至数据库服务器。
在本发明实施例一中,文件既可能被存储至云服务器也可能被存储至本地存储服务器集群,而无论是云服务器还是本地存储服务器集群,其存储的情况都较为复杂,特别是文件量较大的时候,文件可能被存储在各个路径之下,此时用户若想管理文件,需要花费大量的时间精力去人工翻阅查找文件,效率十分低下。
本发明实施例中,为了提升对文件的管理效率,文件客户端服务器以及本地存储服务器集群在完成对文件的上传后,都会将文件名以及对应的文件存储地址发送给数据库服务器进行记录,以便于后续用户的管理使用。
S303,数据库服务器基于接收到的文件的文件名信息以及文件存储地址信息,对数据库服务器中的文件地址数据库进行记录更新。
由于一个文件的存储地址可能会有多次改变,如先存储在本地存储服务器集群中,后再上传存储在云服务中,为了保证文件地址数据库记录的信息真实有效,本发明实施例会在每次接收到文件存储地址信息后,对文件地址数据库中的信息进行更新。其中,文件名信息主要用于对文件存储地址进行标识,说明该文件存储地址信息是对应着哪个具体的文件,若在更新时发现文件地址数据库中没有存储过该文件,此时会直接将该文件的文件名信息以及存储地址信息一并进行存储。
作为本发明的一个优选实施例,文件客户端服务器以及本地存储服务器集群在完成对文件的上传后,在将文件名以及对应的文件存储地址发送给数据库服务器进行记录的同时,还会将这些信息发送给用户上传文件时所使用的用户终端,以使得用户在文件存储完成后可以快速或者文件的存储信息,并能通过草场地中信息实现对文件的快速访问。
作为本发明的一个优选实施例四,如图4所示,还包括:
S401,数据库服务器接收用户通过用户终端输入的文件查询指令,并根据文件查询指令中的查询文件名信息对文件地址数据库进行文件名信息查询,确定出文件查询指令对应的文件存储地址信息。
S402,将文件查询指令对应的文件存储地址信息发送至用户终端。
其中查询文件名信息,是指用户希望查询文件存储地址信息的文件的文件名,如用户希望查询文件名为1234.ZIP的文件的文件存储地址信息,此时用户输入的文件查询指令,需要包含文件名1234.ZIP,该文件名即为本发明实施例中的查询文件名信息。
由于本发明实施例三中已经将文件的文件名信息以及存储地址信息在文件地址数据库中进行了统一存储,因此,在本发明实施例中,用户若是想管理文件,只需通过用户终端输入相应的文件查询指令并发送给数据库服务器。数据库服务器在接收到文件查询指令后,根据指令中的查询文件名信息对存储的文件名信息进行匹配查询,以确定出用户所需查询的存储地址信息,再将存储地址信息返回给用户终端,从而实现了用户对文件存储地址信息的快速查询,帮助用户提高对文件的管理效率。
作为本发明的一个优选实施例,用户还可以通过用户终端输入包含查询文件名信息以及新的存储地址信息的文件地址修改指令,并发送至数据库服务器进行存储地址信息的修改,以实现对文件地址数据库中文件的存储地址信息进行修改,详述如下:
用户若想对文件的存储地址信息进行手动修改,此时可以在用户终端中输入包含文件的查询文件名信息以及新的存储地址信息的文件地址修改指令,并将文件地址修改指令发送给数据库服务器。数据库服务器在接收到文件地址修改指令后,根据其中的查询文件名信息确定出所需修改的存储地址信息,并利用文件地址修改指令中的新的存储地址信息对确定出的存储地址信息进行修改。
本发明实施例中,通过小文件直接上传云服务器+大文件本地暂存定时上传的方式,极大地减小了对本地存储设备的要求,在不影响用户正常使用的前提下,利用闲时带宽实现了将文件进行云服务器存储的目的。同时,利用文件服务端服务器对文件客户端服务器进行负载均衡调控,并利用负载均衡服务器来保障文件服务端服务器的正常使用,使得对文件存储的可靠性以及存储的效率都得到了极大地提升。最后,将文件的存储地址信息进行实时记录与更新,并提供给用户进行查询管理,提升了用户对文件的查询管理效率。
对应于上文实施例的方法,图5示出了本发明实施例提供的文件存储的结构框图,为了便于说明,仅示出了与本发明实施例相关的部分。图5示例的文件存储系统可以是前述实施例一提供的文件存储方法的执行主体。
参照图5,该文件存储系统包括:文件客户端服务器51、云服务器52以及本地存储服务器群集53。
所述文件客户端服务器51,用于判断接收到用户上传的文件大小是否小于预设第一阈值。当判断结果为所述文件大小小于所述第一阈值时,将所述文件发送至所述云服务器52进行文件存储。当判断结果为所述文件大小大于或等于所述第一阈值时,将所述文件存储至所述本地存储服务器群集53。
所述本地存储服务器群集53,用于识别当前时间是否属于预设上传时间段,并在当前时间属于所述预设上传时间段时,将所述本地存储服务器集群53 中的所述文件发送至所述云服务器52进行文件存储,并删除所述本地存储服务器集群53中的所述文件,所述预设上传时间段内用户访问量小于预设访问量阈值。
进一步地,该文件存储系统还包括:文件服务端服务器。
所述文件服务端服务器,用于以预设时间周期计算每个所述文件客户端服务器的权重,所述权重与所述文件客户端服务器对文件的存储处理能力正相关。
所述文件服务端服务器,还用于接收所述用户上传的所述文件,并根据所述权重将所述文件上传至所述文件客户端服务器。
进一步地,所述本地存储服务器群集为与所述文件客户端服务器处于同一局域网中的分布式存储服务器集群。
进一步地,该文件存储系统还包括:数据库服务器。
所述文件客户端服务器,还用于在所述将所述文件发送至云服务器进行文件存储,或者所述将所述文件存储至本地存储服务器集群之后,将所述文件的文件名信息以及文件存储地址信息发送至所述数据库服务器。
所述本地存储服务器集群,还用于在所述将所述本地存储服务器集群中存储的所述文件发送至所述云服务器进行文件存储之后,将所述文件的文件名信息以及文件存储地址信息发送至所述数据库服务器。
所述数据库服务器,用于基于接收到的所述文件的所述文件名信息以及所述文件存储地址信息,对所述数据库服务器中的文件地址数据库进行记录更新。
进一步地,所述数据库服务器,还用于:
接收所述用户通过用户终端输入的文件查询指令,并根据所述文件查询指令中的查询文件名信息对所述文件地址数据库进行文件名信息查询,确定出所述文件查询指令对应的所述文件存储地址信息。
将所述文件查询指令对应的所述文件存储地址信息发送至所述用户终端。
本发明实施例提供的文件存储系统中各模块实现各自功能的过程,具体可参考前述图1所示实施例一的描述,此处不再赘述。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (6)

1.一种文件存储方法,其特征在于,包括:
文件服务端服务器以预设时间周期计算每个文件客户端服务器的权重,所述权重与所述文件客户端服务器对文件的存储处理能力正相关;所述存储处理能力包括可用内存与写入速度;
所述文件服务端服务器接收用户通过用户终端上传的文件,并根据所述权重将所述文件上传至所述文件客户端服务器;
文件客户端服务器判断接收到用户通过用户终端上传的文件大小是否小于预设第一阈值;
若判断结果为所述文件大小小于所述预设第一阈值,将所述文件发送至云服务器进行文件存储;
若判断结果为所述文件大小大于或等于所述预设第一阈值,将所述文件存储至本地存储服务器集群;所述本地存储服务器集群是指与所述文件客户端服务器处于同一局域网内用于进行文件存储的服务器集群;
所述本地存储服务器集群识别当前时间是否属于预设上传时间段,并在当前时间属于所述预设上传时间段时,将所述本地存储服务器集群中的所述文件发送至所述云服务器进行文件存储,并删除所述本地存储服务器集群中的所述文件,所述预设上传时间段内用户访问量小于预设访问量阈值。
2.如权利要求1所述的文件存储方法,其特征在于:
在所述将所述文件发送至云服务器进行文件存储,或者所述将所述文件存储至本地存储服务器集群之后,还包括:将所述文件的文件名信息以及文件存储地址信息发送至数据库服务器;
在所述将所述本地存储服务器集群中存储的所述文件发送至所述云服务器进行文件存储之后,还包括:将所述文件的所述文件名信息以及所述文件存储地址信息发送至所述数据库服务器;
所述数据库服务器基于接收到的所述文件的所述文件名信息以及所述文件存储地址信息,对所述数据库服务器中的文件地址数据库进行记录更新。
3.如权利要求2所述的文件存储方法,其特征在于,还包括:
所述数据库服务器接收所述用户通过用户终端输入的文件查询指令,并根据所述文件查询指令中的查询文件名信息对所述文件地址数据库进行文件名信息查询,确定出所述文件查询指令对应的所述文件存储地址信息;
所述数据库服务器将所述文件查询指令对应的所述文件存储地址信息发送至所述用户终端。
4.一种文件存储系统,其特征在于,包括:文件客户端服务器、云服务器、文件服务端服务器以及本地存储服务器群集;所述本地存储服务器集群是指与所述文件客户端服务器处于同一局域网内用于进行文件存储的服务器集群;
所述文件服务端服务器,用于以预设时间周期计算每个所述文件客户端服务器的权重,所述权重与所述文件客户端服务器对文件的存储处理能力正相关;所述存储处理能力包括可用内存与写入速度;
所述文件服务端服务器,还用于接收用户通过用户终端上传的文件,并根据所述权重将所述文件上传至所述文件客户端服务器;
所述文件客户端服务器,用于判断接收到用户通过用户终端上传的文件大小是否小于预设第一阈值;当判断结果为所述文件大小小于所述第一阈值时,将所述文件发送至所述云服务器进行文件存储;当判断结果为所述文件大小大于或等于所述第一阈值时,将所述文件存储至所述本地存储服务器群集;
所述本地存储服务器群集,用于识别当前时间是否属于预设上传时间段,并在当前时间属于所述预设上传时间段时,将所述本地存储服务器集群中的所述文件发送至所述云服务器进行文件存储,并删除所述本地存储服务器集群中的所述文件,所述预设上传时间段内用户访问量小于预设访问量阈值。
5.如权利要求4所述的文件存储系统,其特征在于,还包括:数据库服务器;
所述文件客户端服务器,还用于在所述将所述文件发送至云服务器进行文件存储,或者所述将所述文件存储至本地存储服务器集群之后,将所述文件的文件名信息以及文件存储地址信息发送至所述数据库服务器;
所述本地存储服务器集群,还用于在所述将所述本地存储服务器集群中存储的所述文件发送至所述云服务器进行文件存储之后,将所述文件的文件名信息以及文件存储地址信息发送至所述数据库服务器;
所述数据库服务器,用于基于接收到的所述文件的文件名信息以及文件存储地址信息,对所述数据库服务器中的文件地址数据库进行记录更新。
6.如权利要求5所述的文件存储系统,其特征在于,所述数据库服务器,还用于:
接收所述用户通过用户终端输入的文件查询指令,并根据所述文件查询指令中的查询文件名信息对所述文件地址数据库进行文件名信息查询,确定出所述文件查询指令对应的所述文件存储地址信息;
将所述文件查询指令对应的所述文件存储地址信息发送至所述用户终端。
CN201711450781.4A 2017-12-27 2017-12-27 一种文件存储方法及系统 Active CN109981702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711450781.4A CN109981702B (zh) 2017-12-27 2017-12-27 一种文件存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711450781.4A CN109981702B (zh) 2017-12-27 2017-12-27 一种文件存储方法及系统

Publications (2)

Publication Number Publication Date
CN109981702A CN109981702A (zh) 2019-07-05
CN109981702B true CN109981702B (zh) 2022-04-15

Family

ID=67072003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711450781.4A Active CN109981702B (zh) 2017-12-27 2017-12-27 一种文件存储方法及系统

Country Status (1)

Country Link
CN (1) CN109981702B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515548B (zh) * 2019-08-15 2021-04-06 浙江万朋教育科技股份有限公司 一种避免浪费第三方云存储空间的方法
CN110620890B (zh) * 2019-09-02 2022-07-22 深圳壹账通智能科技有限公司 文件上传方法及系统
CN110933138A (zh) * 2019-10-31 2020-03-27 北京浪潮数据技术有限公司 一种镜像上传的方法、装置、设备及系统
CN111475079A (zh) * 2020-03-30 2020-07-31 维沃移动通信有限公司 对象管理方法及电子设备
CN112347052A (zh) * 2020-11-04 2021-02-09 深圳集智数字科技有限公司 一种文件匹配方法及相关装置
CN116384497B (zh) * 2023-05-11 2023-08-25 深圳量旋科技有限公司 量子计算实验结果的读写系统、相关方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209039A (zh) * 2011-06-27 2011-10-05 成都市华为赛门铁克科技有限公司 一种文件传输方法及设备
CN103152352A (zh) * 2013-03-15 2013-06-12 北京邮电大学 一种基于云计算环境的全信息安全取证监听方法和系统
CN106161633A (zh) * 2016-07-20 2016-11-23 柏科数据技术(深圳)股份有限公司 一种基于云计算环境下打包文件的传输方法及系统
CN106412093A (zh) * 2016-10-25 2017-02-15 广东欧珀移动通信有限公司 一种数据的上传方法、装置及系统
CN106487936A (zh) * 2016-12-29 2017-03-08 深圳市优必选科技有限公司 数据传输方法及设备、分布式存储系统
CN106878452A (zh) * 2017-03-13 2017-06-20 山东浪潮云服务信息科技有限公司 一种文件上传方法、装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949426B2 (en) * 2010-11-24 2015-02-03 Red Hat, Inc. Aggregation of marginal subscription offsets in set of multiple host clouds

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209039A (zh) * 2011-06-27 2011-10-05 成都市华为赛门铁克科技有限公司 一种文件传输方法及设备
CN103152352A (zh) * 2013-03-15 2013-06-12 北京邮电大学 一种基于云计算环境的全信息安全取证监听方法和系统
CN106161633A (zh) * 2016-07-20 2016-11-23 柏科数据技术(深圳)股份有限公司 一种基于云计算环境下打包文件的传输方法及系统
CN106412093A (zh) * 2016-10-25 2017-02-15 广东欧珀移动通信有限公司 一种数据的上传方法、装置及系统
CN106487936A (zh) * 2016-12-29 2017-03-08 深圳市优必选科技有限公司 数据传输方法及设备、分布式存储系统
CN106878452A (zh) * 2017-03-13 2017-06-20 山东浪潮云服务信息科技有限公司 一种文件上传方法、装置和系统

Also Published As

Publication number Publication date
CN109981702A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109981702B (zh) 一种文件存储方法及系统
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
US10515326B2 (en) Database systems and related queue management methods
CN109947668B (zh) 存储数据的方法和装置
US8943269B2 (en) Apparatus and method for meeting performance metrics for users in file systems
CN106899680A (zh) 多区块链的分片处理方法和装置
US20050154576A1 (en) Policy simulator for analyzing autonomic system management policy of a computer system
US9305112B2 (en) Select pages implementing leaf nodes and internal nodes of a data set index for reuse
CN111522636A (zh) 应用容器的调整方法、调整系统、计算机可读介质及终端设备
US11275667B2 (en) Handling of workload surges in a software application
US11140219B1 (en) Quality of service (QoS) setting recommendations for volumes across a cluster
CN112445857A (zh) 一种基于数据库的资源配额管理方法和装置
CN103607312A (zh) 用于服务器系统的数据请求处理方法及系统
US11693563B2 (en) Automated tuning of a quality of service setting for a distributed storage system based on internal monitoring
CN111400241B (zh) 数据重构方法和装置
CN112286930A (zh) redis业务方资源共享的方法、装置、存储介质及电子设备
CN110347546B (zh) 监控任务动态调整方法、装置、介质及电子设备
US20190303021A1 (en) Rebalancing of user accounts among partitions of a storage service
CN116166181A (zh) 一种云监控方法和云管理平台
CN115604269A (zh) 一种服务器的负载均衡方法、装置、电子设备及存储介质
US20230137673A1 (en) Systems and methods for dynamically scaling remote resources
EP3599547B1 (en) Elastic storage volume type selection and optimization engine for public cloud environments
CN113905092A (zh) 一种确定可复用代理队列的方法、装置、终端及存储介质
CN114253456A (zh) 一种缓存负载均衡方法和装置
CN112433891A (zh) 数据处理方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant