CN113271343A - 一种数据下载、上传的方法及电子设备 - Google Patents

一种数据下载、上传的方法及电子设备 Download PDF

Info

Publication number
CN113271343A
CN113271343A CN202110470153.2A CN202110470153A CN113271343A CN 113271343 A CN113271343 A CN 113271343A CN 202110470153 A CN202110470153 A CN 202110470153A CN 113271343 A CN113271343 A CN 113271343A
Authority
CN
China
Prior art keywords
data
information
downloaded
request
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110470153.2A
Other languages
English (en)
Inventor
陈冬孜
卢小丰
杨镇铭
解晓雨
王湃
吕本铭
丁晓阳
周传辉
王晟权
史程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hualu Optical Storage Research Institute Dalian Co ltd
China Hualu Group Co Ltd
Original Assignee
Hualu Optical Storage Research Institute Dalian Co ltd
China Hualu Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hualu Optical Storage Research Institute Dalian Co ltd, China Hualu Group Co Ltd filed Critical Hualu Optical Storage Research Institute Dalian Co ltd
Priority to CN202110470153.2A priority Critical patent/CN113271343A/zh
Publication of CN113271343A publication Critical patent/CN113271343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105Multiple levels of security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682Policies or rules for updating, deleting or replacing the stored data

Abstract

本申请公开了一种数据下载、上传的方法及电子设备,所述数据下载方法包括:生成待下载数据的第一请求信息;发送所述第一请求信息;当所述第一请求信息通过所述服务器端验证后,且当所述第一存储位置存储有所述待下载数据时,接收所述待下载数据,所述待下载数据由所述服务器端从所述第一存储位置根据所述预分段信息逐段发出;根据所述预分段信息将逐段接收的每一段数据组合后形成需要的下载数据。本申请实施例通过在生成待下载数据的第一请求信息时对待下载数据根据预设分段规则分段后形成预分段信息,以使服务器端在反馈数据时可以逐段发送,从而避免高并发大文件传输时,导致服务器端中积压大量的未传输结束的数据的问题。

Description

一种数据下载、上传的方法及电子设备
技术领域
本申请涉及数据管理技术领域,尤其涉及一种数据下载、上传的方法及采用该方法的电子设备。
背景技术
网络附加存储(network attached storage,NAS)是连接到计算机网络的文件级计算机数据存储服务,其提供对异构客户端组的数据访问。NAS通常使用网络文件共享协议(如NFS,SMB或AFP)提供对文件的访问,可消除从网络上的其他服务器提供文件服务的责任。
相比较于传统NAS磁盘传输,NAS用于光盘库的数据上传时,由于光盘不能实现即时存储,导致在数据上传过程中,需要将数据先存到服务器的磁盘存储器中,并用等数据传输结束后,才能将文件数据上传到光盘中;用于文件数据下载时,也需要先从光盘库获取文件数据放到服务器磁盘存储器中,然后再根据NAS协议请求的数据大小与位置,返回相应的文件数据内容。
由于上述原因产生的一个问题是高并发大文件传输时,会导致服务器存储器中积压大量的未传输结束的数据,并且因为服务器存储器中还有一个由缓存存储器即内存到主存储器即硬盘的过程,而因为内存容量很限,所以在并发操作时就会常常使有的文件数据不能确保得到接收,甚至严重时可能导致服务器系统死机的问题。
发明内容
为解决上述技术问题,本申请实施例第一方面提供了一种数据下载的方法,包括:
生成待下载数据的第一请求信息,所述第一请求信息包括所述待下载数据的第一存储位置信息、用户身份信息和预分段信息,所述第一存储位置位于服务器端主存储设备中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息;
发送所述第一请求信息;
当所述第一请求信息通过所述服务器端验证后,且当所述第一存储位置存储有所述待下载数据时,接收所述待下载数据,所述待下载数据由所述服务器端从所述第一存储位置根据所述预分段信息逐段发出;
根据所述预分段信息将逐段接收的每一段数据组合后形成需要的下载数据。
本申请实施例第二方面提供了一种数据下载的方法,包括:
接收待下载数据的第一请求信息,所述第一请求信息包括所述待下载数据的第一存储位置信息、用户身份信息和预分段信息,所述第一存储位置位于服务器端主存储设备中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息;
对所述第一请求信息进行验证;
当所述第一请求信息通过验证后,且当所述第一存储位置存储有所述待下载数据时,根据所述预分段信息逐段发出所述待下载数据;
当所述第一存储位置未存储有所述待下载数据时,向与服务器端连接的光盘库发出所述待下载数据的第二请求信息,所述第二请求信息中包括所述待下载数据的第二存储位置信息和预分段信息,所述第二存储位置位于光盘库中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息。
一些实施例中,当所述第一请求信息通过验证后,且当所述第一存储位置存储有所述待下载数据时,根据所述预分段信息逐段发出所述待下载数据,包括:
根据所述预分段信息中每一段待下载数据的初始位置信息及其数据长度信息将所述第一存储位置存储的所述待下载数据逐段读取到所述服务器端的缓存存储器中;
当一段所述待下载数据读取完成后,将该段所述待下载数据从所述缓存存储器中反馈给发送所述第一请求信息的客户端,并从所述缓存存储器中删除该段待下载数据。
一些实施例中,所述第二数据存储设备为光盘库,所述第二存储位置信息为所述待下载数据在所述光盘库中的存储位置信息。
一些实施例中,当所述第一存储位置未存储有所述待下载数据时,向与服务器端连接的光盘库发出所述待下载数据的第二请求信息之前,还包括:
根据所述第一请求信息中的所述身份信息或所述第一请求信息来自的客户端的IP地址,对所述第二请求信息赋予不同的操作权限;
当所述第二请求信息中的所述操作权限为读写权限时,向所述第二请求信息开放所述光盘库数据的读写权限;
当所述第二请求信息中的所述操作权限为只读权限时,向所述第二请求信息开放所述光盘库数据的只读权限;
当所述第二请求信息中没有针对所述光盘盘数据的操作权限时,禁止所述第二请求信息请求所述光盘库数据。
本申请实施例第三方面提供了一种数据上传的方法,包括:
发送挂载请求,所述挂载请求用于请求对服务器端主存储设备中的数据文件和文件目录的访问;
当所述挂载请求通过所述服务器端验证后,接收针对所述挂载请求的允许挂载的反馈信息,所述反馈信息由所述服务器端发出;
将待上传数据按预设规则分成多个数据段,并形成所述待上传数据的拆解信息,所述拆解信息中至少包括待上传数据拆分后每一段待上传数据的初始位置信息及其数据长度信息;
上传所述拆解信息,使所述服务器端可根据所述拆解信息组合其接收到的所述数据段;
以所述数据段为传输单位逐段上传拆分后的所述待上传数据。
本申请实施例第四方面提供了一种数据上传的方法,包括:
接收挂载请求,所述挂载请求由客户端发出,用于请求对服务器端主存储设备中的数据文件和文件目录的访问;
验证所述挂载请求,当所述挂载请求通过验证后,发送针对所述挂载请求的允许挂载的反馈信息;
接收待上传数据的拆解信息,所述拆解信息中至少包括待上传数据拆分后每一段待上传数据的初始位置信息及其数据长度信息;
在所述服务器端的缓存存储器中建立多个确定容量大小的块空间,每个所述块空间在同一份待上传数据传输完毕前只接收来自该同一份待上传数据拆分后形成的数据段;
通过所述块空间接收所述数据段,并根据所述拆解信息,在确定的一个所述数据段接收完成后,将该数据段转移至所述服务器端的主存储器中;
清空所述块空间中的所有数据,使所述块空间可继续接收下一个数据段。
一些实施例中,所述方法还包括:
当所述服务器端的主存储器的剩余存储容量低于设定的存储容量时,将所述主存储器中的数据迁移到与所述服务器端相连接的光盘库中。
一些实施例中,所述设定的存储容量是所述主存储器的总存储容量的确定比例的存储容量。
本申请实施例第五方面提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一方面所述的方法。
本申请实施例第六方面提供了一种基于光盘库的数据管控系统,包括:
数据库访问模块,用于从所述数据库中查询文件信息以和/或共享链接信息,以及保存所述文件信息和/或所述共享链接信息到所述数据库;
对象存储模块,用于存储文件的实体数据,并根据要求返回其他模块需要的文件数据;
管理界面模块,用于查看现有的文件信息,查看现有的共享链接信息,并针对IP地址或网段或用户的不同权限进行控制;
共享链接管理模块,用于通过数据库访问模块获取现有的所有共享链接,增加,删除或修改共享链接;
权限管理模块,用于所述共享链接的管理,包含权限管理和权限设置;
文件系统模块,用于实现系统与光盘库的连接,以实现所述光盘库中文件数据的传输、查看、删除;
共享客户端模块,用于通过生成和发送请求信息,实现对文件数据的查看、上传或下载。
本申请实施例的有益效果在于,通过在生成待下载数据的第一请求信息时对待下载数据根据预设分段规则分段后形成预分段信息,以使服务器端在反馈数据时可以逐段发送,从而避免高并发大文件传输时,导致服务器端中积压大量的未传输结束的数据的问题。
附图说明
图1是本申请实施例文件数据下载流程示意图;
图2是本申请实施例挂载及文件数据上传流程示意;
图3是本申请实施例中基于光盘库的数据管控系统结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本申请进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本申请的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本申请的概念。
图1是本申请实施例文件数据下载流程示意图。
如图1所示,一种数据下载的方法,包括:
步骤110:生成待下载数据的第一请求信息,所述第一请求信息包括所述待下载数据的第一存储位置信息、用户身份信息和预分段信息,所述第一存储位置位于服务器端主存储设备中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息。
本实施例的动作执行主体为客户端,步骤110中生成待下载数据的第一请求信息,即由客户端生成该第一请求信息。而且在生成该第一请求信息时,将待下载数据的第一存储位置信息、用户身份信息,及对待下载数据的预分段信息一起打包生成在了该第一请求信息。
步骤120:发送所述第一请求信息。
步骤130:当所述第一请求信息通过服务器端验证后,且当所述第一存储位置存储有所述待下载数据时,接收所述待下载数据,所述待下载数据由所述服务器端从所述第一存储位置根据所述预分段信息逐段发出。
步骤120中发送第一请求信息给服务器端后,该服务器端对该请求信息中的身份信息进行验证,以判定该客户端能否获得该服务器端的数据下载服务。
步骤130中当第一请求信息通过服务器端验证后,且当所述第一存储位置存储有所述待下载数据时,客户端开始接收待下载数据。
步骤140:根据所述预分段信息将逐段接收的每一段数据组合后形成需要的下载数据。
步骤140中根据预分段信息将逐段接收的每一段数据组合后形成需要的下载数据,即对接收到的数据段根据预先设定的规则重新进行组合,以形成完整的下载数据。
本实施例通过在生成待下载数据的第一请求信息时对待下载数据根据预设分段规则分段后形成预分段信息,使得服务器端在反馈数据时可以逐段发送,从而避免高并发大文件传输时,导致服务器端中积压大量的未传输结束的数据的问题。
如图1所示,一种数据下载的方法,包括:
步骤210:接收待下载数据的第一请求信息,所述第一请求信息包括所述待下载数据的第一存储位置信息、用户身份信息和预分段信息,所述第一存储位置位于服务器端主存储设备中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息。
本实施例的动作执行主体为服务器端。步骤210中接收待下载数据的第一请求信息,正是对应实施例步骤110中客户端生成和发送的第一请求信息。
步骤220:对所述第一请求信息进行验证。
步骤230:当所述第一请求信息通过验证后,且当所述第一存储位置存储有所述待下载数据时,根据所述预分段信息逐段发出所述待下载数据;
步骤230是指第一请求信息通过验证后,且当所述第一存储位置存储有待下载数据,两个条件都具备时才由服务器端将存储于其主存储器的第一存储位置的待下载数据发送给客户端。
步骤240:当所述第一存储位置未存储有所述待下载数据时,向与服务器端连接的光盘库发出所述待下载数据的第二请求信息,所述第二请求信息中包括所述待下载数据的第二存储位置信息和预分段信息,所述第二存储位置位于光盘库中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息。
步骤240是指在第一请求信息通过验证后,但第一存储位置未存储有所述待下载数据时,则向与服务器端连接的光盘库发出所述待下载数据的第二请求信息的过程。该第二请求信息藉由第一请求信息生成,与第一请求信息不同的仅在其中的第二存储位置与第一存储位置不同,第一存储位置是在服务器端主存储设备中,第二存储位置是在光盘库中。
本实施例通过设置与服务器端主存储设备中第一存储位置相对应的光盘库中的第二存储位置,使得数据的存储和读取更具扩展性。
一些实施例中,步骤230具体包括:
步骤231:根据所述预分段信息中每一段待下载数据的初始位置信息及其数据长度信息将所述第一存储位置存储的所述待下载数据逐段读取到所述服务器端的缓存存储器中。
步骤232:当一段所述待下载数据读取完成后,将该段所述待下载数据从所述缓存存储器中反馈给发送所述第一请求信息的客户端,并从所述缓存存储器中删除该段待下载数据。
该实施例通过将待下载数据逐段读取到所述服务器端的缓存存储器中,并经由缓存存储器逐段发送待下载数据给客户端,可使缓存存储器用相对较小的一个存储空间处理较大的待下载数据文件。
一些实施例中,当所述第一存储位置未存储有所述待下载数据时,向与服务器端连接的光盘库发出所述待下载数据的第二请求信息之前,还包括:
根据所述第一请求信息中的所述身份信息或所述第一请求信息来自的客户端的IP地址,对所述第二请求信息赋予不同的操作权限;
当所述第二请求信息中的所述操作权限为读写权限时,向所述第二请求信息开放所述光盘库数据的读写权限;
当所述第二请求信息中的所述操作权限为只读权限时,向所述第二请求信息开放所述光盘库数据的只读权限;
当所述第二请求信息中没有针对所述光盘盘数据的操作权限时,禁止所述第二请求信息请求所述光盘库数据。
该实施例中通过对第二请求信息赋予不同的权限可使得不同客户端或不同用户对光盘库的访问更加规范可控。
图2是本申请实施例挂载及文件数据上传流程示意。
如图2所示,一种数据上传的方法,包括:
步骤310:发送挂载请求,所述挂载请求用于请求对服务器端主存储设备中的数据文件和文件目录的访问。
本实施例的动作执行主体为客户端,步骤310中发送的挂载请求,是指由客户端发出一个请求信息,使服务器端,可选的,为服务器中的存储设备(诸如硬盘、CD-ROM或共享资源)上的计算机文件和目录可供客户端的文件系统访问的一个过程。
步骤320:当所述挂载请求通过所述服务器端验证后,接收针对所述挂载请求的允许挂载的反馈信息,所述反馈信息由所述服务器端发出;
步骤320中指客户端发送的挂载请求通过验证后,接收允许挂载的反馈信息的过程。
步骤330:将待上传数据按预设规则分成多个数据段,并形成所述待上传数据的拆解信息,所述拆解信息中至少包括待上传数据拆分后每一段待上传数据的初始位置信息及其数据长度信息;
步骤330是指在上传文件数据前先将文件数据按预设规则分成多个数据段,以及形成相应的拆解信息的过程。
步骤340:上传所述拆解信息,使所述服务器端可根据所述拆解信息组合其接收到的所述数据段;
步骤340是指客户端上传该拆解信息,从而使文件数据的接收端,即服务器端,可选的,为服务器存储设备,可根据该拆解信息对接收到的数据段进行组合。
步骤350:以所述数据段为传输单位逐段上传拆分后的所述待上传数据。
步骤350是指客户端将拆解成多个数据段的文件数据,以数据段为传输单位逐段上传的过程。
本实施例通过生成并上传拆解信息,可使待上传数据在发出和接收两端都可实现逐段上传和逐段接收。并能使服务器端根据拆解信息可重新组合其接收到的数据段形成完成的上传数据。
如图2所示,一种数据上传的方法,包括:
步骤410:接收挂载请求,所述挂载请求由客户端发出,用于请求对服务器端主存储设备中的数据文件和文件目录的访问。
本实施例的动作执行主体为服务器端。步骤410中接收的挂载请求,正是相对实施列步骤310中客户端发送的挂载请求。
步骤420:验证所述挂载请求,当所述挂载请求通过验证后,发送针对所述挂载请求的允许挂载的反馈信息;
步骤420是指该服务器端对挂载请求通过验证后,向客户端发送允许挂载的反馈信息。
步骤430:接收待上传数据的拆解信息,所述拆解信息中至少包括待上传数据拆分后每一段待上传数据的初始位置信息及其数据长度信息。
步骤430是指服务器端接收客户端发送的待上传数据的拆解信息,以便对后续逐段接收的待上传数据,可根据该拆解信息进行重新组合,以形成完整的上传数据。
步骤440:在所述服务器端的缓存存储器中建立多个确定容量大小的块空间,每个所述块空间在同一份待上传数据传输完毕前只接收来自该同一份待上传数据拆分后形成的数据段。
步骤440是指在服务器端的缓存存储器中建立多个确定容量大小的块空间,比如建立,5个大小为20M的块空间,然后每个块空间只负责处理一个上传数据拆分后的所有的数据段。而且在一个上传数据的所有数据段没有处理完成前,该块空间不会用于对其他上传数据的处理。也就是说,一个块空间只有处理完一个上传数据的所有数据段之后,才会响应其他的上传数据。
步骤450:通过所述块空间接收所述数据段,并根据所述拆解信息,在确定的一个所述数据段接收完成后,将该数据段转移至所述服务器端的主存储器中。
步骤450是指根据拆解信息中的数据段的初步位置和其数据长度,在确定一个数据段接收完成后,即从缓存存储器的块空间将该数据段转移至主存储器中。
步骤460:清空所述块空间中的所有数据,使所述块空间可继续接收下一个数据段。
步骤460是指在步骤450中将一个接收完成的数据段从缓存存储器的块空间转移至主存储器中后,要进一步清空该块空间中的所有数据,以使该块空间可继续接收下一个数据段。
本实施例中通过在服务器端的缓存存储器中设置多个块空间,并使每个块空间只负责处理一个上传数据拆分后的所有的数据段。而且在一个上传数据的所有数据段没有处理完成前,该块空间不会用于对其他上传数据的处理。从而也一定程度上能避免高并发大文件传输时,导致服务器端中积压大量的未传输结束的数据的问题。
一些实施例中,所述方法还包括:
步骤470:当所述服务器端的主存储器的剩余存储容量低于设定的存储容量时,将所述主存储器中的数据迁移到与所述服务器端相连接的光盘库中。
其中所述设定的存储容量是所述主存储器的总存储容量的确定比例的存储容量。比如,设定的存储容量为主存储器总存储空间的20%,则当主存储器的剩余存储容量低于该设定的存储容量,即主存储器总存储空间的20%时,则开始将主存储器中的数据迁移到与所述服务器端相连接的光盘库中。也就是说,如果服务器端的主存储器还有足够的剩余存储容量,则不启动向光盘库中的数据迁移。
本申请实施例还提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例所述的方法
图3是本申请实施例中基于光盘库的数据管控系统结构示意图。
如图3所示,一种基于光盘库的数据管控系统,包括:
数据库访问模块106,用于从所述数据库中查询文件信息以和/或共享链接信息,以及保存所述文件信息和/或所述共享链接信息到所述数据库;
对象存储模块107,用于存储文件的实体数据,并根据要求返回其他模块需要的文件数据;
管理界面模块101,用于查看现有的文件信息,查看现有的共享链接信息,并针对IP地址或网段或用户的不同权限进行控制;
共享链接管理模块104,用于通过数据库访问模块获取现有的所有共享链接,增加,删除或修改共享链接;
权限管理模块103,用于所述共享链接的管理,包含权限管理和权限设置;
文件系统模块105,用于实现系统与光盘库的连接,以实现所述光盘库中文件数据的传输、查看、删除;
共享客户端模块102,用于通过生成和发送请求信息,实现对文件数据的查看、上传或下载。
其中管理界面模块101把共享与权限的信息发送给共享链接管理模块104,共享链接管理模块104根据发过来的盘匣信息及权限范围,将盘匣共享出去,并通过数据库访问模块106将共享名称,共享盘匣等信息保存到数据库中。
添加共享权限到数据库的过程包括,管理界面模块101把共享与权限的信息发送给共享链接管理模块104,然后共享链接管理模块104发送权限信息至权限管理模块103,权限管理模块103通过数据库访问模块106,将权限范围,权限等级等信息保存到数据库中。
文件目录查询的过程包括,在共享客户端模块102的相应目录下进行查看目录的操作,通过共享客户端模块102调用文件系统模块105,文件系统模块105调用对象存储模块107,请求查看当前目录下的子目录/文件,并请求依次查看子目录/文件的基本信息,对象存储模块107调用数据库访问模块106,通过数据库查询当前目录下的目录/文件的列表与各目录/文件的基本信息并返回,其中基本信息包括目录/文件名称,文件大小,文件创建时间等。
文件上传的过程包括,在共享客户端模块102中选择一个文件或多个文件或若干文件夹进行上传操作,通过共享客户端模块102调用文件系统模块106,文件系统模块106会将文件分成若干小块,依次上传至对象存储模块107,整个目标文件上传完成后,会调用对象存储模块107的上传完成接口,对象存储模块107将文件/目录的信息发送到数据库访问模块106,进行文件信息的存储。
文件读取的过程包括,在共享客户端模块102选择若干文件或文件夹进行读取操作,通过共享客户端模块102调用文件系统模块105,文件系统模块会105把要获取的文件内容划分成若干个小段,依次调用对象存储模块107来获取每一个段的文件数据,最终组成完整的文件数据,对象存储模块107将文件流返回给文件系统模块105,文件系统模块105将文件流数据返回给共享客户端模块102,完成文件数据的正常读取。
系统启动自动开启共享的过程包括,启动共享链接管理模块104,使共享链接管理模块104通过数据库访问模块106查询已存在的共享链接的基本信息,共享链接管理模块104调用权限管理模块103查询共享的权限信息,权限管理模块103通过数据库访问模块查询到需要的权限信息,并将相应的权限信息返回给共享链接管理模块104,共享链接管理模块104获取到共享信息与权限信息后,根据这些信息重新构建共享链接。
应当理解的是,本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理,而不构成对本申请的限制。因此,在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。此外,本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种数据下载的方法,其特征在于,包括:
生成待下载数据的第一请求信息,所述第一请求信息包括所述待下载数据的第一存储位置信息、用户身份信息和预分段信息,所述第一存储位置位于服务器端主存储设备中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息;
发送所述第一请求信息;
当所述第一请求信息通过所述服务器端验证后,且当所述第一存储位置存储有所述待下载数据时,接收所述待下载数据,所述待下载数据由所述服务器端从所述第一存储位置根据所述预分段信息逐段发出;
根据所述预分段信息将逐段接收的每一段数据组合后形成需要的下载数据。
2.一种数据下载的方法,其特征在于,包括:
接收待下载数据的第一请求信息,所述第一请求信息包括所述待下载数据的第一存储位置信息、用户身份信息和预分段信息,所述第一存储位置位于服务器端主存储设备中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息;
对所述第一请求信息进行验证;
当所述第一请求信息通过验证后,且当所述第一存储位置存储有所述待下载数据时,根据所述预分段信息逐段发出所述待下载数据;
当所述第一存储位置未存储有所述待下载数据时,向与服务器端连接的光盘库发出所述待下载数据的第二请求信息,所述第二请求信息中包括所述待下载数据的第二存储位置信息和预分段信息,所述第二存储位置位于光盘库中,所述预分段信息包括所述待下载数据根据预设分段规则分段后每一段数据的初始位置信息及其数据长度信息。
3.根据权利要求2所述的方法,其特征在于,当所述第一请求信息通过验证后,且当所述第一存储位置存储有所述待下载数据时,根据所述预分段信息逐段发出所述待下载数据,包括:
根据所述预分段信息中每一段待下载数据的初始位置信息及其数据长度信息将所述第一存储位置存储的所述待下载数据逐段读取到所述服务器端的缓存存储器中;
当一段所述待下载数据读取完成后,将该段所述待下载数据从所述缓存存储器中反馈给发送所述第一请求信息的客户端,并从所述缓存存储器中删除该段待下载数据。
4.根据权利要求2所述的方法,其特征在于,当所述第一存储位置未存储有所述待下载数据时,向与服务器端连接的光盘库发出所述待下载数据的第二请求信息之前,还包括:
根据所述第一请求信息中的所述身份信息或所述第一请求信息来自的客户端的IP地址,对所述第二请求信息赋予不同的操作权限;
当所述第二请求信息中的所述操作权限为读写权限时,向所述第二请求信息开放所述光盘库数据的读写权限;
当所述第二请求信息中的所述操作权限为只读权限时,向所述第二请求信息开放所述光盘库数据的只读权限;
当所述第二请求信息中没有针对所述光盘盘数据的操作权限时,禁止所述第二请求信息请求所述光盘库数据。
5.一种数据上传的方法,其特征在于,包括:
发送挂载请求,所述挂载请求用于请求对服务器端主存储设备中的数据文件和文件目录的访问;
当所述挂载请求通过所述服务器端验证后,接收针对所述挂载请求的允许挂载的反馈信息,所述反馈信息由所述服务器端发出;
将待上传数据按预设规则分成多个数据段,并形成所述待上传数据的拆解信息,所述拆解信息中至少包括待上传数据拆分后每一段待上传数据的初始位置信息及其数据长度信息;
上传所述拆解信息,使所述服务器端可根据所述拆解信息组合其接收到的所述数据段;
以所述数据段为传输单位逐段上传拆分后的所述待上传数据。
6.一种数据上传的方法,其特征在于,包括:
接收挂载请求,所述挂载请求由客户端发出,用于请求对服务器端主存储设备中的数据文件和文件目录的访问;
验证所述挂载请求,当所述挂载请求通过验证后,发送针对所述挂载请求的允许挂载的反馈信息;
接收待上传数据的拆解信息,所述拆解信息中至少包括待上传数据拆分后每一段待上传数据的初始位置信息及其数据长度信息;
在所述服务器端的缓存存储器中建立多个确定容量大小的块空间,每个所述块空间在同一份待上传数据传输完毕前只接收来自该同一份待上传数据拆分后形成的数据段;
通过所述块空间接收所述数据段,并根据所述拆解信息,在确定的一个所述数据段接收完成后,将该数据段转移至所述服务器端的主存储器中;
清空所述块空间中的所有数据,使所述块空间可继续接收下一个数据段。
7.根据权利要求6所述的方法,其特征在于,还包括:
当所述服务器端的主存储器的剩余存储容量低于设定的存储容量时,将所述主存储器中的数据迁移到与所述服务器端相连接的光盘库中。
8.根据权利要求7所述的方法,其特征在于,所述设定的存储容量是所述主存储器的总存储容量的确定比例的存储容量。
9.一种电子设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1-8中任一项所述的方法。
10.一种基于光盘库的数据管控系统,其特征在于,包括:
数据库访问模块,用于从所述数据库中查询文件信息以和/或共享链接信息,以及保存所述文件信息和/或所述共享链接信息到所述数据库;
对象存储模块,用于存储文件的实体数据,并根据要求返回其他模块需要的文件数据;
管理界面模块,用于查看现有的文件信息,查看现有的共享链接信息,并针对IP地址或网段或用户的不同权限进行控制;
共享链接管理模块,用于通过数据库访问模块获取现有的所有共享链接,增加,删除或修改共享链接;
权限管理模块,用于所述共享链接的管理,包含权限管理和权限设置;
文件系统模块,用于实现系统与光盘库的连接,以实现所述光盘库中文件数据的传输、查看、删除;
共享客户端模块,用于通过生成和发送请求信息,实现对文件数据的查看、上传或下载。
CN202110470153.2A 2021-04-28 2021-04-28 一种数据下载、上传的方法及电子设备 Pending CN113271343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110470153.2A CN113271343A (zh) 2021-04-28 2021-04-28 一种数据下载、上传的方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110470153.2A CN113271343A (zh) 2021-04-28 2021-04-28 一种数据下载、上传的方法及电子设备

Publications (1)

Publication Number Publication Date
CN113271343A true CN113271343A (zh) 2021-08-17

Family

ID=77229648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110470153.2A Pending CN113271343A (zh) 2021-04-28 2021-04-28 一种数据下载、上传的方法及电子设备

Country Status (1)

Country Link
CN (1) CN113271343A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014121593A1 (zh) * 2013-02-08 2014-08-14 华为技术有限公司 分布式存储的方法、装置和系统
CN105224891A (zh) * 2015-09-22 2016-01-06 苏州互盟信息存储技术有限公司 磁盘光盘融合数据安全存储方法、系统及装置
CN108234539A (zh) * 2016-12-14 2018-06-29 北京金山云网络技术有限公司 一种文件上传、下载、传输方法及装置
CN111090618A (zh) * 2019-10-29 2020-05-01 厦门网宿有限公司 一种数据读取方法、系统及设备
CN111783123A (zh) * 2020-07-03 2020-10-16 上海明略人工智能(集团)有限公司 文件处理方法、装置、设备及存储介质
CN111988419A (zh) * 2020-08-28 2020-11-24 深圳壹账通智能科技有限公司 文件上传方法、下载方法、装置、计算机设备和存储介质
US20210099432A1 (en) * 2019-09-27 2021-04-01 Xiamen Wangsu Co., Ltd. Data consistency verification method, and data uploading and downloading device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014121593A1 (zh) * 2013-02-08 2014-08-14 华为技术有限公司 分布式存储的方法、装置和系统
CN105224891A (zh) * 2015-09-22 2016-01-06 苏州互盟信息存储技术有限公司 磁盘光盘融合数据安全存储方法、系统及装置
CN108234539A (zh) * 2016-12-14 2018-06-29 北京金山云网络技术有限公司 一种文件上传、下载、传输方法及装置
US20210099432A1 (en) * 2019-09-27 2021-04-01 Xiamen Wangsu Co., Ltd. Data consistency verification method, and data uploading and downloading device
CN111090618A (zh) * 2019-10-29 2020-05-01 厦门网宿有限公司 一种数据读取方法、系统及设备
CN111783123A (zh) * 2020-07-03 2020-10-16 上海明略人工智能(集团)有限公司 文件处理方法、装置、设备及存储介质
CN111988419A (zh) * 2020-08-28 2020-11-24 深圳壹账通智能科技有限公司 文件上传方法、下载方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US10778801B2 (en) Content delivery network architecture with edge proxy
US11350139B2 (en) Video live broadcast method and apparatus
CN107483627B (zh) 一种文件分发、下载方法、分发服务器、客户端及系统
EP2091202B1 (en) Data distributing method, data distributing system and correlative devices in edge network
CN111200657B (zh) 一种管理资源状态信息的方法和资源下载系统
US20150237113A1 (en) Method and system for file transmission
US11190576B2 (en) File distribution and download method, distribution server, client terminal and system
US20170134495A1 (en) Method and apparatus for sharing collaboratively edited document
TW201301053A (zh) 基於雲端儲存的檔案處理方法,系統及伺服器叢集系統
WO2017215646A1 (zh) 数据传输方法和装置
KR20100067976A (ko) 분산 저장된 컨텐츠 파일의 동기화 방법
US20110119327A1 (en) System and Method for Efficiently Uploading Data Into A Content Addressable Storage System
US8103631B2 (en) Merging files on storage and retrieve
WO2002093846A1 (en) Method of transferring a divided file
CN108540510B (zh) 一种云主机创建方法、装置及云服务系统
CN113923213B (zh) 目录级服务质量控制方法、系统及接入节点
US10257272B2 (en) Randomized peer-to-peer synchronization of shared content items
KR20140143775A (ko) 캐시 관리 기법
US11444998B2 (en) Bit rate reduction processing method for data file, and server
KR20180073128A (ko) 데이터 블록 비교에 의한 데이터 업데이트 방법
US8489698B2 (en) Apparatus and method for accessing a metadata
CN111225248B (zh) 点播内容的管理方法及内容分发网络点播服务器
CN113271343A (zh) 一种数据下载、上传的方法及电子设备
US20140149499A1 (en) Remote request fulfillment and delivery
US9262436B2 (en) Online game system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Chen Dongzi

Inventor after: Shi Cheng

Inventor after: Lu Xiaofeng

Inventor after: Yang Zhenming

Inventor after: Xie Xiaoyu

Inventor after: Wang Pai

Inventor after: Lv Benming

Inventor after: Ding Xiaoyang

Inventor after: Zhou Chuanhui

Inventor after: Wang Chengquan

Inventor before: Chen Dongzi

Inventor before: Shi Cheng

Inventor before: Lu Xiaofeng

Inventor before: Yang Zhenming

Inventor before: Xie Xiaoyu

Inventor before: Wang Pai

Inventor before: Lv Benming

Inventor before: Ding Xiaoyang

Inventor before: Zhou Chuanhui

Inventor before: Wang Chengquan

CB03 Change of inventor or designer information