CN108347459A - 一种云端数据快速存储方法及装置 - Google Patents

一种云端数据快速存储方法及装置 Download PDF

Info

Publication number
CN108347459A
CN108347459A CN201710056378.7A CN201710056378A CN108347459A CN 108347459 A CN108347459 A CN 108347459A CN 201710056378 A CN201710056378 A CN 201710056378A CN 108347459 A CN108347459 A CN 108347459A
Authority
CN
China
Prior art keywords
file
unique mapping
information table
mark
uploaded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710056378.7A
Other languages
English (en)
Inventor
陈铮
丛磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou White Cloud Technology Co Ltd
Guizhou Baishancloud Technology Co Ltd
Original Assignee
Guizhou White Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou White Cloud Technology Co Ltd filed Critical Guizhou White Cloud Technology Co Ltd
Priority to CN201710056378.7A priority Critical patent/CN108347459A/zh
Publication of CN108347459A publication Critical patent/CN108347459A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云端数据快速存储方法及装置，此方法包括：服务器利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识；在文件信息表中记录各文件的唯一映射标识和用于记录文件上传请求次数的文件引用计数值；接收终端设备发送的文件上传请求，所述文件上传请求包含待上传的文件的唯一映射标识；将待上传的文件的唯一映射标识与文件信息表中各文件的唯一映射标识进行对比，判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示无需执行上传操作的响应消息，将文件信息表中此文件的文件引用计数值增加一。本发明可以减少网络带宽消耗，提高服务器处理性能。

Description

一种云端数据快速存储方法及装置
技术领域
本发明涉及互联网技术领域，具体涉及一种云端数据快速存储方法及装置。
背景技术
云存储服务，是网络服务商向用户、企业提供的一种在线存储服务，向用户提供文件的存储、访问、备份、共享等文件管理功能。
现有技术中采用普通上传方式，对文件内容不加判断，用户提交上传需求后，客户端即调用API，向服务器上传文件，即使是服务器上当前已经存在的文件，也会重复上传。现有技术方案会占用服务器内多份存储空间，重复上传会导致存储服务器冗余存储过多，提高本身的存储成本；同时，重复上传也会导致带宽成本提高，导致总成本上升。针对不同热度的文件采用相同的存储处理导致，使热点文件的存取过程耗费服务器的处理资源。
发明内容
本发明旨在解决上面描述的问题。本发明的目的是提供解决以上问题的一种云端数据快速存储方法及装置。
本发明提供了一种云端数据快速存储方法，包括：服务器利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识；在文件信息表中记录各文件的唯一映射标识和用于记录文件上传请求次数的文件引用计数值；接收终端设备发送的文件上传请求，所述文件上传请求包含待上传的文件的唯一映射标识；将待上传的文件的唯一映射标识与文件信息表中各文件的唯一映射标识进行对比，判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示无需执行上传操作的响应消息，将文件信息表中此文件的文件引用计数值增加一。
上述云端数据快速存储方法还具有以下特点：
所述方法还包括：将文件引用计数值大于或等于预设域值的各文件存储于第一存储设备，将文件引用计数值小预设域值的各文件存储于第二存储设备，所述第一存储区的存储性能大于所述第二存储区的存储性能，所述存储性能包括以下参数中的至少一种：存取速度，设备成本，平均故障间隔时长。
上述云端数据快速存储方法还具有以下特点：
所述文件上传请求还包含待上传文件名称，
所述方法还包括：在文件信息表中记录各文件的各个文件上传请求中包含的待上传文件名称；判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，根据此唯一映射标识所对应的各文件名称确定文件的名称信息，将名称信息推送至能够接受推送信息的终端设备。
上述云端数据快速存储方法还具有以下特点：
所述利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识包括：利用哈希算法对存储的各文件的内容进行映射计算，将生成的哈希值作为所述唯一映射标识。
上述云端数据快速存储方法还具有以下特点：
所述方法还包括：判定所述文件属性表中不包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示执行上传操作的响应消息，在接收到所述终端设备上传的文件后，根据此文件更新所述文件信息表。
本发明还提供了一种云端数据快速存储装置，应用于服务器中，所述装置包括：
文件标识生成模块，用于利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识；
文件信息表更新模块，用于在文件信息表中记录各文件的唯一映射标识和用于记录文件上传请求次数的文件引用计数值；
上传请求接收模块，用于接收终端设备发送的文件上传请求，所述文件上传请求包含待上传的文件的唯一映射标识；用于在文件信息判断模块判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，将文件信息表中此文件的文件引用计数值增加一；
文件标识对比模块，用于将所述待上传的文件的唯一映射标识与所述文件信息表中各文件的唯一映射标识进行对比；
文件信息判断模块，用于判断所述文件信息表中是否包含与所述待上传的文件的唯一映射标识相同的唯一映射标识；
发送模块，用于在文件信息判断模块判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示无需执行上传操作的响应消息。
上述装置还具有以下特点：
所述装置还包括存储模块；
所存储模块，用于将文件引用计数值大于或等于预设域值的各文件存储于第一存储设备，将文件引用计数值小预设域值的各文件存储于第二存储设备，所述第一存储区的存储性能大于所述第二存储区的存储性能，所述存储性能包括以下参数中的至少一种：存取速度，设备成本，平均故障间隔时长。
上述装置还具有以下特点：
所述文件信息表更新模块，还用于在文件信息表中记录各文件的各个文件上传请求中包含的待上传文件名称；
所述发送模块，还用于在所述文件信息判断模块判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，根据此唯一映射标识所对应的各文件名称确定文件的名称信息，将名称信息推送至能够接受推送信息的终端设备。
上述装置还具有以下特点：
所述文件标识生成模块利用哈希算法对存储的各文件的内容进行映射计算，将生成的哈希值作为所述唯一映射标识。
上述装置还具有以下特点：
所述装置还包括用于从终端设备接收上传文件的上传文件接收模块；
所述发送模块，还用于在文件信息判断模块判定所述文件属性表中不包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示执行上传操作的响应消息；
所述文件信息表更新模块，还用于在所述上传文件接收模块接收到所述终端设备上传的文件后，根据此文件更新所述文件信息表。
综上，本发明包括以下技术效果：
1、可以有效防止相同文件的重复上传，减少服务器内冗余文件，减少网络带宽消耗，提高服务器处理性能。
2、使服务器能够及时获知用户的兴趣点，了解用户需求，提高服务器的智能性和分析能力。
3、根据文件的热度按需分配不同存储性能的存储区，合理分配服务器的处理资源，使读取频繁的热点文件获得较快的处理，进一步提高服务器处理速度，提升服务器的处理能力。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的实施例一提供的一种云端数据快速存储方法的流程图；
图2是根据本发明提供的文件信息表的两种构建方式示意图；
图3是根据本发明的实施例二提供的一种云端数据快速存储方法的流程图；
图4是根据本发明的实施例三提供的一种用于服务器的云端数据快速存储装置的结构示意图；
图5是根据本发明的实施例四提供的一种用于终端设备的云端数据快速存储装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
下面结合附图详细描述本发明的示例性实施例一种云端数据快速存储方法及装置。
实施例一
图1是示出根据本发明的实施例一提供的一种云端数据快速存储方法的流程图。所述方法包括：
步骤101，服务器利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识；在文件信息表中记录各文件的唯一映射标识和用于记录文件上传请求次数的文件引用计数值；
步骤102，接收终端设备发送的文件上传请求，文件上传请求包含待上传的文件的唯一映射标识；
步骤103，将待上传的文件的唯一映射标识与文件信息表中各文件的唯一映射标识进行对比，判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示无需执行上传操作的响应消息，将文件信息表中此文件的文件引用计数值增加一。
本方法可以有效防止相同文件的重复上传，减少服务器内冗余文件，减少网络带宽消耗，提高服务器处理性能。
本方法中还包括服务器根据文件的文件引用计数值确定热点文件，从而使服务器及时获知用户的兴趣点，了解用户需求，提高服务器的智能性和分析能力。
本方法还包括步骤104，将文件引用计数值大于或等于预设域值的各文件存储于第一存储设备，将文件引用计数值小预设域值的各文件存储于第二存储设备，所述第一存储区的存储性能大于所述第二存储区的存储性能，所述存储性能包括以下参数中的至少一种：存取速度，设备成本，平均故障间隔时长。此步骤中根据文件的热度按需分配不同存储性能的存储区，合理分配服务器的处理资源，使读取频繁的热点文件获得较快的处理，进一步提高服务器处理速度，提升服务器的处理能力。
在上述步骤101中，服务器利用哈希算法对存储的各文件的内容进行映射计算，将生成的哈希值作为所述唯一映射标识。
图2示出了根据本发明提供的文件信息表的两种构建方式：
方式一：如图2(a)所示，文件信息表包括但不限于，文件唯一映射标识、文件引用计数、文件名称、文件大小、在文件系统中的存储路径、文件创建时间等；
方式二：如图2(b)所示，文件信息表由文件属性表和文件引用计数表组成，其中，文件属性表包括但不限于，文件唯一映射标识、文件名称、文件大小、文件创建时间等，文件引用计数表包括但不限于，文件唯一映射标识、文件引用计数、在文件系统中的存储路径等。文件属性表和文件引用计数表通过文件唯一映射标识相关联，使其中相同的文件唯一映射标识指向同一个文件。
其中，所述文件引用计数用来记录文件上传请求次数。
在上述步骤103中，判定文件信息表中包含与待上传的文件的唯一映射标识相同的唯一映射标识时，向终端设备发送用于指示无需执行上传操作的响应消息；判定所述文件属性表中不包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示执行上传操作的响应消息，在接收到所述终端设备上传的文件后，根据此文件更新所述文件信息表。
其中，所述向终端设备发送的响应消息包括文件下载路径，还可以包括以下信息中的至少一种：文件名称、文件创建时间、文件大小。
本方法中，文件上传请求还包含待上传文件名称。此方法还包括向终端推送热点文件的方法，具体包括：在文件信息表中记录各文件的各个文件上传请求中包含的待上传文件名称；判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，根据此唯一映射标识所对应的各文件名称确定文件的名称信息，将名称信息推送至能够接受推送信息的终端设备。
实施例二
图3是示出根据本发明的实施例二提供的终端设备侧的处理流程图。所述方法包括：
步骤301，利用预设映射算法对待上传的文件的内容进行映射计算，生成待上传文件的唯一映射标识；
步骤302，向服务器发送文件上传请求，文件上传请求包含待上传文件的唯一映射标识；
步骤303，接收服务器发送的响应消息，如果响应消息中指示执行上传操作，则上传待上传文件；如果响应消息中指示无需执行上传操作，则认为上传完成。
在上述步骤301中，终端设备利用哈希算法对待上传文件的内容进行映射计算，将生成的哈希值作为所述唯一映射标识。
在上述步骤302中，所述文件上传请求设置于超文本传输协议信息的请求实体部分，将此超文本传输协议信息发送至服务器。所述文件上传请求还包括以下信息中的至少一种：文件名称、文件大小。
在上述步骤303中，接收的服务器发送的响应消息包括文件下载路径，还可以包括以下信息中的至少一种：文件名称、文件创建时间、文件大小。
具体地，如果终端设备无需上传文件，则终端设备上展示的可用云存储空间在数值上减去待上传的文件大小，最终，用户在终端设备上可以看到用户能够使用的云存储空间减小了，减小的云存储空间即为上传的文件大小，同时，终端设备请求上传文件的存储路径即为服务器内存储的与上传文件的唯一映射标识相同的文件的存储路径。
如果用户删除上传的文件，则服务器内的文件信息表中对应的文件引用计数值减一，如果文件引用计数值为0，则表示该文件在服务器内被删除。
实施例三
图4是示出根据本发明的实施例三提供的一种用于服务器的云端数据快速存储装置的结构示意图，可用于执行如图1所示实施例的方法步骤。
参照图4，上述装置包括：
文件标识生成模块401，用于利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识；
文件信息表更新模块402，用于在文件信息表中记录各文件的唯一映射标识和用于记录文件上传请求次数的文件引用计数值；
上传请求接收模块403，用于接收终端设备发送的文件上传请求，所述文件上传请求包含待上传的文件的唯一映射标识；
文件标识对比模块404，用于将所述待上传的文件的唯一映射标识与所述文件信息表中各文件的唯一映射标识进行对比；
文件信息判断模块405，用于判断所述文件信息表中是否包含与所述待上传的文件的唯一映射标识相同的唯一映射标识；
发送模块406，用于在文件信息判断模块判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示无需执行上传操作的响应消息。
上述装置还包括存储模块407。存储模块407，用于将文件引用计数值大于或等于预设域值的各文件存储于第一存储设备，将文件引用计数值小预设域值的各文件存储于第二存储设备，所述第一存储区的存储性能大于所述第二存储区的存储性能，所述存储性能包括以下参数中的至少一种：存取速度，设备成本，平均故障间隔时长。
上述文件标识生成模块401利用哈希算法对存储的各文件的内容进行映射计算，将生成的哈希值作为所述唯一映射标识。
在上述文件信息表更新模块402中，所述文件信息表与步骤101描述的文件信息表相同，具体可参见上述步骤101的内容，再次不再赘述。
上述文件信息判断模块405判定文件信息表中包含与待上传的文件的唯一映射标识相同的唯一映射标识时，通过发送模块406向终端设备发送用于指示无需执行上传操作的响应消息；判定所述文件属性表中不包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，通过发送模块406向所述终端设备发送用于指示执行上传操作的响应消息，在接收到所述终端设备上传的文件后，根据此文件更新所述文件信息表。
其中，所述向终端设备发送的响应消息包括文件下载路径，还可以包括以下信息中的至少一种：文件名称、文件创建时间、文件大小。
实施例四
图5是示出根据本发明的实施例四提供的一种用于终端设备的云端数据快速存储装置的结构示意图，可用于执行如图3所示实施例的方法步骤。
参照图5，所述装置包括：
文件标识生成模块501，用于利用预设映射算法对待上传的文件的内容进行映射计算，生成所述待上传文件的唯一映射标识；
上传请求发送模块502，用于向服务器发送文件上传请求，所述文件上传请求包含所述待上传文件的唯一映射标识；
响应消息接收模块503，用于接收服务器发送的响应消息；
处理模块504，用于判断所述响应消息中指示执行上传操作，则上传所述待上传文件，还用于判断所述响应消息中指示无需执行上传操作，则认为上传完成；
文件标识生成模块501利用哈希算法对待上传文件的内容进行映射计算，将生成的哈希值作为所述唯一映射标识。
在上述上传请求发送模块502中，所述文件上传请求设置于超文本传输协议信息的请求实体部分，将此超文本传输协议信息发送至服务器。所述文件上传请求还包括以下信息中的至少一种：文件名称、文件大小。
在上述响应消息接收模块503中，接收的服务器发送的响应消息包括文件下载路径，还可以包括以下信息中的至少一种：文件名称、文件创建时间、文件大小。
在上述处理模块504中，如果终端设备无需上传文件，则终端设备上展示的可用云存储空间在数值上减去待上传的文件大小，最终，用户在终端设备上可以看到用户能够使用的云存储空间减小了，减小的云存储空间即为上传的文件大小，同时，终端设备请求上传文件的存储路径即为服务器内存储的与上传文件的唯一映射标识相同的文件的存储路径。
如果用户删除上传的文件，则服务器内的文件信息表中对应的文件引用计数值减一，如果文件引用计数值为0，则表示该文件在服务器内被删除。
综上，本发明包括以下技术效果：
1、可以有效防止相同文件的重复上传，减少服务器内冗余文件，减少网络带宽消耗，提高服务器处理性能。
2、使服务器能够及时获知用户的兴趣点，了解用户需求，提高服务器的智能性和分析能力。
3、根据文件的热度按需分配不同存储性能的存储区，合理分配服务器的处理资源，使读取频繁的热点文件获得较快的处理，进一步提高服务器处理速度，提升服务器的处理能力。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各装置/单元可以采用硬件的形式实现，也可以采用软件功能装置的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种云端数据快速存储方法，其特征在于，所述方法包括：
服务器利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识；在文件信息表中记录各文件的唯一映射标识和用于记录文件上传请求次数的文件引用计数值；
接收终端设备发送的文件上传请求，所述文件上传请求包含待上传的文件的唯一映射标识；
将待上传的文件的唯一映射标识与文件信息表中各文件的唯一映射标识进行对比，判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示无需执行上传操作的响应消息，将文件信息表中此文件的文件引用计数值增加一。
2.如权利要求1所述的云端数据快速存储方法，其特征在于，
所述方法还包括：将文件引用计数值大于或等于预设域值的各文件存储于第一存储设备，将文件引用计数值小预设域值的各文件存储于第二存储设备，所述第一存储区的存储性能大于所述第二存储区的存储性能，所述存储性能包括以下参数中的至少一种：存取速度，设备成本，平均故障间隔时长。
3.如权利要求1所述的云端数据快速存储方法，其特征在于，
所述文件上传请求还包含待上传文件名称，
所述方法还包括：在文件信息表中记录各文件的各个文件上传请求中包含的待上传文件名称；判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，根据此唯一映射标识所对应的各文件名称确定文件的名称信息，将名称信息推送至能够接受推送信息的终端设备。
4.如权利要求1所述的方法，其特征在于，
所述利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识包括：利用哈希算法对存储的各文件的内容进行映射计算，将生成的哈希值作为所述唯一映射标识。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述方法还包括：判定所述文件属性表中不包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示执行上传操作的响应消息，在接收到所述终端设备上传的文件后，根据此文件更新所述文件信息表。
6.一种云端数据快速存储装置，应用于服务器中，其特征在于，所述装置包括：
文件标识生成模块，用于利用预设映射算法对存储的各文件的内容进行映射计算，生成文件的唯一映射标识；
文件信息表更新模块，用于在文件信息表中记录各文件的唯一映射标识和用于记录文件上传请求次数的文件引用计数值；
上传请求接收模块，用于接收终端设备发送的文件上传请求，所述文件上传请求包含待上传的文件的唯一映射标识；用于在文件信息判断模块判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，将文件信息表中此文件的文件引用计数值增加一；
文件标识对比模块，用于将所述待上传的文件的唯一映射标识与所述文件信息表中各文件的唯一映射标识进行对比；
文件信息判断模块，用于判断所述文件信息表中是否包含与所述待上传的文件的唯一映射标识相同的唯一映射标识；
发送模块，用于在文件信息判断模块判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示无需执行上传操作的响应消息。
7.如权利要求6所述的装置，其特征在于，
所述装置还包括存储模块；
所存储模块，用于将文件引用计数值大于或等于预设域值的各文件存储于第一存储设备，将文件引用计数值小预设域值的各文件存储于第二存储设备，所述第一存储区的存储性能大于所述第二存储区的存储性能，所述存储性能包括以下参数中的至少一种：存取速度，设备成本，平均故障间隔时长。
8.如权利要求6所述的装置，其特征在于，
所述文件信息表更新模块，还用于在文件信息表中记录各文件的各个文件上传请求中包含的待上传文件名称；
所述发送模块，还用于在所述文件信息判断模块判定所述文件信息表中包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，根据此唯一映射标识所对应的各文件名称确定文件的名称信息，将名称信息推送至能够接受推送信息的终端设备。
9.如权利要求6所述的装置，其特征在于，
所述文件标识生成模块利用哈希算法对存储的各文件的内容进行映射计算，将生成的哈希值作为所述唯一映射标识。
10.如权利要求6所述的装置，其特征在于，
所述装置还包括用于从终端设备接收上传文件的上传文件接收模块；
所述发送模块，还用于在文件信息判断模块判定所述文件属性表中不包含与所述待上传的文件的唯一映射标识相同的唯一映射标识时，向所述终端设备发送用于指示执行上传操作的响应消息；
所述文件信息表更新模块，还用于在所述上传文件接收模块接收到所述终端设备上传的文件后，根据此文件更新所述文件信息表。
CN201710056378.7A 2017-01-25 2017-01-25 一种云端数据快速存储方法及装置 Pending CN108347459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710056378.7A CN108347459A (zh) 2017-01-25 2017-01-25 一种云端数据快速存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710056378.7A CN108347459A (zh) 2017-01-25 2017-01-25 一种云端数据快速存储方法及装置

Publications (1)

Publication Number Publication Date
CN108347459A true CN108347459A (zh) 2018-07-31

Family

ID=62961852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710056378.7A Pending CN108347459A (zh) 2017-01-25 2017-01-25 一种云端数据快速存储方法及装置

Country Status (1)

Country Link
CN (1) CN108347459A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597798A (zh) * 2018-12-04 2019-04-09 平安科技（深圳）有限公司 网络文件删除方法、装置、计算机设备及存储介质
CN109684870A (zh) * 2018-12-18 2019-04-26 郑州云海信息技术有限公司 一种自包含的文件信息配置方法及系统
CN111049891A (zh) * 2019-12-05 2020-04-21 浩云科技股份有限公司 一种集中存储级联文件上传下载方法
CN111083222A (zh) * 2019-12-13 2020-04-28 中富通集团股份有限公司 数据上传方法及终端
CN112966133A (zh) * 2021-03-25 2021-06-15 深圳康佳电子科技有限公司 一种数据存储处理方法、服务端及计算机可读存储介质
CN114168536A (zh) * 2021-11-27 2022-03-11 深圳市连用科技有限公司 一种上传文件的方法及终端设备
CN114647620A (zh) * 2018-09-10 2022-06-21 创新先进技术有限公司 文件上传方法、装置、设备、程序产品及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645837A (zh) * 2009-09-04 2010-02-10 成都市华为赛门铁克科技有限公司 实现负载均衡的方法和装置
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
CN103002029A (zh) * 2012-11-26 2013-03-27 北京百度网讯科技有限公司 上传文件的管理方法、系统和客户端
CN103177005A (zh) * 2011-12-21 2013-06-26 深圳市腾讯计算机系统有限公司 一种数据访问的处理方法和系统
CN103778071A (zh) * 2014-01-20 2014-05-07 华为技术有限公司 缓存的空间分配方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645837A (zh) * 2009-09-04 2010-02-10 成都市华为赛门铁克科技有限公司 实现负载均衡的方法和装置
CN103177005A (zh) * 2011-12-21 2013-06-26 深圳市腾讯计算机系统有限公司 一种数据访问的处理方法和系统
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
CN103002029A (zh) * 2012-11-26 2013-03-27 北京百度网讯科技有限公司 上传文件的管理方法、系统和客户端
CN103778071A (zh) * 2014-01-20 2014-05-07 华为技术有限公司 缓存的空间分配方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647620A (zh) * 2018-09-10 2022-06-21 创新先进技术有限公司 文件上传方法、装置、设备、程序产品及存储介质
CN109597798A (zh) * 2018-12-04 2019-04-09 平安科技（深圳）有限公司 网络文件删除方法、装置、计算机设备及存储介质
CN109684870A (zh) * 2018-12-18 2019-04-26 郑州云海信息技术有限公司 一种自包含的文件信息配置方法及系统
CN109684870B (zh) * 2018-12-18 2021-10-29 郑州云海信息技术有限公司 一种自包含的文件信息配置方法及系统
CN111049891A (zh) * 2019-12-05 2020-04-21 浩云科技股份有限公司 一种集中存储级联文件上传下载方法
CN111083222A (zh) * 2019-12-13 2020-04-28 中富通集团股份有限公司 数据上传方法及终端
CN111083222B (zh) * 2019-12-13 2022-11-18 中富通集团股份有限公司 数据上传方法及终端
CN112966133A (zh) * 2021-03-25 2021-06-15 深圳康佳电子科技有限公司 一种数据存储处理方法、服务端及计算机可读存储介质
CN114168536A (zh) * 2021-11-27 2022-03-11 深圳市连用科技有限公司 一种上传文件的方法及终端设备

Similar Documents

Publication Publication Date Title
CN108347459A (zh) 一种云端数据快速存储方法及装置
ES2553428T3 (es) Método, dispositivo y sistema de procesamiento de contenidos
US10901619B2 (en) Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse
CN108011929A (zh) 数据请求处理方法、装置、计算机设备和存储介质
CN105224255B (zh) 一种存储文件管理方法及装置
US9940020B2 (en) Memory management method, apparatus, and system
CN107026876B (zh) 一种文件数据访问系统及方法
CN104679665A (zh) 一种实现分布式文件系统块存储的方法及系统
EP2710477B1 (en) Distributed caching and cache analysis
CN105183389A (zh) 一种数据分级管理方法、装置及电子设备
CN105187523B (zh) 一种目录访问方法及装置
US20170153909A1 (en) Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine
CN103607428A (zh) 一种访问共享内存的方法和装置
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN108399050B (zh) 一种数据处理方法及装置
CN109873855A (zh) 一种基于区块链网络的资源获取方法和系统
CN107087031A (zh) 一种存储资源负载均衡方法及装置
CN103607424A (zh) 一种服务器连接方法及服务器系统
CN109391487A (zh) 一种配置更新方法和系统
CN110008197A (zh) 一种数据处理方法、系统及电子设备和存储介质
CN103327036B (zh) 互联网浏览设备的标识方法以及Cookie服务器
CN113885797B (zh) 一种数据存储方法、装置、设备及存储介质
CN105187565A (zh) 一种利用网络存储数据的方法
CN109788050A (zh) 一种获取源站ip地址方法、系统、电子设备和介质
CN103997518B (zh) 一种cdn节点文件同步方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 550003 Building No. 12 in the Southern Park of Gui'an High-end Equipment Industrial Park, Guizhou Province

Applicant after: Guizhou Baishan cloud Polytron Technologies Inc

Address before: 100015 5 floor, block E, 201 IT tower, electronic city, 10 Jiuxianqiao Road, Chaoyang District, Beijing.

Applicant before: Guizhou white cloud Technology Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180731