CN103873504A - 数据分块存储至分布式服务器的系统及方法 - Google Patents

数据分块存储至分布式服务器的系统及方法 Download PDF

Info

Publication number
CN103873504A
CN103873504A CN201210533979.XA CN201210533979A CN103873504A CN 103873504 A CN103873504 A CN 103873504A CN 201210533979 A CN201210533979 A CN 201210533979A CN 103873504 A CN103873504 A CN 103873504A
Authority
CN
China
Prior art keywords
data block
storage
hash
server
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210533979.XA
Other languages
English (en)
Inventor
柴智权
李大鹏
林海洪
李忠一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN201210533979.XA priority Critical patent/CN103873504A/zh
Priority to TW101148554A priority patent/TW201423425A/zh
Priority to US14/065,491 priority patent/US20140164487A1/en
Publication of CN103873504A publication Critical patent/CN103873504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种数据分块存储至分布式服务器的方法，包括：将客户端上传的文件信息和文件的哈希列表存至哈希数据库中，该哈希列表中记录了文件的多个数据块的名称、各数据块的哈希值及数据块的分割顺序；计算所有存储服务器的传输进程占用率及各存储服务器中每个存储区的存储空间；确定传输进程占用率低于预设值的存储服务器为空闲存储服务器，及确定有剩余存储空间的存储区；当哈希数据库中有哈希值与存储服务器中已存储数据块的哈希值相同时，确定该哈希值对应的数据块为重复数据块，通知相应客户端无需再上传该数据块；为各数据块分配存储区。本发明还提供一种执行所述方法的系统。利用本发明可有效地节省服务器的存储空间。

Description

数据分块存储至分布式服务器的系统及方法
技术领域
本发明涉及一种云端技术，尤其涉及一种通过云端技术将数据分块存储至分布式服务器的系统及方法。
背景技术
在云端技术中，当有文件上传及存储时，会经常遇到服务器的存储空间不足、存储进程长期被占用，及文件重复传输等缺陷，从而导致服务器无法及时响应用户的存储请求及无法使用户及时上传文件。
发明内容
鉴于以上内容，有必要提供一种数据分块存储至分布式服务器的系统，其可有效地节省服务器的存储空间，使得服务器的传输进程不会被一个用户长期占用，且加快了用户上传文件的速度。
所述数据分块存储至分布式服务器的系统，运行于一台分配服务器中，该分配服务器通过网络连接多个客户端和多台存储服务器。该系统包括：接收模块，用于接收客户端上传的文件信息和文件的哈希列表，存储到哈希数据库中，该哈希列表中记录了文件的多个数据块的名称、各数据块的哈希值及数据块的分割顺序；计算模块，用于计算所述多台存储服务器的传输进程占用率，及各存储服务器中每个存储区的存储空间；确定模块，用于根据上述计算得到的数值，确定传输进程占用率低于预设值的存储服务器为空闲存储服务器，及确定该存储服务器中有剩余存储空间的存储区；去重模块，用于当哈希数据库中有哈希值与所述存储服务器中已存储的数据块的哈希值相同时，确定该哈希数据库中该哈希值对应的数据块为重复数据块，通知相应客户端所述存储服务器中已存储该数据块而无需再上传该数据块，并返回该重复数据块的存储指针给相应客户端；及分配模块，用于将空闲存储服务器中有剩余存储空间的存储区分配给去重后的各数据块。
还有必要提供一种数据分块存储至分布式服务器的方法，其可有效地节省服务器的存储空间，使得服务器的传输进程不会被一个用户长期占用，且加快了用户上传文件的速度。
所述数据分块存储至分布式服务器的方法，应用于一台分配服务器中，该分配服务器通过网络连接多个客户端和多台存储服务器。该方法包括：接收步骤，接收客户端上传的文件信息和文件的哈希列表，存储到哈希数据库中，该哈希列表中记录了文件的多个数据块的名称、各数据块的哈希值及数据块的分割顺序；计算步骤，计算所述多台存储服务器的传输进程占用率，及各存储服务器中每个存储区的存储空间；确定步骤，根据上述计算得到的数值，确定传输进程占用率低于预设值的存储服务器为空闲存储服务器，及确定该空闲存储服务器中有剩余存储空间的存储区；去重步骤，当哈希数据库中有哈希值与所述存储服务器中已存储的数据块的哈希值相同时，确定哈希数据库中该哈希值对应的数据块为重复数据块，通知相应客户端无需再上传该数据块，并返回该重复数据块的存储指针给相应客户端；及分配步骤，将空闲存储服务器中有剩余存储空间的存储区分配给去重后的各数据块。
相较于现有技术，所述数据分块存储至分布式服务器的系统及方法，通过在服务器集群中加入一个分配服务器，使得各数据块可以被合理地分配到一个存储区，有效地节省了服务器的存储空间，使得服务器的传输进程不会被一个用户长期占用，并加快了用户上传文件的速度。
附图说明
图1是本发明数据分块存储至分布式服务器的系统较佳实施例的运行环境示意图。
图2是图1中分配服务器的主要组成示意图。
图3是本发明数据分块存储至分布式服务器的方法较佳实施例的作业流程图。
图4是本发明用户于客户端下载存储服务器中文件的作业流程图。
主要元件符号说明
客户端 1
分配服务器 2
存储设备 20
处理设备 22
存储服务器 3
哈希数据库 4
数据分块存储至分布式服务器的系统 200
接收模块 2000
计算模块 2002
确定模块 2004
去重模块 2006
分配模块 2008
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
如图1所示，是本发明数据分块存储至分布式服务器的系统较佳实施例的运行环境示意图。该数据分块存储至分布式服务器的系统200运行于一台分配服务器2中，该分配服务器2通过网络连接多个客户端1和一个分布式服务器集群。该分布式服务器集群中有多台存储服务器3。
该客户端1通过网络连接一个分布式服务器集群，即客户端1通过网络与多台存储服务器3连接。该数据分块存储至分布式服务器的系统200利用一个分配服务器2，可以使得文件中的数据块被合理地分配到相应的存储服务器3内。
其中，所述分配服务器2内置或外连接一个哈希数据库4。本实施例以哈希数据库4内置于分配服务器2为例进行说明。
如图2所示，是图1中分配服务器2的主要组成示意图。该分配服务器2主要包括存储设备20和至少一台处理设备22。
所述存储设备20用于存储数据分块存储至分布式服务器的系统200的计算机程序化代码。该存储设备20可以为客户端1内置的存储器，也可以为客户端1外接的存储器。
处理设备22用于执行所述数据分块存储至分布式服务器的系统200的计算机程序代码，实现数据块的合理分配。
所述数据分块存储至分布式服务器的系统200包括接收模块2000、计算模块2002、确定模块2004、去重模块2006和分配模块2008。本发明所称的模块是完成一特定功能的计算机程序段，比程序更适合于描述软件在计算机中的执行过程，因此在本发明以下对软件描述都以模块描述。
所述接收模块2000用于接收客户端1上传的文件信息和文件的哈希列表，存储到哈希数据库4中。其中，所述文件信息包括文件的名称和文件的属性。每个文件对应一个哈希列表，及每个文件对应一个哈希值。
在接收哈希列表前，需要生成哈希列表。本实施例中的哈希列表通过以下步骤生成：首先，客户端1将需要上传至存储服务器3的文件分割成多个数据块；然后，按照分割顺序将该多个数据块的名称、各数据块的哈希值及数据块的分割顺序存入一张哈希列表中，并上传该哈希列表至分配服务器2，该分配服务器2将该哈希列表存至哈希数据库4中。本实施例中，所述数据块的名称可依据数据块的哈希值来命名。
所述计算模块2002用于计算所述多台存储服务器3的传输进程占用率，及各存储服务器3中每个存储区的存储空间。本实施例中，每台存储服务器3中有一个或多个存储区。按照存储服务器3的容量及该存储服务器3内的存储区数量，计算模块2002可以计算出每个存储区的存储空间。
所述确定模块2004用于根据上述计算得到的数值，确定传输进程占用率低于预设值的存储服务器3为空闲存储服务器，及确定该存储服务器3中有剩余存储空间的存储区。
所述去重模块2006用于将哈希数据库4中的每个哈希值与各存储服务器3中已存储的数据块的哈希值进行比较。当该哈希数据库4中有哈希值与所述存储服务器3中已存储的数据块的哈希值相同时，所述去重模块2006确定该哈希数据库4中该哈希值对应的数据块为重复数据块，通知相应客户端1所述存储服务器3中已存储该数据块而无需再上传该数据块，以免重复存储，占用存储空间，及将该重复数据块的存储指针反馈给相应的客户端1。该存储指针是指数据块具体存储的存储服务器3及存储区。
在客户端1接收到数据块的存储指针后，会将去重后各数据块上传至相应的存储服务器3。例如，分配模块2008为数据块b分配的存储区为存储服务器3中的存储区A，则客户端1接收到该存储指针时，将数据块b上传至存储服务器3。存储服务器3会对该数据块进行校验，通过校验的数据块才会被存储到存储服务器3的存储区内。
具体地，存储服务器3按照分配模块2008所分配的存储区将去重后各数据块存入相应的存储区中，计算各数据块的哈希值，然后将计算出的哈希值与哈希数据库4中存储于哈希列表中的相应数据块的哈希值进行比较。例如，将计算出的数据块a的哈希值与哈希列表中该数据块a的哈希值进行比较。此处计算数据块的哈希值所运用的方法可以为现有技术中的任意一种计算方法。因哈希值的计算方法为现有技术，在此不再赘述。当比较结果为相同时，存储服务器3返回各数据块的存储指针给客户端1。当比较结果为不相同时，存储服务器3通知客户端1重新上传文件，以更新该未通过校验的数据块。当校验次数达到预设次数且校验结果仍为不相同时，存储服务器3通知客户端1文件存储失败。导致文件存储的原因可能为网络延迟、木马程序导致文件被更改等。
如图3所示，是本发明数据分块存储至分布式服务器的方法较佳实施例的作业流程图。
步骤S100，客户端1将需要上传至存储服务器3的文件（如文件A）分割成多个数据块，并按照分割顺序将该多个数据块的名称及各数据块的哈希值及数据块的分割顺序存入一张哈希列表中。其中，每个文件对应一张哈希列表，及每个文件对应一个哈希值。
在本实施例中，所述分割文件的方法包括固定大小分块、滑动块分块、可变分块和全文件分块。本实施例中以固定大小分块为例进行说明，即按照预设大小将文件分割成多个数据块。例如，将所述文件A分割成数据块a、b、c、d、e、f、g、h、i和j。
在此需要说明的是，每个文件各对应一个哈希值。所述预设大小可以根据用户的需求进行设定。例如，为了节省存储空间，用户可以将该预设大小设置成16K、32K、64K等，而为了提高存储效率，用户也可以将该预设大小设置成128K、256K。本实施例中，优选32K。
步骤S102，客户端1上传文件信息和哈希列表至分配服务器2，接收模块2000接收该文件信息和哈希列表，并将该文件信息和哈希列表存至哈希数据库4中。所述文件的相关信息包括文件的名称、文件的属性及数据块的分割顺序。
步骤S104，计算模块2002计算所述多台存储服务器3的传输进程占用率，及各存储服务器3中每个存储区的存储空间。本实施例中，每台存储服务器3中有一个或多个存储区。按照存储服务器3的容量及该存储服务器3内的存储区数量，计算模块2002可以计算出每个存储区的存储空间。
步骤S106，所述确定模块2004根据上述计算得到的数值，确定传输进程占用率低于预设值的存储服务器3为空闲存储服务器，及确定该存储服务器3中有剩余存储空间的存储区。
步骤S108，当哈希数据库4中有哈希值与所述存储服务器3中已存储的数据块的哈希值相同时，所述去重模块2006确定该哈希数据库4中该哈希值对应的数据块为重复数据块，通知相应客户端1所述存储服务器3中已存储该数据块而无需再上传该数据块。在此步骤S108中，去重模块2006还会将所述重复数据块的存储指针直接反馈给相应的客户端1。
具体地，去重模块2006将哈希数据库4中的每个哈希值与存储服务器3中已存储的数据块的哈希值进行比较，若比较结果为哈希数据库4和存储服务器3中有相同哈希值时，确定哈希数据库4中的该哈希值对应的数据块与存储服务器3中的数据块重复。客户端1的用户无需再上传该数据块。此处，比较、确定及通知过程即为去重。
步骤S110，所述分配模块2008将空闲存储服务器中有剩余存储空间的存储区分配给去重后的各数据块。
步骤S112，客户端1将去重后各数据块（即除了所述重复数据块外的所有数据块）传输给分配服务器2，相应的存储服务器3接收客户端1通过分配服务器2传输的数据块。例如，分配模块2008为数据块b分配的存储区为存储服务器3中的存储区A，则客户端1将数据块b传输至存储服务器3。
步骤S114，存储服务器3按照分配模块2008所分配的存储区将该通过校验的数据块写入相应的存储区内，计算各数据块的哈希值，并将计算出的哈希值与哈希数据库4中存于哈希列表内的相应数据块的哈希值进行比较，以对数据块进行校验。例如，将计算出的数据块a的哈希值与哈希列表中该数据块a的哈希值进行比较。
当校验结果为计算出的哈希值与哈希列表中相应数据块的哈希值相同时，于步骤S116，存储服务器3返回通过校验的各数据块的存储指针给客户端1。
当校验结果为计算出的哈希值与哈希列表中相应数据块的哈希值不相同时，于步骤S118，存储服务器3通知客户端1重新上传文件，以更新该未通过校验的数据块。具体地，存储服务器3利用重新上传的文件中通过校验的相应数据块覆盖掉该未通过校验的数据块，或者，存储服务器3先将该未通过校验的数据块从存储区中删除掉，然后将重新上传的文件中通过校验的相应数据块存入该存储区中。
如图4所示，是本发明用户于客户端1下载存储服务器3中文件的作业流程图。
步骤S200，客户端1根据要下载的文件的相关信息（即图2和图3中所述的文件信息）从哈希数据库4中该文件对应哈希列表内获取各数据块的哈希值。
步骤S202，根据该文件各数据块的存储指针从相应的存储区下载数据块。
步骤S204，校验各数据块的哈希值与从哈希数据库4的哈希列表中获取的相应数据块的哈希值是否相同。
当校验结果为不同时，流程返回至步骤S200，重新获取哈希值及重新下载数据块。
当校验结果为相同时，步骤S206，客户端1将通过校验的数据块写入临时存储区中。
步骤S208，按照所述数据块的分割顺序将上述通过校验的数据块进行排序组合，生成文件。
步骤S210，校验组合后文件的哈希值与图3步骤S100中文件的哈希值是否相同。
当校验结果为相同时，于步骤S212，将通过校验的文件返回给客户端1的用户。当校验结果为不同时，流程返回至步骤S200。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种数据分块存储至分布式服务器的方法，应用于一台分配服务器中，该分配服务器通过网络连接多个客户端和多台存储服务器，其特征在于，该方法包括：
接收步骤，接收客户端上传的文件信息和文件的哈希列表，存储到哈希数据库中，该哈希列表中记录了文件的多个数据块的名称、各数据块的哈希值及数据块的分割顺序；
计算步骤，计算所述多台存储服务器的传输进程占用率，及各存储服务器中每个存储区的存储空间；
确定步骤，根据上述计算得到的数值，确定传输进程占用率低于预设值的存储服务器为空闲存储服务器，及确定该空闲存储服务器中有剩余存储空间的存储区；
去重步骤，当哈希数据库中有哈希值与所述存储服务器中已存储的数据块的哈希值相同时，确定哈希数据库中该哈希值对应的数据块为重复数据块，通知相应客户端无需再上传该数据块，并返回该重复数据块的存储指针给相应客户端；及
分配步骤，将空闲存储服务器中有剩余存储空间的存储区分配给去重后的各数据块。
2.如权利要求1所述的数据分块存储至分布式服务器的方法，其特征在于，该方法还包括：
所述客户端将需要上传至存储服务器的文件分割成多个数据块，并按照分割顺序将该多个数据块的名称、各数据块的哈希值及数据块的分割顺序存入一张哈希列表中；及
上传该哈希列表至分配服务器。
3.如权利要求1所述的数据分块存储至分布式服务器的方法，其特征在于，该方法还包括：
存储服务器接收客户端通过分配服务器上传的数据块；
将各数据块写入相应的存储区；
校验各数据块的哈希值与哈希数据库中相应数据块的哈希值是否相同；
当校验结果为相同时，返回通过校验的各数据块的存储指针给相应客户端；
当校验结果为不相同时，通知客户端重新上传文件，以更新该未通过校验的数据块；及
当校验次数达到预设次数且校验结果仍为不相同时，通知客户端存储失败。
4.如权利要求1所述的数据分块存储至分布式服务器的方法，其特征在于，所述文件信息包括文件的名称、文件的属性。
5.如权利要求1所述的数据分块存储至分布式服务器的方法，其特征在于，当用户需要通过客户端从存储服务器下载文件时，所述客户端执行以下步骤：
从哈希数据库中获取各数据块的哈希值；
根据各数据块的存储指针从相应的存储区下载各数据块；
校验各数据块的哈希值与从哈希数据库中获取的相应数据块的哈希值是否相同；
当校验结果为相同时，将通过校验的数据块写入临时存储区中；
按照所述数据块的分割顺序将上述通过校验的数据块进行排序组合，生成文件；及
校验组合后文件的哈希值与客户端上传的文件的哈希值是否相同，当校验结果为相同时，将通过校验的文件返回给客户端的用户。
6.一种数据分块存储至分布式服务器的系统，运行于一台分配服务器中，该分配服务器通过网络连接多个客户端和多台存储服务器，其特征在于，该系统包括：
接收模块，用于接收客户端上传的文件信息和文件的哈希列表，存储到哈希数据库中，该哈希列表中记录了文件的多个数据块的名称、各数据块的哈希值及数据块的分割顺序；
计算模块，用于计算所述多台存储服务器的传输进程占用率，及各存储服务器中每个存储区的存储空间；
确定模块，用于根据上述计算得到的数值，确定传输进程占用率低于预设值的存储服务器为空闲存储服务器，及确定该存储服务器中有剩余存储空间的存储区；
去重模块，用于当哈希数据库中有哈希值与所述存储服务器中已存储的数据块的哈希值相同时，确定该哈希数据库中该哈希值对应的数据块为重复数据块，通知相应客户端所述存储服务器中已存储该数据块而无需再上传该数据块，并返回该重复数据块的存储指针给相应客户端；及
分配模块，用于将空闲存储服务器中有剩余存储空间的存储区分配给去重后的各数据块。
7.如权利要求6所述的数据分块存储至分布式服务器的系统，其特征在于，所述客户端用于：
将需要上传至存储服务器的文件分割成多个数据块，并按照分割顺序将该多个数据块的名称、各数据块的哈希值及数据块的分割顺序存入一张哈希列表中；及
上传该哈希列表至分配服务器。
8.如权利要求6所述的数据分块存储至分布式服务器的系统，其特征在于，所述存储服务器在接收到客户端通过分配服务器上传的数据块时，用于：
将各数据块写入相应的存储区；
校验各数据块的哈希值与哈希数据库中相应数据块的哈希值是否相同；
当校验结果为相同时，返回通过校验的各数据块的存储指针给相应客户端；
当校验结果为不相同时，通知客户端重新上传文件，以更新该未通过校验的数据块；及
当校验次数达到预设次数且校验结果仍为不相同时，通知客户端存储失败。
9.如权利要求6所述的数据分块存储至分布式服务器的系统，其特征在于，所述文件信息包括文件的名称、文件的属性。
10.如权利要求6所述的数据分块存储至分布式服务器的系统，其特征在于，当用户需要通过客户端从存储服务器下载文件时，所述客户端还用于：
从哈希数据库中获取各数据块的哈希值；
根据各数据块的存储指针从相应的存储区下载各数据块；
校验各数据块的哈希值与从哈希数据库中获取的相应数据块的哈希值是否相同；
当校验结果为相同时，将通过校验的数据块写入临时存储区中；
按照所述数据块的分割顺序将上述通过校验的数据块进行排序组合，生成文件；及
校验组合后文件的哈希值与客户端上传的文件的哈希值是否相同，当校验结果为相同时，将通过校验的文件返回给客户端的用户。
CN201210533979.XA 2012-12-12 2012-12-12 数据分块存储至分布式服务器的系统及方法 Pending CN103873504A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210533979.XA CN103873504A (zh) 2012-12-12 2012-12-12 数据分块存储至分布式服务器的系统及方法
TW101148554A TW201423425A (zh) 2012-12-12 2012-12-20 資料分塊儲存至分散式伺服器的系統及方法
US14/065,491 US20140164487A1 (en) 2012-12-12 2013-10-29 File saving system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210533979.XA CN103873504A (zh) 2012-12-12 2012-12-12 数据分块存储至分布式服务器的系统及方法

Publications (1)

Publication Number Publication Date
CN103873504A true CN103873504A (zh) 2014-06-18

Family

ID=50882191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210533979.XA Pending CN103873504A (zh) 2012-12-12 2012-12-12 数据分块存储至分布式服务器的系统及方法

Country Status (3)

Country Link
US (1) US20140164487A1 (zh)
CN (1) CN103873504A (zh)
TW (1) TW201423425A (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183399A (zh) * 2015-09-30 2015-12-23 北京奇艺世纪科技有限公司 一种基于弹性块存储的数据写、读方法及装置
CN106101257A (zh) * 2016-07-07 2016-11-09 广东工业大学 一种基于布隆过滤器的云存储数据管理方法及装置
WO2016206192A1 (zh) * 2015-06-24 2016-12-29 中兴通讯股份有限公司 数据库的数据处理方法及装置
CN106446077A (zh) * 2016-09-07 2017-02-22 乐视控股（北京）有限公司 一种对象上传方法和电子设备
CN106874272A (zh) * 2015-12-10 2017-06-20 华为技术有限公司 一种分布式连接方法及系统
CN107135264A (zh) * 2017-05-12 2017-09-05 成都优孚达信息技术有限公司 用于嵌入式设备的数据编码方法
CN107615273A (zh) * 2015-12-04 2018-01-19 慧与发展有限责任合伙企业 组合数据块的散列
CN107707600A (zh) * 2017-05-26 2018-02-16 贵州白山云科技有限公司 一种数据存储方法及装置
CN108241640A (zh) * 2016-12-23 2018-07-03 航天星图科技（北京）有限公司 一种分布式的文件存储方法
CN108563649A (zh) * 2017-12-12 2018-09-21 南京富士通南大软件技术有限公司 基于GlusterFS分布式文件系统的离线去重方法
CN105335463B (zh) * 2015-09-23 2018-09-25 广州市中崎商业机器股份有限公司 一种用于收款机的数据存储方法和快速读取方法
CN109324897A (zh) * 2018-08-24 2019-02-12 平安科技（深圳）有限公司 数据上传方法及系统、终端和计算机可读存储介质
CN109324998A (zh) * 2018-09-18 2019-02-12 郑州云海信息技术有限公司 一种文件处理方法、装置及系统
CN109376122A (zh) * 2018-09-25 2019-02-22 深圳市元征科技股份有限公司 一种文件管理方法、系统及区块链节点设备和存储介质
CN110224841A (zh) * 2019-06-26 2019-09-10 北京小米移动软件有限公司 应用包的下载方法、装置、设备及可读存储介质
CN110618974A (zh) * 2019-09-06 2019-12-27 苏州浪潮智能科技有限公司 一种数据存储方法、装置、设备及存储介质
CN110674116A (zh) * 2019-09-25 2020-01-10 四川长虹电器股份有限公司 一种基于swoole的校验插入数据库数据重复的系统及方法
CN110909187A (zh) * 2019-11-07 2020-03-24 苏州浪潮智能科技有限公司 图像存储方法、图像读取方法、图像存储器及存储介质
CN111241195A (zh) * 2020-01-02 2020-06-05 腾讯云计算（北京）有限责任公司 分布式系统的数据库处理方法、装置、设备及存储介质
CN111897492A (zh) * 2020-07-15 2020-11-06 杭州海康威视系统技术有限公司 一种基于块设备驱动的数据处理方法、装置及电子设备
CN112099728A (zh) * 2019-06-18 2020-12-18 华为技术有限公司 一种执行写操作、读操作的方法及装置
CN112667620A (zh) * 2020-12-31 2021-04-16 广州方硅信息技术有限公司 数据处理方法、装置、计算机设备及存储介质
CN112685219A (zh) * 2019-10-17 2021-04-20 伊姆西Ip控股有限责任公司 用于备份数据的方法、设备和计算机程序产品
CN112835538A (zh) * 2020-03-27 2021-05-25 威盛电子股份有限公司 数据存储系统及其全局去重复方法
CN112968958A (zh) * 2021-02-19 2021-06-15 携程计算机技术（上海）有限公司 Ota网站中附件的处理方法、系统、设备及介质
CN113273163A (zh) * 2020-05-26 2021-08-17 深圳元戎启行科技有限公司 文件上传方法、文件下载方法和文件管理装置
CN113741818A (zh) * 2021-09-09 2021-12-03 海南安迈云网络技术有限公司 一种数据分离及分散存储的方法
CN114138756A (zh) * 2020-09-03 2022-03-04 金篆信科有限责任公司 数据去重方法、节点及计算机可读存储介质
CN114785795A (zh) * 2022-04-02 2022-07-22 北京蓝海在线科技有限公司 分布式存储方法、系统、设备、存储介质及信息处理终端
CN115002103A (zh) * 2022-08-04 2022-09-02 正链科技(深圳)有限公司 一种分布式网络中数据极速传输的方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133227A (zh) * 2016-02-26 2017-09-05 宏碁股份有限公司 为上传文件推荐云端存储装置的方法及使用该方法的装置
CN108563396B (zh) * 2017-12-11 2020-12-25 上海高顿教育科技有限公司 一种安全的云端对象存储方法
CN111857534A (zh) * 2019-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种数据传输方法、数据存储服务器及数据存储系统
CN110209656B (zh) * 2019-04-26 2022-05-17 北京互金新融科技有限公司 数据处理方法及装置
CN110263060B (zh) * 2019-06-06 2021-04-23 零搜科技(深圳)有限公司 一种erp电子附件管理方法及计算机设备
TWI815086B (zh) * 2020-03-27 2023-09-11 威盛電子股份有限公司 資料儲存系統及其全域去重複方法
CN113111043B (zh) * 2021-04-21 2023-05-23 北京大学 一种中台源数据文件的处理方法、装置、系统及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006056681A1 (fr) * 2004-11-26 2006-06-01 Universite De Picardie Jules Verne Système et procédé de sauvegarde distribuée pérenne
CN101163046A (zh) * 2007-11-22 2008-04-16 北京金山软件有限公司 一种分布式网站日志数据采集方法和分布式网站系统
CN101539950A (zh) * 2009-05-08 2009-09-23 成都市华为赛门铁克科技有限公司 数据存取方法和装置
US20090327505A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Content Identification for Peer-to-Peer Content Retrieval
CN101976322A (zh) * 2010-11-11 2011-02-16 清华大学 基于一种完整性校验的安全元数据管理方法
CN102130939A (zh) * 2010-12-10 2011-07-20 创新科存储技术有限公司 一种远程复制方法及装置
CN102325167A (zh) * 2011-07-21 2012-01-18 杭州微元科技有限公司 一种网络文件传输的校验方法
CN102347969A (zh) * 2010-08-03 2012-02-08 李祥宇 云端资料储存系统
CN102388361A (zh) * 2009-04-03 2012-03-21 微软公司 差别文件以及从对等点和云恢复的系统
US20120096564A1 (en) * 2010-10-13 2012-04-19 Sony Corporation Data integrity protecting and verifying methods, apparatuses and systems
TW201224805A (en) * 2010-12-15 2012-06-16 Inventec Corp A method of building the index of the data blocks
CN102801784A (zh) * 2012-07-03 2012-11-28 华为技术有限公司 一种分布式数据存储方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8504775B2 (en) * 2007-03-12 2013-08-06 Citrix Systems, Inc Systems and methods of prefreshening cached objects based on user's current web page
CN103873507A (zh) * 2012-12-12 2014-06-18 鸿富锦精密工业（深圳）有限公司 数据分块上传与存储系统及方法
CN103873438A (zh) * 2012-12-12 2014-06-18 鸿富锦精密工业（深圳）有限公司 压缩包上传去重系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006056681A1 (fr) * 2004-11-26 2006-06-01 Universite De Picardie Jules Verne Système et procédé de sauvegarde distribuée pérenne
CN101163046A (zh) * 2007-11-22 2008-04-16 北京金山软件有限公司 一种分布式网站日志数据采集方法和分布式网站系统
US20090327505A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Content Identification for Peer-to-Peer Content Retrieval
CN102388361A (zh) * 2009-04-03 2012-03-21 微软公司 差别文件以及从对等点和云恢复的系统
CN101539950A (zh) * 2009-05-08 2009-09-23 成都市华为赛门铁克科技有限公司 数据存取方法和装置
CN102347969A (zh) * 2010-08-03 2012-02-08 李祥宇 云端资料储存系统
US20120096564A1 (en) * 2010-10-13 2012-04-19 Sony Corporation Data integrity protecting and verifying methods, apparatuses and systems
CN101976322A (zh) * 2010-11-11 2011-02-16 清华大学 基于一种完整性校验的安全元数据管理方法
CN102130939A (zh) * 2010-12-10 2011-07-20 创新科存储技术有限公司 一种远程复制方法及装置
TW201224805A (en) * 2010-12-15 2012-06-16 Inventec Corp A method of building the index of the data blocks
CN102325167A (zh) * 2011-07-21 2012-01-18 杭州微元科技有限公司 一种网络文件传输的校验方法
CN102801784A (zh) * 2012-07-03 2012-11-28 华为技术有限公司 一种分布式数据存储方法及设备

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016206192A1 (zh) * 2015-06-24 2016-12-29 中兴通讯股份有限公司 数据库的数据处理方法及装置
CN105335463B (zh) * 2015-09-23 2018-09-25 广州市中崎商业机器股份有限公司 一种用于收款机的数据存储方法和快速读取方法
CN105183399A (zh) * 2015-09-30 2015-12-23 北京奇艺世纪科技有限公司 一种基于弹性块存储的数据写、读方法及装置
CN107615273A (zh) * 2015-12-04 2018-01-19 慧与发展有限责任合伙企业 组合数据块的散列
CN106874272A (zh) * 2015-12-10 2017-06-20 华为技术有限公司 一种分布式连接方法及系统
CN106874272B (zh) * 2015-12-10 2020-02-14 华为技术有限公司 一种分布式连接方法及系统
CN106101257A (zh) * 2016-07-07 2016-11-09 广东工业大学 一种基于布隆过滤器的云存储数据管理方法及装置
CN106101257B (zh) * 2016-07-07 2019-07-02 广东工业大学 一种基于布隆过滤器的云存储数据管理方法及装置
CN106446077A (zh) * 2016-09-07 2017-02-22 乐视控股（北京）有限公司 一种对象上传方法和电子设备
CN108241640A (zh) * 2016-12-23 2018-07-03 航天星图科技（北京）有限公司 一种分布式的文件存储方法
CN107135264B (zh) * 2017-05-12 2020-09-08 成都优孚达信息技术有限公司 用于嵌入式设备的数据编码方法
CN107135264A (zh) * 2017-05-12 2017-09-05 成都优孚达信息技术有限公司 用于嵌入式设备的数据编码方法
CN107707600B (zh) * 2017-05-26 2018-09-18 贵州白山云科技有限公司 一种数据存储方法及装置
CN107707600A (zh) * 2017-05-26 2018-02-16 贵州白山云科技有限公司 一种数据存储方法及装置
CN108563649A (zh) * 2017-12-12 2018-09-21 南京富士通南大软件技术有限公司 基于GlusterFS分布式文件系统的离线去重方法
CN109324897A (zh) * 2018-08-24 2019-02-12 平安科技（深圳）有限公司 数据上传方法及系统、终端和计算机可读存储介质
CN109324998A (zh) * 2018-09-18 2019-02-12 郑州云海信息技术有限公司 一种文件处理方法、装置及系统
CN109376122A (zh) * 2018-09-25 2019-02-22 深圳市元征科技股份有限公司 一种文件管理方法、系统及区块链节点设备和存储介质
WO2020253407A1 (zh) * 2019-06-18 2020-12-24 华为技术有限公司 一种执行写操作、读操作的方法及装置
CN112099728A (zh) * 2019-06-18 2020-12-18 华为技术有限公司 一种执行写操作、读操作的方法及装置
CN110224841A (zh) * 2019-06-26 2019-09-10 北京小米移动软件有限公司 应用包的下载方法、装置、设备及可读存储介质
CN110618974A (zh) * 2019-09-06 2019-12-27 苏州浪潮智能科技有限公司 一种数据存储方法、装置、设备及存储介质
CN110674116A (zh) * 2019-09-25 2020-01-10 四川长虹电器股份有限公司 一种基于swoole的校验插入数据库数据重复的系统及方法
CN110674116B (zh) * 2019-09-25 2022-05-03 四川长虹电器股份有限公司 一种基于swoole的校验插入数据库数据重复的系统及方法
CN112685219A (zh) * 2019-10-17 2021-04-20 伊姆西Ip控股有限责任公司 用于备份数据的方法、设备和计算机程序产品
CN110909187A (zh) * 2019-11-07 2020-03-24 苏州浪潮智能科技有限公司 图像存储方法、图像读取方法、图像存储器及存储介质
CN110909187B (zh) * 2019-11-07 2023-01-10 苏州浪潮智能科技有限公司 图像存储方法、图像读取方法、图像存储器及存储介质
CN111241195A (zh) * 2020-01-02 2020-06-05 腾讯云计算（北京）有限责任公司 分布式系统的数据库处理方法、装置、设备及存储介质
CN111241195B (zh) * 2020-01-02 2023-03-21 腾讯云计算（北京）有限责任公司 分布式系统的数据库处理方法、装置、设备及存储介质
CN112835538A (zh) * 2020-03-27 2021-05-25 威盛电子股份有限公司 数据存储系统及其全局去重复方法
CN113273163A (zh) * 2020-05-26 2021-08-17 深圳元戎启行科技有限公司 文件上传方法、文件下载方法和文件管理装置
WO2021237467A1 (zh) * 2020-05-26 2021-12-02 深圳元戎启行科技有限公司 文件上传方法、文件下载方法和文件管理装置
CN111897492A (zh) * 2020-07-15 2020-11-06 杭州海康威视系统技术有限公司 一种基于块设备驱动的数据处理方法、装置及电子设备
CN111897492B (zh) * 2020-07-15 2023-02-28 杭州海康威视系统技术有限公司 一种基于块设备驱动的数据处理方法、装置及电子设备
CN114138756A (zh) * 2020-09-03 2022-03-04 金篆信科有限责任公司 数据去重方法、节点及计算机可读存储介质
CN112667620A (zh) * 2020-12-31 2021-04-16 广州方硅信息技术有限公司 数据处理方法、装置、计算机设备及存储介质
CN112968958A (zh) * 2021-02-19 2021-06-15 携程计算机技术（上海）有限公司 Ota网站中附件的处理方法、系统、设备及介质
CN113741818A (zh) * 2021-09-09 2021-12-03 海南安迈云网络技术有限公司 一种数据分离及分散存储的方法
CN114785795A (zh) * 2022-04-02 2022-07-22 北京蓝海在线科技有限公司 分布式存储方法、系统、设备、存储介质及信息处理终端
CN115002103B (zh) * 2022-08-04 2022-11-29 正链科技(深圳)有限公司 一种分布式网络中数据极速传输的方法及系统
CN115002103A (zh) * 2022-08-04 2022-09-02 正链科技(深圳)有限公司 一种分布式网络中数据极速传输的方法及系统

Also Published As

Publication number Publication date
US20140164487A1 (en) 2014-06-12
TW201423425A (zh) 2014-06-16

Similar Documents

Publication Publication Date Title
CN103873504A (zh) 数据分块存储至分布式服务器的系统及方法
CN103873507A (zh) 数据分块上传与存储系统及方法
CN103873438A (zh) 压缩包上传去重系统及方法
CN106407207B (zh) 一种实时新增数据更新方法和装置
CN103873506A (zh) 存储集群中的数据块去重系统及方法
CN103873503A (zh) 数据块备份系统及方法
US9026752B1 (en) Efficiently estimating compression ratio in a deduplicating file system
CN110347651B (zh) 基于云存储的数据同步方法、装置、设备及存储介质
CN107450855B (zh) 一种用于分布式存储的模型可变的数据分布方法及系统
CN103067525B (zh) 一种基于特征码的云存储数据备份方法
CN107404541B (zh) 一种对等网络传输邻居节点选择的方法及系统
CN111723073B (zh) 数据存储处理方法、装置、处理系统以及存储介质
CN112910723B (zh) 边缘终端管理方法、装置、设备及存储介质
CN112351088A (zh) 一种cdn缓存方法、装置、计算机设备及存储介质
CN106775470B (zh) 一种数据存储的方法及系统
CN109756533B (zh) 一种镜像加速方法、装置及服务器
CN101419600A (zh) 基于面向对象文件系统的数据副本映射方法及装置
CN114064073A (zh) 软件版本升级方法、装置、计算机设备和存储介质
CN111124309B (zh) 一种分片映射关系确定方法、装置、设备及存储介质
CN111694505B (zh) 数据存储管理方法、装置和计算机可读存储介质
CN110765131B (zh) 货源数据的数据压缩方法、装置、计算机设备和存储介质
CN104461736A (zh) 资源分配与搜索方法、资源分配与搜索系统和云服务器
CN116303343A (zh) 数据分片方法、装置、电子设备及存储介质
CN115033551A (zh) 一种数据库迁移方法、装置、电子设备及存储介质
CN104283707A (zh) 用于实时监控多级树状结构系统的装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140618