CN106161637A - 一种云备份方法及装置 - Google Patents

一种云备份方法及装置 Download PDF

Info

Publication number
CN106161637A
CN106161637A CN201610580241.7A CN201610580241A CN106161637A CN 106161637 A CN106161637 A CN 106161637A CN 201610580241 A CN201610580241 A CN 201610580241A CN 106161637 A CN106161637 A CN 106161637A
Authority
CN
China
Prior art keywords
caching
file data
file
data
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610580241.7A
Other languages
English (en)
Inventor
陈飞
宋吉鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GCI Science and Technology Co Ltd
Original Assignee
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GCI Science and Technology Co Ltd filed Critical GCI Science and Technology Co Ltd
Priority to CN201610580241.7A priority Critical patent/CN106161637A/zh
Publication of CN106161637A publication Critical patent/CN106161637A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云备份方法，包括：接收客户端发送的待备份的文件数据；将所述文件数据进行缓存；在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。相应的，本发明还公开了一种云备份装置。采用本发明实施例，能够提高网络利用率及系统性能。

Description

一种云备份方法及装置
技术领域
本发明涉及云计算技术领域，尤其涉及一种云备份方法及装置。
背景技术
云备份是通过集群应用、网格技术、分布式文件系统等功能，将各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储备份的功能服务。云备份技术依赖于网络技术的传输。在现有的备份方案中，每改变一个备份集的文件时，就需进行一次文件的备份操作。而此备份操作包含网络传输，以及本地或者云存储的文件读写操作，频繁的网络传输导致网络带宽的占用率高，各类大小文件的频繁读写操作导致备份系统性能的严重下降。
发明内容
本发明实施例提出一种云备份方法及装置，能够提高网络利用率及系统性能。
本发明实施例提供一种云备份方法，包括：
接收客户端发送的待备份的文件数据；
将所述文件数据进行缓存；
在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。
进一步地，所述将所述文件数据进行缓存，具体包括：
为所述文件数据分配唯一的文件标识值；
根据所述文件标识值为所述文件数据分配缓存系统；
将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。
进一步地，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：
采用哈希算法计算获得所述文件标识值的哈希值；
计算所述哈希值对缓存系统的总个数取余的余数值；
为所述文件数据分配编号为所述余数值的缓存系统。
进一步地，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份，具体包括：
在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。
进一步地，在所述将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云端进行备份之后，还包括：
清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。
相应地，本发明实施例还提供一种云备份装置，包括：
接收模块，用于接收客户端发送的待备份的文件数据；
缓存模块，用于将所述文件数据进行缓存；以及，
备份模块，用于在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。
进一步地，所述缓存模块具体包括：
标识值分配单元，用于为所述文件数据分配唯一的文件标识值；
缓存系统分配单元，用于根据所述文件标识值为所述文件数据分配缓存系统；以及，
缓存单元，用于将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。
进一步地，所述缓存系统分配单元具体包括：
哈希值计算子单元，用于采用哈希算法计算获得所述文件标识值的哈希值；
数值计算单元，用于计算所述哈希值对缓存系统的总个数取余的余数值；以及，
分配子单元，用于为所述文件数据分配编号为所述余数值的缓存系统。
进一步地，所述备份模块具体用于在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。
进一步地，所述云备份装置还包括：
反馈模块，用于清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的云备份方法及装置，能够对客户端发送过来的文件数据进行缓存，并在缓存的数据量达到预设的阈值时，将缓存的所有文件数据一并写入云存储端进行备份，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能；采用分布式的缓存系统来缓存客户端发送的文件数据，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。
附图说明
图1是本发明提供的云备份方法的一个实施例的流程示意图；
图2是本发明提供的云备份装置的一个实施例的结构示意图；
图3是本发明提供的云备份系统的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明提供的云备份方法的一个实施例的流程示意图，包括：
S1、接收客户端发送的待备份的文件数据；
S2、将所述文件数据进行缓存；
S3、在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。
需要说明的是，本发明实施例是从云备份服务端这一侧进行描述的。云备份服务端为每一个备份新建备份集，填写客户端地址和备份目录后，向客户端发送指令以使客户端进行备份。客户端在接收到该指令后，将待备份的文件数据上传至云备份服务端，云备份服务端缓存上传的文件数据，并在缓存的数据量，如文件数量、文件大小，达到预设的阈值时，将缓存的所有文件数据一并推送写入到包括本地磁盘、云存储等存储后端。云备份服务端在接收到客户端发送的文件数据时不会马上将文件数据写入云存储端，而是先缓存起来，缓存到一定数量后再一并推送写入到云存储端，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能。
进一步地，所述将所述文件数据进行缓存，具体包括：
为所述文件数据分配唯一的文件标识值；
根据所述文件标识值为所述文件数据分配缓存系统；
将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。
需要说明的是，云备份服务端具有N个缓存系统，其中，N≥1。云备份服务端在接收到客户端上传的文件数据后，需将文件数据缓存到缓存系统中。云备份服务端先对文件数据分配一个唯一的文件标识值，再对文件标识值进行处理获得该文件数据所对应的缓存服务器，从而将该文件数据及其对应的文件标识值以键值对的形式缓存到相应的缓存服务器中。其中，采用分布式的架构来设计缓存系统，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。
进一步地，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：
采用哈希算法计算获得所述文件标识值的哈希值；
计算所述哈希值对缓存系统的总个数取余的余数值；
为所述文件数据分配编号为所述余数值的缓存系统。
需要说明的是，云备份服务端中的N个缓存系统均具有一个编号，其编号依次为0～N-1。在为文件数据分配缓存系统时，先采用哈希算法对该文件数据的唯一的文件标识值进行计算，获得哈希值，再用哈希值对N取余，获得一个位于缓存系统编号区间的余数值，从而将编号为该余数值的缓存系统分配给该文件数据，以便文件数据及其对应的文件数据缓存到分配的缓存系统中。
另外，在文件数据还缓存在云备份服务端中时，客户端可根据云备份服务端反馈的文件列表来向云备份服务端发送文件读取请求，其中，文件读取请求包括文件标识值。云备份服务端在接收到该文件读取请求后，对文件标识值进行处理，先采用哈希算法对该文件标志值进行计算，获得哈希值，再用哈希值对N取余，获得的余数值，进而从编号为该余数值的缓存系统中读取出文件标识值所对应的文件数据，并反馈给客户端。
进一步地，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份，具体包括：
在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。
需要说明的是，云备份服务端实时对所有缓存系统中缓存的数据量进行检测，当检测到缓存的所有文件数据的数据量达到预设的阈值时，将缓存的所有文件数据写入到云存储端进行备份。
进一步地，在所述将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份之后，还包括：
清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。
需要说明的是，在将云备份服务端中缓存的所有文件数据写入到云存储端后，云备份服务端清除缓存的所有文件数据。另外，云备份服务端向客户端反馈文件列表，其中，文件列表包括各个文件数据所对应的文件标识值。客户端可根据文件标识值向云存储端发送读取指令，以读取相应的文件数据。另外，客户端还可根据文件标志值来获取相应文件数据的索引记录等信息。
本发明实施例提供的云备份方法，能够对客户端发送过来的文件数据进行缓存，并在缓存的数据量达到预设的阈值时，将缓存的所有文件数据一并写入云存储端进行备份，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能；采用分布式的缓存系统来缓存客户端发送的文件数据，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。
相应的，本发明还提供一种云备份装置及系统，能够实现上述实施例中的云备份方法的所有流程。
参见图2，是本发明提供的云备份方法的一个实施例的结构示意图，包括：
接收模块1，用于接收客户端发送的待备份的文件数据；
缓存模块2，用于将所述文件数据进行缓存；以及，
备份模块3，用于在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。
进一步地，所述缓存模块具体包括：
标识值分配单元，用于为所述文件数据分配唯一的文件标识值；
缓存系统分配单元，用于根据所述文件标识值为所述文件数据分配缓存系统；以及，
缓存单元，用于将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。
进一步地，所述缓存系统分配单元具体包括：
哈希值计算子单元，用于采用哈希算法计算获得所述文件标识值的哈希值；
数值计算单元，用于计算所述哈希值对缓存系统的总个数取余的余数值；以及，
分配子单元，用于为所述文件数据分配编号为所述余数值的缓存系统。
进一步地，所述备份模块具体用于在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。
进一步地，所述云备份装置还包括：
反馈模块，用于清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。
参见图3，是本发明提供的云备份方法的一个实施例的结构示意图，包括客户端31、云备份服务端32、云备份服务端本地磁盘33和云存储端34。其中，客户端31将需要备份的文件数据上传至云备份服务端32，云备份服务端32将文件数据缓存起来，当缓存的文件数据的数据量达到预设的阈值时，再将缓存的文件数据一并推送写入到云备份服务端本地磁盘33或云存储端34等存储后端。
本发明实施例提供的云备份装置及系统，能够对客户端发送过来的文件数据进行缓存，并在缓存的数据量达到预设的阈值时，将缓存的所有文件数据一并写入云存储端进行备份，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能；采用分布式的缓存系统来缓存客户端发送的文件数据，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种云备份方法，其特征在于，包括：
接收客户端发送的待备份的文件数据；
将所述文件数据进行缓存；
在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。
2.如权利要求1所述的云备份方法，其特征在于，所述将所述文件数据进行缓存，具体包括：
为所述文件数据分配唯一的文件标识值；
根据所述文件标识值为所述文件数据分配缓存系统；
将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。
3.如权利要求2所述的云备份方法，其特征在于，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：
采用哈希算法计算获得所述文件标识值的哈希值；
计算所述哈希值对缓存系统的总个数取余的余数值；
为所述文件数据分配编号为所述余数值的缓存系统。
4.如权利要求2或3所述的云备份方法，其特征在于，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份，具体包括：
在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。
5.如权利要求4所述的云备份方法，其特征在于，在所述将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份之后，还包括：
清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。
6.一种云备份装置，其特征在于，包括：
接收模块，用于接收客户端发送的待备份的文件数据；
缓存模块，用于将所述文件数据进行缓存；以及，
备份模块，用于在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。
7.如权利要求6所述的云备份装置，其特征在于，所述缓存模块具体包括：
标识值分配单元，用于为所述文件数据分配唯一的文件标识值；
缓存系统分配单元，用于根据所述文件标识值为所述文件数据分配缓存系统；以及，
缓存单元，用于将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。
8.如权利要求7所述的云备份装置，其特征在于，所述缓存系统分配单元具体包括：
哈希值计算子单元，用于采用哈希算法计算获得所述文件标识值的哈希值；
数值计算单元，用于计算所述哈希值对缓存系统的总个数取余的余数值；以及，
分配子单元，用于为所述文件数据分配编号为所述余数值的缓存系统。
9.如权利要求7或8所述的云备份装置，其特征在于，所述备份模块具体用于在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。
10.如权利要求9所述的云备份装置，其特征在于，所述云备份装置还包括：
反馈模块，用于清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。
CN201610580241.7A 2016-07-21 2016-07-21 一种云备份方法及装置 Pending CN106161637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610580241.7A CN106161637A (zh) 2016-07-21 2016-07-21 一种云备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610580241.7A CN106161637A (zh) 2016-07-21 2016-07-21 一种云备份方法及装置

Publications (1)

Publication Number Publication Date
CN106161637A true CN106161637A (zh) 2016-11-23

Family

ID=58060744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610580241.7A Pending CN106161637A (zh) 2016-07-21 2016-07-21 一种云备份方法及装置

Country Status (1)

Country Link
CN (1) CN106161637A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330066A (zh) * 2017-06-30 2017-11-07 云雀科技成都有限责任公司 基于sql的用户增量计算方法
CN107526657A (zh) * 2017-09-13 2017-12-29 沈阳东知科技有限公司 一种数据库联机备份方法及系统
WO2019047875A1 (zh) * 2017-09-06 2019-03-14 杭州海康威视系统技术有限公司 一种数据存储、读取方法及装置
CN109688177A (zh) * 2017-10-18 2019-04-26 中国移动通信有限公司研究院 一种数据同步方法及装置、设备、存储介质
CN113504881A (zh) * 2021-09-13 2021-10-15 飞狐信息技术（天津）有限公司 热点数据的处理方法、客户端、目标计算设备及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010127365A1 (en) * 2009-05-01 2010-11-04 Citrix Systems, Inc. Systems and methods for establishing a cloud bridge between virtual storage resources
CN102035881A (zh) * 2010-11-19 2011-04-27 清华大学 一种云端存储系统的数据缓存方法
CN102055730A (zh) * 2009-11-02 2011-05-11 华为终端有限公司 云处理系统、云处理方法和云计算代理装置
CN105262810A (zh) * 2015-09-29 2016-01-20 北京金山安全软件有限公司 一种图片的云备份方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010127365A1 (en) * 2009-05-01 2010-11-04 Citrix Systems, Inc. Systems and methods for establishing a cloud bridge between virtual storage resources
CN102055730A (zh) * 2009-11-02 2011-05-11 华为终端有限公司 云处理系统、云处理方法和云计算代理装置
CN102035881A (zh) * 2010-11-19 2011-04-27 清华大学 一种云端存储系统的数据缓存方法
CN105262810A (zh) * 2015-09-29 2016-01-20 北京金山安全软件有限公司 一种图片的云备份方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330066A (zh) * 2017-06-30 2017-11-07 云雀科技成都有限责任公司 基于sql的用户增量计算方法
WO2019047875A1 (zh) * 2017-09-06 2019-03-14 杭州海康威视系统技术有限公司 一种数据存储、读取方法及装置
CN107526657A (zh) * 2017-09-13 2017-12-29 沈阳东知科技有限公司 一种数据库联机备份方法及系统
CN109688177A (zh) * 2017-10-18 2019-04-26 中国移动通信有限公司研究院 一种数据同步方法及装置、设备、存储介质
CN109688177B (zh) * 2017-10-18 2022-02-25 中国移动通信有限公司研究院 一种数据同步方法及装置、设备、存储介质
CN113504881A (zh) * 2021-09-13 2021-10-15 飞狐信息技术（天津）有限公司 热点数据的处理方法、客户端、目标计算设备及装置

Similar Documents

Publication Publication Date Title
CN106161637A (zh) 一种云备份方法及装置
US9348538B2 (en) Selective deduplication
CN101510219B (zh) 文件数据访问方法、装置以及系统
US11068182B2 (en) Asynchronous semi-inline deduplication
US8943023B2 (en) Receiver-side data deduplication in data systems
US9935655B2 (en) Reading of distributed erasure-coded data from an enterprise object storage system
CN106708427A (zh) 一种适用于键值对数据的存储方法
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
CN102467572B (zh) 支持重复数据删除程序的数据区块查询方法
CN108139941A (zh) 基于网络流控制的动态资源分配
CN105426127A (zh) 一种分布式集群系统的文件存储方法及装置
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
AU2015249206B2 (en) Receiver-side data deduplication in data systems
CN102158349A (zh) 一种日志管理装置及方法
CN107153644A (zh) 一种数据同步方法及装置
CN103294413A (zh) 支持海量采集终端的分布式内存实时存储装置及方法
CN103793530A (zh) 一种定期清理业务数据的方法、装置和系统
CN109756429B (zh) 带宽分配方法及设备
WO2018153202A1 (zh) 数据缓存方法及装置
US10545825B2 (en) Fault-tolerant enterprise object storage system for small objects
CN104079600A (zh) 文件存储方法、装置、访问客户端及元数据服务器系统
CN105187565A (zh) 一种利用网络存储数据的方法
CN102523410A (zh) 一种写入视频数据的方法及视频数据存储设备
CN106020713A (zh) 一种基于缓冲区的文件存储方法
CN109861887B (zh) 一种基于Zookeeper的OpenTsdb服务指标聚合方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161123

RJ01 Rejection of invention patent application after publication