CN106055271B - 一种基于云计算的重复数据去重选择方法及装置 - Google Patents

一种基于云计算的重复数据去重选择方法及装置 Download PDF

Info

Publication number
CN106055271B
CN106055271B CN201610325911.0A CN201610325911A CN106055271B CN 106055271 B CN106055271 B CN 106055271B CN 201610325911 A CN201610325911 A CN 201610325911A CN 106055271 B CN106055271 B CN 106055271B
Authority
CN
China
Prior art keywords
load value
data
network bandwidth
value
server end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610325911.0A
Other languages
English (en)
Other versions
CN106055271A (zh
Inventor
于辉
刘俊朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201610325911.0A priority Critical patent/CN106055271B/zh
Publication of CN106055271A publication Critical patent/CN106055271A/zh
Application granted granted Critical
Publication of CN106055271B publication Critical patent/CN106055271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于云计算的重复数据去重选择方法，包括：S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；S11：判断所述客户端的负载值、所述服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；S12：在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式。由于客户端的负载值、服务器端的负载值以及当前网络带宽值对于待存储数据的去重方式选择的影响较为重要，以上述三种参数作为参考对象可以提高去重的效率，提高存储系统的整体利用率。另外，本发明还公开一种基于云计算的重复数据去重选择装置，效果如上所述。

Description

一种基于云计算的重复数据去重选择方法及装置
技术领域
本发明涉及云计算技术领域，特别是涉及一种基于云计算的重复数据去重选择方法及装置。
背景技术
当前，云计算逐渐被行业认可，云存储系统已经逐渐在社会生产和生活领域中起到越来越重要的作用。云存储系统中存在着大量的重复数据，这些重复数据的存在大大影响了数据存储、访问的效率，并造成了资源的大量浪费。待存储数据需要重复数据的去重工作，对于待存储数据要实现重复数据的去重，一方面可以有效的节省用户的存储空间，可以间接节省服务商的硬件采购成本、人力能耗和机房的使用空间等；另一个方面，重复数据去重通过互联网并不传输或存储多份相同数据，这样就有效减少对存储空间和网络带宽的占用，进而提高访问和检索效率。在具体实施中，重复数据去重的操作可以在存储系统的客户端进行，也可以在存储系统的服务器端进行，而重复数据去重的选择方法直接影响到去重的效率和存储系统的整体利用率。
由此可见，如何选择重复数据去重的方法以提高去重的效率和存储系统的整体利用率是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种基于云计算的重复数据去重选择方法及装置，用于提高去重的效率和存储系统的整体利用率。
为解决上述技术问题，本发明提供一种基于云计算的重复数据去重选择方法，包括：
S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；
S11：判断所述客户端的负载值、所述服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；
S12：在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式。
优选地，所述步骤S11具体包括：
如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，则确定满足所述预定条件；
或如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，则确定满足所述预定条件；
其中，如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，步骤S12具体为：确定在客户端执行所述待存储数据的去重过程；
如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，步骤S12具体为：确定在服务器端执行所述待存储数据的去重过程。
优选地，在所述步骤S10之前还包括：
S13：接收所述存储系统的存储请求和所述待存储数据；
S14：判断所述待存储数据是否包含有所述重复数据，如果是，则进入步骤S10。
优选地，在所述步骤S10之前还包括：
S15：周期性地监控所述客户端的负载值、所述服务器端的负载值以及当前网络带宽值。
优选地，还包括：
记录步骤S10-步骤S15中的任意一个步骤或几个步骤。
一种基于云计算的重复数据去重选择装置，包括：
存储系统信息获取模块，用于当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；
第一判断模块，与所述存储系统信息获取模块连接，用于判断所述客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件；
确定模块，与所述第一判断模块连接，用于在所述判断模块判断出所述客户端的负载值、所述服务器端的负载值和当前网络带宽值满足预定条件时，在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式。
优选地，所述第一判断模块的判断依据包括：
如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，则确定满足所述预定条件；
或如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，则确定满足所述预定条件；
其中，如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，所述确定模块确定在客户端执行所述待存储数据的去重过程；
如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，所述确定模块确定在服务器端执行所述待存储数据的去重过程。
优选地，还包括：
接收模块，用于接收所述存储系统的存储请求和所述待存储数据；
第二判断模块，与所述接收模块和所述存储系统信息获取模块连接，用于判断所述待存储数据是否包含有所述重复数据，且在所述待存储数据包含有所述重复数据时，将所述待存储数据发送给所述存储系统信息获取模块。
优选地，还包括：
存储系统信息监控模块，与所述存储系统信息获取模块连接，用于周期性地监控所述客户端的负载值、所述服务器端的负载值以及当前网络带宽值。
优选地，还包括：日志记录模块，与存储系统信息获取模块、第一判断模块、确定模块、接收模块、第二判断模块、存储系统信息监控模块中的任意一个或几个模块连接，用于记录相应的模块的执行步骤。
本发明所提供的基于云计算的重复数据去重选择方法及装置，当判断出客户端的负载值、服务器端的负载值以及当前网络带宽值满足预设条件时，在去重选择模式中确定待存储数据中的重复数据的去重选择方式。由于客户端的负载值、服务器端的负载值以及当前网络带宽值对于待存储数据的去重方式选择的影响较为重要，以上述三种参数作为参考对象可以提高去重的效率，提高存储系统的整体利用率。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于云计算的重复数据去重选择方法的流程图；
图2为本发明提供的另一种基于云计算的重复数据去重选择方法的流程图；
图3为本发明提供的一种基于云计算的重复数据去重选择装置的结构图；
图4为本发明提供的另一种基于云计算的重复数据去重选择装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的核心是提供一种基于云计算的重复数据去重选择方法及装置。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明提供的一种基于云计算的重复数据去重选择方法的流程图。如图1所示，基于云计算的重复数据去重选择方法包括：
S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；
S11：判断客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；
S12：在预先设置的去重选择模式中确定待存储数据中重复数据的去重选择方式。
在具体实施中，首先要获取待存储数据，可以理解的是，待存储数据必须包含有重复数据，这里的重复数据指的是待存储的数据与存储系统中已经存储过的数据有重复的数据。获取当前时刻存储系统的客户端的负载值，服务器端的负载值以及当前网络带宽值。本实施例中，通过上述三种参数确定如何选择本次的重复数据去重的目的地，即在哪里去重。具体的选择方法是：判断客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件，如果上述三种参数满足预定条件，则在去重选择模式中确定对应的去重方式即可。可以理解的是，去重选择模式需要预先设置，只要满足预设条件，都能在去重选择模式中找到对应的去重方式。另外，如果上述三种参数不满足预设条件，则无法在选择模式中找到对应的去重方式，本实施例不再赘述。
本实施例提供的基于云计算的重复数据去重选择方法，当判断出客户端的负载值、服务器端的负载值以及当前网络带宽值满足预设条件时，在去重选择模式中确定待存储数据中的重复数据的去重选择方式。由于客户端的负载值、服务器端的负载值以及当前网络带宽值对于待存储数据的去重方式选择的影响较为重要，以上述三种参数作为参考对象可以提高去重的效率，提高存储系统的整体利用率。
在上述实施例的基础上，满足预定条件可以为如下两种情况，可以理解的是，预定条件可以自由设定，可以将当前网络带宽值和服务器端的负载值作为判断依据，也可以将当前网络带宽值和客户端的负载值作为判断依据，二者并不影响方案的实施，只不过判断判断条件不同而已。步骤S11具体包括两种情况：
第一种是：如果当前网络带宽值小于预定网络带宽值，且服务器端的负载值大于预定负载值时，则确定满足预定条件；
其中，如果是第一种情况，步骤S12具体为：确定在客户端执行待存储数据的去重过程；
第二种是：或如果当前网络带宽值大于预定网络带宽值，且服务器端的负载值小于预定负载值时，则确定满足预定条件；
其中，如果是第二种情况，步骤S12具体为：确定在服务器端执行待存储数据的去重过程。
上述过程中表明，只要待存储数据包含有重复数据，且客户端的负载值、服务器端的负载值以及当前网络带宽值满足预设条件时，去重的过程可以在服务器端，也可以在客户端，而具体是在服务器端执行还是客户端执行需要进一步确定。之所以采用上述的选择方式是考虑到，重复数据不参与数据传输，因此比较适合当前网络带宽值较小的情况，另外，如果服务器端的负载值较大，若仍然在服务器端进行重复数据的去重操作，则降低了去重的效率，综上所述，本实施例中，如果当前网络带宽值小于预定网络带宽值，且服务器端的负载值大于预定负载值时，确定在客户端执行待存储数据的去重过程。此外，如果当前网络带宽值较大，且如果服务器端的负载值较小，若仍然在客户端进行重复数据的去重操作，则降低了去重的效率，综上所述，本实施例中，如果当前网络带宽值大于预定网络带宽值，且服务器端的负载值小于预定负载值时，确定在服务器端执行待存储数据的去重过程。
可以理解的是，上述判断是否满足预定条件可以根据实际情况设定，例如，只考虑当前网络带宽值的大小，或者只考虑服务器端的负载值或者客户端的负载值，本发明不再赘述。
图2为本发明提供的另一种基于云计算的重复数据去重选择方法的流程图。如图2所示，在上述实施例的基础上，在步骤S10之前还包括：
S13：接收存储系统的存储请求和待存储数据；
S14：判断待存储数据是否包含有重复数据；
如果是，则进入步骤S10。
在上述实施例中是在待存储数据包含有重复数据的基础上实施的，而在具体实施中，待存储数据有可能不包含有重复数据，那么就不需要执行去重操作，也就不需要进行去重方式的选择，因此，当接收到存储系统的存储请求时，首先判断待存储数据是否包含有重复数据，如果是，则执行步骤S10-步骤S12；如果不包含，则结束。
在上述实施例的基础上，在步骤S10之前还包括：
S15：周期性地监控客户端的负载值、服务器端的负载值以及当前网络带宽值。
在具体实施中，即使不进行重复数据的去重选择方式，也需要周期性地监控客户端的负载值、服务器端的负载值以及当前网络带宽值，以便做其它的记录的分析。本实施例中，步骤S10具体是通过步骤S15间接得到的客户端的负载值、服务器端的负载值以及当前网络带宽值。可以理解的是，这里的周期可以根据实际情况设定，本发明不做具体限定。
作为一种优选的实施方式，在上述实施例的基础上还包括：
记录步骤S10-步骤S15中的任意一个步骤或几个步骤。
在具体实施中，需要记录去重选择方式中的一个步骤或几个步骤，以便后续使用。可以理解的是，本步骤中的记录操作可以根据实际情况设定，并没有严格限定记录哪个步骤。
图3为本发明提供的一种基于云计算的重复数据去重选择装置的结构图。如图3所示，一种基于云计算的重复数据去重选择装置，包括：
存储系统信息获取模块10，用于当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；
第一判断模块11，与存储系统信息获取模块10连接，用于判断客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件；
确定模块12，与第一判断模块11连接，用于在判断模块判断出客户端的负载值、服务器端的负载值和当前网络带宽值满足预定条件时，在预先设置的去重选择模式中确定待存储数据中重复数据的去重选择方式。
在具体实施中，首先要获取待存储数据，可以理解的是，待存储数据必须包含有重复数据，这里的重复数据指的是待存储的数据与存储系统中已经存储过的数据有重复的数据。存储系统信息获取模块10获取当前时刻存储系统的客户端的负载值，服务器端的负载值以及当前网络带宽值。本实施例中，通过上述三种参数确定如何选择本次的重复数据去重的目的地，即在哪里去重。具体的选择方法是：第一判断模块11判断客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件，如果上述三种参数满足预定条件，则在去重选择模式中确定对应的去重方式即可。可以理解的是，去重选择模式需要预先设置，只要满足预设条件，确定模块12都能在去重选择模式中找到对应的去重方式。另外，如果上述三种参数不满足预设条件，则无法在选择模式中找到对应的去重方式，本实施例不再赘述。
本实施例提供的基于云计算的重复数据去重选择装置，当判断出客户端的负载值、服务器端的负载值以及当前网络带宽值满足预设条件时，在去重选择模式中确定待存储数据中的重复数据的去重选择方式。由于客户端的负载值、服务器端的负载值以及当前网络带宽值对于待存储数据的去重方式选择的影响较为重要，以上述三种参数作为参考对象可以提高去重的效率，提高存储系统的整体利用率。
在上述实施例的基础上，第一判断模块11的判断依据包括：
如果当前网络带宽值小于预定网络带宽值，且服务器端的负载值大于预定负载值时，则确定满足预定条件；
或如果当前网络带宽值大于预定网络带宽值，且服务器端的负载值小于预定负载值时，则确定满足预定条件；
其中，如果当前网络带宽值小于预定网络带宽值，且服务器端的负载值大于预定负载值时，确定模块12确定在客户端执行待存储数据的去重过程；
如果当前网络带宽值大于预定网络带宽值，且服务器端的负载值小于预定负载值时，确定模块12确定在服务器端执行待存储数据的去重过程。
上述过程中表明，只要待存储数据包含有重复数据，且客户端的负载值、服务器端的负载值以及当前网络带宽值满足预设条件时，去重的过程可以在服务器端，也可以在客户端，而具体是在服务器端执行还是客户端执行需要确定模块12进一步确定。之所以采用上述的选择方式是考虑到，重复数据不参与数据传输，因此比较适合当前网络带宽值较小的情况，另外，如果服务器端的负载值较大，若仍然在服务器端进行重复数据的去重操作，则降低了去重的效率，综上所述，本实施例中，如果当前网络带宽值小于预定网络带宽值，且服务器端的负载值大于预定负载值时，确定在客户端执行待存储数据的去重过程。此外，如果当前网络带宽值较大，且如果服务器端的负载值较小，若仍然在客户端进行重复数据的去重操作，则降低了去重的效率，综上所述，本实施例中，如果当前网络带宽值大于预定网络带宽值，且服务器端的负载值小于预定负载值时，确定在服务器端执行待存储数据的去重过程。
可以理解的是，上述判断是否满足预定条件可以根据实际情况设定，例如，只考虑当前网络带宽值的大小，或者只考虑服务器端的负载值或者客户端的负载值，本发明不再赘述。
图4为本发明提供的另一种基于云计算的重复数据去重选择装置的结构图。如图4所示，在上述实施例的基础上，还包括：
接收模块13，用于接收存储系统的存储请求和待存储数据；
第二判断模块14，与接收模块13和存储系统信息获取模块10连接，用于判断待存储数据是否包含有重复数据，且在待存储数据包含有重复数据时，将待存储数据发送给存储系统信息获取模块10。
在上述实施例中是在待存储数据包含有重复数据的基础上实施的，而在具体实施中，待存储数据有可能不包含有重复数据，那么就不需要执行去重操作，也就不需要进行去重方式的选择，因此，当接收模块13接收到存储系统的存储请求时，第二判断模块14判断待存储数据是否包含有重复数据，如果是，则将待存储数据发送给存储系统信息获取模块10。
在上述实施例的基础上，还包括：
存储系统信息监控模块15，与存储系统信息获取模块10连接，用于周期性地监控客户端的负载值、服务器端的负载值以及当前网络带宽值。
在具体实施中，即使不进行重复数据的去重选择方式，也需要存储系统信息监控模块15周期性地监控客户端的负载值、服务器端的负载值以及当前网络带宽值，以便做其它的记录的分析。本实施例中，存储系统信息获取模块10具体是通过存储系统信息监控模块15间接得到的客户端的负载值、服务器端的负载值以及当前网络带宽值。可以理解的是，这里的周期可以根据实际情况设定，本发明不做具体限定。
在上述实施例的基础上，还包括：
日志记录模块16，与存储系统信息获取模块10、第一判断模块11、确定模块12、接收模块13、第二判断模块14、存储系统信息监控模块15中的任意一个或几个模块连接，用于记录相应的模块的执行步骤。
在具体实施中，需要日志记录模块16记录去重选择方式中的一个步骤或几个步骤，以便后续使用。可以理解的是，日志记录模块16可以根据实际需求与存储系统信息获取模块10、第一判断模块11、确定模块12、接收模块13、第二判断模块14或存储系统信息监控模块15连接，图4只是一种具体的表现形式。
需要说明的是，在方法部分的实施例或者装置部分的实施例中，在确定了去重选择方式后，还包括：执行模块按照相应的去重方式对待存储数据进行重复数据的去重。
以上对本发明所提供的基于云计算的重复数据去重选择方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (8)

1.一种基于云计算的重复数据去重选择方法，其特征在于，包括：
S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；
S11：判断所述客户端的负载值、所述服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；
S12：在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式；
所述步骤S11具体包括：
如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，则确定满足所述预定条件；
或如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，则确定满足所述预定条件；
其中，如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，步骤S12具体为：确定在客户端执行所述待存储数据的去重过程；
如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，步骤S12具体为：确定在服务器端执行所述待存储数据的去重过程。
2.根据权利要求1所述的基于云计算的重复数据去重选择方法，其特征在于，在所述步骤S10之前还包括：
S13：接收所述存储系统的存储请求和所述待存储数据；
S14：判断所述待存储数据是否包含有所述重复数据，如果是，则进入步骤S10。
3.根据权利要求1所述的基于云计算的重复数据去重选择方法，其特征在于，在所述步骤S10之前还包括：
S15：周期性地监控所述客户端的负载值、所述服务器端的负载值以及当前网络带宽值。
4.根据权利要求1-3任意一项所述的基于云计算的重复数据去重选择方法，其特征在于，还包括：
记录步骤S10-步骤S15中的任意一个步骤或几个步骤。
5.一种基于云计算的重复数据去重选择装置，其特征在于，包括：
存储系统信息获取模块，用于当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；
第一判断模块，与所述存储系统信息获取模块连接，用于判断所述客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件；
确定模块，与所述第一判断模块连接，用于在所述判断模块判断出所述客户端的负载值、所述服务器端的负载值和当前网络带宽值满足预定条件时，在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式；
所述第一判断模块的判断依据包括：
如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，则确定满足所述预定条件；
或如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，则确定满足所述预定条件；
其中，如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，所述确定模块确定在客户端执行所述待存储数据的去重过程；
如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，所述确定模块确定在服务器端执行所述待存储数据的去重过程。
6.根据权利要求5所述的基于云计算的重复数据去重选择装置，其特征在于，还包括：
接收模块，用于接收所述存储系统的存储请求和所述待存储数据；
第二判断模块，与所述接收模块和所述存储系统信息获取模块连接，用于判断所述待存储数据是否包含有所述重复数据，且在所述待存储数据包含有所述重复数据时，将所述待存储数据发送给所述存储系统信息获取模块。
7.根据权利要求5所述的基于云计算的重复数据去重选择装置，其特征在于，还包括：
存储系统信息监控模块，与所述存储系统信息获取模块连接，用于周期性地监控所述客户端的负载值、所述服务器端的负载值以及当前网络带宽值。
8.根据权利要求5-7任意一项所述的基于云计算的重复数据去重选择装置，其特征在于，还包括：
日志记录模块，与存储系统信息获取模块、第一判断模块、确定模块、接收模块、第二判断模块、存储系统信息监控模块中的任意一个或几个模块连接，用于记录相应的模块的执行步骤。
CN201610325911.0A 2016-05-17 2016-05-17 一种基于云计算的重复数据去重选择方法及装置 Active CN106055271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610325911.0A CN106055271B (zh) 2016-05-17 2016-05-17 一种基于云计算的重复数据去重选择方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610325911.0A CN106055271B (zh) 2016-05-17 2016-05-17 一种基于云计算的重复数据去重选择方法及装置

Publications (2)

Publication Number Publication Date
CN106055271A CN106055271A (zh) 2016-10-26
CN106055271B true CN106055271B (zh) 2019-01-25

Family

ID=57177052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610325911.0A Active CN106055271B (zh) 2016-05-17 2016-05-17 一种基于云计算的重复数据去重选择方法及装置

Country Status (1)

Country Link
CN (1) CN106055271B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489288B2 (en) * 2017-01-25 2019-11-26 Samsung Electronics Co., Ltd. Algorithm methodologies for efficient compaction of overprovisioned memory systems
CN108427538B (zh) * 2018-03-15 2021-06-04 深信服科技股份有限公司 全闪存阵列的存储数据压缩方法、装置、及可读存储介质
CN108427539B (zh) * 2018-03-15 2021-06-04 深信服科技股份有限公司 缓存设备数据的离线去重压缩方法、装置及可读存储介质
CN109542360A (zh) * 2018-12-03 2019-03-29 郑州云海信息技术有限公司 数据重删方法、装置、设备、系统及计算机可读存储介质
CN111291770B (zh) * 2018-12-06 2023-07-25 华为技术有限公司 一种参数配置方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799659A (zh) * 2012-07-05 2012-11-28 广州鼎鼎信息科技有限公司 一种基于无中心分布系统的全局重复数据删除系统及方法
CN104010042A (zh) * 2014-06-10 2014-08-27 浪潮电子信息产业股份有限公司 一种云服务的重复数据删除的备份机制
CN105306570A (zh) * 2015-10-27 2016-02-03 创新科软件技术（深圳）有限公司 一种集群数据的存储方法
CN105511812A (zh) * 2015-12-10 2016-04-20 浪潮(北京)电子信息产业有限公司 一种存储系统大数据优化方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799659A (zh) * 2012-07-05 2012-11-28 广州鼎鼎信息科技有限公司 一种基于无中心分布系统的全局重复数据删除系统及方法
CN104010042A (zh) * 2014-06-10 2014-08-27 浪潮电子信息产业股份有限公司 一种云服务的重复数据删除的备份机制
CN105306570A (zh) * 2015-10-27 2016-02-03 创新科软件技术（深圳）有限公司 一种集群数据的存储方法
CN105511812A (zh) * 2015-12-10 2016-04-20 浪潮(北京)电子信息产业有限公司 一种存储系统大数据优化方法及装置

Also Published As

Publication number Publication date
CN106055271A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106055271B (zh) 一种基于云计算的重复数据去重选择方法及装置
US9634915B2 (en) Methods and computer program products for generating a model of network application health
JP4912401B2 (ja) パフォーマンス情報およびイベント情報を適応的に収集するシステムおよび方法
CN108388479A (zh) 延迟消息推送方法、装置、计算机设备及存储介质
US7631034B1 (en) Optimizing node selection when handling client requests for a distributed file system (DFS) based on a dynamically determined performance index
US8056082B2 (en) Capacity management and predictive planning systems based on trended rate change of monitored factors and methods thereof
US9886311B2 (en) Job scheduling management
CN102629934B (zh) 基于分布式存储系统的数据存储方法及装置
US8589537B2 (en) Methods and computer program products for aggregating network application performance metrics by process pool
CN104022902A (zh) 一种监控服务器集群的方法和系统
US8909761B2 (en) Methods and computer program products for monitoring and reporting performance of network applications executing in operating-system-level virtualization containers
JP2006520937A5 (zh)
CN108196788A (zh) QoS指标监测方法、装置、存储介质
CN103412786A (zh) 一种高性能服务器架构系统及数据处理方法
US20140143777A1 (en) Resource Scheduling Method and Device
CN103067297A (zh) 一种基于资源消耗预测的动态负载均衡方法及装置
CN112162829B (zh) 一种边缘计算场景下的资源监控数据预处理系统
CN108491255B (zh) 自助式MapReduce数据优化分配方法及系统
CN104503894A (zh) 分布式服务器状态实时监测系统及方法
US10235062B1 (en) Selection of computer resources to perform file operations in a power-efficient manner
US8312138B2 (en) Methods and computer program products for identifying and monitoring related business application processes
CN110471769A (zh) 一种虚拟机的资源管理方法及装置
CN109558554A (zh) 一种基于分布式对象存储系统的文档在线预览方法
CN202841168U (zh) 网络资源监控系统
CN110247854A (zh) 一种多等级业务调度方法和调度系统以及调度控制器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant