CN108762679B - 一种在线ddp与离线ddp相结合的方法及其相关装置 - Google Patents
一种在线ddp与离线ddp相结合的方法及其相关装置 Download PDFInfo
- Publication number
- CN108762679B CN108762679B CN201810543573.7A CN201810543573A CN108762679B CN 108762679 B CN108762679 B CN 108762679B CN 201810543573 A CN201810543573 A CN 201810543573A CN 108762679 B CN108762679 B CN 108762679B
- Authority
- CN
- China
- Prior art keywords
- ddp
- online
- offline
- data
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 230000008569 process Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例公开了一种在线DDP与离线DDP相结合的方法及其相关装置，用于智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。本申请实施例方法包括：获取主机的请求；根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP，所述离线DDP速率与所述系统所述负载程度相对应。
Description
技术领域
本申请涉及存储领域，尤其涉及一种在线DDP与离线DDP相结合的方法及其相关装置。
背景技术
现今，计算机越来越普及，计算机用户一般都会存储很多数据，且用户计算机内一般总会有一些重复的数据，这些重复的数据存在于存储空间中相当浪费数据存储空间。
重复数据删除(deduplication，DDP)是一种可减少数据存储空间的核心技术，尤其是在存储空间成本较高的全闪存存储阵列(aLL flash array，AFA)，DDP已经成为必备的特性。DDP一般算法为：将新写入的数据计算一个指纹，然后与已存储的指纹对比，如果发现有相同指纹，则记录相同数据的位置，当前数据不写盘。现有的DDP技术主要分为2种：
第一种是在线DDP：即在数据写入硬盘前，计算指纹，重复数据的比较等操作。
第二种是离线DDP：即新的数据先写入硬盘快速返回响应给主机，系统后续在后台将这些数据读起来再做指纹计算，重复数据删除等操作。
这两种技术各有优缺点，离线DDP虽然能做到快速返回响应给主机，但总体上会增加读盘的次数，导致整体性能下降；在线DDP整体性能上有优势，目前主流的AFA厂商基本都采用的此项技术，但是它的性能消耗主要在计算单元上(比如中央处理器(centralprocessing unit，CPU)或专用计算硬件)，一旦前端有突发的过量业务时，性能的计算单元就会成为整体性能的瓶颈(尤其是直接用CPU计算的)。
当然基于上述问题，也有人提出将在线DDP和离线DDP结合使用的方式，但是采用的是人为手动切换的方式，而且要么全部在线DDP，要么全部离线DDP，切换的时候主机业务容易发生抖动。
发明内容
本申请实施例提供了一种在线DDP与离线DDP相结合的方法及其相关装置，用于智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。
本申请实施例的第一方面提供了一种在线DDP与离线DDP相结合的方法，其特征在于，包括：获取主机的请求；根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP，所述离线DDP速率与所述系统所述负载程度相对应。
在一种可能的设计中，在本申请实施例第一方面的第一种实现方式中，所述根据在线DDP比例确定所述请求是否做在线DDP之前，所述方法还包括：通过过载控制模块确定所述系统的负载等级；根据所述负载等级确定所述在线DDP比例与所述离线DDP速率。
在一种可能的设计中，在本申请实施例第一方面的第二种实现方式中，所述方法还包括：若所述负载程度大于阈值，则降低所述在线DDP比例和所述离线DDP速率。
在一种可能的设计中，在本申请实施例第一方面的第三种实现方式中，所述方法还包括：若所述负载程度小于所述阈值，则提高所述在线DDP比例和所述离线DDP速率。
在一种可能的设计中，在本申请实施例第一方面的第四种实现方式中，所述将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP包括：将所述数据写盘，并记录所述数据为未做DDP的数据；根据预置周期读取所述数据；将所述数据发送至所述DDP模块，使得所述数据做离线DDP，所述周期与所述离线DDP速率相对应。
本申请实施例的第二方面提供了一种在线DDP与离线DDP相结合的装置，其特征在于，包括：获取单元，用于获取主机的请求；第一确定单元，用于根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；第一处理单元，用于当确定所述请求做在线DDP时，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；第二处理单元，用于当确定所述请求不做在线DDP时，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。
在一种可能的设计中，在本申请实施例第二方面的第一种实现方式中，所述装置还包括：第二确定单元，用于通过过载控制模块确定所述系统的负载等级；第三确定单元，用于根据所述负载等级确定所述在线DDP比例与所述离线DDP速率。
在一种可能的设计中，在本申请实施例第二方面的第二种实现方式中，所述装置还包括：降低单元，用于当所述负载程度大于阈值时，降低所述在线DDP比例和所述离线DDP速率。
在一种可能的设计中，在本申请实施例第二方面的第三种实现方式中，所述装置还包括：提高单元，用于当所述负载程度小于所述阈值时，提高所述在线DDP比例和所述离线DDP速率。
在一种可能的设计中，在本申请实施例第二方面的第四种实现方式中，所述第二处理单元包括：处理子单元，用于将所述数据写盘，并记录所述数据为未做DDP的数据；读取子单元，用于根据预置周期读取所述数据；发送子单元，用于将所述数据发送至所述DDP模块，使得所述数据做离线DDP，所述周期与所述离线DDP速率相对应。
本申请的又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，装置获取主机的请求；然后根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。本实施例中，智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。
附图说明
图1为本申请实施例中在线DDP与离线DDP相结合的方法的一个实施例示意图；
图2为本申请实施例中在线DDP与离线DDP相结合的方法的另一个实施例示意图；
图3为本申请实施例中动态调整一个流程示意图；
图4为本申请实施例中在线DDP与离线DDP相结合的装置的一种结构示意图；
图5为本申请实施例中在线DDP与离线DDP相结合的装置的另一种结构示意图；
图6为本申请实施例中在线DDP与离线DDP相结合的装置的另一种结构示意图。
具体实施方式
本申请实施例提供了一种在线DDP与离线DDP相结合的方法及其相关装置，用于智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，本发明实施例中一种在线DDP与离线DDP相结合的方法一个实施例包括：
101、获取主机的请求。
本实施例中，装置从主机中获取请求，其中，根据具体情况，装置同一时间可以获取多个请求，例如1000个。
102、根据在线DDP比例确定所述请求是否做在线DDP，若是，则执行步骤103，若否，则执行步骤104。
本实施例中，当装置从主机中获取了请求之后，将根据在线的DDP比例确定获取到的请求是否做在线DDP。
假如获取到了1000个请求，在线DDP比例为60％，那么则有600个请求做在线DDP，400个请求直接写盘，做离线DDP。其中，哪600个做在线DDP，哪400个做离线DDP，可以随机划分决定，也可以根据请求的类型等决定，具体此处不做限定。
103、将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP。
本实施例中，当根据在线DDP的比例决定将一部分的请求做在线DDP时，则将该部分请求发送至DDP模块，使得该部分请求对应的数据做在线DDP。
其中，使得所述数据做在线DDP的一个具体过程可以为：首先将数据分割成一组数据块，为每个数据块计算指纹，然后以指纹为关键字进行哈希Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，否则则表示该数据块是一个新的唯一块，对数据块进行存储并创建相关元信息。这样，一个物理文件在存储系统就对应一个逻辑表示。
104、将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。
本实施例中，当根据在线DDP的比例决定将另一部分的请求做离线DDP时，此时装置会记录该请求未做DDP，例如给这部分请求打上未做DDP的标签等，然后直接将请求对应的数据写盘，在做离线DDP时，装置需要定时读取未做DDP的数据，然后将读取的数据下发给DDP模块做DDP，如果有重复的数据，则将该数据对应的空间释放。
其中，装置读取未做DDP的数据的速率(或周期)与系统的负载程度有关，负载程度越低，装置读取未做DDP的数据的速率越快(或周期越短)。
本申请实施例中，装置获取主机的请求；然后根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。本实施例中，智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。
请参阅图2，本发明实施例中一种在线DDP与离线DDP相结合的方法另一个实施例包括：
201、获取主机的请求。
本实施例中，装置从主机中获取请求，其中，根据具体情况，装置同一时间可以获取多个请求，例如1000个。
202、通过过载控制模块确定系统的负载等级。
本实施例中，装置实时或周期通过过载控制模块确定系统的负载等级，具体可以为：装置中的过载控制模块对影响系统处理能力的单元进行监控(例如：CPU、计算单元和请求数量等)，根据系统过载(负载)的程度将系统过载分为0级、1级、2级、3级、4级、5级。
203、根据所述负载等级确定所述在线DDP比例与所述离线DDP速率。
本实施例中，当系统确定了负载等级之后，将根据负载等级确定DDP比例和离线DDP速率，具体可以为：装置中存有负载等级与DDP比例的对应关系、和负载等级与DDP速率的对应关系，装置确定了系统的负载等级之后，将根据负载等级与DDP比例的对应关系得到此时的DDP比例，根据负载等级与DDP速率的对应关系得到此时的DDP速率。
例如，将系统过载分为0级、1级、2级、3级、4级、5级；则对应的在线DDP比例可分为100％、100％、80％、60％、40％、0％；离线DDP速率可分为100％、50％、30％、10％、0％、0％。
需要说明的是，本申请可以利用过载控制技术动态调整在线DDP比例和离线DDP速率，如图3所示，过载控制模块通过监控CPU、计算资源和请求数量等确定系统的负载程度，在根据负载程度动态调整在线DDP比例和动态调整离线DDP速率。
具体地，如果监测到系统出现过载(比如CPU负荷过大或请求平均时延过高等)，即负载程度大于阈值时(该阈值可以根据装置的具体情况设定)，那么则降低在线DDP比例和离线DDP速率，以降低负载程度，其中，降低在线DDP比例和离线DDP速率是一个缓慢的过程，每一次可降低5个百分比，直到负载程度不大于阈值。
如果监测到系统从过载状态恢复的时候，即负载程度不大于阈值了，则此时通知在线DDP提高处理比例，同时通知离线DDP提高离线DDP速率，其中，提高在线DDP比例和离线DDP速率是一个缓慢的过程，每一次可提高5个百分比，直到负载不小于阈值。
需要说明的是，步骤201可以在步骤202、203之前执行，也可以在步骤202、203之后执行，步骤202、203与步骤201的先后顺序此处不做限定。
204、根据在线DDP比例确定所述请求是否做在线DDP，若是，则执行步骤205，若否，则执行步骤206。
本实施例中，当装置从主机中获取了请求之后，将根据在线的DDP比例确定获取到的请求是否做在线DDP。
假如获取到了1000个请求，在线DDP比例为60％，那么则有600个请求做在线DDP，400个请求直接写盘，做离线DDP。其中，哪600个做在线DDP，哪400个做离线DDP，可以随机划分决定，也可以根据请求的类型等决定，具体此处不做限定。
205、将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP。
本实施例中，当根据在线DDP的比例决定将一部分的请求做在线DDP时，则将该部分请求发送至DDP模块，使得该部分请求对应的数据做在线DDP。
其中，使得所述数据做在线DDP的一个具体过程可以为：首先将数据分割成一组数据块，为每个数据块计算指纹，然后以指纹为关键字进行哈希Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，否则则表示该数据块是一个新的唯一块，对数据块进行存储并创建相关元信息。这样，一个物理文件在存储系统就对应一个逻辑表示。
206、将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。
本实施例中，当根据在线DDP的比例决定将另一部分的请求做离线DDP时，此时装置会记录该请求未做DDP，例如给这部分请求打上未做DDP的标签等，然后直接将请求对应的数据写盘，在做离线DDP时，装置需要定时读取未做DDP的数据，然后将读取的数据下发给DDP模块做DDP，如果有重复的数据，则将该数据对应的空间释放。
其中，装置读取未做DDP的数据的速率(或周期)与系统的负载程度有关，负载程度越低，装置读取未做DDP的数据的速率越快(或周期越短)。
需要说明的是，请求在做完在线DDP和做完离线DDP之后，都需要返回响应给主机，让主机知道请求已经做过DDP。
本申请既能在业务突发的时候保证业务处理能力，又不会对系统的整体性能有大的影响，同时也能达到全部数据做重删的最终目标。例如：在处理一些在线网购数据的时候，可在节假日等高峰期识别系统繁忙，降低甚至关闭在线DDP以保障业务存储数据的能力，在普通时期开启100％的在线DDP比例，保障数据DDP性能，在凌晨等业务低峰期，提升离线DDP速率，保障系统的DDP率，最终达到节省空间的目的。
本申请实施例中，装置获取主机的请求；然后根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。本实施例中，智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。
上面对本发明实施例中的在线DDP与离线DDP相结合的方法进行了描述，下面对本发明实施例中的在线DDP与离线DDP相结合的装置进行描述，请参阅图4，本发明实施例中的在线DDP与离线DDP相结合的装置包括：
获取单元401，用于获取主机的请求；
第一确定单元402，用于根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；
第一处理单元403，用于当确定所述请求做在线DDP时，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；
第二处理单元404，用于当确定所述请求不做在线DDP时，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。
本申请实施例中，获取单元401获取主机的请求；第一确定单元402根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则第一处理单元403将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则第二处理单元404将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。本实施例中，智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。
请参阅图5，本发明实施例中在线DDP与离线DDP相结合的装置的另一个实施例包括：
获取单元501，用于获取主机的请求；
第一确定单元502，用于根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；
第二确定单元503，用于通过过载控制模块确定所述系统的负载等级；
第三确定单元504，用于根据所述负载等级确定所述在线DDP比例与所述离线DDP速率。
降低单元505，用于当所述负载程度大于阈值时，降低所述在线DDP比例和所述离线DDP速率。
提高单元506，用于当所述负载程度小于所述阈值时，提高所述在线DDP比例和所述离线DDP速率。
第一处理单元507，用于当确定所述请求做在线DDP时，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；
第二处理单元508，用于当确定所述请求不做在线DDP时，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。
其中，第二处理单元508包括：
处理子单元5081，用于将所述数据写盘，并记录所述数据为未做DDP的数据；
读取子单元5082，用于根据预置周期读取所述数据；
发送子单元5083，用于将所述数据发送至所述DDP模块，使得所述数据做离线DDP，所述周期与所述离线DDP速率相对应。
本申请实施例中，获取单元501获取主机的请求；第一确定单元502根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则第一处理单元507将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则第二处理单元508将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。本实施例中，智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。
请参阅图6，图6是本发明实施例提供的一种在线DDP与离线DDP相结合的装置结构示意图，该在线DDP与离线DDP相结合的装置600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对在线DDP与离线DDP相结合的装置中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，打开器600上执行存储介质630中的一系列指令操作。
在线DDP与离线DDP相结合的装置600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例中由在线DDP与离线DDP相结合的装置所执行的步骤可以基于该图6所示的在线DDP与离线DDP相结合的装置结构。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (4)
1.一种在线重复数据删除DDP与离线DDP相结合的方法，其特征在于，包括：
获取主机的请求；
通过过载控制模块确定系统的负载等级；
根据所述负载等级确定在线DDP比例与离线DDP速率；
若系统的负载程度大于阈值，则降低所述在线DDP比例和所述离线DDP速率；
若所述系统的负载程度小于所述阈值，则提高所述在线DDP比例和所述离线DDP速率；
根据所述在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与所述系统的负载程度相对应；
若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；
若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据所述离线DDP速率做离线DDP，所述离线DDP速率与所述系统的负载程度相对应。
2.根据权利要求1所述的方法，且特征在于，所述将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP包括：
将所述数据写盘，并记录所述数据为未做DDP的数据；
根据预置周期读取所述数据；
将所述数据发送至所述DDP模块，使得所述数据做离线DDP，所述周期与所述离线DDP速率相对应。
3.一种在线重复数据删除DDP与离线DDP相结合的装置，其特征在于，包括：
获取单元，用于获取主机的请求；
第二确定单元，用于通过过载控制模块确定系统的负载等级；
第三确定单元，用于根据所述负载等级确定在线DDP比例与离线DDP速率；
降低单元，用于当系统的负载程度大于阈值时，降低所述在线DDP比例和所述离线DDP速率；
提高单元，用于当所述系统的负载程度小于所述阈值时，提高所述在线DDP比例和所述离线DDP速率；
第一确定单元，用于根据所述在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与所述系统的负载程度相对应；
第一处理单元，用于当确定所述请求做在线DDP时，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；
第二处理单元，用于当确定所述请求不做在线DDP时，则将所述数据写盘，使得所述数据根据所述离线DDP速率做离线DDP，所述离线DDP速率与所述系统的负载程度相对应。
4.根据权利要求3所述的装置，且特征在于，所述第二处理单元包括：
处理子单元，用于将所述数据写盘，并记录所述数据为未做DDP的数据；
读取子单元，用于根据预置周期读取所述数据；
发送子单元，用于将所述数据发送至所述DDP模块，使得所述数据做离线DDP，所述周期与所述离线DDP速率相对应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810543573.7A CN108762679B (zh) | 2018-05-30 | 2018-05-30 | 一种在线ddp与离线ddp相结合的方法及其相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810543573.7A CN108762679B (zh) | 2018-05-30 | 2018-05-30 | 一种在线ddp与离线ddp相结合的方法及其相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108762679A CN108762679A (zh) | 2018-11-06 |
| CN108762679B true CN108762679B (zh) | 2021-06-29 |
Family
ID=64004656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810543573.7A Active CN108762679B (zh) | 2018-05-30 | 2018-05-30 | 一种在线ddp与离线ddp相结合的方法及其相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108762679B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114816251A (zh) * | 2019-07-26 | 2022-07-29 | 华为技术有限公司 | 数据处理方法、装置及计算机存储可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184198A (zh) * | 2011-04-22 | 2011-09-14 | 深圳市广道高新技术有限公司 | 适用于工作负载保护系统的重复数据删除方法 |
| CN102609442A (zh) * | 2010-12-28 | 2012-07-25 | 微软公司 | 用于数据去重复的自适应索引 |
| CN103049508A (zh) * | 2012-12-13 | 2013-04-17 | 华为技术有限公司 | 一种数据处理方法及装置 |
| CN103955530A (zh) * | 2014-05-12 | 2014-07-30 | 暨南大学 | 一种在线重复数据删除系统的数据重建优化方法 |
| CN105487818A (zh) * | 2015-11-27 | 2016-04-13 | 清华大学 | 针对云存储系统中重复冗余数据的高效去重方法 |
| CN105589884A (zh) * | 2014-10-24 | 2016-05-18 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置 |
| CN105787037A (zh) * | 2016-02-25 | 2016-07-20 | 浪潮(北京)电子信息产业有限公司 | 一种重复数据的删除方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9747319B2 (en) * | 2014-12-31 | 2017-08-29 | Nexenta Systems, Inc. | Read-modify-write processing of chunks at the storage server level in a distributed object storage system |
-
2018
- 2018-05-30 CN CN201810543573.7A patent/CN108762679B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609442A (zh) * | 2010-12-28 | 2012-07-25 | 微软公司 | 用于数据去重复的自适应索引 |
| CN102184198A (zh) * | 2011-04-22 | 2011-09-14 | 深圳市广道高新技术有限公司 | 适用于工作负载保护系统的重复数据删除方法 |
| CN103049508A (zh) * | 2012-12-13 | 2013-04-17 | 华为技术有限公司 | 一种数据处理方法及装置 |
| CN103955530A (zh) * | 2014-05-12 | 2014-07-30 | 暨南大学 | 一种在线重复数据删除系统的数据重建优化方法 |
| CN105589884A (zh) * | 2014-10-24 | 2016-05-18 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置 |
| CN105487818A (zh) * | 2015-11-27 | 2016-04-13 | 清华大学 | 针对云存储系统中重复冗余数据的高效去重方法 |
| CN105787037A (zh) * | 2016-02-25 | 2016-07-20 | 浪潮(北京)电子信息产业有限公司 | 一种重复数据的删除方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| "DIODE: Dynamic Inline-Offline DE Duplication Providing Efficient Space-Saving and Read/Write Performance for Primary Storage Systems";Yan Tang等;《2016 IEEE 24th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems (MASCOTS)》;20161208;第482-486页 * |
| "Using Elasticity to Improve Inline Data Deduplication Storage Systems";Yufeng Wang等;《2014 IEEE 7th International Conference on Cloud Computing》;20141204;第785-792页 * |
| "云存储系统中重复数据删除机制的研究";涂群;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第02期);I137-123 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108762679A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11748322B2 (en) | Utilizing different data compression algorithms based on characteristics of a storage system | |
| US9606937B1 (en) | Cache insertion based on threshold access frequency | |
| US20170293426A1 (en) | Flow control for unaligned writes in network storage device | |
| WO2021073635A1 (zh) | 一种数据存储方法及装置 | |
| US11226898B2 (en) | Data caching method and apparatus | |
| CN114116634B (zh) | 一种缓存方法、装置及可读存储介质 | |
| US20170315924A1 (en) | Dynamically Sizing a Hierarchical Tree Based on Activity | |
| CN103838676A (zh) | 数据存储系统、数据存储方法及pcm桥 | |
| CN107423425B (zh) | 一种对k/v格式的数据快速存储和查询方法 | |
| CN104750432A (zh) | 一种数据存储方法及装置 | |
| US8335904B1 (en) | Identifying active and inactive data in storage systems | |
| US20240231657A1 (en) | Data processing method and storage system | |
| CN111930305A (zh) | 数据的存储方法和装置、存储介质、电子装置 | |
| CN108762679B (zh) | 一种在线ddp与离线ddp相结合的方法及其相关装置 | |
| CN117112219A (zh) | 主机内存数据访问的方法和装置 | |
| CN112000289B (zh) | 全闪存储服务器系统数据管理方法及相关组件 | |
| CN115878308A (zh) | 一种资源调度方法及装置 | |
| WO2016029481A1 (zh) | 一种隔离磁盘区域的方法和设备 | |
| WO2023279833A1 (zh) | 一种数据处理方法及装置 | |
| WO2024001863A1 (zh) | 一种数据处理方法及相关设备 | |
| US12050539B2 (en) | Data access method and apparatus and storage medium | |
| CN109857341B (zh) | 写锁预取长度的确定方法及装置 | |
| CN115599591A (zh) | 一种数据处理方法及装置 | |
| CN115525219A (zh) | 一种对象数据的存储方法、装置及介质 | |
| CN118732934A (zh) | 内存数据迁移方法、相关装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |