CN112286450A - 一种数据远程复制方法及系统 - Google Patents

一种数据远程复制方法及系统 Download PDF

Info

Publication number
CN112286450A
CN112286450A CN202011116849.7A CN202011116849A CN112286450A CN 112286450 A CN112286450 A CN 112286450A CN 202011116849 A CN202011116849 A CN 202011116849A CN 112286450 A CN112286450 A CN 112286450A
Authority
CN
China
Prior art keywords
data
compression
compression algorithm
load
data content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011116849.7A
Other languages
English (en)
Inventor
徐洪志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011116849.7A priority Critical patent/CN112286450A/zh
Publication of CN112286450A publication Critical patent/CN112286450A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据远程复制方法及系统，该方法包括：建立生产阵列和灾备阵列之间的远程复制关系，将生产阵列的待传输数据划分为元数据和数据内容两部分，采集存储设备的负载，然后对存储负载进行等级划分，根据不同的存储负载等级对数据内容采用不同的压缩算法进行压缩，最后将压缩后的数据内容和元数据传输至灾备阵列，灾备阵列根据压缩算法标识对压缩后的数据内容进行解压缩，从而完成数据的传输及解析。该系统包括：远程复制关系建立模块、数据划分模块、数据采集模块、存储负载等级划分模块、压缩模块、数据传输模块和解压缩模块。通过本申请，能够有效提高数据压缩的兼容性和灵活性，提高数据远程复制的效率。

Description

一种数据远程复制方法及系统
技术领域
本申请涉及数据存储技术领域，特别是涉及一种数据远程复制方法及系统。
背景技术
在数据存储技术领域，通常需要进行数据的远程复制。远程复制是复制产品数据到远程位置的设备上，从而达到数据保护或灾难恢复的目的。然而，远程复制所需传输的数据有时会比较繁琐，且数据量较大。这就需要对数据进行压缩处理，也就是需要一种基于数据压缩的数据远程复制方法。
目前，在基于数据压缩的远程复制方法，通常是采用一种特定的压缩算法进行压缩，然后将压缩后的数据传输至灾备阵列，灾备阵列对数据进行解压缩，再进行存储。
然而，目前在远程复制过程中对数据进行压缩处理的方法中，由于每次远程复制过程中只采用一种特定的压缩算法，灵活性较差，兼容性较差，针对当前的数据所采用的压缩算法并不一定是最佳的压缩方法，从而导致数据传输速率不够高。
发明内容
本申请提供了一种数据远程复制方法及系统，以解决现有技术中的数据压缩方法灵活性较差、兼容性较差，使得数据传输速率不够高的问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种数据远程复制方法，所述方法包括：
建立生产阵列和灾备阵列之间的远程复制关系；
将生产阵列的待传输数据划分为元数据和数据内容，其中，元数据中包含压缩算法标识，所述压缩算法标识用于表示不同的压缩算法，所述数据内容为待传输数据中需要进行压缩和解压缩处理的部分；
实时采集当前存储设备的负载情况；
根据所述负载情况，按照存储设备所有LUN(logical unit number，逻辑单元号)当前的IOPS(Input/Output Operations Per Second，每秒输入输出次数，每秒进行读写操作的次数)，将存储负载划分为低等级负载、中等级负载和高等级负载；
根据存储负载的不同等级，对所述数据内容选择相应的压缩算法进行压缩；
将压缩后的数据内容和元数据传输至灾备阵列；
灾备阵列根据元数据中的压缩算法标识，对所述压缩后的数据内容进行解压缩。
可选地，所述建立生产阵列和灾备阵列之间的远程复制关系，包括：
采用同步远程复制的方式，建立生产阵列和灾备阵列之间的远程复制关系；或者，
采用异步远程复制的方式，建立生产阵列和灾备阵列之间的远程复制关系。
可选地，所述压缩算法包括：第一压缩算法、第二压缩算法和第三压缩算法，其中，所述第一压缩算法的压缩比最高，第三压缩算法的压缩带宽最高，所述第二压缩算法的压缩比和压缩带宽居中。
可选地，根据存储负载的不同等级，对所述数据内容选择相应的压缩算法进行压缩，包括：
当存储负载为低等级负载时，对所述数据内容选择第一压缩算法；
当存储负载为中等级负载时，对所述数据内容选择第二压缩算法；
当存储负载为高等级负载时，对所述数据内容选择第三压缩算法。
可选地，所述第一压缩算法为zstd(Zstandard算法的缩写，一种新型压缩算法)算法，所述第二压缩算法为LZO(Lempel-Ziv-Oberhumer，致力于解压速度的一种数据压缩算法)算法，所述第三压缩算法为lz4(一种快速无损压缩算法)算法。
一种数据远程复制系统，所述系统包括：
远程复制关系建立模块，用于建立生产阵列和灾备阵列之间的远程复制关系；
数据划分模块，用于将生产阵列的待传输数据划分为元数据和数据内容，其中，元数据中包含压缩算法标识，所述压缩算法标识用于表示不同的压缩算法，所述数据内容为待传输数据中需要进行压缩和解压缩处理的部分；
数据采集模块，用于实时采集当前存储设备的负载情况；
存储负载等级划分模块，用于根据所述负载情况，按照存储设备所有LUN当前的IOPS，将存储负载划分为低等级负载、中等级负载和高等级负载；
压缩模块，用于根据存储负载的不同等级，对所述数据内容选择相应的压缩算法进行压缩；
数据传输模块，用于将压缩后的数据内容和元数据传输至灾备阵列；
解压缩模块，用于灾备阵列根据元数据中的压缩算法标识，对所述压缩后的数据内容进行解压缩。
可选地，所述压缩模块包括：
第一压缩算法单元，用于当存储负载为低等级负载时，对所述数据内容选择第一压缩算法；
第二压缩算法单元，用于当存储负载为中等级负载时，对所述数据内容选择第二压缩算法；
第三压缩算法单元，用于当存储负载为高等级负载时，对所述数据内容选择第三压缩算法；其中，所述第一压缩算法的压缩比最高，第三压缩算法的压缩带宽最高，所述第二压缩算法的压缩比和压缩带宽居中。
可选地，所述第一压缩算法单元为zstd算法单元，所述第二压缩算法单元为LZO算法单元，所述第三压缩算法单元为lz4算法单元
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请提供一种数据远程复制方法，该方法首先建立生产阵列和灾备阵列之间的远程复制关系，并将生产阵列的待传输数据划分为元数据和数据内容两部分，其次采集存储设备的负载和内存情况，然后根据负载情况对存储负载进行等级划分，根据不同的存储负载等级对数据内容采用不同的压缩算法进行压缩，最后将压缩后的数据内容和元数据传输至灾备阵列，灾备阵列根据压缩算法标识对压缩后的数据内容进行解压缩，从而完成数据的传输和解析，完成数据的远程复制。
本实施例通过将生产阵列的待传输数据划分为元数据和数据内容两部分，只对数据内容进行压缩和解压缩处理，元数据中添加压缩算法标识，不同的数据内容采用不同的压缩算法，从而为后续兼容不同的压缩算法提供依据，而且通过对待传输数据进行划分，有针对性地对数据内容进行压缩和解压缩，有利于提高数据传输的效率。本实施例根据不同的负载情况，按照LUN当前的IOPS，将存储负载划分为低等级负载、中等级负载和高等级负载三种等级，根据不同等级的存储负载，对数据内容采用相应的压缩算法，从而使得本方法能够兼容不同的压缩算法，有利于提高灵活性和兼容性。而且使得不同的数据内容能够匹配到最佳的压缩算法，有利于提高数据传输的效率。元数据中压缩算法标识的设置，能够为后续压缩后的数据内容进行解压缩提供依据，有利于快速选择相应的方法进行解压缩，从而提高数据远程复制的效率。
本申请还提供一种数据远程复制系统，该系统主要包括：远程复制关系建立模块、数据划分模块、数据采集模块、存储负载等级划分模块、压缩模块、数据传输模块和解压缩模块七部分。通过数据划分模块，能够将生产阵列的待传输数据划分为元数据和数据内容两部分，远程复制时只对数据内容进行压缩和解压缩处理，使得数据处理更加有针对性，有利于提高数据传输的效率。元数据中包含压缩算法标识，当灾备阵列中的解压缩模块进行解压缩时，能够及时而准确地确定解压缩方法，有利于提高数据远程复制的效率和准确性。本实施例中的压缩模块，能够根据负载存储的不同等级对数据内容选择相应的压缩算法，从而为不同的数据内容匹配最佳的压缩算法，针对性强，有利于提高远程复制过程中数据压缩的兼容性和灵活性，从而提高数据传输效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种数据远程复制方法的流程示意图；
图2为本申请实施例所提供的一种数据远程复制系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。
实施例一
参见图1，图1为本申请实施例所提供的一种数据远程复制方法的流程示意图。由图1可知，本实施例远程复制过程中对数据进行压缩处理的方法，主要包括如下过程：
S1：建立生产阵列和灾备阵列之间的远程复制关系。
本实施例中建立生产阵列和灾备阵列之间的远程复制关系的方法，主要包括两种：采用同步远程复制的方式，或者，采用异步远程复制的方式。
远程复制又称远程镜像，是数据镜像技术的一种，它能够在两个或多个站点维护若干个数据副本，利用长距离来避免灾难发生时的数据丢失。主站点和镜像站点通过数据通路连接后，主LUN和从LUN就会建立一种关联关系。
在建立生产阵列和灾备阵列之间的远程复制关系时，通常需要考虑以下几个设计需求：
1)尽可能保证主、从LUN之间的紧密同步，从而减少灾难发生时的数据丢失量；
2)尽可能减少系统对前台应用程序的写延迟，从而达到减少系统响应时间、提高数据吞吐量和性能的效果；
3)在异常或灾难发生时，能够保证主站点和复制站点数据可用性。
由于通信链路上存在不可避免的延时，前两个设计需求几乎不可能同时最优化：当前者达到最优时，主站点收到本地I/O写操作后，立即发向复制站点，等待写I/O同时写入主LUN和从LUN后才返回前台应用程序写完成，这种方式即同步远程复制。当后者达到最优时，主站点先记录收到的I/O写操作导致的差异，写入主LUN后就立即返回写完成，当差异累积到一定程度时或经过一段固定的时间，再一次性把所有差异更新到复制站点的从LUN，这种方式即异步远程复制。无论是同步远程复制还是异步远程复制，都必须满足第三个设计需求——任何情况下的数据可用性。
继续参见图1可知，进行数据远程复制时，还需要执行步骤S2：将生产阵列的待传输数据划分为元数据和数据内容。
其中，元数据中包含压缩算法标识，压缩算法标识用于表示不同的压缩算法，数据内容为待传输数据中需要进行压缩和解压缩处理的部分。
本实施例中的元数据中设置有压缩算法标识，该压缩算法标识可以用字段表示，即元数据中包括：“压缩算法标识”字段，在远程复制过程中不对元数据进行压缩，只对数据内容进行压缩和解压缩。
S3：实时采集当前存储设备的负载情况。
本实施中实时监控当前存储设备的负载情况，从而为后续对存储负载进行等级划分提供依据，有利于提高数据传输的效率。
S4：根据负载情况，按照存储设备所有LUN当前的IOPS，将存储负载划分为低等级负载、中等级负载和高等级负载。
本实施例中具体的存储负载等级，可以根据负载情况，按照当前存储设备中所有LUN当前的IOPS来划分，具体的划分参数由用户根据当前的应用场景进行确定。通常，低等级负载的内存空闲较多，高等级负载的内存空闲较少，随着存储负载等级的升高，其内存空闲逐渐减少。
继续参见图1可知，将存储负载划分为低等级负载、中等级负载和高等级负载之后，执行步骤S5：根据存储负载的不同等级，对数据内容选择相应的压缩算法进行压缩。
本实施例中的压缩算法主要包括：第一压缩算法、第二压缩算法和第三压缩算法。其中，第一压缩算法的压缩比最高，第三压缩算法的压缩带宽最高，第二压缩算法的压缩比和压缩带宽居中。
具体地，步骤S5包括如下过程：
S51：当存储负载为低等级负载时，对数据内容选择第一压缩算法；
S52：当存储负载为中等级负载时，对数据内容选择第二压缩算法；
S53：当存储负载为高等级负载时，对数据内容选择第三压缩算法。
当然，以上三个步骤是并列关系，针对不同等级的负载选择不同的压缩算法。根据本实施例中的方法，当存储负载等级较低时，选择压缩比相对较高的压缩算法，有利于减少数据资源空间的占用，提高数据传输效率。当存储负载等级较高时，选择压缩带宽较高的压缩算法，有利于在短时间内完成数据压缩，从而提高压缩效率。因此，本实施例中根据不同等级的存储负载，对数据内容匹配相应的压缩算法，对压缩算法的选择更加有针对性，能够有效提高数据传输的效率。
进一步地，本实施例中第一压缩算法为zstd算法，第二压缩算法为LZO算法，第三压缩算法为lz4算法。也就是，当存储负载为低等级负载时，对数据内容选择zstd算法；当存储负载为中等级负载时，对数据内容选择LZO算法；当存储负载为高等级负载时，对数据内容选择lz4算法。
S6：将压缩后的数据内容和元数据传输至灾备阵列。
通过步骤S5对待传输数据中的数据内容进行相应的压缩处理后，获取到压缩后的数据内容，通过步骤S6将此压缩后的数据内容和带有压缩算法标识的元数据一起从生产阵列传输至灾备阵列。
S7：灾备阵列根据元数据中的压缩算法标识，对压缩后的数据内容进行解压缩。
通过步骤S2，在元数据中设置压缩算法标识，该压缩算法标识与不同的数据内容一一一对应，使得步骤S7中对压缩后的数据内容能够及时采取相应的解压缩方法进行解压缩，有利于提高数据解压缩效率和数据处理的准确性，从而提高数据远程复制的效率和准确性。
实施例二
在图1所示实施例的基础之上参见图2，图2为本申请实施例所提供的一种数据远程复制系统的结构示意图。由图2可知，本实施例中远程复制过程中对数据进行压缩处理的系统，主要包括：远程复制关系建立模块、数据划分模块、数据采集模块、存储负载等级划分模块、压缩模块、数据传输模块和解压缩模块。
其中，远程复制关系建立模块，用于建立生产阵列和灾备阵列之间的远程复制关系；数据划分模块，用于将生产阵列的待传输数据划分为元数据和数据内容，其中，元数据中包含压缩算法标识，压缩算法标识用于表示不同的压缩算法，数据内容为待传输数据中需要进行压缩和解压缩处理的部分；数据采集模块，用于实时采集当前存储设备的负载情况；存储负载等级划分模块，用于根据负载情况，按照存储设备所有LUN当前的IOPS，将存储负载划分为低等级负载、中等级负载和高等级负载；压缩模块，用于根据存储负载的不同等级，对数据内容选择相应的压缩算法进行压缩；数据传输模块，用于将压缩后的数据内容和元数据传输至灾备阵列；解压缩模块，用于灾备阵列根据元数据中的压缩算法标识，对压缩后的数据内容进行解压缩。
进一步地，压缩模块包括：第一压缩算法单元、第二压缩算法单元和第三压缩算法单元。第一压缩算法单元，用于当存储负载为低等级负载时，对数据内容选择第一压缩算法；第二压缩算法单元，用于当存储负载为中等级负载时，对数据内容选择第二压缩算法；第三压缩算法单元，用于当存储负载为高等级负载时，对数据内容选择第三压缩算法；其中，第一压缩算法的压缩比最高，第三压缩算法的压缩带宽最高，第二压缩算法的压缩比和压缩带宽居中。
进一步地，第一压缩算法单元为zstd算法单元，第二压缩算法单元为LZO算法单元，第三压缩算法单元为lz4算法单元。
该实施例中数据远程复制系统的工作原理和工作方法，在图1所示的实施例中已经详细阐述，在此不再赘述。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据远程复制方法，其特征在于，所述方法包括：
建立生产阵列和灾备阵列之间的远程复制关系；
将生产阵列的待传输数据划分为元数据和数据内容，其中，元数据中包含压缩算法标识，所述压缩算法标识用于表示不同的压缩算法，所述数据内容为待传输数据中需要进行压缩和解压缩处理的部分；
实时采集当前存储设备的负载情况；
根据所述负载情况，按照存储设备所有LUN当前的IOPS，将存储负载划分为低等级负载、中等级负载和高等级负载；
根据存储负载的不同等级，对所述数据内容选择相应的压缩算法进行压缩；
将压缩后的数据内容和元数据传输至灾备阵列；
灾备阵列根据元数据中的压缩算法标识，对所述压缩后的数据内容进行解压缩。
2.根据权利要求1所述的一种数据远程复制方法，其特征在于，所述建立生产阵列和灾备阵列之间的远程复制关系，包括：
采用同步远程复制的方式，建立生产阵列和灾备阵列之间的远程复制关系；或者，
采用异步远程复制的方式，建立生产阵列和灾备阵列之间的远程复制关系。
3.根据权利要求1所述的一种数据远程复制方法，其特征在于，所述压缩算法包括：第一压缩算法、第二压缩算法和第三压缩算法，其中，所述第一压缩算法的压缩比最高，第三压缩算法的压缩带宽最高，所述第二压缩算法的压缩比和压缩带宽居中。
4.根据权利要求3所述的一种数据远程复制方法，其特征在于，根据存储负载的不同等级，对所述数据内容选择相应的压缩算法进行压缩，包括：
当存储负载为低等级负载时，对所述数据内容选择第一压缩算法；
当存储负载为中等级负载时，对所述数据内容选择第二压缩算法；
当存储负载为高等级负载时，对所述数据内容选择第三压缩算法。
5.根据权利要求3或4所述的一种数据远程复制方法，其特征在于，所述第一压缩算法为zstd算法，所述第二压缩算法为LZO算法，所述第三压缩算法为lz4算法。
6.一种数据远程复制系统，其特征在于，所述系统包括：
远程复制关系建立模块，用于建立生产阵列和灾备阵列之间的远程复制关系；
数据划分模块，用于将生产阵列的待传输数据划分为元数据和数据内容，其中，元数据中包含压缩算法标识，所述压缩算法标识用于表示不同的压缩算法，所述数据内容为待传输数据中需要进行压缩和解压缩处理的部分；
数据采集模块，用于实时采集当前存储设备的负载情况；
存储负载等级划分模块，用于根据所述负载情况，按照存储设备所有LUN当前的IOPS，将存储负载划分为低等级负载、中等级负载和高等级负载；
压缩模块，用于根据存储负载的不同等级，对所述数据内容选择相应的压缩算法进行压缩；
数据传输模块，用于将压缩后的数据内容和元数据传输至灾备阵列；
解压缩模块，用于灾备阵列根据元数据中的压缩算法标识，对所述压缩后的数据内容进行解压缩。
7.根据权利要求5所述的一种数据远程复制系统，其特征在于，所述压缩模块包括：
第一压缩算法单元，用于当存储负载为低等级负载时，对所述数据内容选择第一压缩算法；
第二压缩算法单元，用于当存储负载为中等级负载时，对所述数据内容选择第二压缩算法；
第三压缩算法单元，用于当存储负载为高等级负载时，对所述数据内容选择第三压缩算法；其中，所述第一压缩算法的压缩比最高，第三压缩算法的压缩带宽最高，所述第二压缩算法的压缩比和压缩带宽居中。
8.根据权利要求7所述的一种数据远程复制系统，其特征在于，所述第一压缩算法单元为zstd算法单元，所述第二压缩算法单元为LZO算法单元，所述第三压缩算法单元为lz4算法单元。
CN202011116849.7A 2020-10-19 2020-10-19 一种数据远程复制方法及系统 Withdrawn CN112286450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011116849.7A CN112286450A (zh) 2020-10-19 2020-10-19 一种数据远程复制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011116849.7A CN112286450A (zh) 2020-10-19 2020-10-19 一种数据远程复制方法及系统

Publications (1)

Publication Number Publication Date
CN112286450A true CN112286450A (zh) 2021-01-29

Family

ID=74496391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011116849.7A Withdrawn CN112286450A (zh) 2020-10-19 2020-10-19 一种数据远程复制方法及系统

Country Status (1)

Country Link
CN (1) CN112286450A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114507A (zh) * 2021-04-15 2021-07-13 泉州文学士信息科技有限公司 一种物联网传感器设备传输的数据鉴别装置系统
CN113422838A (zh) * 2021-07-12 2021-09-21 中国电信股份有限公司 数据同步的实现方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516369A (zh) * 2013-06-20 2014-01-15 易乐天 一种自适应数据压缩和解压缩的方法和系统及存储装置
CN105094709A (zh) * 2015-08-27 2015-11-25 浪潮电子信息产业股份有限公司 一种固态盘存储系统的动态数据压缩方法
CN107526655A (zh) * 2017-08-25 2017-12-29 郑州云海信息技术有限公司 一种节约传输链路中带宽和数据量的数据传输方法和系统
CN108494788A (zh) * 2018-03-29 2018-09-04 深圳市国富前海区块链技术股份有限公司 数据的传输方法、数据传输装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516369A (zh) * 2013-06-20 2014-01-15 易乐天 一种自适应数据压缩和解压缩的方法和系统及存储装置
CN105094709A (zh) * 2015-08-27 2015-11-25 浪潮电子信息产业股份有限公司 一种固态盘存储系统的动态数据压缩方法
CN107526655A (zh) * 2017-08-25 2017-12-29 郑州云海信息技术有限公司 一种节约传输链路中带宽和数据量的数据传输方法和系统
CN108494788A (zh) * 2018-03-29 2018-09-04 深圳市国富前海区块链技术股份有限公司 数据的传输方法、数据传输装置及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114507A (zh) * 2021-04-15 2021-07-13 泉州文学士信息科技有限公司 一种物联网传感器设备传输的数据鉴别装置系统
CN113422838A (zh) * 2021-07-12 2021-09-21 中国电信股份有限公司 数据同步的实现方法、装置、电子设备及存储介质
CN113422838B (zh) * 2021-07-12 2022-10-21 天翼云科技有限公司 数据同步的实现方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110109778B (zh) 一种大量小数据文件备份方法及恢复方法
CN112286450A (zh) 一种数据远程复制方法及系统
CN103312544B (zh) 一种控制终端上报日志文件的方法、设备和系统
US10860447B2 (en) Database cluster architecture based on dual port solid state disk
US10176058B2 (en) Method and apparatus for data backup in storage system
CN110543386B (zh) 一种数据存储方法、装置、设备和存储介质
CN104484480A (zh) 基于重复数据删除的远程复制方法及装置
CN109783014B (zh) 一种存储数据的方法及装置
CN111339192A (zh) 一种分布式边缘计算数据存储系统
CN111262921B (zh) 基于区块链网络的应用请求处理方法、装置、设备和介质
CN111552669A (zh) 数据处理方法、装置、计算设备和存储介质
CN112527562A (zh) 分布式存储系统的数据备份方法、装置和计算机设备
CN111045865A (zh) 一种基于块复制的实时同步方法及系统
CN112380067A (zh) 一种Hadoop环境下基于元数据的大数据备份系统及方法
CN106033377B (zh) 数据容灾方法及容灾服务器
CN112364104A (zh) 分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质
CN102325171B (zh) 一种监控系统中数据的存储方法及其系统
CN107291576A (zh) 一种异步的快照卷解耦合的方法及装置
WO2013102819A1 (en) Separation of data chunks into multiple streams for compression
CN111949223B (zh) 一种双活卷扩容方法以及相关装置
CN113268395A (zh) 业务数据的处理方法、处理装置及终端
CN116107797A (zh) 数据存储方法及装置、电子设备和存储介质
CN113391960B (zh) 一种快速实现操作系统恢复的技术方法和系统
CN111935237B (zh) 日志处理方法及系统、电子设备及存储介质
CN115695320B (zh) 一种前后端负载管理方法、系统、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210129