CN115396518B - 一种自适应的数据同步方法以及系统 - Google Patents
一种自适应的数据同步方法以及系统 Download PDFInfo
- Publication number
- CN115396518B CN115396518B CN202211341712.0A CN202211341712A CN115396518B CN 115396518 B CN115396518 B CN 115396518B CN 202211341712 A CN202211341712 A CN 202211341712A CN 115396518 B CN115396518 B CN 115396518B
- Authority
- CN
- China
- Prior art keywords
- data block
- compression ratio
- feature code
- identifier
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000007906 compression Methods 0.000 claims abstract description 126
- 230000006835 compression Effects 0.000 claims abstract description 126
- 230000003044 adaptive effect Effects 0.000 claims description 20
- 238000013144 data compression Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请公开了一种自适应的数据同步方法以及系统，属于数据同步技术领域，数据同步方法通过获取当前数据块的特征码并且根据特征码的标识判断当前数据块的压缩比高低，从而可以分析出当前数据块是否需要进行压缩，若无需进行压缩，可以直接对数据块进行传输同步，若分析到需要进行压缩，在对数据块进行压缩后才对数据进行同步传输，这样可以减少传输的带宽消耗，本申请可以自适应的对数据块进行压缩或不压缩，可以节省大量的CPU资源，保证系统的流畅度，并且在判断到无需同步时可以马上对数据进行传输同步，减少压缩的时间，可以提升数据同步的效率。
Description
技术领域
本发明属于数据同步技术领域，尤其涉及一种自适应的数据同步方法以及系统。
背景技术
数据同步过程是将一个硬盘中的数据进行复制并且传输到另一硬盘中进行存放，在同步过程中数据压缩是一种常见的优化数据传输的手段，具体的，数据压缩是在发送数据之前把数据进行压缩，以减少传输量，接收端在接收到压缩数据时会对数据进行解压再提交到上层应用。但是目前所采用的数据压缩手段比较单一都是直接将所有的数据进行压缩并且进行传输，但是如果传输的数据本身已经是被压缩过的（假如传输的是压缩文件数据内容），那么再进行二次压缩是没有太大效果和意义的，而且数据压缩本身是一个消耗CPU资源的过程，对数据块进行二次压缩将会大量消耗CPU资源，造成系统卡顿。
发明内容
（一）发明目的
为了克服以上不足，本发明的目的在于提供一种自适应的数据同步方法以及系统，以解决现有的数据同步过程中数据压缩比较单一并且常会对二次压缩的数据进行再次压缩之后进行传输，对数据块进行二次压缩将会大量消耗CPU资源，造成系统卡顿的技术问题。
（二）技术方案
为实现上述目的，本申请一方面提供的技术方案如下：
一种自适应的数据同步方法，包括以下步骤：
在接收到数据块时，获取当前数据块的特征码并且基于特征码所对应的标识判断数据块的压缩比高低，其中，标识为压缩比为高或压缩比为低；
若判断到当前数据块的压缩比为高，对当前数据块进行压缩；
若判断到当前数据块的压缩比为低，不对当前数据块进行压缩。
本申请通过获取当前数据块的特征码并且根据特征码的标识判断当前数据块的压缩比高低，从而可以分析出当前数据块是否需要进行压缩，若无需进行压缩，可以直接对数据块进行传输同步，若分析到需要进行压缩，在对数据块进行压缩后才对数据进行同步传输，这样可以减少传输的带宽消耗，本申请可以自适应的对各种数据块进行压缩或不压缩，可以节省大量的CPU资源，保证系统的流畅度，并且在判断到无需同步时可以马上对数据进行传输同步，减少压缩的时间，可以提升数据同步的效率。
在一些实施例中，提取当前数据块的特征码之前，还包括：获取多种格式的特征码以及获取每种特征码所对应的压缩比标识，将多种特征码以及对应的标识存入到数据库中。
在一些实施例中，获取当前数据块的特征码并且基于特征码所对应的标识判断数据块的压缩比高低包括：
提取接收到的当前数据块的特征码并且根据该特征码在数据库中查找对应的标识。
在一些实施例中，若在数据库中未查找到当前数据块所对应的特征码：
对当前数据块的特征码的压缩比进行预标识并且将特征码以及预标识存入到数据库中；
在预定周期或预定次数内每当接收到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断数据块的压缩比高低以获取预标识的准确率；
判断预标识的准确率是否达到第一预定阈值；
若判断到预标识的准确率达到第一预定阈值，在预定周期或预定次数之后每当接收到该特征码数据块对应的数据块时按预标识对该数据块进行处理；
否则，不对该数据块进行压缩；
通过将新的特征码存入到数据库中并且对其进行预标识，随着数据同步的时间越长，数据库中的特征码种类就越丰富，能够对多种不同格式的数据块进行分析判断，另外，通过对预标识的准确率进行判断，可以精准获取预标识是否正确，只有在正确的情况下才按预标识对该数据块进行处理，否则，不对数据块进行压缩，这样可以提升压缩的准确性。
在一些实施例中，获取预标识的准确率包括：
在特征码后设定一个匹配次数累加值，将特征码、预标识以及匹配次数累加值同时存入到数据库中，其中，匹配次数累加值的初始值为0；
在预定周期或预定次数内每当获取到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断压缩比高低；
每次在获取到压缩比高低后均判断获取到的压缩比高低与预标识是否一致；
每次在判断到压缩比高低与预标识的压缩比高低一致时对匹配次数累加值进行加1；
每次在判断到压缩比高低与预标识的压缩比高低不一致时，不对匹配次数累加值进行累加；
在预定周期或预定次数后将匹配次数累加值与数据块的总压缩次数相除获取所述预标识的准确率。
在一些实施例中，若在数据库中未查找到当前数据块所对应的特征码：
将当前数据块的特征码存入到数据库中并且分别设定压缩比为高以及压缩比为低两个预标识；
在预定周期或预定次数内每当接收到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断数据块的压缩比高低以统计匹配次数累加值最多的预标识；
在预定周期或预定次数之后获取匹配次数累加值最多的预标识作为该数据块所属的预标识；
在预定周期或预定次数之后每当获取到该特征码数据块对应的数据块时按所属的预标识对该数据块进行处理；
通过对两个预标识的匹配次数累加值进行统计，可以精准知道当前特征码所属的预标识，后期根据准确的预标识对数据块进行处理，可以提升对接收到的数据块进行压缩或不压缩分析的分析判断，进一步减少CPU资源消耗，保证系统的流畅度。
在一些实施例中，统计匹配次数累加值最多的预标识包括：
分别在压缩比为高以及压缩比为低两个预标识之后设定一个匹配次数累加值，该匹配次数累加值初始值为0；
在预定周期或预定次数内每当获取到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断压缩比高低；
若判断到当前数据块压缩比为高，在对应压缩比为高的预标识的匹配次数累加值加1；
若判断到当前数据块压缩比为低，在对应压缩比为低的预标识的匹配次数累加值加1；
在预定周期或预定次数之后判断哪个预标识所对应的匹配次数累加值较大；
选取匹配次数累加值较大的预标识作为数据块所属的预标识。
在一些实施例中，基于特征码所对应的标识判断数据块的压缩比高低包括：
判断当前数据块的特征码是否设定有匹配次数累加值；
若判断该数据块的特征码设定有对应的匹配次数累加值；
判断对当前数据块进行压缩是否超过预定周期或预定次数；
若判断到超过预定周期或预定次数；
判断匹配次数累加值数值是否大于第二预定阈值；
若被判断大于第二预定阈值，按预标识对该数据块进行处理；
若被判断不大于第二预定阈值，不对该数据块进行压缩。
只有在判断到匹配次数累加值为高，才会按照预标识对数据块进行处理，否则不对该数据块进行压缩，这样才可能对数据块进行准确处理，进一步减少CPU资源消耗，保证系统的流畅度。
在一些实施例中，若判断到当前数据块的压缩比为高之后并且在对该数据块进行压缩之前还包括：
判断当前处理资源的空闲情况；
若判断到当前处理资源处于空闲状态下，进行下一步操作；
否则，不进行下一步操作；
在对数据块进行压缩之前通过判断系统的处理资源是否处于空闲情况，可以避免系统处于超负荷状态还增加新任务导致系统崩溃，可以进一步提升系统的流畅度。
本申请另一方面提供了一种实现上述的自适应的数据同步方法的自适应的数据同步系统，包括：
数据处理模块，用于接收外部传输的数据块；
数据库，用于存储多种格式的特征码以及对应每种特征码压缩比为高或低的标识；
数据学习模块，与数据处理模块以及数据库连接，用于在接收到当前数据块的特征码在数据库中查找该特征码对应的压缩比标识并且将压缩比标识返回到数据处理模块；
数据压缩模块，与数据处理模块连接，基于数据处理模块发送到压缩比标识对数据块进行处理。
附图说明
图1是本发明的自适应的数据同步方法第一实施例的流程图；
图2是本发明的自适应的数据同步方法第一实施例中获取预标识的准确率的流程图；
图3是本发明的自适应的数据同步方法第二实施例的流程图；
图4是本发明的自适应的数据同步方法第二实施例中统计特征码所属的预标识的流程图；
图5是本发明的自适应数据同步系统的框架图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明提供的一种自适应的数据同步方法，包括以下步骤：
在接收到数据块时，获取当前数据块的特征码并且基于特征码所对应的标识判断数据块的压缩比高低，其中，标识为包括两种：压缩比为高或者压缩比为低；
若判断到当前数据块的压缩比为高，对当前数据块进行压缩；
若判断到当前数据块的压缩比为低，不对当前数据块进行压缩。
具体的，在获取当前数据块的特征码之前，还包括：
获取多种格式的特征码以及对应每种特征码压缩比为高或低的标识，将特征码以及对应的标识存入到数据库中（如下表所示)。
具体的，初始阶段，系统管理人员可以向数据库中输入多种已知格式的特征码以及每种特征码所对应的压缩比标识；
比如：输入特征码：0x04034b50（ZIP格式），并且标识该特征码为：压缩比为低。
后期每当接收到特征码为特征码0x04034b50的数据块时，可以根据特征码0x04034b50在数据库中查找该特征码对应的标识，当查找到该特征码的标识所对应的压缩比为低时，表示当前数据块是已经压缩过的数据块，无需进行压缩，直接将该数据块进行传输。相反，若查找到对应的特征码标识为：压缩比为高时，表示该数据块是未压缩的数据块，对当前数据块进行压缩然后再将该数据块进行传输。
上述是已知压缩比的特征码，对于已知压缩比的特征码可以由管理人员预先手动输入，若遇到未知压缩比的特征码，有如下两种实施例：
请参阅图1和图2，第一种实施例：
若在数据库中未查找到当前数据块所对应的特征码（未知压缩比）；
对当前数据块的特征码的压缩比进行预标识（可以标识为：压缩比为高或压缩比为低，自定义设定）并且将特征码以及预标识存入到数据库中；
在预定周期或预定次数内每当接收到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断数据块的压缩比高低以获取预标识的准确率；
判断预标识的准确率是否达到第一预定阈值；
若判断到预标识的准确率达到第一预定阈值，在预定周期或预定次数之后每当获取到该特征码数据块对应的数据块时按预标识对该数据块进行处理；
否则，不对该数据块进行压缩。
更具体的，获取预标识的准确率细化步骤如下：
在特征码后设定一个匹配次数累加值，将特征码、预标识以及匹配次数累加值同时存入到数据库中，其中，所述匹配次数累加值的初始值为0；
在预定周期或预定次数内每当获取到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断压缩比高低；
每次在压缩完数据块后均判断获取到的压缩比高低与预标识是否一致；
若判断到压缩比高低与预标识一致时，对匹配次数累加值进行累加；
若判断到压缩比高低与预标识不一致时，不对匹配次数累加值进行累加；
在预定周期或预定次数后将匹配次数累加值与数据块的总压缩次数相除获取预标识的准确率；
若准确率超过第一预定阈值，判断该预标识准确；
否则，判断该预标识不准确。
具体的，预定周期可以是数天或一周，当针对该特征码对应的数据块持续压缩超过预定数天或一周之后对准确率进行判断；
预定次数可以是20次，在后期的数据同步中，在20次以内，每当接到该特征码对应的数据块时，都对这些数据块进行压缩，20次之后判断该特征码预标识的准确率。
具体的，系统每次压缩数据块后都会知道当前数据块的压缩比高低。
具体的，每次对数据块进行压缩后都会判断数据块的压缩比高低与预标识是否一致，若一致，匹配次数累加值都会累加1，否则，匹配次数累加值不进行累加，因此，匹配次数累加值可以理解为正确次数。
具体的，第一预定阈值可以是50%，在预定周期或预定次数后将匹配次数累加值与数据块的总压缩次数相除获取预标识的准确率，相除后判断特征码的正确率是否能超过50%，若超过，则判断该预标识是准确的。
请参阅图3和图4，第二实施例：
若在数据库中未查找到当前数据块所对应的特征码：
将当前数据块的特征码存入到数据库中并且分别设定压缩比为高以及压缩比为低两个预标识；
在预定周期或预定次数内每当接收到该特征码对应的数据块时均对该数据块进行压缩并且每次均判断数据块的压缩比高低以统计数据块所属的预标识；
在统计完得到数据块所属的预标识后，在预定周期或预定次数之后每当获取到该特征码数据块对应的数据块时按所属的预标识对该数据块进行处理。
更具体的，统计数据块所属的预标识包括：
分别在压缩比为高以及压缩比为低两个预标识之后设定一个匹配次数累加值，该匹配次数累加值初始值为0；
在预定周期或预定次数内每当获取到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断压缩比高低；
若判断到当前数据块压缩比为高，在对应压缩比为高的预标识的匹配次数累加值加1；
若判断到当前数据块压缩比为低，在对应压缩比为低的预标识的匹配次数累加值加1；
在预定周期或预定次数之后判断哪个预标识所对应的匹配次数累加值较大；
选取匹配次数累加值较大的预标识作为数据块所属的预标识。
由于数据库中有可能存在已知压缩比的特征码以及还在获取准确率或统计特征码所属的预标识。具体的，在基于特征码所对应的标识判断数据块的压缩比高低的时候详细步骤如下：
先判断当前数据块的特征码是否设定有匹配次数累加值；
若判断该数据块的特征码设定有对应的匹配次数累加值；
判断对当前数据块进行压缩是否超过预定周期或预定次数；
若判断到超过预定周期或预定次数；
判断匹配次数累加值数值是否大于第二预定阈值；
若被判断大于第二预定阈值，按预标识对该数据块进行处理；
若被判断不大于第二预定阈值，不对该数据块进行压缩。
优选的，若判断到当前数据块的压缩比为高之后并且在对该数据块进行压缩之前，还包括：
获取并且判断当前的处理资源空闲情况；
若判断到当前的处理资源处于空闲状态下，进行下一步操作，即对该数据块进行压缩；
否则，不进行下一步操作，即不对当前数据块进行压缩，直接将未压缩的数据块进行传输。
本申请另一方面提供一种实现上述的自适应的数据同步方法的自适应的数据同步系统，包括：
数据处理模块，用于接收外部传输的数据块；
数据库，用于存储多种格式的特征码以及对应每种特征码压缩比为高或低的标识；
数据学习模块，与数据处理模块以及数据库连接，用于在接收到当前数据块的特征码在数据库中查找该特征码对应的标识并且将标识返回到数据处理模块；
数据压缩模块，与数据处理模块连接，基于数据处理模块发送的标识对数据块进行处理。
还包括：资源获取模块，与数据压缩模块连接，用于获取当前处理资源空闲情况，若判断到匹配次数累加值较高，压缩比较高，而且系统资源模块反馈当前CPU资源较为空闲充足，则通知数据压缩模块对数据块进行压缩，否则，通知数据压缩模块不对数据块进行压缩。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (8)
1.一种自适应的数据同步方法，其特征在于，包括以下步骤：
在接收到数据块时，获取当前数据块的特征码并且基于特征码所对应的标识判断数据块的压缩比高低，其中，所述标识为压缩比为高或压缩比为低；
若判断到当前数据块的压缩比为高，对数据块进行压缩；
若判断到当前数据块的压缩比为低，不对数据块进行压缩；
其中，基于特征码所对应的标识判断数据块的压缩比高低包括：提取接收到的当前数据块的特征码并且根据该特征码在数据库中查找对应的标识；
若在数据库中未查找到当前数据块所对应的特征码：
对当前数据块的特征码的压缩比进行预标识并且将特征码以及预标识存入到数据库中；
在预定周期或预定次数内每当接收到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断数据块的压缩比高低以获取所述预标识的准确率；
判断预标识的准确率是否达到第一预定阈值；
若判断到所述预标识的准确率达到第一预定阈值，在预定周期或预定次数之后每当获取到该特征码数据块对应的数据块时按预标识对该数据块进行处理；
否则，不对该数据块进行压缩。
2.根据权利要求1所述的自适应的数据同步方法，其特征在于，所述获取当前数据块的特征码之前，还包括：获取多种格式的特征码以及获取每种特征码所对应的压缩比标识，将多种特征码以及对应的标识存入到数据库中。
3.根据权利要求1所述的自适应的数据同步方法，其特征在于，获取预标识的准确率包括：
在所述特征码后设定一个匹配次数累加值，将所述特征码、预标识以及匹配次数累加值同时存入到所述数据库中，其中，所述匹配次数累加值的初始值为0；
在预定周期或预定次数内每当获取到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断压缩比高低；
每次在获取到压缩比高低后均判断获取到的压缩比高低与预标识是否一致；
每次在判断到压缩比高低与预标识的压缩比高低一致时对匹配次数累加值进行加1；
每次在判断到压缩比高低与预标识的压缩比高低不一致时，不对匹配次数累加值进行累加；
在预定周期或预定次数后将匹配次数累加值与数据块的总压缩次数相除获取所述预标识的准确率。
4.根据权利要求1所述的自适应的数据同步方法，其特征在于，若在数据库中未查找到当前数据块所对应的特征码：
将当前数据块的特征码存入到数据库中并且分别设定压缩比为高以及压缩比为低两个预标识；
在预定周期或预定次数内每当接收到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断数据块的压缩比高低以统计匹配次数累加值最多的预标识；
在预定周期或预定次数之后获取匹配次数累加值最多的预标识作为该数据块所属的预标识；
在预定周期或预定次数之后每当获取到该特征码数据块对应的数据块时按所属的预标识对该数据块进行处理。
5.根据权利要求4所述的自适应的数据同步方法，其特征在于，所述统计匹配次数累加值最多的预标识包括：
分别在压缩比为高以及压缩比为低两个预标识之后设定一个匹配次数累加值，该匹配次数累加值初始值为0；
在预定周期或预定次数内每当获取到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断压缩比高低；
若判断到当前数据块压缩比为高，在对应压缩比为高的预标识的匹配次数累加值加1；
若判断到当前数据块压缩比为低，在对应压缩比为低的预标识的匹配次数累加值加1；
在预定周期或预定次数之后判断哪个预标识所对应的匹配次数累加值较大；
选取匹配次数累加值较大的预标识作为数据块所属的预标识。
6.根据权利要求5所述的自适应的数据同步方法，其特征在于，所述基于特征码所对应的标识判断数据块的压缩比高低包括：
判断当前数据块的特征码是否设定有匹配次数累加值；
若判断该数据块的特征码设定有对应的匹配次数累加值；
判断对当前数据块进行压缩是否超过预定周期或预定次数；
若判断到超过预定周期或预定次数；
判断匹配次数累加值数值是否大于第二预定阈值；
若被判断大于第二预定阈值，按预标识对该数据块进行处理；
若被判断不大于第二预定阈值，不对该数据块进行压缩。
7.根据权利要求1所述的自适应的数据同步方法，其特征在于，所述若判断到当前数据块的压缩比为高之后并且在对该数据块进行压缩之前还包括：
判断当前处理资源的空闲情况；
若判断到当前处理资源处于空闲状态下，进行下一步操作；
否则，不进行下一步操作。
8.一种实现上述权利要求1-7任意一项所述的自适应的数据同步方法的自适应的数据同步系统，其特征在于，包括：
数据处理模块，用于接收外部传输的数据块；
数据库，用于存储多种格式的特征码以及对应每种特征码压缩比为高或低的标识；
数据学习模块，与所述数据处理模块以及所述数据库连接，用于在接收到当前数据块的特征码在数据库中查找该特征码对应的标识并且将标识返回到数据处理模块；
数据压缩模块，与所述数据处理模块连接，基于数据处理模块发送的标识对所述数据块进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341712.0A CN115396518B (zh) | 2022-10-31 | 2022-10-31 | 一种自适应的数据同步方法以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341712.0A CN115396518B (zh) | 2022-10-31 | 2022-10-31 | 一种自适应的数据同步方法以及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115396518A CN115396518A (zh) | 2022-11-25 |
| CN115396518B true CN115396518B (zh) | 2023-04-11 |
Family
ID=84115059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211341712.0A Active CN115396518B (zh) | 2022-10-31 | 2022-10-31 | 一种自适应的数据同步方法以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115396518B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373600B (zh) * | 2023-12-04 | 2024-02-20 | 邦盛高科特种车辆（天津）有限公司 | 一种医疗检测车数据优化存储方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756536A (zh) * | 2017-11-03 | 2019-05-14 | 株洲中车时代电气股份有限公司 | 一种数据传输的方法、装置及系统 |
| CN109947776A (zh) * | 2019-03-15 | 2019-06-28 | 海南新软软件有限公司 | 一种数据压缩、解压方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6624761B2 (en) * | 1998-12-11 | 2003-09-23 | Realtime Data, Llc | Content independent data compression method and system |
| CN102843341B (zh) * | 2011-06-22 | 2015-06-17 | 阿里巴巴集团控股有限公司 | 数据发送方法及装置、数据接收方法及装置 |
| CN110543281A (zh) * | 2019-07-19 | 2019-12-06 | 苏州浪潮智能科技有限公司 | 一种存储压缩实现方法、装置、设备及存储介质 |
-
2022
- 2022-10-31 CN CN202211341712.0A patent/CN115396518B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756536A (zh) * | 2017-11-03 | 2019-05-14 | 株洲中车时代电气股份有限公司 | 一种数据传输的方法、装置及系统 |
| CN109947776A (zh) * | 2019-03-15 | 2019-06-28 | 海南新软软件有限公司 | 一种数据压缩、解压方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115396518A (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427725B (zh) | 数据处理方法、装置和系统 | |
| CN115396518B (zh) | 一种自适应的数据同步方法以及系统 | |
| CN109981744B (zh) | 数据的分发方法、装置、存储介质及电子设备 | |
| CN101119246B (zh) | 数据包抽样统计的方法及装置 | |
| CN111294819B (zh) | 一种网络优化方法及装置 | |
| CN111163018B (zh) | 网络设备及其降低传输时延的方法 | |
| CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
| CN110191109B (zh) | 一种报文采样方法及装置 | |
| WO2020143181A1 (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN115567589B (zh) | Json数据的压缩传输方法、装置、设备及存储介质 | |
| CN110808738B (zh) | 数据压缩方法、装置、设备及计算机可读存储介质 | |
| CN111385815B (zh) | 小区网络资源优化方法、装置、设备和介质 | |
| CN111339211A (zh) | 网络问题分析的方法、装置、设备及介质 | |
| CN116600329A (zh) | 一种消息错误识别码定界方法及装置 | |
| CN102663053A (zh) | 一种基于图像内容搜索的分布式服务器系统 | |
| CN116579319A (zh) | 一种文本相似度的分析方法及系统 | |
| CN112613396B (zh) | 一种任务紧急程度处理方法及系统 | |
| CN113031877B (zh) | 数据存储方法、装置、设备及介质 | |
| CN111736962A (zh) | 一种基于区块链的事件分级处理系统 | |
| CN111148159A (zh) | 数据传输方法、装置、设备及计算机可读存储介质 | |
| CN1155269C (zh) | 用于在分组无线电系统的移动站始发传输过程中执行倒计数功能的方法 | |
| CN107517140B (zh) | 移动互联网的业务识别方法及装置 | |
| CN115914585B (zh) | 一种广播电视卫星传输综合管理系统 | |
| CN112560992B (zh) | 优化图片分类模型的方法、装置、电子设备及存储介质 | |
| CN113194011B (zh) | 一种无线电电磁信号环境的自动建立方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240315 Address after: 017000 No. D6-7, Aole Zhaoqi Town Cultural Industry Park, Etuoqueqian Banner, Ordos City, Inner Mongolia Autonomous Region Patentee after: Inner Mongolia Zhengxinyun Technology Service Co.,Ltd. Country or region after: China Address before: 528000 room 705-708, block 2, No. 121, Lingnan Avenue North, Chancheng District, Foshan City, Guangdong Province Patentee before: GUANGDONG EFLYCLOUD COMPUTING Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240513 Address after: 277000 No. 10, Jiefang South Road, Yicheng Economic Development Zone, Zaozhuang City, Shandong Province (room 8409, Yicheng headquarters economic center) Patentee after: Shandong Yunxiang sky Technology Service Co.,Ltd. Country or region after: China Address before: 017000 No. D6-7, Aole Zhaoqi Town Cultural Industry Park, Etuoqueqian Banner, Ordos City, Inner Mongolia Autonomous Region Patentee before: Inner Mongolia Zhengxinyun Technology Service Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |