CN103795490A - 一种数据传输加速的方法及系统 - Google Patents
一种数据传输加速的方法及系统 Download PDFInfo
- Publication number
- CN103795490A CN103795490A CN201210423912.0A CN201210423912A CN103795490A CN 103795490 A CN103795490 A CN 103795490A CN 201210423912 A CN201210423912 A CN 201210423912A CN 103795490 A CN103795490 A CN 103795490A
- Authority
- CN
- China
- Prior art keywords
- data
- characteristic value
- dictionary
- hash bucket
- sectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种数据传输加速的方法，该方法包括：在数据发送端和接收端设置数据字典；数据发送端将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，发送标签和hash桶给数据接收端；数据接收端依次读取hash桶里存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序将数据分段还原。本发明同时还公开了一种数据传输加速的系统，采用本发明的技术方案，能够大大提高数据的传输效率，减少数据传输对带宽的消耗，提高工作效率。
Description
技术领域
本发明涉及互联网中的数据传输技术，具体涉及一种数据传输加速的方法及系统。
背景技术
随着网络的普及，网络中承载的数据呈井喷式的增长，使得数据传输的速度受到严重的影响。为了解决这个问题，有几种解决方式：一种方法是，不断的升级带宽，但升级带宽需要昂贵的费用，并非根本的解决办法；
另一种方法是，将数据压缩。目前，主流的压缩技术是LZO(Lempel-Ziv-Oberhumer)数据压缩算法及其变形压缩算法，由于LZO数据压缩算法只能在较小数据区域内进行数据压缩，压缩比不高，对减少冗余数据的效果有限；另外，对已经压缩过的数据没有任何作用，因此，也不能有效的解决问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种数据传输加速的方法及系统，能提高数据的传输效率，减少数据传输对带宽的消耗。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种数据传输加速的方法，该方法包括：
数据发送端将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在哈希(hash)桶中，发送标签和hash桶给数据接收端；
数据接收端依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原。
上述方案中，所述将特征值在数据字典中的位置保存在hash桶中包括：
将数据分段按类别分组，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用该hash桶中的对应的特征值计算hash桶桶号。
上述方案中，该方法还包括：
将无类别或特征值数量不足以计算hash桶号的特征值在数据字典中的位置保存在默认hash桶中。
上述方案中，所述数据发送端将数据分段之前，该方法还包括：将数据发送端和数据接收端的数据字典初始化，校验数据字典内容。
上述方案中，所述数据字典存储有字段和特征值的对应关系。
本发明还提供了一种数据传输加速的系统，该系统包括数据发送端和数据接收端；其中，
所述数据发送端，用于将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，发送标签和hash桶给数据接收端；
所述数据接收端，用于依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据还原。
上述方案中，所述数据发送端，还用于将数据分段分类，相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用该hash桶中的对应的特征值计算hash桶桶号；将无类别或特征值数量不足以计算hash桶号的数据分段的特征值在数据字典的位置保存在默认hash桶中。
上述方案中，所述数据发送端，还用于在数据分段之前将数据字典初始化，校验数据字典内容；
相应的，所述数据接收端，还用于在数据分段之前将数据字典初始化，校验数据字典内容。
上述方案中，所述数据发送端包括第一数据处理单元和第一存储单元；其中，
所述第一数据处理单元，用于将数据分段，查询数据字典获取数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，将标签和hash桶发送给数据接收端；
所述第一存储单元，用于存储数据字典。
上述方案中，所述第一数据处理单元，还用于将数据按类别分组，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，将无类别或数量不足以计算hash桶号的特征值在数据字典中的位置保存在默认hash桶中；
相应的，所述系统还包括计算单元，用于利用hash桶中的特征值计算hash桶号。
上述方案中，所述数据发送端还包括第一校验单元，用于在数据传输之前将数据字典初始化，校验数据字典内容。
上述方案中，所述数据接收端包括第二数据处理单元和第二存储单元；其中：
所述第二数据处理单元，用于在收到标签和hash桶后，依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原；
所述第二存储单元，用于存储数据字典。
上述方案中，所述数据接收端还包括第二校验单元，用于在数据传输之前将数据字典初始化，校验数据字典内容。
本发明提供的数据传输加速的方法和系统，在数据发送端和接收端设置数据字典；数据发送端将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，将标签和hash桶发送给数据接收端；数据接收端依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所属特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原。可见，本发明中将数据分段用特征值按次序组成的标签替代，并将特征值在数据字典中的位置保存在hash桶中，在数据传输的过程中只传输标签和hash桶，大大减少了数据数量，提高了数据的传输效率，减少数据传输对带宽的消耗，提高工作效率，降低网络的运营成本。
附图说明
图1为本发明数据传输加速的方法实现流程图；
图2为本发明数据传输加速的系统组成架构示意图；
图3为本发明实施例提供的数据传输加速的方法实现流程图。
具体实施方式
据现有技术统计，在对等网络之间的数据传输中，有70％左右的数据为冗余数据，理论上说，70％的冗余数据完全没有必要在对等网络之间进行传输，因此，如果能尽可能的削减这70％的冗余数据，则能够大幅度提高数据传输的速度。本发明正是基于这种思想，将数据分段用特征值按次序组成的标签替代，并将特征值在数据字典中的位置保存在hash桶中，在数据传输的过程中只传输标签和hash桶，尽可能地减少冗余数据的传输。
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明数据传输加速的方法实现流程图，如图1所示，包括以下步骤：
步骤11：数据发送端将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，发送标签和hash桶给数据接收端；
这里，所述数据发送端将数据分段之前，该方法还包括：将数据发送端和数据接收端的数据字典初始化，校验数据字典内容，以保证在数据发送端用标签替换数据和在数据接收端标签还原数据时能够一致；所述数据字典中存储有字段和特征值的对应关系，所述数据字典的内容可以以二进制形式存储；
其中，所述特征值可以是数字或字符串，所述标签为由特征值组成的字符串，按照特征值对应字段在数据分段中的次序组成。
这里，所述将特征值在数据字典中的位置保存在hash桶中包括：
将数据分段按类别分组，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用该hash桶中的特征值计算hash桶桶号；
将无类别或特征值数量不足以计算hash桶号的数据分段归为默认组，将默认组中数据分段的特征值在数据字典中的位置保存在一个默认hash桶中；
其中，所述将数据分段按类别分类，可按照相同格式或相同客户端等分类方式，将类别相同的数据分段归为一组，将每种类别数据分段的特征值在数据字典中的位置保存在相同hash桶中；进一步的，利用该hash桶中对应的特征值计算hash桶桶号，以区别各hash桶，可以采用hash碰撞率较低的算法，如CRC32算法等等计算hash桶桶号。
步骤12：数据接收端依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原；
这里，在数据传输之前，数据发送端和数据接收端先将数据字段初始化，校验数据字典的内容是否一致，待校验完成后，数据发送端将数据分段，提取数据分段的特征值，按特征值在数据分段中的次序组成标签；将特征值在数据字典中的位置保存在hash桶中；其中，数据发送端将数据分段按类别分类，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用每个hash桶里对应的特征值计算出hash桶号；将无类别或特征值数量不足以计算hash桶号的特征值在数据字典中的位置保存在默认hash桶中；数据发送端将标签和hash桶传输给数据接收端；
数据接收端收到标签和hash桶后，根据hash桶桶号，依次读取hash桶中存储的特征值在数据字典中的位置，通过查询数据字典获取特征值和与特征值对应的数据，再按标签中特征值的顺序将数据分段还原；
其中，所述数据字典存储有字段和特征值的对应关系。
为实现上述方法，本发明提供了一种数据传输加速的系统，如图2所示，包括数据发送端21和数据接收端22；其中，
数据发送端21，用于将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，发送标签和hash桶给数据接收端22；
数据接收端22，用于依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原；
进一步的，所述数据发送端21，还用于将数据分段分类，相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用该hash桶中的对应的特征值计算hash桶桶号；将无类别或特征值数量不足以计算hash桶号的数据分段的特征值在数据字典的位置保存在默认hash桶中。
进一步的，所述数据发送端21，还用于在数据分段之前将数据字典初始化，校验数据字典内容；
相应的，所述数据接收端22还用于在数据分段之前将数据字典初始化，校验数据字典内容；
这里，所述将数据字典初始化，校验数据字典内容包括将数据字典的大小、内容初始化，校验内容要保持完全一致。
进一步的，数据发送端21包括第一数据处理单元211和第一存储单元212；其中，
所述第一数据处理单元211，用于将数据分段，查询数据字典获取数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，将标签和hash桶发送给数据接收端22；
所述第一存储单元212，用于存储数据字典。
进一步的，所述数据处理单元211，还用于将数据按类别分组，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，将无类别或数量不足以计算hash桶号的特征值在数据字典中的位置保存在默认hash桶中；
相应的，所述系统还包括计算单元213，用于利用hash桶对应的特征值计算hash桶桶号。
进一步的，所述数据发送端21还包括第一校验单元214，用于在数据传输之前将数据字典初始化，校验数据字典内容。
所述数据接收端22包括第二数据处理单元221和第二存储单元222，其中，
所述第二数据处理单元221，用于在收到标签和hash桶后，依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原；
所述第二存储单元222，用于存储数据字典；
进一步的，所述数据接收端22还包括第二校验单元223，用于在数据传输之前将数据字典初始化，校验数据字典内容。
图3为本发明实施例提供的数据传输加速方法的实现流程图，如图3所示，包括以下步骤：
步骤301：初始化数据字典，并校验数据字典内容；
这里，所述初始化数据字典、校验数据字典内容包括：将数据字典的大小、内容初始化，使数据发送端和数据接收端的数据字典保持一致，确保在替代数据和还原数据的过程中不会出现错误；数据字典的大小与网络规模有关，可通过闪存(Flash)或硬盘进行存储，容量级别可以为兆字节(MegaByte，MB)、吉字节(GigaByte，GB)、甚至是太字节(TrillionByte，TB)。
步骤302～303：数据发送端将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签；
这里，可按实际情况将原始数据按每10k～4M的大小进行分段处理，若原始数据按每2M的大小进行分段处理，则每段数据替换成的标签大小只有10k左右，在数据传输过程中大大减少了需要传输的数据数量；
其中，所述特征值可以是一个数字或字符串；所述标签由按特征值对应字段在数据分段中出现的顺序组成，可以是数字或字符串，其大小相对原始数据小了很多。
步骤304：将数据分段按类别分组，将相同类别的数据分段的特征值在数据字典中的位置保存在相同的hash桶中；
这里，所述将数据分段按类别分类，可以按照相同格式或相同客户端等分类方式分类，如：可将相同客户端的数据分段的特征值在数据字典中的位置保存在相同hash桶中。
步骤305～306：利用hash桶中对应的特征值计算hash桶桶号，并判断是否存在数量不足以计算hash桶号的特征值，如果是，则执行步骤312，否则，执行步骤307；
这里，所述利用特征值计算出hash桶桶号取决于每一类别中数据的大小，若某类别中的数据大小超过硬盘数据容量的3％，则将此类别中数据的特征值计算出一个hash桶桶号，其余类别中若数据大小不足硬盘数据容量的3％的，则将这类数据的特征值归为数量不足以计算hash桶号的特征值；
其中，计算hash桶号的方法可采用hash碰撞率较低的算法，如CRC32算法。
步骤307：数据发送端将标签和hash桶发送给数据接收端；
步骤308～309：数据接收端根据hash桶号依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据所述标签和所述特征值在数据字典中的位置获得特征值对应的字段，并将获得的特征值和字段保存至临时存储区；
这里，所述数据接收端根据hash桶号依次读取hash桶里存储的特征值在数据字典中的位置，可采用内存映射方式，以提高读取数据的速度；读取成功后，将获得的特征值和数据保存至临时存储区。
步骤310～311：查找标签、特征值与字段的最佳匹配，将匹配成功的标签类型设为匹配标签，还原数据输出，结束当前处理流程；
这里，因标签是由特征值按次序组成的，每个特征值都对应着一个字段，因此，可以通过匹配算法找到与标签匹配的字段，进而将标签还原；其中，所述匹配算法可采用模式匹配算法，如kmp算法或bm算法，找到与标签匹配的字段后，将标签类型定义为匹配标签，还原数据，将数据输出。
步骤312：数据发送端将数量不足以计算hash桶号的特征值在数据字典中的位置保存至默认hash桶中，将标签和默认hash桶发送给数据接收端；
这里，所述默认hash桶中不仅保存着数量不足以计算hash桶号的特征值在数据字典中的位置，还保存着在数据分段按类别分组中不属于任何类别的数据分段的特征值在数据字典中的位置。
步骤313～314：数据接收端读取默认hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据所述标签和所述特征值在数据字典中的位置获得特征值对应的数据，并将获得的特征值和数据保存至临时缓冲区；
这里，所述读取默认hash桶中存储的特征值在数据字典中的位置，可采用内存映射方式，以提高读取数据的速度。
步骤315～316；查找标签、特征值与字段的最佳匹配，将匹配成功的标签类型设为未匹配标签，还原数据输出；
这里，所述标签、特征值与字段的匹配过程与步骤309相同，且匹配算法同样可采用模式匹配算法，如kmp算法或bm算法；找到与标签匹配的字段后，将标签类型定义为未匹配标签，还原数据输出。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (13)
1.一种数据传输加速的方法，其特征在于，该方法包括：
数据发送端将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在哈希(hash)桶中，发送标签和hash桶给数据接收端；
数据接收端依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原。
2.根据权利要求1所述的方法，其特征在于，所述将特征值在数据字典中的位置保存在hash桶中包括：
将数据分段按类别分组，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用该hash桶中的对应的特征值计算hash桶桶号。
3.根据权利要求2所述的方法，其特征在于，该方法还包括：
将无类别或特征值数量不足以计算hash桶号的特征值在数据字典中的位置保存在默认hash桶中。
4.根据权利要求1所述的方法，其特征在于，所述数据发送端将数据分段之前，该方法还包括：将数据发送端和数据接收端的数据字典初始化，校验数据字典内容。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述数据字典存储有字段和特征值的对应关系。
6.一种数据传输加速的系统，其特征在于，该系统包括数据发送端和数据接收端；其中，
所述数据发送端，用于将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，发送标签和hash桶给数据接收端；
所述数据接收端，用于依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据还原。
7.根据权利要求6所述的系统，其特征在于，所述数据发送端，还用于将数据分段分类，相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用该hash桶中的对应的特征值计算hash桶桶号；将无类别或特征值数量不足以计算hash桶号的数据分段的特征值在数据字典的位置保存在默认hash桶中。
8.根据权利要求6所述的系统，其特征在于，所述数据发送端，还用于在数据分段之前将数据字典初始化，校验数据字典内容；
相应的，所述数据接收端，还用于在数据分段之前将数据字典初始化，校验数据字典内容。
9.根据权利要求6所述的系统，其特征在于，所述数据发送端包括第一数据处理单元和第一存储单元；其中，
所述第一数据处理单元，用于将数据分段，查询数据字典获取数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，将标签和hash桶发送给数据接收端；
所述第一存储单元，用于存储数据字典。
10.根据权利要求9所述的系统，其特征在于，所述第一数据处理单元，还用于将数据按类别分组，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，将无类别或数量不足以计算hash桶号的特征值在数据字典中的位置保存在默认hash桶中；
相应的，所述系统还包括计算单元，用于利用hash桶中的特征值计算hash桶号。
11.根据权利要求6所述的系统，其特征在于，所述数据发送端还包括第一校验单元，用于在数据传输之前将数据字典初始化，校验数据字典内容。
12.根据权利要求6所述的系统，其特征在于，所述数据接收端包括第二数据处理单元和第二存储单元；其中：
所述第二数据处理单元，用于在收到标签和hash桶后，依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原；
所述第二存储单元，用于存储数据字典。
13.根据权利要求12所述的系统，其特征在于，所述数据接收端还包括第二校验单元，用于在数据传输之前将数据字典初始化，校验数据字典内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210423912.0A CN103795490B (zh) | 2012-10-30 | 2012-10-30 | 一种数据传输加速的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210423912.0A CN103795490B (zh) | 2012-10-30 | 2012-10-30 | 一种数据传输加速的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103795490A true CN103795490A (zh) | 2014-05-14 |
| CN103795490B CN103795490B (zh) | 2017-09-19 |
Family
ID=50670841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210423912.0A Expired - Fee Related CN103795490B (zh) | 2012-10-30 | 2012-10-30 | 一种数据传输加速的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103795490B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980665A (zh) * | 2017-03-21 | 2017-07-25 | 广东神马搜索科技有限公司 | 数据字典实现方法、装置及数据字典管理系统 |
| CN109274720A (zh) * | 2018-08-24 | 2019-01-25 | 网宿科技股份有限公司 | 一种传输数据的方法和系统 |
| CN110187981A (zh) * | 2019-04-23 | 2019-08-30 | 上海数据交易中心有限公司 | 数据流通、分析方法及装置、存储介质、终端 |
| CN113297224A (zh) * | 2021-05-31 | 2021-08-24 | 上海艾麒信息科技股份有限公司 | 一种基于Redis的海量数据分类存储方法及系统 |
| WO2022111699A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 数据传输方法、电子设备及计算机可读存储介质 |
| CN116506112A (zh) * | 2023-06-26 | 2023-07-28 | 北京零一信安科技有限公司 | 基于隐私计算的数据处理方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7310055B2 (en) * | 2005-10-31 | 2007-12-18 | Fujitsu Limited | Data compression method and compressed data transmitting method |
| CN102096704A (zh) * | 2010-12-29 | 2011-06-15 | 北京新媒传信科技有限公司 | 一种xml的压缩方法和装置 |
| CN102629247A (zh) * | 2011-12-31 | 2012-08-08 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法、装置和系统 |
| CN102722540A (zh) * | 2012-05-23 | 2012-10-10 | 中兴通讯股份有限公司 | 实时内存数据库系统中数据处理方法及装置 |
-
2012
- 2012-10-30 CN CN201210423912.0A patent/CN103795490B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7310055B2 (en) * | 2005-10-31 | 2007-12-18 | Fujitsu Limited | Data compression method and compressed data transmitting method |
| CN102096704A (zh) * | 2010-12-29 | 2011-06-15 | 北京新媒传信科技有限公司 | 一种xml的压缩方法和装置 |
| CN102629247A (zh) * | 2011-12-31 | 2012-08-08 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法、装置和系统 |
| CN102722540A (zh) * | 2012-05-23 | 2012-10-10 | 中兴通讯股份有限公司 | 实时内存数据库系统中数据处理方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 刘洪庆: "基于LZW算法的数据无损压缩硬件实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
| 林锋,黄可生,徐小杰,吴建培: "LZW压缩算法在多通道高速数据采集系统中的实现", 《船舶工程》 * |
| 许霞,马光思,鱼涛: "LZW无损压缩算法的研究与改进", 《计算机技术与发展》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980665A (zh) * | 2017-03-21 | 2017-07-25 | 广东神马搜索科技有限公司 | 数据字典实现方法、装置及数据字典管理系统 |
| CN106980665B (zh) * | 2017-03-21 | 2020-06-12 | 广东神马搜索科技有限公司 | 数据字典实现方法、装置及数据字典管理系统 |
| CN109274720A (zh) * | 2018-08-24 | 2019-01-25 | 网宿科技股份有限公司 | 一种传输数据的方法和系统 |
| CN109274720B (zh) * | 2018-08-24 | 2022-04-22 | 网宿科技股份有限公司 | 一种传输数据的方法和系统 |
| CN110187981A (zh) * | 2019-04-23 | 2019-08-30 | 上海数据交易中心有限公司 | 数据流通、分析方法及装置、存储介质、终端 |
| CN110187981B (zh) * | 2019-04-23 | 2021-09-24 | 上海数据交易中心有限公司 | 数据流通、分析方法及装置、存储介质、终端 |
| WO2022111699A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 数据传输方法、电子设备及计算机可读存储介质 |
| US20240095210A1 (en) * | 2020-11-30 | 2024-03-21 | Huawei Technologies Co., Ltd. | Data Transmission Method, Electronic Device, and Computer-Readable Storage Medium |
| CN113297224A (zh) * | 2021-05-31 | 2021-08-24 | 上海艾麒信息科技股份有限公司 | 一种基于Redis的海量数据分类存储方法及系统 |
| CN116506112A (zh) * | 2023-06-26 | 2023-07-28 | 北京零一信安科技有限公司 | 基于隐私计算的数据处理方法、装置及电子设备 |
| CN116506112B (zh) * | 2023-06-26 | 2023-08-18 | 北京零一信安科技有限公司 | 基于隐私计算的数据处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103795490B (zh) | 2017-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103795490A (zh) | 一种数据传输加速的方法及系统 | |
| US8954392B2 (en) | Efficient de-duping using deep packet inspection | |
| US20180196609A1 (en) | Data Deduplication Using Multi-Chunk Predictive Encoding | |
| CN102684827B (zh) | 数据处理方法及数据处理设备 | |
| CN101803203B (zh) | 使用数据依赖组块的优化数据流压缩 | |
| CN101930418B (zh) | 用于分组信息的多种压缩技术 | |
| US8924366B2 (en) | Data storage deduplication systems and methods | |
| CN108134775B (zh) | 一种数据处理方法和设备 | |
| US10366072B2 (en) | De-duplication data bank | |
| CN108027713B (zh) | 用于固态驱动器控制器的重复数据删除 | |
| CN102378973A (zh) | 用于数据重复删除的系统及方法 | |
| CN101552652A (zh) | 一种文件传输方法及传输装置 | |
| US10649675B2 (en) | Storage controller, storage device, data processing method, and computer program product | |
| CN102469142A (zh) | 重复数据删除程序的数据传输方法 | |
| CN106066818B (zh) | 一种提高重复数据删除备份系统恢复性能的数据布局方法 | |
| CN104978521A (zh) | 一种实现恶意代码标注的方法及系统 | |
| CN104038450A (zh) | 基于pcie总线的报文传输方法与装置 | |
| CN106201774B (zh) | 一种nand flash存储芯片数据存储结构分析方法 | |
| US11609882B2 (en) | System and method for random-access manipulation of compacted data files | |
| CN104205089A (zh) | 流识别和过滤 | |
| CN104618361A (zh) | 一种网络流数据重排序方法 | |
| CN104407982B (zh) | 一种ssd盘片垃圾回收方法 | |
| CN112632568B (zh) | 温度数据的存储和采集方法、系统、电子设备和存储介质 | |
| CN102479211B (zh) | 基于数据库的海量数据处理系统及方法 | |
| CN102693315A (zh) | 一种基于共享内存映射的url去重方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170919 Termination date: 20211030 |