CN111464635B - 一种字典索引传输方法及装置 - Google Patents

一种字典索引传输方法及装置 Download PDF

Info

Publication number
CN111464635B
CN111464635B CN202010246335.7A CN202010246335A CN111464635B CN 111464635 B CN111464635 B CN 111464635B CN 202010246335 A CN202010246335 A CN 202010246335A CN 111464635 B CN111464635 B CN 111464635B
Authority
CN
China
Prior art keywords
index
dictionary
group
data block
index group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010246335.7A
Other languages
English (en)
Other versions
CN111464635A (zh
Inventor
张洪硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Security Technologies Co Ltd
Original Assignee
New H3C Security Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Security Technologies Co Ltd filed Critical New H3C Security Technologies Co Ltd
Priority to CN202010246335.7A priority Critical patent/CN111464635B/zh
Publication of CN111464635A publication Critical patent/CN111464635A/zh
Application granted granted Critical
Publication of CN111464635B publication Critical patent/CN111464635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种字典索引传输方法及装置，用于提高DRE技术中字典索引的传输效率。本发明在进行批量的重复数据块的传输时，采用索引组对待传输到接收端的多个字典索引进行打包压缩，接收端对打包压缩的字典索引进行解压缩还原出原始数据。本发明针对使用广域网应用服务WAAS的DRE技术进行了改进，将待传输的多个数据块的字典索引进行压缩传输，从而提高网络传输带宽的利用率。

Description

一种字典索引传输方法及装置
技术领域
本发明涉及通信领域，尤其涉及一种字典索引传输方法及装置。
背景技术
广域网应用服务(Wide Area Application Services，WAAS)是能够对广域网链路流量提供优化的一种广域网技术。WAAS设备可以通过配置优化动作，改善广域网链路高延迟、低带宽的缺点。相互通信的WAAS设备在TCP连接三次握手过程中，通过TCP选项协商两端优化动作。WAAS优化动作包括：传输层流优化(Transport Flow Optimization，TFO)、数据冗余消除(Data Redundancy Elimination，DRE)和LZ压缩(Lempel-Ziv Compression，LZC)。
DRE技术用于消除网络传输中的冗余数据，该技术的基本原理是：在相互通信的WAAS设备上保存重复数据块与字典索引对应的数据字典。数据发送前首先查找字典，如果查找到该数据块的字典表项，则认为之前发送过该数据块，称为重复数据块。发送端将重复数据块替换为字典索引在广域网链路上传输。接收端通过识别字典索引，将其还原成重复数据块，以减少广域网链路传输的数据量，提高数据传输速度。用字典索引替换重复数据块的过程称为DRE压缩。用重复数据块替换字典索引的过程称为DRE解压缩。
在相互通信的WAAS设备上保存重复数据块及用于实现DRE的数据字典，数据字典中的表项与重复数据块一一对应，数据字典中的字典索引用于唯一标识一个重复数据块。发送端发送数据块之前，首先查找数据字典，如果查找到该数据块的字典表项，则认为之前发送过该数据块，称为重复数据块。发送端将重复数据块替换为字典索引，并生成该数据块的MD5摘要，把字典索引和MD5摘要信息发送至接收端。接收端通过识别字典索引，将其还原成重复数据块，以减少广域网链路传输的数据量，提高数据传输速度。用字典索引替换重复数据块的过程称为DRE压缩，用重复数据块替换字典索引的过程称为DRE解压缩。然而，现有DRE技术的数据压缩效率不高，尤其是大数据量传输的情况下，字典索引的传输方式效率不高，对传输带宽造成一定浪费。
发明内容
本发明提供一种字典索引传输方法及装置，用于提高DRE技术中字典索引的传输效率，避免网络带宽的浪费。
基于本发明实施，提供一种字典索引传输方法方法，该方法应用于广域网应用服务WAAS发送端设备，该方法包括：
发送数据块之前，判断所述数据块是否为重复数据块；
当判定所述数据块为重复数据块时，判断是否已建立索引组，所述索引组用于打包压缩多个字典索引；
若未建立索引组，则建立索引组并将所述数据块对应的字典索引存入所述索引组；若已建立索引组，则将所述数据块对应的字典索引存入所述索引组；
判断索引组是否超过预设尺寸；
若判定索引组超过预设尺寸，则将索引组传输给接收端并删除当前索引组；
若判定索引组未超过预设尺寸，则判断后续是否还有新的数据块传输；
如果判定还有待传输的数据块，则执行判断后续数据块是否为重复数据块的步骤；
如果判定没有待传输的数据块，则将索引组传输给接收端并在本地删除当前索引组。
进一步地，在判定所述数据块为重复数据块后，判断是否已建立索引组之前，所述方法还包括：
判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。
进一步地，所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。
进一步地，在将所述索引组发送给接收端之前，所述方法还包括：对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则重新建立索引组。
基于本发明实施例，本发明还提供一种字典索引传输装置，所述装置应用于广域网应用服务WAAS发送端设备中，该装置包括：
重复判定模块，用于在发送数据块之前，判断所述数据块是否为重复数据块；
索引组建立模块，用于在判定所述数据块为重复数据块时，判断是否已建立索引组，若未建立索引组，则建立索引组，所述索引组用于打包压缩多个字典索引；
索引添加模块，用于将重复数据块的字典索引存入所述索引组；
容量处理模块，用于判断索引组是否超过预设尺寸；若判定索引组超过预设尺寸，则通知索引组传输模块将索引组传输给接收端并删除当前索引组；若判定索引组未超过预设尺寸，则通知余量判断模块判断后续是否还有新的数据块传输；
索引组传输模块，用于将索引组传输给接收端并删除当前索引组；
余量判断模块，用于判断后续是否还有新的数据块传输，如果判定还有待传输的数据块，则通知所述重复判定模块执行判断后续数据块是否为重复数据块的步骤；如果判定没有待传输的数据块，则通知索引组传输模块将索引组传输给接收端并在本地删除当前索引组。
进一步地，所述装置还包括：同步模块，用于在判定所述数据块为重复数据块后，判断是否已建立索引组之前，判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。
进一步地，所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，所述索引添加模块采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。
进一步地，在索引组传输模块将所述索引组发送给接收端之前，还用于对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则通知所述索引组建立模块重新建立索引组。
基于以上技术方案，本发明针对使用广域网应用服务WAAS的DRE技术进行了改进，将待传输的多个数据块的字典索引进行压缩传输，从而提高网络传输带宽的利用率。
附图说明
为了更加清楚地说明本发明实施例或者现有技术中的技术方案，下面将对本发明实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本发明实施例的这些附图获得其他的附图。
图1为本发明提供的一种字典索引传输方法的流程图；
图2为本发明一实施例提供的一种字典索引传输设备的结构示意图；
图3为本发明一实施例提供的一种字典索引传输装置的结构示意图。
具体实施方式
在本发明实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明实施例。本发明实施例和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。本发明中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在相互通信的WAAS设备上，数据发送端发送数据块之前，首先查找数据字典，如果在数据字典中查找到该数据块对应的字典索引，说明之前发送过该数据块，该数据块为重复数据块。在某些网络传输业务场景中，可能会有大量重复的数据块，如果一个一个传输这些重复数据块的字典索引，传输的效率不高，会浪费一定网络带宽。为解决该技术问题，本发明对WAAS设备采用DRE技术进行数据传输的过程进行了改进，提供了一种字典索引传输方法，图1为本发明实施例提供的一种字典索引传输方法流程图，该方法包括：
步骤101.发送数据块之前，判断所述数据块是否为重复数据块？
WAAS设备采用的DRE技术采用被动数据缓存方式，在发送数据的过程中建立用于DRE压缩的数据字典，数据字典中存储重复数据块的字典索引，接收端和发送端同步数据字典和重复数据块及重复数据块的MD5摘要。发送端在发送数据块之前，首先检测当前要发送的数据块是否为重复数据块，如果是重复数据块则需要将该数据块替换为对应的字典索引发送到接收端。本发明在检测到有重复数据块时，不马上进行字典索引的替换及传输操作，而是尝试建立用于压缩传输字典索引的索引组，以提高字典索引的传输效率。
若当前数据块未匹配到数据字典中的字典索引，需要在两端进行数据字典及相应数据块的同步，这时需要创建新的字典索引，在数据字典同步后，也需要进行判断索引组是否已创建的步骤，处理分支同步骤102。
步骤102.当判定所述数据块为重复数据块时，判断是否已建立索引组？所述索引组用于打包压缩多个字典索引。
本发明提供的索引组用于压缩字典索引，其数据结构可包括三个字段，分别为起始索引值、终止索引值和序列表，其中起始索引值为添加到索引组中的重复数据块的字典索引中索引值最小的索引值，终止索引值为添加到索引组中重复数据块的字典索引中索引值最大的索引值。序列表包括两个字段，第一字段为排序标志位，用于指示是否对索引组中索引值进行排序，例如以1比特位0和1来区分不排序和排序两种情况，第二字段为偏移量排序字段，该字段以起始索引值为基准，采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。例如，索引组中起始索引值为100，终止索引值为200，则索引值100在偏移量排序地段中对应的偏移量即为0，索引值108的偏移量即为8，通过排序字段可进一步压缩非连续多个字典索引的数据传输量。
步骤103.若未建立索引组，则建立索引组并将所述数据块对应的字典索引存入所述索引组。
步骤104.若已建立索引组，则将所述数据块对应的字典索引存入所述索引组。
如果需要对索引值进行排序，则该步骤中会在添加字典索引的同时对索引组中的序列表进行更新，以反映最新的排序结果。
步骤105.判断索引组是否超过预设尺寸？
步骤106.若判定索引组超过预设尺寸，则将索引组传输给接收端并删除当前索引组。
为了对区分每次建立的索引组，可为每次建立的索引组分配唯一标识，用于双方检测所接收到的索引组是否重复。
发送端在索引组达到或超过预设的尺寸，例如1兆字节时，停止向索引组中继续添加字典索引，并立即将当前的索引组发送给接收端，当索引组发送完后，需要在本地将当前索引组标识已处理或删除，并在下次判断到由新的重复数据块时，建立新的索引组。
步骤107.若判定索引组未超过预设尺寸，则判断后续是否还有新的数据块传输？
步骤108.如果判定还有待传输的数据块，则再次执行步骤101。
步骤109.如果判定没有待传输的数据块了，则将索引组传输给接收端并在本地删除当前索引组。
向索引组停止添加新的重复数据块的一个条件为判定后续没有待传输的数据块了，这说明发送端已发送完要发送的数据了，即一次完整的数据传输过程已经结束。
本发明另一实施例中，在将索引组发送给接收端之前，还包括：对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则再次基于前述步骤重新建立索引组或不再进行字典索引的压缩直接逐一传送产生错误的索引组。所述正确性检查主要指数据格式正确性的检查，例如索引组数据格式是否正确；索引组包括序列表的情况下，判断序列表中偏移量是否在起始索引值和终止索引值的之差+1的范围内等。
以下举例说明采用索引组方式进行字典索引传输的技术效果，假设设备上最多可以有256个字典索引，则数据字典索引值需要使用8bit表示，如果当前需要传输16个连续的索引值(240～255)，使用原有方式传输，16个索引值顺序排列，共计8*16＝128bits。若使用索引组传输，如果不需要重新排序，数据结构如表1所示，共需17比特位。
表1
Figure BDA0002434071190000071
Figure BDA0002434071190000081
起始索引值占8bits，终止索引值占8bits，排序标志位占1bits，共17比特位。
如果需要排序，那么每个偏移量需要占用4比特位(因为一共16个索引值)，则数据结构如表2所示，共需81比特位。
起始索引值 终止索引值 排序标志位 偏移量排序字段
240 255 1(不排序) 16个偏移量
起始索引值占8bits，终止索引值占8bits，排序标志位占1bits，序列表字段占4*16＝64bits，共81比特位。
相比于原有DRE数据字典的字典索引的传输方式，所占用字节数大幅减少。
相对应地，接收端在接收到发送端发送的采用本发明提供的字典索引传输方法传送的字典索引时，需要根据索引组的结构按顺序还原出重复数据块的字典索引，根据字典索引读取本地缓存的重复数据块，从而还原出发送端发送原始数据。
图2本发明一实施例提供的一种字典索引传输设备的结构示意图，该设备包括：诸如中央处理单元(CPU)的处理器201、内部总线202、网络接口203以及非暂时性存储介质204。其中，处理器201、网络接口203以及非暂时性存储介质204可以通过内部总线202相互通信。非暂时性存储介质204可存储有实现本发明提供的字典索引传输方法的机器可执行指令。基于本发明提供的字典索引传输方法，本发明一实施例还提供了一种字典索引传输装置300，该字典索引传输装置300的各组成单元所实现的功能分别与本发明提供的字典索引传输方法的步骤对应。处理器201读取并执行非暂时性存储介质204中存储的字典索引传输装置300所对应的机器可执行指令，即可实现本发明提供的字典索引传输方法的步骤及功能。
图3为本发明一实施例提供的字典索引传输装置300的结构示意图，该装置应用于广域网应用服务WAAS发送端设备中，该装置包括：
重复判定模块301，用于在发送数据块之前，判断所述数据块是否为重复数据块；
索引组建立模块302，用于在判定所述数据块为重复数据块时，判断是否已建立索引组，若未建立索引组，则建立索引组，所述索引组用于打包压缩多个字典索引；
索引添加模块303，用于将重复数据块的字典索引存入所述索引组；
容量处理模块304，用于判断索引组是否超过预设尺寸；若判定索引组超过预设尺寸，则通知索引组传输模块将索引组传输给接收端并删除当前索引组；若判定索引组未超过预设尺寸，则通知余量判断模块判断后续是否还有新的数据块传输；
索引组传输模块305，用于将索引组传输给接收端并删除当前索引组；
余量判断模块306，用于判断后续是否还有新的数据块传输，如果判定还有待传输的数据块，则通知所述重复判定模块执行判断后续数据块是否为重复数据块的步骤；如果判定没有待传输的数据块，则通知索引组传输模块将索引组传输给接收端并在本地删除当前索引组。
进一步地，所述装置还包括同步模块，用于在判定所述数据块为重复数据块后，判断是否已建立索引组之前，判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。
进一步地，所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，所述索引添加模块采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。
进一步地，在索引组传输模块将所述索引组发送给接收端之前，还用于对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则通知所述索引组建立模块重新建立索引组。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (8)

1.一种字典索引传输方法，其特征在于，所述方法应用于广域网应用服务WAAS发送端设备，该方法包括：
发送数据块之前，判断所述数据块是否为重复数据块；
当判定所述数据块为重复数据块时，判断是否已建立索引组，所述索引组用于打包压缩多个字典索引；
若未建立索引组，则建立索引组并将所述数据块对应的字典索引存入所述索引组；若已建立索引组，则将所述数据块对应的字典索引存入所述索引组；
判断索引组是否超过预设尺寸；
若判定索引组超过预设尺寸，则将索引组传输给接收端并删除当前索引组；
若判定索引组未超过预设尺寸，则判断后续是否还有新的数据块传输；
如果判定还有待传输的数据块，则执行判断后续数据块是否为重复数据块的步骤；
如果判定没有待传输的数据块，则将索引组传输给接收端并在本地删除当前索引组。
2.根据权利要求1所述的方法，其特征在于，在判定所述数据块为重复数据块后，判断是否已建立索引组之前，所述方法还包括：
判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。
3.根据权利要求1所述的方法，其特征在于，
所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。
4.根据权利要求1所述的方法，其特征在于，在将所述索引组发送给接收端之前，所述方法还包括：对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则重新建立索引组。
5.一种字典索引传输装置，其特征在于，所述装置应用于广域网应用服务WAAS发送端设备中，该装置包括：
重复判定模块，用于在发送数据块之前，判断所述数据块是否为重复数据块；
索引组建立模块，用于在判定所述数据块为重复数据块时，判断是否已建立索引组，若未建立索引组，则建立索引组，所述索引组用于打包压缩多个字典索引；
索引添加模块，用于将重复数据块的字典索引存入所述索引组；
容量处理模块，用于判断索引组是否超过预设尺寸；若判定索引组超过预设尺寸，则通知索引组传输模块将索引组传输给接收端并删除当前索引组；若判定索引组未超过预设尺寸，则通知余量判断模块判断后续是否还有新的数据块传输；
索引组传输模块，用于将索引组传输给接收端并删除当前索引组；
余量判断模块，用于判断后续是否还有新的数据块传输，如果判定还有待传输的数据块，则通知所述重复判定模块执行判断后续数据块是否为重复数据块的步骤；如果判定没有待传输的数据块，则通知索引组传输模块将索引组传输给接收端并在本地删除当前索引组。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
同步模块，用于在判定所述数据块为重复数据块后，判断是否已建立索引组之前，判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。
7.根据权利要求5所述的装置，其特征在于，
所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，所述索引添加模块采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。
8.根据权利要求5所述的装置，其特征在于，在索引组传输模块将所述索引组发送给接收端之前，还用于对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则通知所述索引组建立模块重新建立索引组。
CN202010246335.7A 2020-03-31 2020-03-31 一种字典索引传输方法及装置 Active CN111464635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010246335.7A CN111464635B (zh) 2020-03-31 2020-03-31 一种字典索引传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010246335.7A CN111464635B (zh) 2020-03-31 2020-03-31 一种字典索引传输方法及装置

Publications (2)

Publication Number Publication Date
CN111464635A CN111464635A (zh) 2020-07-28
CN111464635B true CN111464635B (zh) 2022-02-22

Family

ID=71680646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010246335.7A Active CN111464635B (zh) 2020-03-31 2020-03-31 一种字典索引传输方法及装置

Country Status (1)

Country Link
CN (1) CN111464635B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025024B (zh) * 2021-10-18 2023-07-07 中国银联股份有限公司 一种数据传输方法及装置
CN114979094B (zh) * 2022-05-13 2024-06-07 深圳智慧林网络科技有限公司 一种基于rtp的数据传输方法、装置、设备和介质
CN114979794B (zh) * 2022-05-13 2023-11-14 深圳智慧林网络科技有限公司 一种数据发送方法及装置
CN115329032B (zh) * 2022-10-14 2023-03-24 杭州海康威视数字技术股份有限公司 基于联邦字典学习数据传输方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088699A (en) * 1998-04-22 2000-07-11 International Business Machines Corporation System for exchanging compressed data according to predetermined dictionary codes
CN101800761A (zh) * 2009-12-25 2010-08-11 吴昊 一种基于网络字典的无损数据压缩方法
CN102194499A (zh) * 2010-03-15 2011-09-21 华为技术有限公司 一种压缩字典同步的方法和装置
CN103716056A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 数据压缩方法、数据解压缩方法和设备
CN104077272A (zh) * 2014-06-23 2014-10-01 华为技术有限公司 一种字典压缩的方法和装置
CN105592135A (zh) * 2015-09-25 2016-05-18 杭州华三通信技术有限公司 数据冗余消除dre字典确认方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088699A (en) * 1998-04-22 2000-07-11 International Business Machines Corporation System for exchanging compressed data according to predetermined dictionary codes
CN101800761A (zh) * 2009-12-25 2010-08-11 吴昊 一种基于网络字典的无损数据压缩方法
CN102194499A (zh) * 2010-03-15 2011-09-21 华为技术有限公司 一种压缩字典同步的方法和装置
CN103716056A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 数据压缩方法、数据解压缩方法和设备
CN104077272A (zh) * 2014-06-23 2014-10-01 华为技术有限公司 一种字典压缩的方法和装置
CN105592135A (zh) * 2015-09-25 2016-05-18 杭州华三通信技术有限公司 数据冗余消除dre字典确认方法和设备

Also Published As

Publication number Publication date
CN111464635A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111464635B (zh) 一种字典索引传输方法及装置
US9514209B2 (en) Data processing method and data processing device
WO2019140732A1 (zh) 一种数据存储方法、编码设备及解码设备
CN103116615B (zh) 一种基于版本矢量的数据索引方法及服务器
WO2019205897A1 (zh) 一种数据传输方法及相关设备
CN102065098A (zh) 网络节点之间数据同步的方法和系统
CN101305577B (zh) 与消息传送相关的设备和方法
CN101552652A (zh) 一种文件传输方法及传输装置
CN104618961A (zh) 应用于智能电网的单通道tcp/ip头压缩方法及系统
CN101197773B (zh) 基于多链路的报文压缩发送和接收解压缩方法及系统
CN108347468B (zh) 一种进行数据同步的方法及设备
CN112202623B (zh) 一种数据处理方法及装置
CN102571820A (zh) 用于传输数据的方法、压缩服务器和终端
CN112087490A (zh) 一种高性能移动端应用软件日志收集系统
CN110825706B (zh) 一种数据压缩的方法和相关设备
CN111478938B (zh) 一种数据冗余消除方法及装置
CN114157716B (zh) 基于区块链的数据处理方法、装置和电子设备
CN113220652B (zh) 一种基于压缩处理的多链路并发传输方法和系统
CN114666406B (zh) 一种基于物模型的电力物联网数据压缩方法及装置
US8228213B2 (en) Data compression system and associated methods
CN106714294A (zh) 应用于智能电网的多通道tcp/ip头压缩的同步方法
CN111865475B (zh) 分组交换方法及系统
CN102055602B (zh) 一种执行结果获取方法和装置及系统
KR100653039B1 (ko) 위성이동데이터서비스 시스템의 대용량 메시지 송/수신장치 및 그 방법
CN1399451A (zh) 交换系统中利用处理器间通讯的数据压缩/传输和恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant