CN104468044A - 应用于网络传输中的数据压缩的方法及装置 - Google Patents

应用于网络传输中的数据压缩的方法及装置 Download PDF

Info

Publication number
CN104468044A
CN104468044A CN201410740716.5A CN201410740716A CN104468044A CN 104468044 A CN104468044 A CN 104468044A CN 201410740716 A CN201410740716 A CN 201410740716A CN 104468044 A CN104468044 A CN 104468044A
Authority
CN
China
Prior art keywords
field
rule
character
data stream
data flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410740716.5A
Other languages
English (en)
Inventor
林斐
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201410740716.5A priority Critical patent/CN104468044A/zh
Publication of CN104468044A publication Critical patent/CN104468044A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种应用于网络传输中的数据压缩方法及装置。其中,该方法包括:获取用于对数据进行压缩的压缩规则;读取用于网络传输的数据流;判断数据流是否满足压缩规则定义的压缩条件;在数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流。本发明解决了现有技术中通过网络传输大量数据导致带宽资源消耗量大,运维成本高的问题。

Description

应用于网络传输中的数据压缩的方法及装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种应用于网络传输中的数据压缩方法及装置。
背景技术
随着计算机互联网络的普及,在互联网上可以做越来越多的事情。例如可以进行聊天、玩游戏、观看视频、购物、工作和学习等活动,给生活、工作和学习都带来了翻天覆地的变化。
在各种的应用场景下,想要通过互联网实现上述功能都与互联网的数据传输密不可分。以视频统计数据采集为例,对于涉及需要发送大量连续相同字符数据的场景,如果使用原始数据内容进行发送,数据内容冗长,导致带宽资源消耗的增大,增加了运维成本。
针对现有技术中通过网络传输大量数据导致带宽资源消耗量大,运维成本高的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种应用于网络传输中的数据压缩的方法及装置,以解决现有技术中通过网络传输大量数据导致带宽资源消耗量大,运维成本高的问题。
为了实现上述目的,根据本发明实施例的一个方面,提供了一种应用于网络传输中的数据压缩方法。该方法包括:获取用于对数据进行压缩的压缩规则;读取用于网络传输的数据流;判断数据流是否满足压缩规则定义的压缩条件;在数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流。
为了实现上述目的,根据本发明实施例的另一个方面,提供了一种应用于网络传输中的数据解压缩方法。该方法包括:获取用于对目标数据流进行解压缩的解压缩规则;读取目标数据流;按照解压缩规则对目标数据流进行解压缩,生成原始数据流。
为了实现上述目的,根据本发明实施例的另一方面,提供了一种应用于网络传输中的数据压缩装置,该装置包括:第一获取模块,用于获取用于对数据进行压缩的压缩规则;第一读取模块,用于读取用于网络传输的数据流;判断模块,用于判断数据流是否满足压缩规则定义的压缩条件;压缩模块,用于在数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流。
为了实现上述目的,根据本发明实施例的另一方面,提供了一种应用于网络传输中的数据解压缩装置,该装置包括:第二获取模块,用于获取用于对目标数据流进行解压缩的解压缩规则;第二读取模块,用于读取目标数据流;解压缩模块,用于按照解压缩规则对目标数据流进行解压缩,生成原始数据流。
根据发明实施例,通过获取用于对数据进行压缩的压缩规则;读取用于网络传输的数据流;判断数据流是否满足压缩规则定义的压缩条件;在数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流,解决了现有技术通过网络传输大量数据导致带宽资源消耗量大,运维成本高的问题。实现了在传输过程中使用压缩格式进行发送,减小了数据内容发送的带宽消耗,降低带宽成本的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例一的应用于网络传输中的数据压缩方法的流程图;
图2是根据本发明实施例二的应用于网络传输中的数据解压缩方法的流程图;
图3是根据本发明实施例三的应用于网络传输中的数据压缩装置的结构示意图;
图4是根据本发明实施例三可选的应用于网络传输中的数据压缩装置的结构示意图;
图5是根据本发明实施例四的应用于网络传输中的数据解压缩装置的结构示意图;以及
图6是根据本发明实施例四可选的应用于网络传输中的数据解压缩装置的结构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本发明实施例提供了一种应用于网络传输中的数据压缩方法。
图1是根据本发明实施例的应用于网络传输中的数据压缩方法的流程图。如图1所示,该方法包括步骤如下:
步骤S11,获取用于对数据进行压缩的压缩规则。
具体的,通过上述步骤S11,获取用于对网络传输中数据进行压缩的压缩规则。通过压缩规则,对网络传输中的数据进行压缩。减小数据的体积,从而实现提高传输效率的目的。
步骤S13,读取用于网络传输的数据流。
具体的,通过上述步骤S13,读取需要通过网络进行传输的数据流。其中,数据流是在网络中进行传输的事先规定好的顺序被读取一次的数据序列。数据流可以用来传输语音、文本或者视频等数据。
步骤S15,判断数据流是否满足压缩规则定义的压缩条件。
具体的,通过上述步骤S15,根据获取到的压缩规则,对读取到的用于网络传输的数据流进行判断,判断数据流是否满足压缩规则定义的对其进行压缩的条件。
步骤S17,在数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流。
具体的,通过上述步骤S17,对满足压缩规则定义的压缩条件的数据流按照压缩规则进行压缩,生成目标数据流。将压缩过的目标数据流用于网络数据的传输。
通过上述步骤S11至步骤S17,首先获取用来对数据流进行压缩的压缩规则。进而通过压缩规则对符合压缩规则定义的压缩条件的数据流进行压缩,最后得到用来传输的目标数据流。
在实际应用当中,以用来传输视频的数据流为例进行说明。在对视频统计数据的采集过程中,对于涉及有可能需要发送大量的,且有可能在数据流中具有连续相同字符数据特性的应用场景,可以选择对这种数据进行压缩,减小发送数据流的容量。这样,就可以在传输过程中使用压缩后的数据格式对数据进行发送,减小数据内容发送的带宽消耗,降低使用成本。
综上可知,本发明解决了现有技术中通过网络传输大量数据导致带宽资源消耗量大,运维成本高的问题,实现了在传输过程中使用压缩格式进行发送,减小了数据内容发送的带宽消耗,降低带宽成本的效果。
优选的,本申请上述实施例中,在步骤S15判断数据流是否满足压缩规则定义的压缩条件中,的步骤包括:
步骤S151,读取数据流所包含的字符串。
步骤S153,按照字符串中的字符排列顺序,确定在数据流中具有相同的字段位数的字符串。
步骤S155,判断字段位数是否大于等于预先设置的第一压缩阈值。
其中,当字段位数大于等于第一压缩阈值时,确定数据流满足压缩规则定义的压缩条件。
具体的,通过上述步骤S151至步骤S155,对数据流中所包含的字符串进行分析,按照字符串中字符的排列顺序,确定在数据流的字符串中,具有连续相同字符的字段及其字段位数。当具有连续相同字符的字段位数超过第一压缩阈值时,确定数据流中的字段满足压缩规则所定义的压缩条件,通过压缩规则对数据流中的字段进行压缩。
在实际应用当中,以视频统计数据采集为例,需要发送具有大量连续相同字符的数据流。使用原始数据内容进行发送,发送的数据流中的字符串数据,例如:“1111111111111222222223322222222222222111111111100000000000000000000000”。
此时,首先,对上述字符串进行分析,确定上述字符串中一共具有6个具有连续相同字符的字段,分别为第一字段:“1111111111111”、第二字段:“22222222”、第三字段:“33”、第四字段:“22222222222222”、第五字段:“1111111111”和第六字段:“00000000000000000000000”,同时确定上述各个字段中的字段位数。通过对各个字段的字段位数与预先设置的第一压缩阈值判断,当字段位数大于第一压缩阈值时,则数据流中的该字段满足压缩规则定义的压缩条件。
优选的,本申请上述实施例中,在步骤S17数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流中,步骤包括:
步骤S171a,将字段按照压缩规则进行压缩,得到目标字段。
步骤S173a,用目标字段对数据流中的字段进行替换,生成目标数据流。
具体的,通过上述步骤S171a至步骤S173a,数据流中具有连续相同字符的字段按照压缩规则进行压缩,得到压缩后的目标字段。使用压缩后的目标字段对数据流中的与目标字段对应的字段进行替换,生成用于传输的目标数据流。
优选的,本申请上述实施例中,在步骤S17数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流中,步骤包括:
步骤S171b,读取数据流所包含的字符串。
步骤S172b,按照字符串中的字符排列顺序,确定在数据流中具有相同的字段位数的字符串。
步骤S173b,判断字段位数是否大于等于预先设置的第二压缩阈值。
步骤S174b,当字段位数大于等于第二压缩阈值时,将字段分为第一字段和第二字段。
步骤S175b,将第一字段和第二字段分别按照压缩规则进行压缩,得到第一目标字段和第二目标字段。
步骤S176b,根据第一目标字段和第二目标字段,生成目标字段。
步骤S177b,用目标字段对数据流中的字段进行替换,生成目标数据流。
具体的,通过上述步骤S171b至步骤S177b,对需要压缩的字符串的位数使用第二压缩阈值进行限定。当数据流中字符串的位数大于等于第二压缩阈值时,将字符串拆分为第一字段和第二字段分别进行压缩,得到第一目标字段和第二目标字段。然后将第一目标字段和第二目标字段进行合并,得到最终的目标字段。最后将目标字段对数据流中的字段进行替换,生成用于传输的目标数据流。
优选的,本申请上述实施例中,在步骤S11获取用于对数据进行压缩的压缩规则之前,方法还包括:
步骤S10,创建压缩规则,压缩规则为在目标字段的第一位加入预先设定的压缩标识符,目标字段的第二位用于表征字段的字符重复的位数,目标字段的第三位加入字段的重复的字符。
优选的,本申请上述实施例中,压缩规则包括:
在目标字段的第一位,采用#表征压缩标识符。
目标字段的第二位,由0至9表征字符段中的字符重复0至9次;由A至Z表征字段中的字符重复10至35次;由a至z表征字段中的字符重复36至61次。
目标字段的第三位,用来表征字段的重复的字符。
具体的,压缩规则以“#”号为压缩的起始符号,第二位字符表示重复的位数,该值取值为0~9、A~Z、a~z,0~9依次对应表示重复了0~9次,A~Z依次对应表示重复了10~35次,a~z依次对应表示重复了36~61次,第三位表示重复的内容。例如“#B3”表示重复了11次的“3”,即“33333333333”,这样三位字符最多可以表示61位重复的字符,在这种情况下,可以将第二压缩阈值设置为62。如果重复字符不足3位,则无需压缩,在这种情况下,可以将上述第一压缩阈值设定为3。如果重复字符超过61位,例如有100位的“1”,则可以把字段拆分成字段位数为61位的第一字段和字段位数为39位的第二字段。先压缩第一字段的61位,生成第一目标字段“#z1”。之后再压缩第二字段的39位,生成第二目标字段“#d1”,最后将第一目标字段和第二目标字段进行合并,生成目标字段,即表示为“#z1#d1”。
通过这种压缩方式,上述实施例中出现的数据流中的字符串数据:“1111111111111222222223322222222222222111111111100000000000000000000000”
可以表示为:“#D1#8233#E2#A1#N0”。将数据流中的字符串位数从70位减少到了17位。
上述方法适用于需要发送大量连续相同字符数据的场景。连续相同字符越多,压缩效果越明显。
在发送传输过程中使用压缩格式进行发送,减小了数据内容发送的带宽消耗,提高传输效率,降低带宽成本。
综上所述,上述方法的实质是通过压缩格式进行发送,减小发送的带宽消耗。所以通过其他压缩规则实现的压缩方法(非本文中介绍的压缩算法等),能够到达这一目的应该均可实现。
实施例2
本发明实施例还提供了一种应用于网络传输中的数据解压缩方法,如图2所示,该装置可以包括:
步骤S21,获取用于对目标数据流进行解压缩的解压缩规则。
步骤S23,读取目标数据流。
步骤S25,按照解压缩规则对目标数据流进行解压缩,生成原始数据流。
具体的,通过步骤S21至步骤S25,获取接收到的通过网络传输的数据流和与压缩规则对应的解压缩规则。将获取到的数据流按照解压缩规则进行解压缩,得到压缩之前的原始数据流。
优选的,本申请上述实施例中,在步骤S25按照解压缩规则对目标数据流进行解压缩,生成原始数据流中,步骤包括:
步骤S251,读取目标数据流所包含的字符串。
步骤S253,按照字符串中的字符排列顺序,识别字符串中包含的经过压缩的目标字段。
步骤S255,通过解压缩规则对目标字段进行解压缩,得到原始字段。
步骤S257,用原始字段对目标数据流中的目标字段进行替换,生成原始数据流。
具体的,通过上述步骤S251至步骤S257,对读取到的目标数据流中的字符串进行识别,识别目标数据流中包含的字符串中经过压缩的目标字段。将目标字段按照与压缩规则对应的解压缩规则进行解压缩,得到原始字段。用原始字段对目标数据流中经过压缩的目标字段进行替换,得到原始数据流。
优选的,本申请上述实施例中,在步骤S253按照字符串中的字符排列顺序,识别字符串中包含的经过压缩的目标字段中,步骤包括:
步骤S2531,识别字符串中的解压缩标示符,其中,街压缩标示符为压缩过程中在字符串中加入的压缩标示符。
步骤S2533,读取以解压缩标示符为起始,包括解压缩标示符在内的预定位数的目标字段。
步骤S2535,根据解压缩规则对目标字段进行解压缩,生成原始字段。
具体的,上述步骤S2531至步骤S2535,通过识别字符串中的解压缩标示符,对目标数据流中经过压缩的目标字段进行确定。并根据与压缩规则对应的解压缩规则对目标字段进行解压缩,生成原始字段。
优选的,本申请上述实施例中,在步骤S21获取用于对目标数据流进行解压缩的解压缩规则之前,方法还包括:
步骤S20,创建解压缩规则,解压缩规则为在目标字段的第一位为预先设定的压缩标识符,目标字段的第二位为原始字段中的字符重复的位数,目标字段的第三位为原始字段的重复的字符。
具体的,通过上述步骤S20,创建与压缩规则对应的解压缩规则。
在实际应用当中,目标字段的第一位为采用#表征的解压缩标识符。
目标字段的第二位,字符段中的字符重复0至9次时,由0至9进行表征;字符段中的字符重复10至35次时,由A至Z进行表征;字符段中的字符重复36至61次时,由a至z进行表征。
目标字段的第三位,用来表征字段的重复的字符。
通过上述方式,对由“#D1#8233#E2#A1#N0”标示的目标字段进行解压缩的步骤为:
当读到第1个字符为“#”时,则向后读两位是“D1”,故表示13个“1”;继续读下一位为“#”,则向后读两位是“82”,得到8个“2”;继续读下一位为“3”,不是压缩字符,得到“3”;继续读下一位为“3”,不是压缩字符,得到“3”;继续读下一位为“#”,则往后读两位是“E2”,得到14个“2”;继续读下一位为“#”,则往后读两位是“A1”,得到10个“1”;继续读下一位为“#”,则往后读两位是“N0”,得到23个“0”。
通过上述步骤,最终将目标字符串“#D1#8233#E2#A1#N0”还原为原始字符串:“1111111111111222222223322222222222222111111111100000000000000000000000”。
在实际应用当中,解压缩规则与压缩规则相对应,通过压缩规则来确定所使用的解压缩规则。
通过上述方法,在发送传输过程中使用压缩格式进行发送,减小了数据内容发送的带宽消耗。提高了数据的传输效率。
实施例3
本发明实施例还提供了一种应用于网络传输中的数据压缩装置,如图3所示,该装置可以包括:第一获取模块31、第一读取模块33、判断模块35和压缩模块37。
其中,第一获取模块31,用于获取用于对数据进行压缩的压缩规则。
具体的,通过上述第一获取模块31,获取用于对网络传输中数据进行压缩的压缩规则。通过压缩规则,对网络传输中的数据进行压缩。减小数据的体积,从而实现提高传输效率的目的。
第一读取模块33,用于读取用于网络传输的数据流。
具体的,通过上述第一读取模块33,读取需要通过网络进行传输的数据流。其中,数据流是在网络中进行传输的事先规定好的顺序被读取一次的数据序列。数据流可以用来传输语音、文本或者视频等数据。
判断模块35,用于判断数据流是否满足压缩规则定义的压缩条件。
具体的,上述判断模块35,根据获取到的压缩规则,对读取到的用于网络传输的数据流进行判断,判断数据流是否满足压缩规则定义的对其进行压缩的条件。
压缩模块37,用于在数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流。
具体的,通过上述压缩模块37,对满足压缩规则定义的压缩条件的数据流按照压缩规则进行压缩,生成目标数据流。将压缩过的目标数据流用于网络数据的传输。
通过上述第一获取模块31、第一读取模块33、判断模块35和压缩模块37,首先获取用来对数据流进行压缩的压缩规则。进而通过压缩规则对符合压缩规则定义的压缩条件的数据流进行压缩,最后得到用来传输的目标数据流。
在实际应用当中,以用来传输视频的数据流为例进行说明。在对视频统计数据的采集过程中,对于涉及有可能需要发送大量的,且有可能在数据流中具有连续相同字符数据特性的应用场景,可以选择对这种数据进行压缩,减小发送数据流的容量。这样,就可以在传输过程中使用压缩后的数据格式对数据进行发送,减小数据内容发送的带宽消耗,降低使用成本。
综上可知,本发明解决了现有技术中通过网络传输大量数据导致带宽资源消耗量大,运维成本高的问题,实现了在传输过程中使用压缩格式进行发送,减小了数据内容发送的带宽消耗,降低带宽成本的效果。
进一步的,判断模块35在判断数据流是否满足压缩规则定义的压缩条件的步骤中,可以包括如下步骤:
步骤A,读取数据流所包含的字符串。
步骤B,按照字符串中的字符排列顺序,确定在数据流中具有相同的字段位数的字符串。
步骤C,判断字段位数是否大于等于预先设置的第一压缩阈值。
其中,当字段位数大于等于第一压缩阈值时,确定数据流满足压缩规则定义的压缩条件。
具体的,通过判断模块35执行上述步骤,对数据流中所包含的字符串进行分析,按照字符串中字符的排列顺序,确定在数据流的字符串中,具有连续相同字符的字段及其字段位数。当具有连续相同字符的字段位数超过第一压缩阈值时,确定数据流中的字段满足压缩规则所定义的压缩条件,通过压缩规则对数据流中的字段进行压缩。
在实际应用当中,以视频统计数据采集为例,需要发送具有大量连续相同字符的数据流。使用原始数据内容进行发送,发送的数据流中的字符串数据,例如:“1111111111111222222223322222222222222111111111100000000000000000000000”。
此时,首先,对上述字符串进行分析,确定上述字符串中一共具有6个具有连续相同字符的字段,分别为第一字段:“1111111111111”、第二字段:“22222222”、第三字段:“33”、第四字段:“22222222222222”、第五字段:“1111111111”和第六字段:“00000000000000000000000”,同时确定上述各个字段中的字段位数。通过对各个字段的字段位数与预先设置的第一压缩阈值判断,当字段位数大于第一压缩阈值时,则数据流中的该字段满足压缩规则定义的压缩条件。
进一步的,压缩模块37在数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流的步骤中,可以包括如下步骤:
步骤A,将字段按照压缩规则进行压缩,得到目标字段。
步骤B,用目标字段对数据流中的字段进行替换,生成目标数据流。
具体的,压缩模块37通过执行上述步骤,将数据流中具有连续相同字符的字段按照压缩规则进行压缩,得到压缩后的目标字段。使用压缩后的目标字段对数据流中的与目标字段对应的字段进行替换,生成用于传输的目标数据流。
进一步的,压缩模块37在数据流满足压缩条件时,按照压缩规则对数据流进行压缩,生成目标数据流的步骤中,还可以包括如下步骤:
步骤A’,读取数据流所包含的字符串。
步骤B’,按照字符串中的字符排列顺序,确定在数据流中具有相同的字段位数的字符串。
步骤C’,判断字段位数是否大于等于预先设置的第二压缩阈值。
步骤D’,当字段位数大于等于第二压缩阈值时,将字段分为第一字段和第二字段。
步骤E’,将第一字段和第二字段分别按照压缩规则进行压缩,得到第一目标字段和第二目标字段。
步骤F’,根据第一目标字段和第二目标字段,生成目标字段。
步骤G’,用目标字段对数据流中的字段进行替换,生成目标数据流。
具体的,压缩模块37通过执行上述步骤,对需要压缩的字符串的位数使用第二压缩阈值进行限定。当数据流中字符串的位数大于等于第二压缩阈值时,将字符串拆分为第一字段和第二字段分别进行压缩,得到第一目标字段和第二目标字段。然后将第一目标字段和第二目标字段进行合并,得到最终的目标字段。最后将目标字段对数据流中的字段进行替换,生成用于传输的目标数据流。
优选的,本申请上述实施例中,如图4所示,装置还包括:第一创建模块30。
其中,第一创建模块30,用于创建压缩规则,压缩规则为在目标字段的第一位加入预先设定的压缩标识符,目标字段的第二位用于表征字段的字符重复的位数,目标字段的第三位加入字段的重复的字符。
具体的,通过上述第一创建模块30创建的压缩规则可以是:压缩规则以“#”号为压缩的起始符号,第二位字符表示重复的位数,该值取值为0~9、A~Z、a~z,0~9依次对应表示重复了0~9次,A~Z依次对应表示重复了10~35次,a~z依次对应表示重复了36~61次,第三位表示重复的内容。例如“#B3”表示重复了11次的“3”,即“33333333333”,这样三位字符最多可以表示61位重复的字符,在这种情况下,可以将第二压缩阈值设置为62。如果重复字符不足3位,则无需压缩,在这种情况下,可以将上述第一压缩阈值设定为3。如果重复字符超过61位,例如有100位的“1”,则可以把字段拆分成字段位数为61位的第一字段和字段位数为39位的第二字段。先压缩第一字段的61位,生成第一目标字段“#z1”。之后再压缩第二字段的39位,生成第二目标字段“#d1”,最后将第一目标字段和第二目标字段进行合并,生成目标字段,即表示为“#z1#d1”。
通过这种压缩方式,上述实施例中出现的数据流中的字符串数据:“1111111111111222222223322222222222222111111111100000000000000000000000”。
可以表示为:“#D1#8233#E2#A1#N0”。将数据流中的字符串位数从70位减少到了17位。
上述方法适用于需要发送大量连续相同字符数据的场景。连续相同字符越多,压缩效果越明显。
在发送传输过程中使用压缩格式进行发送,减小了数据内容发送的带宽消耗,提高传输效率,降低带宽成本。
综上所述,上述方法的实质是通过压缩格式进行发送,减小发送的带宽消耗。所以通过其他压缩规则实现的压缩方法(非本文中介绍的压缩算法等),能够到达这一目的应该均可实现。
实施例4
本发明实施例还提供了一种应用于网络传输中的数据解压缩装置,如图5所示,该装置可以包括:第二获取模块41、第二读取模块43和解压缩模块45。
其中,第二获取模块41,用于获取用于对目标数据流进行解压缩的解压缩规则。
第二读取模块43,用于读取目标数据流。
解压缩模块45,用于按照解压缩规则对目标数据流进行解压缩,生成原始数据流。
具体的,通过上述第二获取模块41、第二读取模块43和解压缩模块45,获取接收到的通过网络传输的数据流和与压缩规则对应的解压缩规则。将获取到的数据流按照解压缩规则进行解压缩,得到压缩之前的原始数据流。
进一步的,解压缩模块45在按照解压缩规则对目标数据流进行解压缩,生成原始数据流的步骤中,可以包括如下步骤:
步骤A,读取目标数据流所包含的字符串。
步骤B,按照字符串中的字符排列顺序,识别字符串中包含的经过压缩的目标字段。
步骤C,通过解压缩规则对目标字段进行解压缩,得到原始字段。
步骤D,用原始字段对目标数据流中的目标字段进行替换,生成原始数据流。
具体的,解压缩模块45通过上述步骤,对读取到的目标数据流中的字符串进行识别,识别目标数据流中包含的字符串中经过压缩的目标字段。将目标字段按照与压缩规则对应的解压缩规则进行解压缩,得到原始字段。用原始字段对目标数据流中经过压缩的目标字段进行替换,得到原始数据流。
优选的,本申请上述实施例中,如图6所示,装置还包括:第二创建模块40。
其中,第二创建模块40,用于创建解压缩规则,解压缩规则为在目标字段的第一位为预先设定的压缩标识符,目标字段的第二位为原始字段中的字符重复的位数,目标字段的第三位为原始字段的重复的字符。
具体的,通过上述第二创建模块40,创建与压缩规则对应的解压缩规则。
在实际应用当中,目标字段的第一位为采用#表征的解压缩标识符。
目标字段的第二位,字符段中的字符重复0至9次时,由0至9进行表征;字符段中的字符重复10至35次时,由A至Z进行表征;字符段中的字符重复36至61次时,由a至z进行表征。
目标字段的第三位,用来表征字段的重复的字符。
通过上述方式,对由“#D1#8233#E2#A1#N0”标示的目标字段进行解压缩的步骤为:
当读到第1个字符为“#”时,则向后读两位是“D1”,故表示13个“1”;继续读下一位为“#”,则向后读两位是“82”,得到8个“2”;继续读下一位为“3”,不是压缩字符,得到“3”;继续读下一位为“3”,不是压缩字符,得到“3”;继续读下一位为“#”,则往后读两位是“E2”,得到14个“2”;继续读下一位为“#”,则往后读两位是“A1”,得到10个“1”;继续读下一位为“#”,则往后读两位是“N0”,得到23个“0”。
通过上述步骤,最终将目标字符串“#D1#8233#E2#A1#N0”还原为原始字符串:“1111111111111222222223322222222222222111111111100000000000000000000000”。
在实际应用当中,解压缩规则与压缩规则相对应,通过压缩规则来确定所使用的解压缩规则。
通过上述方法,在发送传输过程中使用压缩格式进行发送,减小了数据内容发送的带宽消耗。提高了数据的传输效率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种应用于网络传输中的数据压缩方法,其特征在于,包括:
获取用于对数据进行压缩的压缩规则;
读取用于网络传输的数据流;
判断所述数据流是否满足所述压缩规则定义的压缩条件;
在所述数据流满足所述压缩条件时,按照所述压缩规则对所述数据流进行压缩,生成目标数据流。
2.根据权利要求1所述的方法,其特征在于,判断所述数据流是否满足所述压缩规则定义的压缩条件的步骤包括:
读取所述数据流所包含的字符串;
按照所述字符串中的字符排列顺序,确定在所述数据流中具有相同的字段位数的字符串;
判断所述字段位数是否大于等于预先设置的第一压缩阈值;
其中,当所述字段位数大于等于所述第一压缩阈值时,确定所述数据流满足所述压缩规则定义的压缩条件。
3.根据权利要求2所述的方法,其特征在于,在所述数据流满足所述压缩条件时,按照所述压缩规则对所述数据流进行压缩,生成目标数据流的步骤包括:
将所述字段按照所述压缩规则进行压缩,得到目标字段;
用所述目标字段对所述数据流中的所述字段进行替换,生成目标数据流。
4.根据权利要求1所述的方法,其特征在于,在所述数据流满足所述压缩条件时,按照所述压缩规则对所述数据流进行压缩,生成目标数据流的步骤包括:
读取所述数据流所包含的字符串;
按照所述字符串中的字符排列顺序,确定在所述数据流中具有相同的字段位数的字符串;
判断所述字段位数是否大于等于预先设置的第二压缩阈值;
当所述字段位数大于等于第二压缩阈值时,将所述字段分为第一字段和第二字段;
将所述第一字段和所述第二字段分别按照所述压缩规则进行压缩,得到第一目标字段和第二目标字段;
根据所述第一目标字段和第二目标字段,生成目标字段;
用所述目标字段对所述数据流中的所述字段进行替换,生成所述目标数据流。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,在获取用于对数据进行压缩的压缩规则之前,所述方法还包括:
创建所述压缩规则,所述压缩规则为在所述目标字段的第一位加入预先设定的压缩标识符,所述目标字段的第二位用于表征所述字段的字符重复的位数,所述目标字段的第三位加入所述字段的重复的字符。
6.根据权利要求5所述的方法,其特征在于,所述压缩规则包括:
在所述目标字段的第一位,采用#表征所述压缩标识符;
所述目标字段的第二位,由0至9表征所述字符段中的字符重复0至9次;由A至Z表征所述字段中的字符重复10至35次;由a至z表征所述字段中的字符重复36至61次;
所述目标字段的第三位,用来表征所述字段的重复的字符。
7.一种应用于网络传输中的数据解压缩方法,其特征在于,对所述权利要求1至6中任意一项所述方法所生成的目标数据流进行解压缩,所述解压缩方法包括如下步骤:
获取用于对所述目标数据流进行解压缩的解压缩规则;
读取所述目标数据流;
按照所述解压缩规则对所述目标数据流进行解压缩,生成原始数据流。
8.根据权利要求7所述的方法,其特征在于,所述按照所述解压缩规则对所述目标数据流进行解压缩,生成原始数据流的步骤包括:
读取所述目标数据流所包含的字符串;
按照所述字符串中的字符排列顺序,识别所述字符串中包含的经过压缩的目标字段;
通过所述解压缩规则对所述目标字段进行解压缩,得到原始字段;
用所述原始字段对所述目标数据流中的所述目标字段进行替换,生成原始数据流。
9.根据权利要求8所述的方法,其特征在于,所述按照所述字符串中的字符排列顺序,识别所述字符串中包含的经过压缩的目标字段的步骤包括:
识别所述字符串中的解压缩标示符,其中,所述解压缩标示符为压缩过程中在所述字符串中加入的压缩标示符;
读取以所述解压缩标示符为起始,包括所述解压缩标示符在内的预定位数的目标字段;
根据所述解压缩规则对所述目标字段进行解压缩,生成所述原始字段。
10.根据权利要求7至9中任意一项所述的方法,其特征在于,在所述获取用于对所述目标数据流进行解压缩的解压缩规则之前,所述方法还包括:
创建所述解压缩规则,所述解压缩规则为在所述目标字段的第一位为预先设定的压缩标识符,所述目标字段的第二位为所述原始字段中的字符重复的位数,所述目标字段的第三位为所述原始字段的重复的字符。
11.一种应用于网络传输中的数据压缩装置,其特征在于,包括:
第一获取模块,用于获取用于对数据进行压缩的压缩规则;
第一读取模块,用于读取用于网络传输的数据流;
判断模块,用于判断所述数据流是否满足所述压缩规则定义的压缩条件;
压缩模块,用于在所述数据流满足所述压缩条件时,按照所述压缩规则对所述数据流进行压缩,生成目标数据流。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第一创建模块,用于创建所述压缩规则,所述压缩规则为在目标字段的第一位加入预先设定的压缩标识符,所述目标字段的第二位用于表征所述字段的字符重复的位数,所述目标字段的第三位加入所述字段的重复的字符。
13.一种应用于网络传输中的数据解压缩装置,其特征在于,对所述权利要求11至12中任意一项所述装置所生成的目标数据流进行解压缩,所述装置包括:
第二获取模块,用于获取用于对所述目标数据流进行解压缩的解压缩规则;
第二读取模块,用于读取所述目标数据流;
解压缩模块,用于按照所述解压缩规则对所述目标数据流进行解压缩,生成原始数据流。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第二创建模块,用于创建所述解压缩规则,所述解压缩规则为在所述目标字段的第一位为预先设定的压缩标识符,所述目标字段的第二位为原始字段中的字符重复的位数,所述目标字段的第三位为所述原始字段的重复的字符。
CN201410740716.5A 2014-12-05 2014-12-05 应用于网络传输中的数据压缩的方法及装置 Pending CN104468044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410740716.5A CN104468044A (zh) 2014-12-05 2014-12-05 应用于网络传输中的数据压缩的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410740716.5A CN104468044A (zh) 2014-12-05 2014-12-05 应用于网络传输中的数据压缩的方法及装置

Publications (1)

Publication Number Publication Date
CN104468044A true CN104468044A (zh) 2015-03-25

Family

ID=52913487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410740716.5A Pending CN104468044A (zh) 2014-12-05 2014-12-05 应用于网络传输中的数据压缩的方法及装置

Country Status (1)

Country Link
CN (1) CN104468044A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106850504A (zh) * 2015-12-04 2017-06-13 北京航空航天大学 基于http静态压缩数据流的有害代码检测方法和装置
WO2017097071A1 (zh) * 2015-12-09 2017-06-15 北京奇虎科技有限公司 数据压缩及解压的方法及装置
CN107835158A (zh) * 2017-10-18 2018-03-23 中国银行股份有限公司 Sna网络体系下交互数据的传输方法及装置
CN109218214A (zh) * 2018-10-31 2019-01-15 中盈优创资讯科技有限公司 运营商级通用流量压缩方法及装置
CN109831409A (zh) * 2018-12-19 2019-05-31 东软集团股份有限公司 数据传输方法、装置、计算机可读存储介质及电子设备
CN112445772A (zh) * 2019-08-31 2021-03-05 上海寒武纪信息科技有限公司 用于数据压缩和解压缩的装置和方法
CN113557563A (zh) * 2019-03-14 2021-10-26 夏普Nec显示器解决方案株式会社 电子设备及电子设备的控制方法
CN116132712A (zh) * 2023-02-08 2023-05-16 北京镁伽机器人科技有限公司 一种数据传输方法、数据发送装置以及数据接收装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026186A3 (en) * 2006-09-01 2008-05-15 Pacbyte Software Pty Ltd Method and system for transmitting a data file over a data network
CN101373974A (zh) * 2008-09-08 2009-02-25 北大方正集团有限公司 一种编码方法及装置
CN102523444A (zh) * 2011-11-22 2012-06-27 惠州市德赛西威汽车电子有限公司 一种单色位图压缩方法及其系统
CN102761540A (zh) * 2012-05-30 2012-10-31 北京奇虎科技有限公司 数据压缩方法、装置、系统以及服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026186A3 (en) * 2006-09-01 2008-05-15 Pacbyte Software Pty Ltd Method and system for transmitting a data file over a data network
CN101373974A (zh) * 2008-09-08 2009-02-25 北大方正集团有限公司 一种编码方法及装置
CN102523444A (zh) * 2011-11-22 2012-06-27 惠州市德赛西威汽车电子有限公司 一种单色位图压缩方法及其系统
CN102761540A (zh) * 2012-05-30 2012-10-31 北京奇虎科技有限公司 数据压缩方法、装置、系统以及服务器

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106850504B (zh) * 2015-12-04 2019-11-15 北京航空航天大学 基于http静态压缩数据流的有害代码检测方法和装置
CN106850504A (zh) * 2015-12-04 2017-06-13 北京航空航天大学 基于http静态压缩数据流的有害代码检测方法和装置
WO2017097071A1 (zh) * 2015-12-09 2017-06-15 北京奇虎科技有限公司 数据压缩及解压的方法及装置
CN105322969B (zh) * 2015-12-09 2019-06-18 北京奇虎科技有限公司 数据压缩及解压的方法及装置
CN107835158A (zh) * 2017-10-18 2018-03-23 中国银行股份有限公司 Sna网络体系下交互数据的传输方法及装置
CN107835158B (zh) * 2017-10-18 2021-06-18 中国银行股份有限公司 Sna网络体系下交互数据的传输方法及装置
CN109218214A (zh) * 2018-10-31 2019-01-15 中盈优创资讯科技有限公司 运营商级通用流量压缩方法及装置
CN109831409A (zh) * 2018-12-19 2019-05-31 东软集团股份有限公司 数据传输方法、装置、计算机可读存储介质及电子设备
CN109831409B (zh) * 2018-12-19 2021-06-18 东软集团股份有限公司 数据传输方法、装置、计算机可读存储介质及电子设备
CN113557563A (zh) * 2019-03-14 2021-10-26 夏普Nec显示器解决方案株式会社 电子设备及电子设备的控制方法
US11545058B2 (en) 2019-03-14 2023-01-03 Sharp Nec Display Solutions, Ltd. Electronic device and control method for electronic device
CN113557563B (zh) * 2019-03-14 2023-05-12 夏普Nec显示器解决方案株式会社 电子设备及电子设备的控制方法
CN112445772A (zh) * 2019-08-31 2021-03-05 上海寒武纪信息科技有限公司 用于数据压缩和解压缩的装置和方法
CN116132712A (zh) * 2023-02-08 2023-05-16 北京镁伽机器人科技有限公司 一种数据传输方法、数据发送装置以及数据接收装置

Similar Documents

Publication Publication Date Title
CN104468044A (zh) 应用于网络传输中的数据压缩的方法及装置
US10547324B2 (en) Data compression coding method, apparatus therefor, and program therefor
CN112233217B (zh) 一种虚拟场景的渲染方法和装置
CN106815875B (zh) 信息位图的编码、解码方法及装置
CN104868922A (zh) 数据压缩方法及装置
CN110008192A (zh) 一种数据文件压缩方法、装置、设备及可读存储介质
CN116506073A (zh) 一种工业计算机平台数据快速传输方法及系统
JP5656593B2 (ja) 符号化データを復号する装置及び方法
CN115115720A (zh) 一种图像解码、编码方法、装置及其设备
CN113852379A (zh) 一种数据编码方法、系统、设备及计算机可读存储介质
CN113630125A (zh) 数据压缩、编码解压缩方法、装置、电子设备及存储介质
CN115408350A (zh) 日志压缩、日志还原方法、装置、计算机设备和存储介质
CN104468330A (zh) 分布式消息队列系统的数据处理方法和装置
CN116088882A (zh) 一种基于智能穿戴设备的功能配置方法、系统及介质
CN106688186A (zh) 在基于lz的压缩算法中在多个经压缩块之间共享初始词典和霍夫曼树
CN107454456B (zh) 一种浮层元素的管理控制方法及系统
CN103210590B (zh) 压缩方法及设备
CN110266834B (zh) 基于互联网协议地址的地区查找方法及装置
CN110288666B (zh) 一种数据压缩方法及装置
JP2022048930A (ja) データ圧縮方法、データ圧縮装置、データ圧縮プログラム、データ伸長方法、データ伸長装置およびデータ伸長プログラム
CN117040539A (zh) 一种基于m叉树和lzw算法的石油测井数据压缩方法及装置
CN105117403A (zh) 日志数据分片与查询方法及装置
JP2016170750A (ja) データ管理プログラム、情報処理装置およびデータ管理方法
CN116827682B (zh) 数据处理方法、装置及计算机设备
CN112612925B (zh) 数据的存储方法、读取方法以及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150325