CN106357829A - 一种基于http的信息过滤叠加方法及装置 - Google Patents

一种基于http的信息过滤叠加方法及装置 Download PDF

Info

Publication number
CN106357829A
CN106357829A CN201611051561.XA CN201611051561A CN106357829A CN 106357829 A CN106357829 A CN 106357829A CN 201611051561 A CN201611051561 A CN 201611051561A CN 106357829 A CN106357829 A CN 106357829A
Authority
CN
China
Prior art keywords
http
bag
tcp
redundancy
tcp bag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611051561.XA
Other languages
English (en)
Other versions
CN106357829B (zh
Inventor
刘子杰
岳宏图
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youdao Internet Agel Ecommerce Ltd
Original Assignee
Beijing Youdao Internet Agel Ecommerce Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youdao Internet Agel Ecommerce Ltd filed Critical Beijing Youdao Internet Agel Ecommerce Ltd
Priority to CN201611051561.XA priority Critical patent/CN106357829B/zh
Publication of CN106357829A publication Critical patent/CN106357829A/zh
Application granted granted Critical
Publication of CN106357829B publication Critical patent/CN106357829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开一种基于HTTP的信息过滤叠加方法及装置。所述方法包括：将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；计算剔除所述冗余信息后的所述TCP包的剩余运载空间；若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。所述装置用于实现所述方法。本发明实施例公开的基于HTTP的信息过滤叠加方法，可使网络链路设备以最小代价实现HTTP包的叠加。

Description

一种基于HTTP的信息过滤叠加方法及装置
技术领域
本发明涉及网络通信领域，具体涉及一种基于HTTP的信息过滤叠加方法及装置。
背景技术
设计HTTP(Hyper Text Transfer Protocol，超文本传输协定)最初的目的是为了提供一种发布和接收HTML(Hyper Text Markup Language，超文本标记语言)页面的方法。通过HTTP或者HTTPS协议请求的资源由统一资源标识符(Uniform Resource Identifiers，URL)来标识。
HTTP的发展是万维网协会(World Wide Web Consortium，W3C)和互联网工程任务组(Internet Engineering Task Force，IETF)合作的结果，(他们)最终发布了一系列的RFC，其中最著名的是1999年6月公布的RFC2616，定义了HTTP协议中现今广泛使用的一个版本——HTTP 1.1。2014年12月，互联网工程任务组的Hypertext Transfer Protocol Bis(httpbis)工作小组将HTTP/2标准提议递交至IESG进行讨论，于2015年2月17日被批准。HTTP/2标准于2015年5月以RFC7540正式发表，取代HTTP 1.1成为HTTP的实现标准。
通常，HTTP消息在TCP(Transmission Control Protocol，传输控制协议)链路上被分解为m个小于1500长度的信息包。这些信息包在链路上无序发送。一般需要获取整个信息流，即≥m个包之后，才可解读信息并作包修改。
对于现有的基于网络设备的HTTP包叠加方法，在获取到m个包之前无法做处理，系统需要缓存至少m个TCP包，消耗m×1500字节内存空间。由于TCP传输的确定性，可能出现非完整HTTP流，此时系统需要管理TCP包生命周期。在高速网络链路上进行此操作需要消耗大量存储空间和CPU资源用于缓存生命周期管理。这使得采集处理完整HTTP数据所需的硬件成本高昂，在处理能力有限的中低端网络设备上无法实现。
因此，如何提出一种方法，可使网络链路设备以最小代价实现HTTP包叠加，具有十分重要的意义。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种基于HTTP的信息过滤叠加方法及装置。
一方面，本发明实施例提出一种基于HTTP的信息过滤叠加方法，包括：
将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。本发明实施例提供的基于HTTP的信息过滤叠加方法，由于可将HTTP包中的冗余信息剔除，且可将目标内容放入经剔除冗余信息之后的HTTP包，因此可以极小代价实现HTTP信息叠加，避免了消耗大量存储空间以及CPU资源用于缓存与生命周期管理。
另一方面，本发明实施例还提出一种基于HTTP的信息过滤叠加装置，包括：
剔除模块，用于将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
计算模块，用于计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
叠加模块，用于若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
本发明实施例提供的基于HTTP的信息过滤叠加装置，由于可将HTTP包中的冗余信息剔除，且可将目标内容放入经剔除冗余信息之后的HTTP包，因此可以极小代价实现HTTP信息叠加，避免了消耗大量存储空间以及CPU资源用于缓存与生命周期管理。
附图说明
图1为本发明基于HTTP的信息过滤叠加方法实施例的流程示意图；
图2为本发明基于HTTP的信息过滤叠加装置实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明基于HTTP的信息过滤叠加方法实施例的流程示意图，参看图1，本发明实施例公开一种基于HTTP的信息过滤叠加方法，包括：
S1、将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
S2、计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
S3、若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
本发明实施例提供的基于HTTP的信息过滤叠加方法，由于可将HTTP包中的冗余信息剔除，且可将目标内容放入经剔除冗余信息之后的HTTP包，因此可以极小代价实现HTTP信息叠加，避免了消耗大量存储空间以及CPU资源用于缓存与生命周期管理。
具体地，在步骤S1中，可使网络链路设备例如路由器，将运载有HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，使得所述HTTP包中除所述HTTP冗余信息之外的信息保证浏览器进行正常浏览。所述冗余信息包括HTTP包的头信息。
在步骤S1之前，网络链路设备还会识别并捕获所述运载HTTP包的下行的第一个TCP包。
在步骤S3中，网络链路设备计算得出所述TCP包的所述剩余运载空间的大小后，会将其与目标内容的大小进行比较。所述目标内容指需要放入所述TCP包的信息。需要注意的是，应确保所述目标内容的大小远小于一个TCP包的长度(通常为1400-1500字节)，例如20-40字节。其中，所述目标内容包括：符合HTTP协议的报文。
若网络链路设备判断得知所述剩余空间的大小不小于所述目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，。可以理解的是，在将所述目标内容放入所述TCP包后，网络链路设备会重新计算所述TCP包的校验和，并将该校验和写入所述处理后的TCP包，以使所述TCP包符合TCP协议从而可顺利进行传输。在将所述目标内容放入所述处理后的TCP包之后，网路链路设备则将所述处理后的TCP包发向下行端口。
若网络链路设备判断得知所述剩余空间大小小于所述目标内容的大小，则直接将所述TCP包发向下行端口。
可以看出，相对于现有技术，本发明实施例提出的基于HTTP的信息过滤叠加方法，避免了高昂的内存缓存与生命周期管理代价，使得HTTP信息的叠加仅在付出了轻微逻辑代价的情况下即可完成，因此，本方法适用于所有网络链路设备，具有广阔的应用前景。
图2为本发明基于HTTP的信息过滤叠加装置实施例的结构示意图，参看图2，本发明实施例还公开一种基于HTTP的信息过滤叠加装置，包括：剔除模块1、计算模块2以及叠加模块3；
剔除模块1，用于将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；计算模块2，用于计算剔除所述冗余信息后的所述TCP包的剩余运载空间；叠加模块3，用于若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
本发明实施例提供的基于HTTP的信息过滤叠加装置，由于可将HTTP包中的冗余信息剔除，且可将目标内容放入经剔除冗余信息之后的HTTP包，因此可以极小代价实现HTTP信息叠加，避免了消耗大量存储空间以及CPU资源用于缓存与生命周期管理。
所述叠加模块还用于：
若所述剩余运载空间的大小小于所述目标内容的大小，则将所述TCP包发向下行端口。
所述冗余信息包括HTTP包的头信息；所述目标内容包括符合HTTP协议的报文。
所述装置还包括识别模块，用于在所述将运载HTTP包的第一个TCP包中的HTTP冗余信息剔除之前识别并捕获所述装载HTTP包的下行的第一个TCP包。
所述叠加模块3还用于，在所述将所述目标内容放入所述剩余运载空间之后，且在将所述TCP包发向下行端口之前重新计算所述处理后的TCP包的校验和，并将该校验和写入所述处理后的TCP包。
可以看出，相对于现有技术，本发明实施例提出的基于HTTP的信息过滤叠加装置，避免了高昂的内存缓存与生命周期管理代价，使得HTTP信息的叠加仅在付出了轻微逻辑代价的情况下即可完成，因此，本装置可节约内存与CPU资源，具有广阔的应用前景。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于HTTP的信息过滤叠加方法，其特征在于，包括：
将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
2.根据权利要求1所述的方法，其特征在于，包括：
若所述剩余运载空间的大小小于所述目标内容的大小，则将所述TCP包发向下行端口。
3.根据权利要求1或2所述的方法，其特征在于，所述冗余信息包括HTTP包的头信息；所述目标内容包括符合HTTP协议的报文。
4.根据权利要求1所述的方法，其特征在于，在所述将运载HTTP包的第一个TCP包中的HTTP冗余信息剔除之前还包括：
识别并捕获所述运载HTTP包的下行的第一个TCP包。
5.根据权利要求1或4所述的方法，其特征在于，在所述将所述目标内容放入所述剩余运载空间之后，且在将所述TCP包发向下行端口之前还包括：
重新计算所述处理后的TCP包的校验和，并将该校验和写入所述处理后的TCP包。
6.一种用于基于HTTP的信息过滤叠加装置，其特征在于，包括：
剔除模块，用于将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
计算模块，用于计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
叠加模块，用于若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
7.根据权利要求6所述的装置，其特征在于，所述叠加模块还用于：
若所述剩余运载空间的大小小于所述目标内容的大小，则将所述TCP包发向下行端口。
8.根据权利要求6或7所述的装置，其特征在于，所述冗余信息包括HTTP包的头信息；所述目标内容包括符合HTTP协议的报文。
9.根据权利要求6所述的装置，其特征在于，还包括识别模块，用于在所述将运载HTTP包的第一个TCP包中的HTTP冗余信息剔除之前识别并捕获所述运载HTTP包的下行的第一个TCP包。
10.根据权利要求6或9所述的装置，其特征在于，所述叠加模块还用于，在所述将所述目标内容放入所述剩余运载空间之后，且在将所述TCP包发向下行端口之前重新计算所述处理后的TCP包的校验和，并将该校验和写入所述处理后的TCP包。
CN201611051561.XA 2016-11-24 2016-11-24 一种基于http的信息过滤叠加方法及装置 Active CN106357829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611051561.XA CN106357829B (zh) 2016-11-24 2016-11-24 一种基于http的信息过滤叠加方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611051561.XA CN106357829B (zh) 2016-11-24 2016-11-24 一种基于http的信息过滤叠加方法及装置

Publications (2)

Publication Number Publication Date
CN106357829A true CN106357829A (zh) 2017-01-25
CN106357829B CN106357829B (zh) 2019-09-06

Family

ID=57862252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611051561.XA Active CN106357829B (zh) 2016-11-24 2016-11-24 一种基于http的信息过滤叠加方法及装置

Country Status (1)

Country Link
CN (1) CN106357829B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175013A (zh) * 2006-11-03 2008-05-07 飞塔信息科技（北京）有限公司 一种拒绝服务攻击防护方法、网络系统和代理服务器
CN102255972A (zh) * 2011-08-10 2011-11-23 北京邮电大学 6LoWPAN网络中面向HTTP协议的TCP首部压缩方法
CN102917076A (zh) * 2012-11-16 2013-02-06 网宿科技股份有限公司 基于冗余编码的http报文传输、发送和接收方法
CN103873443A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 信息处理方法、本地代理服务器和网络代理服务器
CN103907327A (zh) * 2011-11-03 2014-07-02 瑞典爱立信有限公司 电信网络中的不显眼内容压缩
US20160014242A1 (en) * 2014-07-10 2016-01-14 Canon Kabushiki Kaisha Communication apparatus, communication method, and non-transitory computer-readable medium
US20160044140A1 (en) * 2014-08-07 2016-02-11 Canon Kabushiki Kaisha Communication apparatus and method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175013A (zh) * 2006-11-03 2008-05-07 飞塔信息科技（北京）有限公司 一种拒绝服务攻击防护方法、网络系统和代理服务器
CN102255972A (zh) * 2011-08-10 2011-11-23 北京邮电大学 6LoWPAN网络中面向HTTP协议的TCP首部压缩方法
CN103907327A (zh) * 2011-11-03 2014-07-02 瑞典爱立信有限公司 电信网络中的不显眼内容压缩
CN102917076A (zh) * 2012-11-16 2013-02-06 网宿科技股份有限公司 基于冗余编码的http报文传输、发送和接收方法
CN103873443A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 信息处理方法、本地代理服务器和网络代理服务器
US20160014242A1 (en) * 2014-07-10 2016-01-14 Canon Kabushiki Kaisha Communication apparatus, communication method, and non-transitory computer-readable medium
US20160044140A1 (en) * 2014-08-07 2016-02-11 Canon Kabushiki Kaisha Communication apparatus and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. BELSHE: "《RFC7540》", 30 May 2015 *

Also Published As

Publication number Publication date
CN106357829B (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN107919947A (zh) 一种can总线长报文传输的编码方法
CN101997859B (zh) 识别tcp流中的数据包的载荷的方法和设备
CN104486243B (zh) 数据传输方法、设备及系统
CN106850547A (zh) 一种基于http协议的数据还原方法及系统
CN101860904B (zh) 基于数据包ip头压缩技术实现校验和计算的方法
CN105897615A (zh) 一种数据传输方法及装置
CN109302354A (zh) 一种udp封装gre报文的芯片实现方法及装置
CN108353022A (zh) 一种数据报文的处理方法、装置及系统
CN102752216A (zh) 一种识别动态特征应用流量的方法
CN102647404B (zh) 抵御flood攻击的流汇聚方法及装置
CN102938782B (zh) 一种报文处理方法、装置和系统
CN106357829A (zh) 一种基于http的信息过滤叠加方法及装置
CN1300985C (zh) 在二层虚拟专用网络中处理超长报文的方法
CN206461664U (zh) 一种数据采集系统
CN103428677B (zh) 分组业务数据的发送方法及信令信道发送信息的接收方法
CN106789878A (zh) 一种面向大流量环境的文件还原系统以及方法
CN103346961B (zh) 一种数据打包交换的方法和系统
CN103067394B (zh) 一种基于单向数据包的tcp连接建立方法及装置
CN102685109A (zh) 一种三网融合下的游戏cp接入方法
CN103780668B (zh) 一种基于http传输协议的云报表数据存储方法
CN109167965A (zh) 一种数据处理的方法和装置
TW201603532A (zh) 路由器及其資訊蒐集方法
CN104348675A (zh) 双向业务数据流识别方法及装置
CN101848091B (zh) 数据查找处理方法及系统
CN104504080B (zh) 一种终端化网络服务提供系统及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant