CN106357829B - 一种基于http的信息过滤叠加方法及装置 - Google Patents

一种基于http的信息过滤叠加方法及装置 Download PDF

Info

Publication number
CN106357829B
CN106357829B CN201611051561.XA CN201611051561A CN106357829B CN 106357829 B CN106357829 B CN 106357829B CN 201611051561 A CN201611051561 A CN 201611051561A CN 106357829 B CN106357829 B CN 106357829B
Authority
CN
China
Prior art keywords
http
packet
tcp packet
redundancy
object content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611051561.XA
Other languages
English (en)
Other versions
CN106357829A (zh
Inventor
刘子杰
岳宏图
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youdao Internet Agel Ecommerce Ltd
Original Assignee
Beijing Youdao Internet Agel Ecommerce Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youdao Internet Agel Ecommerce Ltd filed Critical Beijing Youdao Internet Agel Ecommerce Ltd
Priority to CN201611051561.XA priority Critical patent/CN106357829B/zh
Publication of CN106357829A publication Critical patent/CN106357829A/zh
Application granted granted Critical
Publication of CN106357829B publication Critical patent/CN106357829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开一种基于HTTP的信息过滤叠加方法及装置。所述方法包括：将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；计算剔除所述冗余信息后的所述TCP包的剩余运载空间；若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。所述装置用于实现所述方法。本发明实施例公开的基于HTTP的信息过滤叠加方法，可使网络链路设备以最小代价实现HTTP包的叠加。

Description

一种基于HTTP的信息过滤叠加方法及装置
技术领域
本发明涉及网络通信领域，具体涉及一种基于HTTP的信息过滤叠加方法及装置。
背景技术
设计HTTP(Hyper Text Transfer Protocol，超文本传输协定)最初的目的是为了提供一种发布和接收HTML(Hyper Text Markup Language，超文本标记语言)页面的方法。通过HTTP或者HTTPS协议请求的资源由统一资源标识符(Uniform Resource Identifiers，URL)来标识。
HTTP的发展是万维网协会(World Wide Web Consortium，W3C)和互联网工程任务组(Internet Engineering Task Force，IETF)合作的结果，(他们)最终发布了一系列的RFC，其中最著名的是1999年6月公布的RFC2616，定义了HTTP协议中现今广泛使用的一个版本——HTTP 1.1。2014年12月，互联网工程任务组的Hypertext Transfer Protocol Bis(httpbis)工作小组将HTTP/2标准提议递交至IESG进行讨论，于2015年2月17日被批准。HTTP/2标准于2015年5月以RFC7540正式发表，取代HTTP 1.1成为HTTP的实现标准。
通常，HTTP消息在TCP(Transmission Control Protocol，传输控制协议)链路上被分解为m个小于1500长度的信息包。这些信息包在链路上无序发送。一般需要获取整个信息流，即≥m个包之后，才可解读信息并作包修改。
对于现有的基于网络设备的HTTP包叠加方法，在获取到m个包之前无法做处理，系统需要缓存至少m个TCP包，消耗m×1500字节内存空间。由于TCP传输的确定性，可能出现非完整HTTP流，此时系统需要管理TCP包生命周期。在高速网络链路上进行此操作需要消耗大量存储空间和CPU资源用于缓存生命周期管理。这使得采集处理完整HTTP数据所需的硬件成本高昂，在处理能力有限的中低端网络设备上无法实现。
因此，如何提出一种方法，可使网络链路设备以最小代价实现HTTP包叠加，具有十分重要的意义。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种基于HTTP的信息过滤叠加方法及装置。
一方面，本发明实施例提出一种基于HTTP的信息过滤叠加方法，包括：
将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。本发明实施例提供的基于HTTP的信息过滤叠加方法，由于可将HTTP包中的冗余信息剔除，且可将目标内容放入经剔除冗余信息之后的HTTP包，因此可以极小代价实现HTTP信息叠加，避免了消耗大量存储空间以及CPU资源用于缓存与生命周期管理。
另一方面，本发明实施例还提出一种基于HTTP的信息过滤叠加装置，包括：
剔除模块，用于将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
计算模块，用于计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
叠加模块，用于若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
本发明实施例提供的基于HTTP的信息过滤叠加装置，由于可将HTTP包中的冗余信息剔除，且可将目标内容放入经剔除冗余信息之后的HTTP包，因此可以极小代价实现HTTP信息叠加，避免了消耗大量存储空间以及CPU资源用于缓存与生命周期管理。
附图说明
图1为本发明基于HTTP的信息过滤叠加方法实施例的流程示意图；
图2为本发明基于HTTP的信息过滤叠加装置实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明基于HTTP的信息过滤叠加方法实施例的流程示意图，参看图1，本发明实施例公开一种基于HTTP的信息过滤叠加方法，包括：
S1、将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
S2、计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
S3、若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
本发明实施例提供的基于HTTP的信息过滤叠加方法，由于可将HTTP包中的冗余信息剔除，且可将目标内容放入经剔除冗余信息之后的HTTP包，因此可以极小代价实现HTTP信息叠加，避免了消耗大量存储空间以及CPU资源用于缓存与生命周期管理。
具体地，在步骤S1中，可使网络链路设备例如路由器，将运载有HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，使得所述HTTP包中除所述HTTP冗余信息之外的信息保证浏览器进行正常浏览。所述冗余信息包括HTTP包的头信息。
在步骤S1之前，网络链路设备还会识别并捕获所述运载HTTP包的下行的第一个TCP包。
在步骤S3中，网络链路设备计算得出所述TCP包的所述剩余运载空间的大小后，会将其与目标内容的大小进行比较。所述目标内容指需要放入所述TCP包的信息。需要注意的是，应确保所述目标内容的大小远小于一个TCP包的长度(通常为1400-1500字节)，例如20-40字节。其中，所述目标内容包括：符合HTTP协议的报文。
若网络链路设备判断得知所述剩余空间的大小不小于所述目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，。可以理解的是，在将所述目标内容放入所述TCP包后，网络链路设备会重新计算所述TCP包的校验和，并将该校验和写入所述处理后的TCP包，以使所述TCP包符合TCP协议从而可顺利进行传输。在将所述目标内容放入所述处理后的TCP包之后，网路链路设备则将所述处理后的TCP包发向下行端口。
若网络链路设备判断得知所述剩余空间大小小于所述目标内容的大小，则直接将所述TCP包发向下行端口。
可以看出，相对于现有技术，本发明实施例提出的基于HTTP的信息过滤叠加方法，避免了高昂的内存缓存与生命周期管理代价，使得HTTP信息的叠加仅在付出了轻微逻辑代价的情况下即可完成，因此，本方法适用于所有网络链路设备，具有广阔的应用前景。
图2为本发明基于HTTP的信息过滤叠加装置实施例的结构示意图，参看图2，本发明实施例还公开一种基于HTTP的信息过滤叠加装置，包括：剔除模块1、计算模块2以及叠加模块3；
剔除模块1，用于将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；计算模块2，用于计算剔除所述冗余信息后的所述TCP包的剩余运载空间；叠加模块3，用于若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
本发明实施例提供的基于HTTP的信息过滤叠加装置，由于可将HTTP包中的冗余信息剔除，且可将目标内容放入经剔除冗余信息之后的HTTP包，因此可以极小代价实现HTTP信息叠加，避免了消耗大量存储空间以及CPU资源用于缓存与生命周期管理。
所述叠加模块还用于：
若所述剩余运载空间的大小小于所述目标内容的大小，则将所述TCP包发向下行端口。
所述冗余信息包括HTTP包的头信息；所述目标内容包括符合HTTP协议的报文。
所述装置还包括识别模块，用于在所述将运载HTTP包的第一个TCP包中的HTTP冗余信息剔除之前识别并捕获所述装载HTTP包的下行的第一个TCP包。
所述叠加模块3还用于，在所述将所述目标内容放入所述剩余运载空间之后，且在将所述TCP包发向下行端口之前重新计算所述处理后的TCP包的校验和，并将该校验和写入所述处理后的TCP包。
可以看出，相对于现有技术，本发明实施例提出的基于HTTP的信息过滤叠加装置，避免了高昂的内存缓存与生命周期管理代价，使得HTTP信息的叠加仅在付出了轻微逻辑代价的情况下即可完成，因此，本装置可节约内存与CPU资源，具有广阔的应用前景。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于HTTP的信息过滤叠加方法，其特征在于，包括：
将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
2.根据权利要求1所述的方法，其特征在于，包括：
若所述剩余运载空间的大小小于所述目标内容的大小，则将所述TCP包发向下行端口。
3.根据权利要求1或2所述的方法，其特征在于，所述冗余信息包括HTTP包的头信息；所述目标内容包括符合HTTP协议的报文。
4.根据权利要求1所述的方法，其特征在于，在所述将运载HTTP包的第一个TCP包中的HTTP冗余信息剔除之前还包括：
识别并捕获所述运载HTTP包的下行的第一个TCP包。
5.根据权利要求1或4所述的方法，其特征在于，在所述将所述目标内容放入所述剩余运载空间之后，且在将所述TCP包发向下行端口之前还包括：
重新计算所述处理后的TCP包的校验和，并将该校验和写入所述处理后的TCP包。
6.一种用于基于HTTP的信息过滤叠加装置，其特征在于，包括：
剔除模块，用于将运载HTTP包的下行的第一个TCP包中的HTTP冗余信息剔除，所述HTTP冗余信息为所述HTTP包中用于浏览器浏览的非必要信息；
计算模块，用于计算剔除所述冗余信息后的所述TCP包的剩余运载空间；
叠加模块，用于若所述剩余运载空间的大小不小于目标内容的大小，则将所述目标内容放入所述剩余运载空间，得到处理后的TCP包，并将所述处理后的TCP包发向下行端口。
7.根据权利要求6所述的装置，其特征在于，所述叠加模块还用于：
若所述剩余运载空间的大小小于所述目标内容的大小，则将所述TCP包发向下行端口。
8.根据权利要求6或7所述的装置，其特征在于，所述冗余信息包括HTTP包的头信息；所述目标内容包括符合HTTP协议的报文。
9.根据权利要求6所述的装置，其特征在于，还包括识别模块，用于在所述将运载HTTP包的第一个TCP包中的HTTP冗余信息剔除之前识别并捕获所述运载HTTP包的下行的第一个TCP包。
10.根据权利要求6或9所述的装置，其特征在于，所述叠加模块还用于，在所述将所述目标内容放入所述剩余运载空间之后，且在将所述TCP包发向下行端口之前重新计算所述处理后的TCP包的校验和，并将该校验和写入所述处理后的TCP包。
CN201611051561.XA 2016-11-24 2016-11-24 一种基于http的信息过滤叠加方法及装置 Active CN106357829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611051561.XA CN106357829B (zh) 2016-11-24 2016-11-24 一种基于http的信息过滤叠加方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611051561.XA CN106357829B (zh) 2016-11-24 2016-11-24 一种基于http的信息过滤叠加方法及装置

Publications (2)

Publication Number Publication Date
CN106357829A CN106357829A (zh) 2017-01-25
CN106357829B true CN106357829B (zh) 2019-09-06

Family

ID=57862252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611051561.XA Active CN106357829B (zh) 2016-11-24 2016-11-24 一种基于http的信息过滤叠加方法及装置

Country Status (1)

Country Link
CN (1) CN106357829B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175013A (zh) * 2006-11-03 2008-05-07 飞塔信息科技（北京）有限公司 一种拒绝服务攻击防护方法、网络系统和代理服务器
CN102255972A (zh) * 2011-08-10 2011-11-23 北京邮电大学 6LoWPAN网络中面向HTTP协议的TCP首部压缩方法
CN102917076A (zh) * 2012-11-16 2013-02-06 网宿科技股份有限公司 基于冗余编码的http报文传输、发送和接收方法
CN103873443A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 信息处理方法、本地代理服务器和网络代理服务器
CN103907327A (zh) * 2011-11-03 2014-07-02 瑞典爱立信有限公司 电信网络中的不显眼内容压缩

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363897B2 (ja) * 2014-07-10 2018-07-25 キヤノン株式会社 通信装置および通信方法、ならびに通信システム
JP2016038750A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 情報処理装置およびその方法、並びに、情報処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175013A (zh) * 2006-11-03 2008-05-07 飞塔信息科技（北京）有限公司 一种拒绝服务攻击防护方法、网络系统和代理服务器
CN102255972A (zh) * 2011-08-10 2011-11-23 北京邮电大学 6LoWPAN网络中面向HTTP协议的TCP首部压缩方法
CN103907327A (zh) * 2011-11-03 2014-07-02 瑞典爱立信有限公司 电信网络中的不显眼内容压缩
CN102917076A (zh) * 2012-11-16 2013-02-06 网宿科技股份有限公司 基于冗余编码的http报文传输、发送和接收方法
CN103873443A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 信息处理方法、本地代理服务器和网络代理服务器

Also Published As

Publication number Publication date
CN106357829A (zh) 2017-01-25

Similar Documents

Publication Publication Date Title
CN106027412A (zh) 一种基于拥塞队列长度的tcp拥塞控制方法
CN101795230A (zh) 一种网络流量还原方法
CN106470238A (zh) 应用于服务器负载均衡中的连接建立方法及装置
CN103873320A (zh) 加密流量识别方法及装置
CN102739473A (zh) 一种应用智能网卡的网络检测方法
CN104519065A (zh) 一种支持过滤Modbus TCP协议的工控防火墙实现方法
CN104486243B (zh) 数据传输方法、设备及系统
CN107919947A (zh) 一种can总线长报文传输的编码方法
CN107040549A (zh) 一种tcp粘包处理方法、服务器及系统
CN105635058B (zh) 一种无协议栈模式下针对tcp的中间人处理方法
CN102104544A (zh) 硬件加速的多核处理器ip隧道分片报文流保序方法
CN106416199A (zh) 用于性能增强代理的混合方式
CN102752216A (zh) 一种识别动态特征应用流量的方法
CN106850547A (zh) 一种基于http协议的数据还原方法及系统
CN109302354A (zh) 一种udp封装gre报文的芯片实现方法及装置
CN106789728A (zh) 一种基于NetFPGA的VoIP流量实时识别方法
CN104539600A (zh) 一种支持过滤iec104协议的工控防火墙实现方法
CN106357829B (zh) 一种基于http的信息过滤叠加方法及装置
CN104283716B (zh) 数据传输方法、设备及系统
CN102647404B (zh) 抵御flood攻击的流汇聚方法及装置
CN102469045A (zh) 一种提升web安全网关并发性能的方法
CN102307151A (zh) 基于http的网络数据包还原方法
CN104519021A (zh) 防止恶意流量攻击的方法及装置
CN102412924B (zh) 路径最大传输单元的探测方法和装置
CN107196879A (zh) Udp报文的处理方法、装置以及网络转发装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant