CN103428249A - 一种http请求包的收集及处理方法、系统和服务器 - Google Patents
一种http请求包的收集及处理方法、系统和服务器 Download PDFInfo
- Publication number
- CN103428249A CN103428249A CN201210162158XA CN201210162158A CN103428249A CN 103428249 A CN103428249 A CN 103428249A CN 201210162158X A CN201210162158X A CN 201210162158XA CN 201210162158 A CN201210162158 A CN 201210162158A CN 103428249 A CN103428249 A CN 103428249A
- Authority
- CN
- China
- Prior art keywords
- http request
- bag
- module
- request bag
- http
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Storage Device Security (AREA)
Abstract
本发明适用于通讯技术领域，提供了一种HTTP请求包的收集及处理方法、系统和服务器。处理方法包括以下步骤：接收客户端浏览器插件上报的http请求包；根据去重规则将所述http请求包录入数据库；对新录入数据库中的http请求包进行安全扫描；将扫描结果存储到数据库中。本发明实施例可以全面收集web应用程序在各种场景下的http请求包，从而提高了对web应用程序安全扫描的覆盖度；且在不影响开发人员和QAi人员日常工作的情况下实现http请求包收集的完全自动化。
Description
技术领域
本发明属于通讯技术领域，尤其涉及一种HTTP请求包的收集及处理方法、系统和服务器。
背景技术
在现有技术中，发现web应用程序安全漏洞的技术方案是利用web安全漏洞扫描器对整个部署web应用程序的站点做爬行并扫描。扫描器通常由3个模块组成：爬行模块、渗透测试模块、判断统计模块。
爬行模块是利用web页面的爬行技术来遍历网站的页面，收集一个网站的所有http请求包。
渗透测试模块是利用爬行模块所收集的http请求包作为样本，篡改http请求包的参数值或http请求包头部，然后组成新的渗透测试请求包，然后把请求包发送到测试目标网站，并收集其返回包。
判断统计模块是对渗透测试模块的返回包，根据一定的规则来判断返回包是否存在安全漏洞，如果是则做反馈。
业界已有的web安全漏洞扫描器的主要缺陷在于爬行模块，由于web2.0i应用的普及流行以及AJAX技术的广泛使用，很多网站上面的http请求包都不能依靠现有的网站爬行技术所收集，即，现有网站爬行技术收集web应用程序请求包不完善，导致web应用程序的安全覆盖度不能得到保障。
发明内容
本发明的目的在于提供一种HTTP请求包的收集及处理方法、系统和服务器，旨在解决现有网站爬行技术收集web应用程序请求包不完善，导致web应用程序的安全覆盖度不能得到保障的问题。
本发明是这样实现的，一种HTTP请求包的处理方法，所述方法包括以下步骤：
接收客户端浏览器插件上报的http请求包；
根据去重规则将所述http请求包录入数据库；
对新录入数据库中的http请求包进行安全扫描；
将扫描结果存储到数据库中。
本发明的另一目的在于提供一种服务器，所述服务器包括：
接收模块，用于接收客户端浏览器插件上报的http请求包；
录入模块，用于根据去重规则将所述http请求包录入数据库；
扫描模块，用于对新录入数据库中的http请求包进行安全扫描；
存储模块，用于将扫描结果存储到数据库中。
本发明的另一目的在于提供一种HTTP请求包的处理系统，所述系统包括：浏览器插件和服务器；
所述浏览器插件包括：
收集模块，用于收集客户端浏览器所发送的各种http请求包；
上报模块，用于将收集到的http请求包根据上报规则上报给服务器端；
所述服务器包括：
接收模块，用于接收客户端浏览器插件上报的http请求包；
录入模块，用于根据去重规则将所述http请求包录入数据库；
扫描模块，用于对新录入数据库中的http请求包进行安全扫描；
存储模块，用于将扫描结果存储到数据库中。
在本发明中，通过安装在客户端浏览器中的插件，来负责将从浏览器中所发送出去的http请求包根据上报规则上报给服务器端，使得原先需要由爬行模块所上报的http请求包被浏览器中的插件所取代。本发明实施例可以全面收集web应用程序在各种场景下的http请求包，从而提高了对web应用程序安全扫描的覆盖度；且在不影响开发人员和QAii人员日常工作的情况下实现http请求包收集的完全自动化。
附图说明
图1是本发明实施例提供的HTTP请求包的收集方法的实现流程示意图。
图2是本发明实施例提供的HTTP请求包的处理方法的实现流程示意图。
图3是本发明实施例提供的浏览器插件的结构示意图。
图4是本发明实施例提供的服务器的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明实施例中，通过安装在客户端浏览器中的插件，来负责将从浏览器中所发送出去的http请求包根据上报规则上报给服务器端，使得原先需要由爬行模块所上报的http请求包被浏览器中的插件所取代。解决了现有网站爬行技术收集web应用程序请求包不完善，导致web应用程序的安全覆盖度不能得到保障的问题。
请参阅图1，为本发明实施例提供的HTTP请求包的收集方法的实现流程，其包括以下步骤：
在步骤S101中，客户端浏览器插件收集客户端浏览器所发送的各种http请求包；
在本发明实施例中，所述http请求包主要包括：协议、服务器域名、端口号、请求包路径、GET参数名、POST参数名、扩展名、目标服务器网段等。
在步骤S102中，客户端浏览器插件将收集到的http请求包根据上报规则上报给服务器端。
在本发明实施例中，收集到的http请求包将会通过http协议的方式发送到服务器端以作存储，本发明实施例可根据不同网站以及根据不同要求来确定请求包中的某些信息作为上报规则的条件，下面通过举例来详细描述，例如上报规则是同时符合下面1、2和3的请求包：
1）例如请求包url包含以下扩展名（图片类型、音频类型、压缩类型等等，可以理解的是，不限于这些类型，该扩展名可根据用户要求自行设定）的不作上报；如图片类型为″bmp″,″gif″,″jpeg″，″jpg″,″png″等,音频类型为″mp1″,″mp2″,″mp3″,″mp4″,″mp5″,″mp6″,压缩类型为″7z″,″rar″等,
2）目标服务器网段例如为：
10\..*;
192\.168\..*;
172\.16\..*;
172\.17\..*;
然而，可以理解的是，不限于上述网段，其可根据用户要求自行设定。
3）目标服务器域名段为：
.*？\.qq\.com.*;
.*？\.msn\.com.*;
.*？\.163\.com.*;
然而，可以理解的是，不限于上述目标服务器域名段，其可根据用户要求自行设定。
请参阅图2，为本发明实施例提供的HTTP请求包的处理方法的实现流程，其包括以下步骤：
在步骤S201中，接收客户端浏览器插件上报的http请求包；
在本发明实施例中，在所述接收客户端浏览器插件上报的http请求包的步骤之前，还包括：
客户端浏览器插件收集客户端浏览器所发送的各种http请求包；
客户端浏览器插件将收集到的http请求包根据上报规则上报给服务器端。
在步骤S202中，根据去重规则将所述http请求包录入数据库；
在本发明实施例中，去重规则为：把请求包的协议、服务器域名、端口号、请求包路径、GET参数名、POST参数名串接在一起作为产生md5的种子来产生作为特征码的md5字符串，为每一个准备新入库的http请求包计算其特征码md5，如果改特征码没有存储于数据库中，则对这个请求包做入库处理。
在步骤S203中，对新录入数据库中的http请求包进行安全扫描；
在步骤S204中，将扫描结果存储到数据库中。
在本发明实施例中，所述根据去重规则将所述http请求包录入数据库的步骤，具体为：
计算所述http请求包的唯一码，将所述http请求包录入数据库。
其中，所述http请求包的唯一码即为特征码md5；如：把请求包的协议、服务器域名、端口号、请求包路径、GET参数名、POST参数名串接在一起作为产生md5的种子来产生作为特征码的md5字符串，为每一个准备新入库的http请求包计算其特征码md5，如果改特征码没有存储于数据库中，则对这个请求包做入库处理。
在本发明实施例中，所述对新录入数据库中的http请求包进行安全扫描的步骤，具体为：
篡改http请求包的参数或http请求包头部，然后组成新的渗透测试请求包，将新的渗透测试请求包发送到测试目标网站，收集测试目标网站发送的返回包，通过判断返回包是否包含特定的字符串来判断http请求包是否存在安全漏洞。
在本发明实施例中，所述将扫描结果存储到数据库中的步骤，具体为：
存储去重后的http请求包数据，以及安全扫描结果至数据库中。
请参阅图3，为本发明实施例提供的浏览器插件的结构。为了便于说明，仅示出了与本发明实施例相关的部分。
浏览器插件包括：收集模块101、以及上报模块102。
收集模块101，用于收集客户端浏览器所发送的各种http请求包。
上报模块102，用于将收集到的http请求包根据上报规则上报给服务器端。
请参阅图4，为本发明实施例提供的服务器的结构。为了便于说明，仅示出了与本发明实施例相关的部分。
服务器包括：接收模块201、录入模块202、扫描模块203、以及存储模块204。
接收模块201，用于接收客户端浏览器插件上报的http请求包。
录入模块202，用于根据去重规则将所述http请求包录入数据库。
扫描模块203，用于对新录入数据库中的http请求包进行安全扫描。
存储模块204，用于将扫描结果存储到数据库中。
在本发明实施例中，录入模块202，具体用于计算所述http请求包的唯一码，将所述http请求包录入数据库。
在本发明实施例中，扫描模块203具体包括：篡改模块、判断模块。
篡改模块，用于篡改http请求包的参数或http请求包头部，然后组成新的渗透测试请求包，将新的渗透测试请求包发送到测试目标网站。
判断模块，用于收集测试目标网站发送的返回包，通过判断返回包是否包含特定的字符串来判断http请求包是否存在安全漏洞。
在本发明实施例中，存储模块204，具体用于存储去重后的http请求包数据，以及安全扫描结果至数据库中。
本发明实施例还提供一种HTTP请求包的处理系统，所述系统包括：浏览器插件和服务器；
所述浏览器插件包括：
收集模块，用于收集客户端浏览器所发送的各种http请求包；
上报模块，用于将收集到的http请求包根据上报规则上报给服务器端；
所述服务器包括：
接收模块，用于接收客户端浏览器插件上报的http请求包；
录入模块，用于根据去重规则将所述http请求包录入数据库；
扫描模块，用于对新录入数据库中的http请求包进行安全扫描；
存储模块，用于将扫描结果存储到数据库中。
综上所述，本发明实施例通过安装在客户端浏览器中的插件，来负责将从浏览器中所发送出去的http请求包根据上报规则上报给服务器端，使得原先需要由爬行模块所上报的http请求包被浏览器中的插件所取代。本发明实施例可以全面收集web应用程序在各种场景下的http请求包，从而提高了对web应用程序安全扫描的覆盖度；且在不影响开发人员和QAiii人员日常工作的情况下实现http请求包收集的完全自动化。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种HTTP请求包的处理方法，其特征在于，所述方法包括以下步骤：
接收客户端浏览器插件上报的http请求包；
根据去重规则将所述http请求包录入数据库；
对新录入数据库中的http请求包进行安全扫描；
将扫描结果存储到数据库中。
2.如权利要求1所述的方法，其特征在于，在所述接收客户端浏览器插件上报的http请求包的步骤之前，还包括：
客户端浏览器插件收集客户端浏览器所发送的各种http请求包；
客户端浏览器插件将收集到的http请求包根据上报规则上报给服务器端。
3.如权利要求1所述的方法，其特征在于，所述根据去重规则将所述http请求包录入数据库的步骤，具体为：
计算所述http请求包的唯一码，将所述http请求包录入数据库。
4.如权利要求1所述的方法，其特征在于，所述对新录入数据库中的http请求包进行安全扫描的步骤，具体为：
篡改http请求包的参数或http请求包头部，然后组成新的渗透测试请求包，将新的渗透测试请求包发送到测试目标网站，收集测试目标网站发送的返回包，通过判断返回包是否包含特定的字符串来判断http请求包是否存在安全漏洞。
5.如权利要求1所述的方法，其特征在于，所述将扫描结果存储到数据库中的步骤，具体为：
存储去重后的http请求包数据，以及安全扫描结果至数据库中。
6.一种服务器，其特征在于，所述服务器包括：
接收模块，用于接收客户端浏览器插件上报的http请求包；
录入模块，用于根据去重规则将所述http请求包录入数据库；
扫描模块，用于对新录入数据库中的http请求包进行安全扫描；
存储模块，用于将扫描结果存储到数据库中。
7.如权利要求6所述的服务器，其特征在于，
所述录入模块，具体用于计算所述http请求包的唯一码，将所述http请求包录入数据库。
8.如权利要求6所述的服务器，其特征在于，所述扫描模块具体包括：篡改模块、判断模块；
篡改模块，用于篡改http请求包的参数或http请求包头部，然后组成新的渗透测试请求包，将新的渗透测试请求包发送到测试目标网站。
判断模块，用于收集测试目标网站发送的返回包，通过判断返回包是否包含特定的字符串来判断http请求包是否存在安全漏洞。
9.如权利要求6所述的服务器，其特征在于，
所述存储模块，具体用于存储去重后的http请求包数据，以及安全扫描结果至数据库中。
10.一种HTTP请求包的处理系统，其特征在于，所述系统包括：浏览器插件和服务器；
所述浏览器插件包括：
收集模块，用于收集客户端浏览器所发送的各种http请求包；
上报模块，用于将收集到的http请求包根据上报规则上报给服务器端；
所述服务器包括：
接收模块，用于接收客户端浏览器插件上报的http请求包；
录入模块，用于根据去重规则将所述http请求包录入数据库；
扫描模块，用于对新录入数据库中的http请求包进行安全扫描；
存储模块，用于将扫描结果存储到数据库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210162158.XA CN103428249B (zh) | 2012-05-23 | 2012-05-23 | 一种http请求包的收集及处理方法、系统和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210162158.XA CN103428249B (zh) | 2012-05-23 | 2012-05-23 | 一种http请求包的收集及处理方法、系统和服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103428249A true CN103428249A (zh) | 2013-12-04 |
| CN103428249B CN103428249B (zh) | 2016-02-03 |
Family
ID=49652423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210162158.XA Active CN103428249B (zh) | 2012-05-23 | 2012-05-23 | 一种http请求包的收集及处理方法、系统和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103428249B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104836695A (zh) * | 2014-02-11 | 2015-08-12 | 腾讯科技（深圳）有限公司 | 系统测试过程中的安全扫描方法及测试服务器 |
| CN104951399A (zh) * | 2015-06-19 | 2015-09-30 | 北京齐尔布莱特科技有限公司 | 一种软件测试系统和方法 |
| CN106055985A (zh) * | 2016-05-31 | 2016-10-26 | 乐视控股（北京）有限公司 | 自动化的漏洞检测方法及装置 |
| CN106953860A (zh) * | 2017-03-20 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 一种数据扫描方法以及扫描服务器 |
| CN107835226A (zh) * | 2017-09-27 | 2018-03-23 | 五八有限公司 | 应用程序的超文本传输协议接口处理方法及装置 |
| CN108241573A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 一种集成测试代码生成方法及装置 |
| CN110955594A (zh) * | 2019-10-29 | 2020-04-03 | 深圳开源互联网安全技术有限公司 | 基于IAST检测Web应用请求覆盖度的方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101459548A (zh) * | 2007-12-14 | 2009-06-17 | 北京启明星辰信息技术股份有限公司 | 一种脚本注入攻击检测方法和系统 |
| US20100050263A1 (en) * | 2008-08-25 | 2010-02-25 | International Business Machines Corporation | Browser based method of assessing web application vulnerability |
| CN101883024A (zh) * | 2010-06-23 | 2010-11-10 | 南京大学 | 一种跨站点伪造请求的动态检测方法 |
| CN101902456A (zh) * | 2010-02-09 | 2010-12-01 | 北京启明星辰信息技术股份有限公司 | 一种Web网站安全防御系统 |
-
2012
- 2012-05-23 CN CN201210162158.XA patent/CN103428249B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101459548A (zh) * | 2007-12-14 | 2009-06-17 | 北京启明星辰信息技术股份有限公司 | 一种脚本注入攻击检测方法和系统 |
| US20100050263A1 (en) * | 2008-08-25 | 2010-02-25 | International Business Machines Corporation | Browser based method of assessing web application vulnerability |
| CN101902456A (zh) * | 2010-02-09 | 2010-12-01 | 北京启明星辰信息技术股份有限公司 | 一种Web网站安全防御系统 |
| CN101883024A (zh) * | 2010-06-23 | 2010-11-10 | 南京大学 | 一种跨站点伪造请求的动态检测方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104836695A (zh) * | 2014-02-11 | 2015-08-12 | 腾讯科技（深圳）有限公司 | 系统测试过程中的安全扫描方法及测试服务器 |
| CN104951399A (zh) * | 2015-06-19 | 2015-09-30 | 北京齐尔布莱特科技有限公司 | 一种软件测试系统和方法 |
| CN104951399B (zh) * | 2015-06-19 | 2017-11-07 | 北京齐尔布莱特科技有限公司 | 一种软件测试系统和方法 |
| CN106055985A (zh) * | 2016-05-31 | 2016-10-26 | 乐视控股（北京）有限公司 | 自动化的漏洞检测方法及装置 |
| CN108241573A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 一种集成测试代码生成方法及装置 |
| CN106953860A (zh) * | 2017-03-20 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 一种数据扫描方法以及扫描服务器 |
| CN107835226A (zh) * | 2017-09-27 | 2018-03-23 | 五八有限公司 | 应用程序的超文本传输协议接口处理方法及装置 |
| CN110955594A (zh) * | 2019-10-29 | 2020-04-03 | 深圳开源互联网安全技术有限公司 | 基于IAST检测Web应用请求覆盖度的方法及系统 |
| CN110955594B (zh) * | 2019-10-29 | 2024-05-03 | 深圳开源互联网安全技术有限公司 | 基于IAST检测Web应用请求覆盖度的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103428249B (zh) | 2016-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103428249B (zh) | 一种http请求包的收集及处理方法、系统和服务器 | |
| CN105930363B (zh) | 一种基于html5网页的用户行为分析方法及装置 | |
| CN107294919A (zh) | 一种水平权限漏洞的检测方法及装置 | |
| CN106201886B (zh) | 一种实时数据任务的验证的代理方法及装置 | |
| CN107133240B (zh) | 页面监控方法、装置及系统 | |
| CN102761449B (zh) | 一种web服务性能分析方法和装置 | |
| CN103812683B (zh) | 一种用户行为数据的处理方法、装置和系统 | |
| CN103618696B (zh) | 对cookie信息进行处理的方法和服务器 | |
| CN106817353A (zh) | 用于mac采集和网络安全审计的无线ap和方法 | |
| CN104836694A (zh) | 网络监控方法及装置 | |
| CN104954431A (zh) | 网络选择方法、装置及系统 | |
| CN105207832A (zh) | 一种服务器压力测试方法和装置 | |
| CN104182681A (zh) | 基于hook的iOS系统关键行为检测装置和方法 | |
| CN103744941A (zh) | 一种基于网站属性信息确定网站评测结果的方法和装置 | |
| CN106713242B (zh) | 数据请求的处理方法及处理装置 | |
| CN102984003A (zh) | 网络接入检测系统和网络接入检测方法 | |
| CN109040128A (zh) | 一种基于离线pcap流量包的WAF反向代理检测方法 | |
| CN106067879A (zh) | 信息的检测方法及装置 | |
| CN107992416A (zh) | 一种网页时延的确定方法及装置 | |
| CN106326280B (zh) | 数据处理方法、装置及系统 | |
| CN105530137A (zh) | 流量数据分析方法及流量数据分析系统 | |
| CN102271331A (zh) | 一种检测业务提供商sp站点可靠性的方法及系统 | |
| CN105468502A (zh) | 一种日志收集的方法、装置和系统 | |
| CN104811418B (zh) | 病毒检测的方法及装置 | |
| CN103297480A (zh) | 一种应用服务自动检测系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20151231 Address after: The South Road in Guangdong province Shenzhen city Fiyta building 518031 floor 5-10 Nanshan District high tech Zone Applicant after: Shenzhen Tencent Computer System Co., Ltd. Address before: Shenzhen Futian District City, Guangdong province 518044 Zhenxing Road, SEG Science Park 2 East Room 403 Applicant before: Tencent Technology (Shenzhen) Co., Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |