CN114285835A - 一种http请求数据的处理方法及系统 - Google Patents
一种http请求数据的处理方法及系统 Download PDFInfo
- Publication number
- CN114285835A CN114285835A CN202111651266.9A CN202111651266A CN114285835A CN 114285835 A CN114285835 A CN 114285835A CN 202111651266 A CN202111651266 A CN 202111651266A CN 114285835 A CN114285835 A CN 114285835A
- Authority
- CN
- China
- Prior art keywords
- http
- request data
- client request
- data
- http client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 19
- 230000004044 response Effects 0.000 claims abstract description 122
- 238000001514 detection method Methods 0.000 claims abstract description 118
- 238000012545 processing Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000000903 blocking effect Effects 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本申请实施例提供一种HTTP请求数据的处理方法及系统，涉及网络安全技术领域。该方法包括：获取HTTP客户端请求数据；对HTTP客户端请求数据进行安全检测，生成安全检测结果；根据安全检测结果判断HTTP客户端请求数据是否存在攻击；若存在攻击，则阻断HTTP客户端请求数据；若不存在攻击，查询HTTP客户端请求数据的URL信息，生成查询结果；转发HTTP客户端请求数据至目标服务器；根据查询结果对HTTP应答数据执行以下处理中的一种：忽略HTTP应答数据的安全检测处理；对HTTP应答数据进行安全检测处理，并将URL信息更新至预设URL缓存数据库。该方法可以实现提高HTTP请求数据的处理效率的技术效果。
Description
技术领域
本申请涉及网络安全技术领域，具体而言，涉及一种HTTP请求数据的处理方法及系统。
背景技术
目前，网站应用级入侵防御系统(WAF，Web Application Firewall)，也称为Web应用防火墙或者WAF，是通过执行一系列针对超文本传输协议(HTTP，Hyper Text TransferProtocol)或超文本传输安全协议(HTTPS，Hyper Text Transfer Protocol overSecureSocket Layer)的安全策略来专门为Web应用提供保护的一款产品。在WAF处于透明部署模式时，将经过设备的HTTP报文进行重组、协议解析，然后利用丰富的规则库，对应用层HTTP数据进行协议验证和规则处理，来达到抵御恶意攻击请求。
现有技术中，WAF将经过设备被保护站点的传输控制协议(TCP，TransmissionControl Protocol)流量，按照协议、源IP、源端口、目的IP、目的端口五元组进行重组，把该连接上的应用层HTTP数据进行协议解析，然后进行安全检测；但是，随着网络带宽增加，对WAF设备的处理能力要求也越来越高。在现实网络环境中，被WAF保护的HTTP站点流量中存在了大量重复的响应，占用了大量的WAF系统的CPU和内存资源，增加了网络延迟。因此只有通过不断升级硬件配置，才能满足日益增长的业务吞吐需求。
发明内容
本申请实施例的目的在于提供一种HTTP请求数据的处理方法、系统，电子设备及计算机可读存储介质，可以实现提高HTTP请求数据的处理效率的技术效果。
第一方面，本申请实施例提供了一种HTTP请求数据的处理方法，包括：
获取HTTP客户端请求数据，所述HTTP客户端请求数据包括URL信息；
对所述HTTP客户端请求数据进行安全检测，生成安全检测结果；
根据所述安全检测结果判断所述HTTP客户端请求数据是否存在攻击；
若所述HTTP客户端请求数据存在攻击，则阻断所述HTTP客户端请求数据；
若所述HTTP客户端请求数据不存在攻击，根据预设URL缓存数据库查询所述HTTP客户端请求数据的URL信息，生成查询结果；
转发所述HTTP客户端请求数据至目标服务器，所述目标服务器对所述HTTP客户端请求数据进行应答并生成HTTP应答数据；
根据所述查询结果对所述HTTP应答数据执行以下处理中的一种：忽略所述HTTP应答数据的安全检测处理；对所述HTTP应答数据进行安全检测处理，并将所述URL信息更新至所述预设URL缓存数据库。
在上述实现过程中，该HTTP请求数据的处理方法将获取的HTTP请求数据进行安全检测，当一个HTTP请求数据的事务处理完毕之后，如果该HTTP请求数据没有检测到攻击，则判断此HTTP请求数据是否可以缓存，如果该HTTP请求数据可以缓存，则将该请求数据的URL信息更新至预设URL缓存数据库中；从而，当有后续的HTTP客户端请求数据到来时，在经过安全检测后，查询后续的HTTP客户端请求数据的URL信息是否在预设缓存数据库中，如果在，则可以忽略该后续的HTTP应答数据的响应处理；从而，该HTTP请求数据的处理方法可以实现提高HTTP请求数据的处理效率的技术效果；因此，该HTTP请求数据的处理方法可实现提高WAF设备对于HTTP请求数据的处理能力。
进一步地，所述对所述HTTP客户端请求数据进行安全检测，生成安全检测结果的步骤，包括：
对所述HTTP客户端请求数据进行协议解析，生成协议解析数据；
根据预设安全规则对所述协议解析数据进行检测，生成所述安全检测结果。
在上述实现过程中，在对HTTP客户端请求数据进行进一步处理(例如：转发)前，首先根据预设安全规则对协议解析数据进行检测，可判断该HTTP客户端请求数据是否为安全的数据。
进一步地，在所述转发所述HTTP客户端请求数据至目标服务器的步骤之前，还包括：
根据所述查询结果判断所述URL信息是否存储于所述预设URL缓存数据库；
若否，跳转至所述转发所述HTTP客户端请求数据至目标服务器的步骤；
若是，判断所述URL信息是否过期；
若否，将忽略检测标记添加至所述HTTP客户端请求数据；
若是，在所述预设URL缓存数据库中移除所述URL信息。
在上述实现过程中，通过查询结果以及判断URL信息是否过期，可以判断HTTP客户端请求数据是否为重复的请求数据；若HTTP客户端请求数据为重复的请求数据，则添加忽略检测标记；从而在下一步处理时，可以根据HTTP客户端请求数据是否包括忽略检测标记来判断是否忽略后续的HTTP应答数据的响应处理。
进一步地，所述根据所述查询结果对所述HTTP应答数据执行以下处理中的一种：忽略所述HTTP应答数据的安全检测处理；对所述HTTP应答数据进行安全检测处理，并将所述URL信息更新至所述预设URL缓存数据库的步骤，包括：
判断所述HTTP客户端请求数据是否有所述忽略检测标记；
若是，执行所述忽略所述HTTP应答数据的安全检测处理的步骤；
若否，对所述HTTP应答数据进行安全检测并判断所述HTTP应答数据是否存在攻击；
若是，跳转至所述阻断所述HTTP客户端请求数据的步骤：
若否，执行所述将所述URL信息更新至所述预设URL缓存数据库的步骤。
在上述实现过程中，若该HTTP客户端请求数据有忽略检测标记，判定为重复的请求数据，可直接忽略后续的HTTP应答数据的响应处理；若该HTTP客户端请求数据没有忽略检测标记，则对该HTTP客户端请求数据对应的HTTP应答数据进行安全检测，保证其安全性之后再对其转发。
进一步地，在获取HTTP客户端请求数据，所述HTTP客户端请求数据包括URL信息的步骤之前，还包括：
建立所述预设URL缓存数据库。
在上述实现过程中，预设URL缓存数据库根据历史HTTP客户端请求数据建立；在具体的处理过程中，该预设URL缓存数据库进行实时更新。
进一步地，所述根据所述查询结果对所述HTTP应答数据执行以下处理中的一种：忽略所述HTTP应答数据的安全检测处理；对所述HTTP应答数据进行安全检测处理，并将所述URL信息更新至所述预设URL缓存数据库的步骤之后，还包括：
转发所述HTTP应答数据至目标客户端。
第二方面，本申请实施例提供了一种HTTP请求数据的处理系统，包括：
获取模块，用于获取HTTP客户端请求数据，所述HTTP客户端请求数据包括URL信息；
安全检测模块，用于对所述HTTP客户端请求数据进行安全检测，生成安全检测结果；
安全判断模块，用于根据所述安全检测结果判断所述HTTP客户端请求数据是否存在攻击；
阻断模块，用于若所述HTTP客户端请求数据存在攻击，则阻断所述HTTP客户端请求数据；
查询模块，用于若所述HTTP客户端请求数据不存在攻击，根据预设URL缓存数据库查询所述HTTP客户端请求数据的URL信息，生成查询结果；
转发模块，用于转发所述HTTP客户端请求数据至目标服务器，所述目标服务器对所述HTTP客户端请求数据进行应答并生成HTTP应答数据；
执行模块，用于根据所述查询结果对所述HTTP应答数据执行以下处理中的一种：忽略所述HTTP应答数据的安全检测处理；对所述HTTP应答数据进行安全检测处理，并将所述URL信息更新至所述预设URL缓存数据库。
进一步地，所述安全检测模块包括：
协议解析单元，用于对所述HTTP客户端请求数据进行协议解析，生成协议解析数据；
安全检测单元，用于根据预设安全规则对所述协议解析数据进行检测，生成所述安全检测结果。
进一步地，所述HTTP请求数据的处理系统还包括：
存储判断模块，用于根据所述查询结果判断所述URL信息是否存储于所述预设URL缓存数据库；
若所述URL信息没有存储于所述预设URL缓存数据库，跳转至所述转发所述HTTP客户端请求数据至目标服务器的步骤；
过期判断模块，用于若所述URL信息存储于所述预设URL缓存数据库，判断所述URL信息是否过期；
若否，将忽略检测标记添加至所述HTTP客户端请求数据；
若是，在所述预设URL缓存数据库中移除所述URL信息。
进一步地，所述执行模块包括：
忽略标记判断单元，用于判断所述HTTP客户端请求数据是否有所述忽略检测标记；
忽略单元，用于若是，执行所述忽略所述HTTP应答数据的安全检测处理的步骤；
响应解析数据安全判断单元，用于若否，对所述HTTP应答数据进行安全检测并判断所述HTTP应答数据是否存在攻击；
若是，跳转至所述阻断所述HTTP客户端请求数据的步骤：
更新单元，用于若否，执行所述将所述URL信息更新至所述预设URL缓存数据库的步骤。
进一步地，所述HTTP请求数据的处理系统还包括：
缓存建立模块，用于建立所述预设URL缓存数据库。
进一步地，所述转发模块还用于转发所述HTTP应答数据至目标客户端。
第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种HTTP请求数据的处理方法流程示意图；
图2为本申请实施例提供的另一种HTTP请求数据的处理方法的流程示意图；
图3为本申请实施例提供的HTTP请求数据的处理系统的结构框图；
图4为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供了一种HTTP请求数据的处理方法、系统，电子设备及计算机可读存储介质，可以应用于WAF对请求报文的检测及处理过程中；该HTTP请求数据的处理方法将获取的HTTP请求数据进行安全检测，当一个HTTP请求数据的事务处理完毕之后，如果该HTTP请求数据没有检测到攻击，则判断此HTTP请求数据是否可以缓存，如果该HTTP请求数据可以缓存，则将该请求数据的URL信息更新至预设URL缓存数据库中；从而，当有后续的HTTP客户端请求数据到来时，在经过安全检测后，查询后续的HTTP客户端请求数据的URL信息是否在预设缓存数据库中，如果在，则可以忽略该后续的HTTP应答数据的响应处理；从而，该HTTP请求数据的处理方法可以实现提高HTTP请求数据的处理效率的技术效果；因此，该HTTP请求数据的处理方法可实现提高WAF设备对于HTTP请求数据的处理能力。
示例性地，本申请实施例提供的HTTP请求数据，是指HTTP事务的全部数据；一般地，HTTP请求数据通常用HTTP请求或事务(transcation)来表示一次完整的HTTP交互过程(请求+应答)，包括HTTP请求方向数据(即HTTP客户端请求数据)和HTTP应答方向数据(即HTTP应答数据)两个方向的单侧数据。
请参见图1，图1本申请实施例提供的一种HTTP请求数据的处理方法流程示意图，该HTTP请求数据的处理方法包括：
S100：获取HTTP客户端请求数据，HTTP客户端请求数据包括URL信息。
示例性地，该HTTP客户端请求数据的处理方法应用于WAF防护站点(即WAF设备)，WAF防护站点按照协议、源IP、源端口、目的IP、目的端口五元组进行重组，把该连接上的应用层HTTP请求数据(HTTP报文)进行协议解析，然后进行安全检测。
S200：对HTTP客户端请求数据进行安全检测，生成安全检测结果。
S300：根据安全检测结果判断HTTP客户端请求数据是否存在攻击。
S400：若HTTP客户端请求数据存在攻击，则阻断HTTP客户端请求数据。
示例性地，WAF防护站点对HTTP客户端请求数据进行规则检测，如果检测到该HTTP客户端请求数据存在攻击，则阻断该HTTP客户端请求数据；如果没有检测到该HTTP客户端请求数据存在攻击，则说明该HTTP客户端请求数据安全，可以进行下一步处理；从而，通过S200-S400实现WAF防护站点抵御恶意攻击请求的功能。
S500：若HTTP客户端请求数据不存在攻击，根据预设URL缓存数据库查询HTTP客户端请求数据的URL信息，生成查询结果。
S600：转发HTTP客户端请求数据至目标服务器，目标服务器对HTTP客户端请求数据进行应答并生成HTTP应答数据。
示例性地，预设URL缓存数据库为事前建立的URL缓存，存储有WAF防护站点之前处理过的历史HTTP请求数据的URL信息；若查询结果为预设URL缓存数据库中存储有该HTTP请求数据的URL信息，则说明该HTTP请求数据为重复的响应数据。
S700：根据查询结果对HTTP应答数据执行以下处理中的一种：忽略HTTP应答数据的安全检测处理；对HTTP应答数据进行安全检测处理，并将URL信息更新至预设URL缓存数据库。
示例性地，S700之后，转发该HTTP应答数据至目标客户端。
示例性地，根据查询结果可以判断HTTP应答数据是否为重复的响应数据，若是，则可以忽略该HTTP应答数据的安全检测处理，避免了大量重复的响应占用WAF防护站点的处理器和内存资源，有效降低网络延迟；若否，则对该HTTP应答数据进行正常响应及转发，并将该HTTP客户端请求数据的URL信息更新至预设URL缓存数据库。
可选地，在将URL信息更新至预设URL缓存数据库的步骤之前，还需要检测HTTP请求数据的URL信息是否可以缓存；对于不可缓存的响应，则跳过将URL信息更新至预设URL缓存数据库的步骤，直接结束处理。
在一些实施方式中，该HTTP请求数据的处理方法将获取的HTTP请求数据进行安全检测，当一个HTTP请求数据的事务处理完毕之后，如果该HTTP请求数据没有检测到攻击，则判断此HTTP请求数据是否可以缓存，如果该HTTP请求数据可以缓存，则将该请求数据的URL信息更新至预设URL缓存数据库中；从而，当有后续的HTTP客户端请求数据到来时，在经过安全检测后，查询后续的HTTP客户端请求数据的URL信息是否在预设缓存数据库中，如果在，则可以忽略该后续的HTTP应答数据的响应处理；从而，该HTTP请求数据的处理方法可以实现提高HTTP请求数据的处理效率的技术效果；因此，该HTTP请求数据的处理方法可实现提高WAF设备对于HTTP请求数据的处理能力。
请参见图2，图2为本申请实施例提供的另一种HTTP请求数据的处理方法的流程示意图。
示例性地，S200：对HTTP客户端请求数据进行安全检测，生成安全检测结果的步骤，包括：
S210：对HTTP客户端请求数据进行协议解析，生成协议解析数据；
S220：根据预设安全规则对协议解析数据进行检测，生成安全检测结果。
示例性地，在对HTTP客户端请求数据进行进一步处理(例如：转发)前，首先根据预设安全规则对协议解析数据进行检测，可判断该HTTP客户端请求数据是否为安全的HTTP请求。
示例性地，在S600：转发HTTP客户端请求数据至目标服务器的步骤之前，还包括：
S511：根据查询结果判断URL信息是否存储于预设URL缓存数据库；
若否，跳转至S600；
S512：若是，判断URL信息是否过期；
S513：若否，将忽略检测标记添加至HTTP客户端请求数据；
S514：若是，在预设URL缓存数据库中移除URL信息。
示例性地，通过查询结果以及判断URL信息是否过期，可以判断HTTP客户端请求数据是否为重复的请求数据；若HTTP客户端请求数据为重复的请求数据，则添加忽略检测标记；从而在下一步处理时，可以根据HTTP客户端请求数据是否包括忽略检测标记来判断是否忽略后续的HTTP应答数据的响应处理。
示例性地，在判断URL信息已过期时，虽然该URL信息可以在预设URL缓存数据库中查询到，但是由于超过预设时间，仍判定该HTTP客户端请求数据不属于重复的请求数据。
在一些实施方式中，在HTTP客户端请求数据或历史HTTP客户端请求数据存储中的URL信息存储至预设URL缓存数据库时，会记录对应的时间信息；从而，通过该时间信息可判断URL信息是否超过预设时间，若超过预设时间，则说明该URL信息已过期，该HTTP客户端请求数据不是重复的请求数据。
示例性地，S700：根据查询结果对HTTP应答数据执行以下处理中的一种：忽略HTTP应答数据的安全检测处理；对HTTP应答数据进行安全检测处理，并将URL信息更新至预设URL缓存数据库的步骤，包括：
S710：判断HTTP客户端请求数据是否有忽略检测标记；
S720：若是，执行忽略HTTP应答数据的安全检测处理的步骤；
S730：若否，对HTTP应答数据进行安全检测并判断HTTP应答数据是否存在攻击；
若是，跳转至S400：
S740：若否，执行将URL信息更新至预设URL缓存数据库的步骤。
示例性地，若该HTTP客户端请求数据有忽略检测标记，判定为重复的请求数据，可直接忽略后续的HTTP应答数据的响应处理；若该HTTP客户端请求数据没有忽略检测标记，则对该HTTP客户端请求数据对应的HTTP应答数据进行安全检测(安全检测处理)，保证其安全性之后再对其转发。
示例性地，在S100：获取HTTP客户端请求数据，HTTP客户端请求数据包括URL信息的步骤之前，还包括：
S101：建立预设URL缓存数据库。
示例性地，预设URL缓存数据库根据历史HTTP客户端请求数据建立；在具体的处理过程中，该预设URL缓存数据库进行实时更新。
示例性地，S700：根据查询结果对HTTP应答数据执行以下处理中的一种：忽略HTTP应答数据的安全检测处理；对HTTP应答数据进行安全检测处理，并将URL信息更新至预设URL缓存数据库的步骤之后，还包括：
S800：转发HTTP应答数据至目标客户端。
示例性地，S740：将URL信息更新至预设URL缓存数据库的步骤之前，还包括：
S731：检测URL信息是否可以缓存；
若可以缓存，跳转至S740；
若不可以缓存，跳转至S800。
在一些实施场景中，本申请实施例提供的HTTP请求数据的处理方法通过HTTP缓存协议忽略相同响应的处理，从而提升WAF设备的处理能力；结合图1和图2，该HTTP请求数据的处理方法的具体实施例中，利用服务器返回的缓存指令响应头，将服务器响应(HTTP应答数据)的规则检测结果进行缓存，减少相同响应内容的规则检测，来提升设备的处理能力；具体步骤流程示例如下：
第一步：为WAF防护站点创建一个以URL为key的缓存(即预设URL缓存数据库)；
第二步：WAF防护站点的进程开始对经过设备的HTTP报文(HTTP请求数据)进行TCP流重组、HTTP协议解析及安全检测，当一个HTTP事务处理完毕之后，如果该HTTP事务没有检测到攻击，判断此HTTP事务是否可以缓存，如果该HTTP事务可以缓存，则将对应的URL信息加入到第一步创建的缓存中；
第三步：当有后续的HTTP请求数据到来时，请求处理完毕后，查询对应的URL信息是否在预设URL缓存数据库中，如果在，则忽略该请求的响应方向处理。
程序对HTTP请求数据的具体处理流程示例如下：
(1)解析HTTP请求数据，然后根据安全规则检测，如果检测到攻击，则阻断。如果未检测到攻击，则表明该HTTP请求数据正常，则在预设URL缓存数据库中查询对应的URL信息。
(2)如果该请求在不在预设URL缓存数据库中，则正常转发，进行响应数据处理。
(3)如果该URL信息在预设URL缓存数据库中，并且URL信息未过期且为存在攻击响应，则阻断该HTTP请求数据；
(4)如果该URL信息在预设URL缓存数据库中，并且未过期，则为该预设URL缓存数据库添加忽略响应方向规则检测标记；
(5)如果该URL信息在预设URL缓存数据库中，并且已过期，从预设URL缓存数据库中移除该URL信息，正常转发该HTTP请求数据，进行响应数据处理；
(6)解析HTTP请求数据的应答头，如果该HTTP请求数据存在忽略响应方向规则检测标记，则直接转发，否则进行规则检测；
(7)解析HTTP请求数据的应答体，如果该HTTP请求数据存在忽略响应方向规则检测标记，则直接转发，否则进行规则检测；
(8)当HTTP请求数据的全部响应完成检测，判断该HTTP请求数据的响应头字段，确认是否可缓存，如果允许缓存，将该URL信息添加到预设URL缓存数据库中。
示例性地，本申请实施例提供的HTTP请求数据的处理方法与传统方法相比，通过添加URL缓存，缓存已经检测的正常HTTP响应数据的处理结果，忽略相同后续响应的规则处理，提升WAF设备处理能力；从而，当一个用户首次访问HTTP站点的页面之后，该响应的结果被缓存，后续相同HTTP请求的响应将被跳过规则检测，提升WAF设备整体处理能力。
请参见图3，图3为本申请实施例提供的HTTP请求数据的处理系统的结构框图，该HTTP请求数据的处理系统包括：
获取模块100，用于获取HTTP客户端请求数据，HTTP客户端请求数据包括URL信息；
安全检测模块200，用于对HTTP客户端请求数据进行安全检测，生成安全检测结果；
安全判断模块300，用于根据安全检测结果判断HTTP客户端请求数据是否存在攻击；
阻断模块400，用于若HTTP客户端请求数据存在攻击，则阻断HTTP客户端请求数据；
查询模块500，用于若HTTP客户端请求数据不存在攻击，根据预设URL缓存数据库查询HTTP客户端请求数据的URL信息，生成查询结果；
转发模块600，用于转发HTTP客户端请求数据至目标服务器，目标服务器对HTTP客户端请求数据进行应答并生成HTTP应答数据；
执行模块700，用于根据查询结果对HTTP应答数据执行以下处理中的一种：忽略HTTP应答数据的安全检测处理；对HTTP应答数据进行安全检测处理，并将URL信息更新至预设URL缓存数据库。
示例性地，安全检测模块200包括：
协议解析单元，用于对HTTP客户端请求数据进行协议解析，生成协议解析数据；
安全检测单元，用于根据预设安全规则对协议解析数据进行检测，生成安全检测结果。
示例性地，HTTP请求数据的处理系统还包括：
存储判断模块，用于根据查询结果判断URL信息是否存储于预设URL缓存数据库；
若URL信息没有存储于预设URL缓存数据库，跳转至转发HTTP客户端请求数据至目标服务器的步骤；
过期判断模块，用于若URL信息存储于预设URL缓存数据库，判断URL信息是否过期；
若否，将忽略检测标记添加至HTTP客户端请求数据；
若是，在预设URL缓存数据库中移除URL信息。
示例性地，执行模块700包括：
忽略标记判断单元，用于判断HTTP客户端请求数据是否有忽略检测标记；
忽略单元，用于若是，执行忽略HTTP应答数据的安全检测处理的步骤；
响应解析数据安全判断单元，用于若否，对HTTP应答数据进行安全检测并判断HTTP应答数据是否存在攻击；
若是，跳转至阻断HTTP客户端请求数据的步骤：
更新单元，用于若否，执行将URL信息更新至预设URL缓存数据库的步骤。
示例性地，HTTP请求数据的处理系统还包括：
缓存建立模块，用于建立预设URL缓存数据库。
示例性地，所述转发模块还用于转发HTTP应答数据至目标客户端。
应理解，图3所示的HTTP请求数据的处理系统于图1至图2所示的方法实施例相对应，为避免重复，此处不再赘述。
本申请还提供一种电子设备，请参见图4，图4为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器510、通信接口520、存储器530和至少一个通信总线540。其中，通信总线540用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口520用于与其他节点设备进行信令或数据的通信。处理器510可以是一种集成电路芯片，具有信号的处理能力。
上述的处理器510可以是通用处理器，包括中央处理器(CPU，Central ProcessingUnit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。
存储器530可以是，但不限于，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read Only Memory)，可编程只读存储器(PROM，Programmable Read-OnlyMemory)，可擦除只读存储器(EPROM，Erasable Programmable Read-Only Memory)，电可擦除只读存储器(EEPROM，Electric Erasable Programmable Read-Only Memory)等。存储器530中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器510执行时，电子设备可以执行上述图1至图2方法实施例涉及的各个步骤。
可选地，电子设备还可以包括存储控制器、输入输出单元。
所述存储器530、存储控制器、处理器510、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线540实现电性连接。所述处理器510用于执行存储器530中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。
可以理解，图4所示的结构仅为示意，所述电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。
本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种HTTP请求数据的处理方法，其特征在于，包括：
获取HTTP客户端请求数据，所述HTTP客户端请求数据包括URL信息；
对所述HTTP客户端请求数据进行安全检测，生成安全检测结果；
根据所述安全检测结果判断所述HTTP客户端请求数据是否存在攻击；
若所述HTTP客户端请求数据存在攻击，则阻断所述HTTP客户端请求数据；
若所述HTTP客户端请求数据不存在攻击，根据预设URL缓存数据库查询所述HTTP客户端请求数据的URL信息，生成查询结果；
转发所述HTTP客户端请求数据至目标服务器，所述目标服务器对所述HTTP客户端请求数据进行应答并生成HTTP应答数据；
根据所述查询结果对所述HTTP应答数据执行以下处理中的一种：忽略所述HTTP应答数据的安全检测处理；对所述HTTP应答数据进行安全检测处理，并将所述URL信息更新至所述预设URL缓存数据库。
2.根据权利要求1所述的HTTP请求数据的处理方法，其特征在于，所述对所述HTTP客户端请求数据进行安全检测，生成安全检测结果的步骤，包括：
对所述HTTP客户端请求数据进行协议解析，生成协议解析数据；
根据预设安全规则对所述协议解析数据进行检测，生成所述安全检测结果。
3.根据权利要求1所述的HTTP请求数据的处理方法，其特征在于，在所述转发所述HTTP客户端请求数据至目标服务器的步骤之前，还包括：
根据所述查询结果判断所述URL信息是否存储于所述预设URL缓存数据库；
若否，跳转至所述转发所述HTTP客户端请求数据至目标服务器的步骤；
若是，判断所述URL信息是否过期；
若否，将忽略检测标记添加至所述HTTP客户端请求数据；
若是，在所述预设URL缓存数据库中移除所述URL信息。
4.根据权利要求3所述的HTTP请求数据的处理方法，其特征在于，所述根据所述查询结果对所述HTTP应答数据执行以下处理中的一种：忽略所述HTTP应答数据的安全检测处理；对所述HTTP应答数据进行安全检测处理，并将所述URL信息更新至所述预设URL缓存数据库的步骤，包括：
判断所述HTTP客户端请求数据是否有所述忽略检测标记；
若是，执行所述忽略所述HTTP应答数据的安全检测处理的步骤；
若否，对所述HTTP应答数据进行安全检测并判断所述HTTP应答数据是否存在攻击；
若是，跳转至所述阻断所述HTTP客户端请求数据的步骤：
若否，执行所述将所述URL信息更新至所述预设URL缓存数据库的步骤。
5.根据权利要求1所述的HTTP请求数据的处理方法，其特征在于，在获取HTTP客户端请求数据，所述HTTP客户端请求数据包括URL信息的步骤之前，还包括：
建立所述预设URL缓存数据库。
6.根据权利要求1所述的HTTP请求数据的处理方法，其特征在于，所述根据所述查询结果对所述HTTP应答数据执行以下处理中的一种：忽略所述HTTP应答数据的安全检测处理；对所述HTTP应答数据进行安全检测处理，并将所述URL信息更新至所述预设URL缓存数据库的步骤之后，还包括：
转发所述HTTP应答数据至目标客户端。
7.一种HTTP请求数据的处理系统，其特征在于，包括：
获取模块，用于获取HTTP客户端请求数据，所述HTTP客户端请求数据包括URL信息；
安全检测模块，用于对所述HTTP客户端请求数据进行安全检测，生成安全检测结果；
安全判断模块，用于根据所述安全检测结果判断所述HTTP客户端请求数据是否存在攻击；
阻断模块，用于若所述HTTP客户端请求数据存在攻击，则阻断所述HTTP客户端请求数据；
查询模块，用于若所述HTTP客户端请求数据不存在攻击，根据预设URL缓存数据库查询所述HTTP客户端请求数据的URL信息，生成查询结果；
转发模块，用于转发所述HTTP客户端请求数据至目标服务器，所述目标服务器对所述HTTP客户端请求数据进行应答并生成HTTP应答数据；
执行模块，用于根据所述查询结果对所述HTTP应答数据执行以下处理中的一种：忽略所述HTTP应答数据的安全检测处理；对所述HTTP应答数据进行安全检测处理，并将所述URL信息更新至所述预设URL缓存数据库。
8.根据权利要求7所述的HTTP请求数据的处理系统，其特征在于，所述安全检测模块包括：
协议解析单元，用于对所述HTTP客户端请求数据进行协议解析，生成协议解析数据；
安全检测单元，用于根据预设安全规则对所述协议解析数据进行检测，生成所述安全检测结果。
9.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的HTTP请求数据的处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至6任一项所述的HTTP请求数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111651266.9A CN114285835B (zh) | 2021-12-30 | 2021-12-30 | 一种http请求数据的处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111651266.9A CN114285835B (zh) | 2021-12-30 | 2021-12-30 | 一种http请求数据的处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114285835A true CN114285835A (zh) | 2022-04-05 |
| CN114285835B CN114285835B (zh) | 2024-04-19 |
Family
ID=80878816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111651266.9A Active CN114285835B (zh) | 2021-12-30 | 2021-12-30 | 一种http请求数据的处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114285835B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115941363A (zh) * | 2023-03-08 | 2023-04-07 | 广东广宇科技发展有限公司 | 一种基于http协议的网络通信安全分析方法 |
| CN116055187A (zh) * | 2023-01-28 | 2023-05-02 | 北京亿赛通科技发展有限责任公司 | 一种网关的快速动态检测方法、装置、网关设备及存储介质 |
| CN116521745A (zh) * | 2023-07-04 | 2023-08-01 | 北京长亭科技有限公司 | 一种缓存方法以及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160065576A1 (en) * | 2014-09-02 | 2016-03-03 | Akamai Technologies, Inc. | System and methods for leveraging an object cache to monitor network traffic |
| CN105959313A (zh) * | 2016-06-29 | 2016-09-21 | 杭州迪普科技有限公司 | 一种防范http代理攻击的方法及装置 |
| CN108111548A (zh) * | 2018-03-08 | 2018-06-01 | 华东师范大学 | 一种域名系统攻击检测方法、装置及系统 |
| CN108549814A (zh) * | 2018-03-24 | 2018-09-18 | 西安电子科技大学 | 一种基于机器学习的sql注入检测方法、数据库安全系统 |
| US10505985B1 (en) * | 2016-04-13 | 2019-12-10 | Palo Alto Networks, Inc. | Hostname validation and policy evasion prevention |
| CN111988280A (zh) * | 2020-07-24 | 2020-11-24 | 网宿科技股份有限公司 | 服务器与请求处理方法 |
| CN112153001A (zh) * | 2020-08-21 | 2020-12-29 | 杭州安恒信息技术股份有限公司 | 基于waf的网络通信方法、系统、电子装置和存储介质 |
| CN112202717A (zh) * | 2020-09-02 | 2021-01-08 | 深信服科技股份有限公司 | 一种http请求的处理方法、装置、服务器及存储介质 |
| CN112491883A (zh) * | 2020-11-27 | 2021-03-12 | 杭州安恒信息安全技术有限公司 | 一种检测web攻击的方法、装置、电子装置和存储介质 |
| US20210306373A1 (en) * | 2020-03-31 | 2021-09-30 | Fortinet, Inc. | Hardware acceleration device for denial-of-service attack identification and mitigation |
| CN113542292A (zh) * | 2021-07-21 | 2021-10-22 | 江南信安（北京）科技有限公司 | 基于dns和ip信誉数据的内网安全防护方法及系统 |
-
2021
- 2021-12-30 CN CN202111651266.9A patent/CN114285835B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160065576A1 (en) * | 2014-09-02 | 2016-03-03 | Akamai Technologies, Inc. | System and methods for leveraging an object cache to monitor network traffic |
| US10505985B1 (en) * | 2016-04-13 | 2019-12-10 | Palo Alto Networks, Inc. | Hostname validation and policy evasion prevention |
| CN105959313A (zh) * | 2016-06-29 | 2016-09-21 | 杭州迪普科技有限公司 | 一种防范http代理攻击的方法及装置 |
| CN108111548A (zh) * | 2018-03-08 | 2018-06-01 | 华东师范大学 | 一种域名系统攻击检测方法、装置及系统 |
| CN108549814A (zh) * | 2018-03-24 | 2018-09-18 | 西安电子科技大学 | 一种基于机器学习的sql注入检测方法、数据库安全系统 |
| US20210306373A1 (en) * | 2020-03-31 | 2021-09-30 | Fortinet, Inc. | Hardware acceleration device for denial-of-service attack identification and mitigation |
| CN111988280A (zh) * | 2020-07-24 | 2020-11-24 | 网宿科技股份有限公司 | 服务器与请求处理方法 |
| CN112153001A (zh) * | 2020-08-21 | 2020-12-29 | 杭州安恒信息技术股份有限公司 | 基于waf的网络通信方法、系统、电子装置和存储介质 |
| CN112202717A (zh) * | 2020-09-02 | 2021-01-08 | 深信服科技股份有限公司 | 一种http请求的处理方法、装置、服务器及存储介质 |
| CN112491883A (zh) * | 2020-11-27 | 2021-03-12 | 杭州安恒信息安全技术有限公司 | 一种检测web攻击的方法、装置、电子装置和存储介质 |
| CN113542292A (zh) * | 2021-07-21 | 2021-10-22 | 江南信安（北京）科技有限公司 | 基于dns和ip信誉数据的内网安全防护方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116055187A (zh) * | 2023-01-28 | 2023-05-02 | 北京亿赛通科技发展有限责任公司 | 一种网关的快速动态检测方法、装置、网关设备及存储介质 |
| CN116055187B (zh) * | 2023-01-28 | 2023-06-16 | 北京亿赛通科技发展有限责任公司 | 一种网关的快速动态检测方法、装置、网关设备及存储介质 |
| CN115941363A (zh) * | 2023-03-08 | 2023-04-07 | 广东广宇科技发展有限公司 | 一种基于http协议的网络通信安全分析方法 |
| CN115941363B (zh) * | 2023-03-08 | 2023-08-01 | 广东广宇科技发展有限公司 | 一种基于http协议的网络通信安全分析方法 |
| CN116521745A (zh) * | 2023-07-04 | 2023-08-01 | 北京长亭科技有限公司 | 一种缓存方法以及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114285835B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114285835A (zh) | 一种http请求数据的处理方法及系统 | |
| Rathore et al. | Real time intrusion detection system for ultra-high-speed big data environments | |
| CN109992989B (zh) | 使用抽象语法树的用于查询注入检测的系统 | |
| US20200322362A1 (en) | Deep-learning-based intrusion detection method, system and computer program for web applications | |
| US10855700B1 (en) | Post-intrusion detection of cyber-attacks during lateral movement within networks | |
| JP6397932B2 (ja) | エンドポイントからのネットワークリクエストに言語分析を適用するマルウェアに感染しているマシンを識別するためのシステム | |
| CN107465648B (zh) | 异常设备的识别方法及装置 | |
| CN107634959B (zh) | 基于汽车的防护方法、装置及系统 | |
| US8775604B2 (en) | Distributed frequency data collection via indicator embedded with DNS request | |
| US8191137B2 (en) | System and method for identification and blocking of malicious use of servers | |
| US20070006305A1 (en) | Preventing phishing attacks | |
| US20160112440A1 (en) | Methods and devices for identifying the presence of malware in a network | |
| EP3646218A1 (en) | Cyber-security system and method for weak indicator detection and correlation to generate strong indicators | |
| CN110636068B (zh) | 在cc攻击防护中识别未知cdn节点的方法以及装置 | |
| CN112019516B (zh) | 一种共享文件的访问控制方法、装置、设备及存储介质 | |
| US20190317968A1 (en) | Method, system and computer program products for recognising, validating and correlating entities in a communications darknet | |
| CN113518077A (zh) | 一种恶意网络爬虫检测方法、装置、设备及存储介质 | |
| KR101917996B1 (ko) | 악성 스크립트 탐지 방법 및 장치 | |
| CN112671736B (zh) | 一种攻击流量确定方法、装置、设备及存储介质 | |
| CN116938600B (zh) | 威胁事件的分析方法、电子设备及存储介质 | |
| CN114095264A (zh) | 一种蜜罐系统的高交互溯源方法、装备及硬件 | |
| US10757118B2 (en) | Method of aiding the detection of infection of a terminal by malware | |
| JP2005316779A (ja) | 不正アクセス検出装置ならびに検知ルール生成装置、検知ルール生成方法および検知ルール生成プログラム | |
| CN111131166A (zh) | 一种用户行为预判方法及相关设备 | |
| CN115913679A (zh) | 一种基于零信任网关的访问控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |