CN113626736B - Url特征学习方法、装置、电子设备及计算机可读存储介质 - Google Patents
Url特征学习方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113626736B CN113626736B CN202110915584.5A CN202110915584A CN113626736B CN 113626736 B CN113626736 B CN 113626736B CN 202110915584 A CN202110915584 A CN 202110915584A CN 113626736 B CN113626736 B CN 113626736B
- Authority
- CN
- China
- Prior art keywords
- dynamic
- url
- dynamic characteristic
- characteristic table
- table item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004044 response Effects 0.000 claims abstract description 101
- 230000009471 action Effects 0.000 claims abstract description 48
- 230000032683 aging Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 abstract description 15
- 230000002159 abnormal effect Effects 0.000 abstract description 6
- 230000000903 blocking effect Effects 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供一种URL特征学习方法、装置、电子设备及计算机可读存储介质，涉及通信技术领域。所述方法包括：在URL特征自动学习状态下，基于请求报文和/或响应报文对动态特征表项进行建立或更新，所述动态特征表项包括会话标识字段、原始URL字段和重定向URL字段；在所述动态特征表项建立成功后，基于所述动态特征表项的所述原始URL字段生成动态特征；基于所述动态特征对所述原始URL字段对应的访问请求执行预设动作，并删除所述动态特征表项。上述方法结合静态特征库生成动态特征，扩大了特征库范围，提高了URL特征的识别率，从而可以有效识别和阻断HTTP通信异常时序情况下的URL访问。
Description
技术领域
本申请涉及通信技术领域，具体而言，涉及一种URL特征学习方法、装置、电子设备及计算机可读存储介质。
背景技术
当前主流的通信安全设备，大多通过特征库来对网络中的应用进行定义，识别设备通过加载特征库，并将流经识别设备的数据进行相关处理，从而达到应用识别的目的。具体地，设备对于流经设备的HTTP(Hyper Text Transfer Protocol，超文本传输协议)请求或者HTTPS(Hyper Text Transfer Protocol over SecureSocket Layer，超文本传输安全协议)请求进行协议识别，并将提取的特征和特征库中的特征进行匹配，最终对识别结果执行相关动作。
在该处理过程中，特征识别依赖特征库，且依赖请求报文，若识别设备先收到响应报文，后收到请求报文，就有可能会因为错过了报文阻断的时机，导致无法达到URL(Uniform Resource Locator，统一资源定位符)识别和阻断的效果。
发明内容
有鉴于此，本申请实施例的目的在于提供一种URL特征学习方法、装置、电子设备及计算机可读存储介质，以改善现有技术中存在的无法识别和阻断HTTP通信异常时序情况下的URL访问的问题。
本申请实施例提供了一种URL特征学习方法，所述方法包括：在URL特征自动学习状态下，基于请求报文和/或响应报文对动态特征表项进行建立或更新，所述动态特征表项包括会话标识字段、原始URL字段和重定向URL字段；在所述动态特征表项建立成功后，基于所述动态特征表项的所述原始URL字段生成动态特征；基于所述动态特征对所述原始URL字段对应的访问请求执行预设动作，并删除所述动态特征表项。
在上述实现方式中，基于请求报文和/或响应报文对动态特征表项进行建立或更新，再基于动态特征表项生成动态特征以继承原始URL的属性，对动态特征的重定向URL执行与原始URL相同的策略动作，即对原始URL执行预设动作，则对重定向的URL也同样执行预设动作，从而实现了自动扩大特征库范围，提高了URL特征的识别率，可以有效识别和阻断HTTP通信异常时序情况下的URL访问。
可选地，基于请求报文对动态特征表项进行建立或更新，包括：在所述请求报文的请求会话识别成功后，放行所述请求报文；对所述请求会话进行策略配置，以使所述请求会话对应的动作为丢弃所述请求会话的后续报文；检测是否存在与所述请求会话的请求会话标识对应的动态特征表项；在不存在与所述请求会话标识对应的动态特征表项时，生成所述请求报文对应的动态特征表项，所述请求报文对应的动态特征表项中的所述会话标识字段为所述请求会话标识，所述原始URL字段为所述请求会话的URL，所述重定向URL字段为空；在存在与所述请求会话标识对应的动态特征表项时，将所述请求报文对应的动态特征表项的所述原始URL字段更新为所述请求会话的URL。
在上述实现方式中，基于请求会话标识进行动态特征表项的建立或更新，根据该请求会话的URL设置动态特征表项并将其重定向URL字段设置为空，为后续对响应报文的重定向报文提供动态特征表项基础。
可选地，基于响应报文对动态特征表项进行建立或更新，包括：在所述响应报文为重定向报文时，检测是否存在与所述响应报文的响应会话的响应会话标识对应的动态特征表项；在不存在与所述响应会话标识对应的动态特征表项时，生成所述响应报文对应的动态特征表项，所述响应报文对应的动态特征表项中的所述会话标识字段为所述响应会话标识，所述原始URL字段为空，所述重定向URL字段为所述响应会话的重定向URL；在存在与所述响应会话标识对应的动态特征表项时，所述响应报文对应的动态特征表项的所述原始URL字段更新为所述响应会话的URL。
在上述实现方式中，基于响应报文中重定向报文对动态特征表项进行更新，将表项的重定向URL字段设置为响应会话的重定向URL，通过动态特征表项来记录重定向报文，并对重定向报文和原始特征进行关联，从而实现对重定向之后的URL进行特征自动识别。
可选地，在所述动态特征表项建立成功后，基于所述动态特征表项的原始URL字段生成动态特征之前，所述方法还包括：基于所述动态特征表项的所述原始URL字段和所述重定向URL字段判断所述动态特征表项是否建立成功；所述原始URL字段和所述重定向URL字段均不为空时表示所述动态特征表项建立成功。
在上述实现方式中，原始URL字段和重定向URL字段均不为空表示请求报文存在对应的重定向报文，因此其表示动态特征表项建立成功，能够对重定向报文及其相关报文进行确定。
可选地，所述基于所述动态特征表项的所述原始URL字段生成动态特征，包括：基于所述动态特征表项的所述原始URL字段生成动态特征，所述动态特征继承所述动态特征表项的原始URL字段中的原始URL的所有属性，以在对所述动态特征表项的原始URL字段中的原始URL对应的访问请求执行预设动作时对所述动态特征表项的所述重定向URL字段中的重定向URL对应的访问请求也同样执行预设动作，并删除所述动态特征表项。
在上述实现方式中，基于动态特征表项的所述原始URL字段生成动态特征以使该动态特征继承原始URL字段的所有属性，将设备对原始URL字段执行策略动作施加于重定向URL字段对应的会话，实现动态特征库与静态特征库的结合。
可选地，所述方法还包括：在所述动态特征表项建立未成功后，在达到预设老化时间后删除所述动态特征表项。
在上述实现方式中，在达到预设老化时间后删除动态特征表项，避免持续占用设备资源。
可选地，所述动态特征加载在缓存中，并在重启后被删除。
在上述实现方式中，动态特征加载在缓存中，不做持久化动作，避免持续占用设备资源，同时提高了其更新频率，从而提高了动态特征的适应性。
本申请实施例提供了一种URL特征学习装置，所述装置包括：动态特征表项编辑模块，用于在URL特征自动学习状态下，基于请求报文和/或响应报文对动态特征表项进行建立或更新，所述动态特征表项包括会话标识字段、原始URL字段和重定向URL字段；动态特征生成模块，用于在所述动态特征表项建立成功后，基于所述动态特征表项的所述原始URL字段生成动态特征；动作执行模块，用于基于所述动态特征对所述原始URL字段对应的访问请求执行预设动作，并删除所述动态特征表项。
在上述实现方式中，基于请求报文和/或响应报文对动态特征表项进行建立或更新，再基于动态特征表项生成动态特征以继承原始URL的属性，对动态特征的重定向URL执行与原始URL相同的策略动作，即对原始URL执行预设动作，则对重定向的URL也同样执行预设动作，从而实现了自动扩大特征库范围，提高了URL特征的识别率，可以有效识别和阻断HTTP通信异常时序情况下的URL访问。
可选地，所述动态特征表项编辑模块具体用于：在所述请求报文的请求会话识别成功后，放行所述请求报文；对所述请求会话进行策略配置，以使所述请求会话对应的动作为丢弃所述请求会话的后续报文；检测是否存在与所述请求会话的请求会话标识对应的动态特征表项；在不存在与所述请求会话标识对应的动态特征表项时，生成所述请求报文对应的动态特征表项，所述请求报文对应的动态特征表项中的所述会话标识字段为所述请求会话标识，所述原始URL字段为所述请求会话的URL，所述重定向URL字段为空；在存在与所述请求会话标识对应的动态特征表项时，将所述请求报文对应的动态特征表项的所述原始URL字段更新为所述请求会话的URL。
在上述实现方式中，基于请求会话标识进行动态特征表项的建立或更新，根据该请求会话的URL设置动态特征表项并将其重定向URL字段设置为空，为后续对响应报文的重定向报文提供动态特征表项基础。
可选地，所述动态特征表项编辑模块具体用于：在所述响应报文为重定向报文时，检测是否存在与所述响应报文的响应会话的响应会话标识对应的动态特征表项；在不存在与所述响应会话标识对应的动态特征表项时，生成所述响应报文对应的动态特征表项，所述响应报文对应的动态特征表项中的所述会话标识字段为所述响应会话标识，所述原始URL字段为空，所述重定向URL字段为所述响应会话的重定向URL；在存在与所述响应会话标识对应的动态特征表项时，所述响应报文对应的动态特征表项的所述原始URL字段更新为所述响应会话的URL。
在上述实现方式中，基于响应报文中重定向报文对动态特征表项进行更新，将表项的重定向URL字段设置为响应会话的重定向URL，通过动态特征表项来记录重定向报文，并对重定向报文和原始特征进行关联，从而实现对重定向之后的URL进行特征自动识别。
可选地，所述URL特征学习装置还包括：表项建立成功判断模块，用于基于所述动态特征表项的所述原始URL字段和所述重定向URL字段判断所述动态特征表项是否建立成功；所述原始URL字段和所述重定向URL字段均不为空时表示所述动态特征表项建立成功。
在上述实现方式中，原始URL字段和重定向URL字段均不为空表示请求报文存在对应的重定向报文，因此其表示动态特征表项建立成功，能够对重定向报文及其相关报文进行确定。
可选地，所述动态特征生成模块具体用于：基于所述动态特征表项的所述原始URL字段生成动态特征，所述动态特征继承所述动态特征表项的原始URL字段中的原始URL的所有属性，以在对所述动态特征表项的原始URL字段中的原始URL对应的访问请求执行预设动作时对所述动态特征表项的所述重定向URL字段中的重定向URL对应的访问请求也同样执行预设动作，并删除所述动态特征表项。
在上述实现方式中，基于动态特征表项的所述原始URL字段生成动态特征以使该动态特征继承原始URL字段的所有属性，将设备对原始URL字段执行策略动作施加于重定向URL字段对应的会话，实现动态特征库与静态特征库的结合。
可选地，所述URL特征学习装置还包括：老化删除模块，用于在所述动态特征表项建立未成功后，在达到预设老化时间后删除所述动态特征表项。
在上述实现方式中，在达到预设老化时间后删除动态特征表项，避免持续占用设备资源。
可选地，所述动态特征加载在缓存中，并在重启后被删除。
在上述实现方式中，动态特征加载在缓存中，不做持久化动作，避免持续占用设备资源，同时提高了其更新频率，从而提高了动态特征的适应性。
本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种URL特征学习方法的流程示意图。
图2为本申请实施例提供的一种基于请求报文的动态特征表项处理步骤的流程示意图。
图3为本申请实施例提供的一种基于响应报文的动态特征表项处理步骤的流程示意图。
图4为本申请实施例提供的一种URL特征学习装置的模块示意图。
图标：20-URL特征学习装置；21-动态特征表项编辑模块；22-动态特征生成模块；23-动作执行模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
经本申请人研究发现，由于HTTP的访问存在一定的时序，但该时序不是必须的，对于服务器和客户端来说，在特定条件的收发报文完全取决于HTTP通信双方，而URL特征的识别又强依赖于时序。在该种情况下，HTTP通讯双方通过调整时序，就有可能避开被URL特征库识别的可能，最终导致URL特征库无效。
为了解决上述技术问题，本申请实施例提供了一种URL特征学习方法，首先对执行URL特征学习方法的设备进行说明，本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有程序指令，处理器读取并运行程序指令时，执行本实施例提供的URL特征学习方法中任一项方法中的步骤。
该电子设备可以是策略控制功能实体，例如策略与计费规则功能实体(Policyand Charging Rules Function,PCRF)或者策略判决功能实体(Policy Function,PF)或其他电子设备。
以浏览器和服务器之间的通信为例，策略控制功能实体设备分别与浏览器所属设备以及服务器通信连接，从而对浏览器和服务器之间的报文进行收发控制。
请参考图1，图1为本申请实施例提供的一种URL特征学习方法的流程示意图，该URL特征学习方法的具体步骤可以如下：
步骤S12：在URL特征自动学习状态下，基于请求报文和/或响应报文对动态特征表项进行建立或更新。
可选地，本实施例中的URL特征自动学习状态是可以开启或关闭的，例如设计一个动态学习功能开关，在动态学习功能开关开启时进入URL特征自动学习状态，在动态学习功能开关关闭时退出URL特征自动学习状态。
应当理解的是，在退出URL特征自动学习状态后，URL特征库的处理流程和现有实现一致，都是通过执行自学习策略，将学习结果保存在内存数据库，从而提高防护效率。
具体地，本实施例中的动态特征表项包括会话标识字段、原始URL字段和重定向URL字段。
可选地，本实施例中的会话标识字段等中的标识可以是通信协议中常用的ID(Identity Document)。
上述重定向URL字段用于表示重定向URL，重定向是通过各种方法将各种网络请求重新定个方向转到其它位置(如：网页重定向、域名的重定向、路由选择的变化也是对数据报文经由路径的一种重定向)，用于将用户从一个URL重新路由到另一个URL。原始URL是重定向前的URL，重定向URL则是重新路由指向的URL。
在动态学习功能开关开启时，请参考图2，图2为本申请实施例提供的一种基于请求报文的动态特征表项处理步骤的流程示意图。
步骤S121：在请求报文的请求会话识别成功后，放行请求报文。
策略控制功能实体对所有的HTTP请求报文进行应用识别，若识别会话成功，则放行该请求报文。
步骤S122：对请求会话进行策略配置，以使请求会话对应的动作为丢弃请求会话的后续报文。
通常地，策略配置会对某一特征(例如URL、互联网协议地址和端口号等)的报文会话配置对应的策略动作，以使设备在接收到符合该特征的报文时执行对应的策略动作，策略动作一般包括重定向、阻断和丢弃等。
则在对请求会话进行策略配置，将其对应的策略动作设置为丢弃后，再次接收到该请求会话的报文时将丢弃。
步骤S123：检测是否存在与请求会话的请求会话标识对应的动态特征表项。
具体地，动态特征表项包括会话标识字段，若存在会话标识字段内容为请求会话标识，则判定存在与请求会话的请求会话标识对应的动态特征表项。
步骤S124：在不存在与请求会话标识对应的动态特征表项时，生成请求报文对应的动态特征表项。
具体地，生成的请求报文对应的动态特征表项中的会话标识字段为请求会话标识，原始URL字段为请求会话的URL，重定向URL字段为空。
步骤S125：在存在与请求会话标识对应的动态特征表项时，将请求报文对应的动态特征表项的原始URL字段更新为请求会话的URL。
在动态学习功能开关开启时，请参考图3，图3为本申请实施例提供的一种基于响应报文的动态特征表项处理步骤的流程示意图。
步骤S126：在响应报文为重定向报文时，检测是否存在与响应报文的响应会话的响应会话标识对应的动态特征表项。
可选地，本实施例中可以根据响应报文的状态码或是否携带重定向URL判断响应报文是否为重定向报文。
其中，检测是否存在与响应报文的响应会话的响应会话标识对应的动态特征表项的方式与上述请求会话对应的动态特征表项检测方式相同，在此不再赘述。
步骤S127：在不存在与响应会话标识对应的动态特征表项时，生成响应报文对应的动态特征表项。
具体地，响应报文对应的动态特征表项中的会话标识字段被设置为响应会话标识，原始URL字段被设置为空，重定向URL字段设置为响应会话的重定向URL。
步骤S128：在存在与响应会话标识对应的动态特征表项时，响应报文对应的动态特征表项的原始URL字段更新为响应会话的URL。
步骤S14：在动态特征表项建立成功后，基于动态特征表项的原始URL字段生成动态特征。
可选地，本实施例中对动态特征表项建立是否成功的判定，可以是基于动态特征表项的原始URL字段和重定向URL字段判断，具体可以是原始URL字段和重定向URL字段均不为空时表示动态特征表项建立成功。
上述动态特征继承该动态特征表项的原始URL字段中的原始URL对应的所有属性。
可选地，本实施例中动态生成的动态特征仅加载在策略控制功能实体设备的缓存中，不做持久化动作，设备重启后，动态特征自动被删除。
步骤S16：基于动态特征对原始URL字段对应的访问请求执行预设动作，并删除动态特征表项。
由于动态特征继承了原始URL字段的原始URL的所有属性，策略控制功能实体设备根据配置策略可以确定原始URL对应的策略动作，则对命中该动态特征的报文会话执行与原始URL对应的策略动作。
可选地，上述预设动作可以是阻断动作。
本实施例中在动态特征表项未建立成功时，在达到预设老化时间后自动删除该动态特征表项，该预设老化时间可以根据具体通信情况进行灵活设置。
在上述URL特征学习方法中，通过动态特征表项，来记录重定向报文，并对重定向报文和原始特征进行关联，从而实现对重定向之后的URL进行特征自动识别，从而达到URL访问控制的目的，能够有效识别和阻断HTTP通信异常时序情况下的URL访问。
为了配合本实施例提供的上述URL特征学习方法，本申请实施例还提供了一种URL特征学习装置20，请参考图4，图4为本申请实施例提供的一种URL特征学习装置的模块示意图。
URL特征学习装置20包括：
动态特征表项编辑模块21，用于在URL特征自动学习状态下，基于请求报文和/或响应报文对动态特征表项进行建立或更新，动态特征表项包括会话标识字段、原始URL字段和重定向URL字段；
动态特征生成模块22，用于在动态特征表项建立成功后，基于动态特征表项的原始URL字段生成动态特征；
动作执行模块23，用于基于动态特征对原始URL字段对应的访问请求执行预设动作，并删除动态特征表项。
可选地，动态特征表项编辑模块21具体用于：在请求报文的请求会话识别成功后，放行请求报文；对请求会话进行策略配置，以使请求会话对应的动作为丢弃请求会话的后续报文；检测是否存在与请求会话的请求会话标识对应的动态特征表项；在不存在与请求会话标识对应的动态特征表项时，生成请求报文对应的动态特征表项，请求报文对应的动态特征表项中的会话标识字段为请求会话标识，原始URL字段为请求会话的URL，重定向URL字段为空；在存在与请求会话标识对应的动态特征表项时，将请求报文对应的动态特征表项的原始URL字段更新为请求会话的URL。
可选地，动态特征表项编辑模块21具体用于：在响应报文为重定向报文时，检测是否存在与响应报文的响应会话的响应会话标识对应的动态特征表项；在不存在与响应会话标识对应的动态特征表项时，生成响应报文对应的动态特征表项，响应报文对应的动态特征表项中的会话标识字段为响应会话标识，原始URL字段为空，重定向URL字段为响应会话的重定向URL；在存在与响应会话标识对应的动态特征表项时，响应报文对应的动态特征表项的原始URL字段更新为响应会话的URL。
可选地，URL特征学习装置20还包括：表项建立成功判断模块，用于基于动态特征表项的原始URL字段和重定向URL字段判断动态特征表项是否建立成功；原始URL字段和重定向URL字段均不为空时表示动态特征表项建立成功。
可选地，动态特征生成模块22具体用于：基于动态特征表项的原始URL字段生成动态特征，动态特征继承动态特征表项的原始URL字段中的原始URL的所有属性，以在对动态特征表项的原始URL字段中的原始URL对应的访问请求执行预设动作时对动态特征表项的重定向URL字段中的重定向URL对应的访问请求也同样执行预设动作，并删除动态特征表项。
可选地，URL特征学习装置20还包括：老化删除模块，用于在动态特征表项建立未成功后，在达到预设老化时间后删除动态特征表项。
可选地，动态特征加载在缓存中，并在设备重启后被删除。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行URL特征学习方法中的步骤。
综上所述，本申请实施例提供了一种URL特征学习方法、装置、电子设备及计算机可读存储介质，所述方法包括：在URL特征自动学习状态下，基于请求报文和/或响应报文对动态特征表项进行建立或更新，所述动态特征表项包括会话标识字段、原始URL字段和重定向URL字段；在所述动态特征表项建立成功后，基于所述动态特征表项的所述原始URL字段生成动态特征；基于所述动态特征对所述原始URL字段对应的访问请求执行预设动作，并删除所述动态特征表项。
在上述实现方式中，基于请求报文和/或响应报文对动态特征表项进行建立或更新，再基于动态特征表项生成动态特征以继承原始URL的属性，对动态特征的重定向URL执行与原始URL相同的策略动作，即对原始URL执行预设动作，则对重定向的URL也同样执行预设动作，从而实现了自动扩大特征库范围，提高了URL特征的识别率，可以有效识别和阻断HTTP通信异常时序情况下的URL访问。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种URL特征学习方法，其特征在于，所述方法包括：
在URL特征自动学习状态下，基于请求报文和/或响应报文对动态特征表项进行建立或更新，所述动态特征表项包括会话标识字段、原始URL字段和重定向URL字段；
在所述动态特征表项建立成功后，基于所述动态特征表项的所述原始URL字段生成动态特征；
基于所述动态特征对所述原始URL字段对应的访问请求执行预设动作，并删除所述动态特征表项；
其中，所述基于响应报文对动态特征表项进行建立或更新，包括：在根据状态码或携带的重定向URL确定所述响应报文为重定向报文时，检测是否存在与所述响应报文的响应会话的响应会话标识对应的动态特征表项；在不存在与所述响应会话标识对应的动态特征表项时，生成所述响应报文对应的动态特征表项，所述响应报文对应的动态特征表项中的所述会话标识字段为所述响应会话标识，所述原始URL字段为空，所述重定向URL字段为所述响应会话的重定向URL；在存在与所述响应会话标识对应的动态特征表项时，所述响应报文对应的动态特征表项的所述原始URL字段更新为所述响应会话的URL。
2.根据权利要求1所述的方法，其特征在于，基于请求报文对动态特征表项进行建立或更新，包括：
在所述请求报文的请求会话识别成功后，放行所述请求报文；
对所述请求会话进行策略配置，以使所述请求会话对应的动作为丢弃所述请求会话的后续报文；
检测是否存在与所述请求会话的请求会话标识对应的动态特征表项；
在不存在与所述请求会话标识对应的动态特征表项时，生成所述请求报文对应的动态特征表项，所述请求报文对应的动态特征表项中的所述会话标识字段为所述请求会话标识，所述原始URL字段为所述请求会话的URL，所述重定向URL字段为空；
在存在与所述请求会话标识对应的动态特征表项时，将所述请求报文对应的动态特征表项的所述原始URL字段更新为所述请求会话的URL。
3.根据权利要求1或2所述的方法，其特征在于，在所述动态特征表项建立成功后，基于所述动态特征表项的原始URL字段生成动态特征之前，所述方法还包括：
基于所述动态特征表项的所述原始URL字段和所述重定向URL字段判断所述动态特征表项是否建立成功；
所述原始URL字段和所述重定向URL字段均不为空时表示所述动态特征表项建立成功。
4.根据权利要求1或2所述的方法，其特征在于，所述基于所述动态特征表项的所述原始URL字段生成动态特征，包括：
基于所述动态特征表项的所述原始URL字段生成动态特征，所述动态特征继承所述动态特征表项的原始URL字段中的原始URL的所有属性，以在对所述动态特征表项的原始URL字段中的原始URL对应的访问请求执行预设动作时对所述动态特征表项的所述重定向URL字段中的重定向URL对应的访问请求也同样执行所述预设动作，并删除所述动态特征表项。
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
在所述动态特征表项建立未成功后，在达到预设老化时间后删除所述动态特征表项。
6.根据权利要求1或2所述的方法，其特征在于，所述动态特征加载在缓存中，并在重启后被删除。
7.一种URL特征学习装置，其特征在于，所述装置包括：
动态特征表项编辑模块，用于在URL特征自动学习状态下，基于请求报文和/或响应报文对动态特征表项进行建立或更新，所述动态特征表项包括会话标识字段、原始URL字段和重定向URL字段；
动态特征生成模块，用于在所述动态特征表项建立成功后，基于所述动态特征表项的所述原始URL字段生成动态特征；
动作执行模块，用于基于所述动态特征对所述原始URL字段对应的访问请求执行预设动作，并删除所述动态特征表项；
其中，所述基于响应报文对动态特征表项进行建立或更新，包括：在根据状态码或携带的重定向URL确定所述响应报文为重定向报文时，检测是否存在与所述响应报文的响应会话的响应会话标识对应的动态特征表项；在不存在与所述响应会话标识对应的动态特征表项时，生成所述响应报文对应的动态特征表项，所述响应报文对应的动态特征表项中的所述会话标识字段为所述响应会话标识，所述原始URL字段为空，所述重定向URL字段为所述响应会话的重定向URL；在存在与所述响应会话标识对应的动态特征表项时，所述响应报文对应的动态特征表项的所述原始URL字段更新为所述响应会话的URL。
8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-6中的任一项所述的URL特征学习方法中的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-6中的任一项所述的URL特征学习方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110915584.5A CN113626736B (zh) | 2021-08-10 | 2021-08-10 | Url特征学习方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110915584.5A CN113626736B (zh) | 2021-08-10 | 2021-08-10 | Url特征学习方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113626736A CN113626736A (zh) | 2021-11-09 |
| CN113626736B true CN113626736B (zh) | 2023-11-17 |
Family
ID=78384164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110915584.5A Active CN113626736B (zh) | 2021-08-10 | 2021-08-10 | Url特征学习方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113626736B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783771A (zh) * | 2010-03-24 | 2010-07-21 | 杭州华三通信技术有限公司 | 一种实现负载均衡持续性的方法和设备 |
| CN102143143A (zh) * | 2010-10-15 | 2011-08-03 | 华为数字技术有限公司 | 一种网络攻击的防护方法、装置及路由器 |
| CN102255909A (zh) * | 2011-07-11 | 2011-11-23 | 北京星网锐捷网络技术有限公司 | 监控会话流的方法及装置 |
| CN102427429A (zh) * | 2012-01-12 | 2012-04-25 | 神州数码网络(北京)有限公司 | 一种实现交换机内部报文安全防护的方法、系统以及交换机 |
| CN104079629A (zh) * | 2014-06-06 | 2014-10-01 | 汉柏科技有限公司 | 一种基于cookie信息的HTTP请求报文的监控方法及网关 |
| CN104735050A (zh) * | 2014-12-19 | 2015-06-24 | 武汉烽火网络有限责任公司 | 一种融合mac认证和web认证的认证方法 |
| CN105141573A (zh) * | 2015-06-11 | 2015-12-09 | 杭州安恒信息技术有限公司 | 一种基于web访问合规性审计的安全防护方法和系统 |
| CN107547523A (zh) * | 2017-08-08 | 2018-01-05 | 新华三信息安全技术有限公司 | 报文处理方法、装置、网络设备及机器可读存储介质 |
| CN107819776A (zh) * | 2017-11-17 | 2018-03-20 | 锐捷网络股份有限公司 | 一种报文处理方法及设备 |
| CN108712367A (zh) * | 2018-03-28 | 2018-10-26 | 新华三信息安全技术有限公司 | 一种报文处理方法、装置及设备 |
| CN109618004A (zh) * | 2019-01-16 | 2019-04-12 | 新华三技术有限公司 | 一种报文转发方法及装置 |
| CN111711968A (zh) * | 2020-06-10 | 2020-09-25 | 京信通信系统（中国）有限公司 | 报文处理方法、装置、通信设备和通信系统 |
| CN111953761A (zh) * | 2020-08-04 | 2020-11-17 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112134960A (zh) * | 2020-09-24 | 2020-12-25 | 新华三信息安全技术有限公司 | 一种数据请求方法及装置 |
| CN112511516A (zh) * | 2020-11-20 | 2021-03-16 | 杭州迪普科技股份有限公司 | 一种防护攻击的方法及装置 |
| CN112804223A (zh) * | 2021-01-06 | 2021-05-14 | 腾讯科技（深圳）有限公司 | 一种报文处理方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10033702B2 (en) * | 2015-08-05 | 2018-07-24 | Intralinks, Inc. | Systems and methods of secure data exchange |
| US10277701B2 (en) * | 2016-07-08 | 2019-04-30 | Facebook, Inc. | Methods and Systems for Rewriting Scripts to Direct Requests |
-
2021
- 2021-08-10 CN CN202110915584.5A patent/CN113626736B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783771A (zh) * | 2010-03-24 | 2010-07-21 | 杭州华三通信技术有限公司 | 一种实现负载均衡持续性的方法和设备 |
| CN102143143A (zh) * | 2010-10-15 | 2011-08-03 | 华为数字技术有限公司 | 一种网络攻击的防护方法、装置及路由器 |
| CN102255909A (zh) * | 2011-07-11 | 2011-11-23 | 北京星网锐捷网络技术有限公司 | 监控会话流的方法及装置 |
| CN102427429A (zh) * | 2012-01-12 | 2012-04-25 | 神州数码网络(北京)有限公司 | 一种实现交换机内部报文安全防护的方法、系统以及交换机 |
| CN104079629A (zh) * | 2014-06-06 | 2014-10-01 | 汉柏科技有限公司 | 一种基于cookie信息的HTTP请求报文的监控方法及网关 |
| CN104735050A (zh) * | 2014-12-19 | 2015-06-24 | 武汉烽火网络有限责任公司 | 一种融合mac认证和web认证的认证方法 |
| CN105141573A (zh) * | 2015-06-11 | 2015-12-09 | 杭州安恒信息技术有限公司 | 一种基于web访问合规性审计的安全防护方法和系统 |
| CN107547523A (zh) * | 2017-08-08 | 2018-01-05 | 新华三信息安全技术有限公司 | 报文处理方法、装置、网络设备及机器可读存储介质 |
| CN107819776A (zh) * | 2017-11-17 | 2018-03-20 | 锐捷网络股份有限公司 | 一种报文处理方法及设备 |
| CN108712367A (zh) * | 2018-03-28 | 2018-10-26 | 新华三信息安全技术有限公司 | 一种报文处理方法、装置及设备 |
| CN109618004A (zh) * | 2019-01-16 | 2019-04-12 | 新华三技术有限公司 | 一种报文转发方法及装置 |
| CN111711968A (zh) * | 2020-06-10 | 2020-09-25 | 京信通信系统（中国）有限公司 | 报文处理方法、装置、通信设备和通信系统 |
| CN111953761A (zh) * | 2020-08-04 | 2020-11-17 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112134960A (zh) * | 2020-09-24 | 2020-12-25 | 新华三信息安全技术有限公司 | 一种数据请求方法及装置 |
| CN112511516A (zh) * | 2020-11-20 | 2021-03-16 | 杭州迪普科技股份有限公司 | 一种防护攻击的方法及装置 |
| CN112804223A (zh) * | 2021-01-06 | 2021-05-14 | 腾讯科技（深圳）有限公司 | 一种报文处理方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| Analyzing the ecosystem of malicious URL redirection through longitudinal observation from honeypots;Mitsuaki Akiyama 等;《Computers & Security》;第69卷;155-173 * |
| 基于表示学习的浏览行为分析;董永娜;《中国优秀硕士学位论文全文数据库 信息科技辑》(第05期);I139-182 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113626736A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7809796B1 (en) | Method of controlling access to network resources using information in electronic mail messages | |
| US9461963B2 (en) | Systems and methods for detecting undesirable network traffic content | |
| EP2936375B1 (en) | Just-in-time, email embedded url reputation determination | |
| CN107122221B (zh) | 用于正则表达式的编译器 | |
| US7996900B2 (en) | Time travelling email messages after delivery | |
| US8561188B1 (en) | Command and control channel detection with query string signature | |
| US6574666B1 (en) | System and method for dynamic retrieval loading and deletion of packet rules in a network firewall | |
| US10560543B2 (en) | Rule based cache processing in application delivery controller for load balancing | |
| US20020138511A1 (en) | Method and system for class-based management of dynamic content in a networked environment | |
| CN114095274B (zh) | 一种攻击研判方法及装置 | |
| CN111510478B (zh) | 请求处理方法、装置、系统及电子设备 | |
| US11818149B2 (en) | Content delivery network (CDN) edge server-based bot detection with session cookie support handling | |
| CN112272212A (zh) | 一种文件传输方法及装置 | |
| US8122129B2 (en) | Hash-based resource matching | |
| CN113517985B (zh) | 文件数据处理方法、装置、电子设备及计算机可读介质 | |
| WO2012151843A1 (zh) | Url过滤系统及过滤url的方法、网关 | |
| WO2022036833A1 (zh) | cookie管理方法、中间节点及WebVPN系统 | |
| US20180337895A1 (en) | Method for Privacy Protection | |
| GB2391419A (en) | Restricting the propagation of a virus within a network | |
| US11848960B2 (en) | Content delivery network (CDN)-based bot detection service with stop and reset protocols | |
| CN113626736B (zh) | Url特征学习方法、装置、电子设备及计算机可读存储介质 | |
| CN105872192A (zh) | 一种移动终端的控制方法及装置 | |
| CN110300140B (zh) | 用于云分发网络中内容更新的方法、刷新客户端及网络节点 | |
| CN113992443B (zh) | 一种云沙箱流量处理方法及装置 | |
| US12101350B2 (en) | Low touch integration of a bot detection service in association with a content delivery network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |