CN113055368A - 一种Web扫描识别方法、装置及计算机存储介质 - Google Patents

一种Web扫描识别方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN113055368A
CN113055368A CN202110249913.7A CN202110249913A CN113055368A CN 113055368 A CN113055368 A CN 113055368A CN 202110249913 A CN202110249913 A CN 202110249913A CN 113055368 A CN113055368 A CN 113055368A
Authority
CN
China
Prior art keywords
score
request
evaluation model
website
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110249913.7A
Other languages
English (en)
Other versions
CN113055368B (zh
Inventor
张传社
欧怀谷
王枭卿
丁倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yundun Smart Security Technology Co ltd
Original Assignee
Yundun Smart Security Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yundun Smart Security Technology Co ltd filed Critical Yundun Smart Security Technology Co ltd
Priority to CN202110249913.7A priority Critical patent/CN113055368B/zh
Publication of CN113055368A publication Critical patent/CN113055368A/zh
Application granted granted Critical
Publication of CN113055368B publication Critical patent/CN113055368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例涉及一种Web扫描识别方法、装置及计算机存储介质,首先根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型;然后根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值;当评估分值大于或者等于第一预设分值时,可确定最新接收的Web请求为扫描请求。由于采用了两种评估模型,可准确且全面地对攻击者发起的Web扫描行为进行识别。

Description

一种Web扫描识别方法、装置及计算机存储介质
技术领域
本申请涉及网络安全技术领域,具体涉及一种Web扫描识别方法、装置及计算机存储介质。
背景技术
随着互联网技术的发展,Web网站在日常生活中的重要性越来越高。目前的Web网站系统越来越复杂,使用的组件越来越多,导致Web网站不可避免的存在可被利用的漏洞,针对Web网站的攻击的也越来越多。攻击者会通过收集的大量已知、未知的漏洞,针对目标Web网站发起大量扫描请求,这些扫描请求既影响了网站的正常工作,又导致网站潜在漏洞被发现并被利用。因此如果不能及时识别处置扫描请求,将对网站造成一定危害。一旦Web网站发生数据泄露问题,很可能会严重影响国家、企业和公民的安全和利益。
攻击者在对目标Web网站进行攻击时,通常会采用扫描器自动扫描确定目标Web网站是否存在可以被利用的漏洞。现有技术中针对扫描器的扫描还没有通用的识别方法,主要依赖安全人员根据经验制定规则进行识别及防护。
发明内容
有鉴于此,本发明实施例所解决的技术问题之一在于提供一种Web扫描识别方法、装置及计算机存储介质,用以克服现有技术中对Web扫描识别准确性较低的问题。
本申请实施例第一方面公开一种Web扫描识别方法,包括:根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型;
根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值;
若所述评估分值大于或者等于第一预设分值,则确定最新接收的所述Web请求为扫描请求。
本申请实施例第二方面公开一种Web扫描识别系统,包括:模型构建模块,用于根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型;
评估模块,用于根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值;
判断模块,用于若所述评估分值大于或者等于第一预设分值,则确定最新接收的所述Web请求为扫描请求。
本申请实施例第三方面公开一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序包括用于执行前述Web扫描识别方法的部分或全部步骤。
与现有技术相比,本申请实施例首先根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型;然后根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值;当评估分值大于或者等于第一预设分值时,可确定最新接收的Web请求为扫描请求。由于采用了两种评估模型,可准确且全面地对攻击者发起的Web扫描行为进行识别。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一公开的一种Web扫描识别方法的流程示意图;
图2是本申请实施例二公开的一种Web扫描识别方法的流程示意图;
图3是本申请实施例三公开的一种Web扫描识别系统的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象,而不是用于描述特定顺序。本申请实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
如图1所示,图1为本申请实施例一公开的一种Web扫描识别方法的示意性流程图,该Web扫描识别方法包括:
步骤S101,根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型。
本实施例中,为了准确且全面地对攻击者发起的Web扫描行为进行识别,构建了第一分值评估模型和第二分值评估模型,其中第一分值评估模型是基于对已判断属于Web扫描行为的扫描请求样本数据进行分析后,所构建的模型;第二分值评估模型是基于对指定网站的全部或者部分日志信息进行分析后,所构建的模型。
本实施例中,第一分值评估模型和第二分值评估模型的构建方式及类型不限。例如,可以是构建参数固定不变的模型,也可以是通过机器学习手段构建的模型。
步骤S102,根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值。
本实施例中,第一分值评估模型和第二分值评估模型可分别完成对Web扫描行为的识别,也可共同完成对Web扫描行为的识别,即可根据第一分值评估模型和/或第二分值评估模型的输出结果,获得最新接收的Web请求对应的评估分值,以确定是否存在攻击者发起的Web扫描行为。
例如,可根据第一分值评估模型和/或第二分值评估模型进行评估所需的输入参数类型,提取最新接收的Web请求对应的参数值并输入第一分值评估模型和/或第二分值评估模型,从而获得第一分值评估模型和/或第二分值评估模型输出的结果。
本实施例中,第一分值评估模型和/或第二分值评估模型的输出结果的标识方式,以及评估分值的计算或者取值方式不限。
例如,第一分值评估模型和第二分值评估模型的输出结果可以是1-100之间的分值;也可以是使用0或1标识最新接收的Web请求是否为扫描请求;最新接收的Web请求如果是扫描请求的话,还可以是使用1-5标识该扫描请求的危险程度。
又例如,最新接收的Web请求对应的评估分值可以是第一分值评估模型和第二分值评估模型分别所输出的第一子分值与第二子分值的和;也可以是第一子分值与第二子分值的平均值;还可以是第一子分值与第二子分值之中的最高值等。
步骤S103,若评估分值大于或者等于第一预设分值,则确定最新接收的Web请求为扫描请求。
本实施例中,第一预设分值在实际应用中可根据需求和应用场景进行灵活设定,并且设定方式不限。
例如,可根据历史数据的统计结果,将第一预设分值设定为固定分值;也可采用机器学习的手段不断调整第一预设分值的取值。
本实施例中,在确定最新接收的Web请求是否为扫描请求后,对该Web请求后续所采取的处理方式不限。
例如,可直接对该Web请求进行拦截,或者是进行验证;也可以是对该Web请求放行,但是会记录并存储相关数据,以对其进行进一步分析,并对相同地址后续发送的其他Web请求进行重点监控等。
由以上本发明实施例可见,本发明实施例首先根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型;然后根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值;当评估分值大于或者等于第一预设分值时,可确定最新接收的Web请求为扫描请求。由于采用了两种评估模型,可准确且全面地对攻击者发起的Web扫描行为进行识别。
实施例二
如图2所示,图2为本申请实施例二公开的一种Web扫描识别方法的示意性流程图,该Web扫描识别方法包括:
步骤S201,根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型。
本实施例中,在预先收集整理的扫描请求样本数据中,通常会包括多种类型的扫描请求,不同类型的扫描请求对网站的危害程度可能会有所不同,为了对不同危害程度的扫描请求进行区分,步骤S201中的第一分值评估模型的构建步骤可包括下述子步骤A1至A3:
子步骤A1,从扫描请求样本数据中提取至少一种风险关键字信息,并获得包含风险关键字信息的扫描请求在扫描请求样本数据对应的全部扫描请求中的占比信息。
具体地,由于每种类型的扫描请求均有一定的特征,即会包括具有代表性的风险关键字,因此可从扫描请求样本数据中提取不同类型扫描请求对应的风险关键字信息。
可选地,为了准确提取风险关键字信息,并且对不同类型的扫描请求进行区分,可采用TF-IDF技术对所积累的扫描请求样本数据进行风险关键字的提取。其中,TF-IDF(termfrequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术,其中TF代表词频(Term Frequency),IDF代表逆文本频率指数(Inverse DocumentFrequency)。TF-IDF用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度,主要思想是:如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。
具体地,由于在实际应用过程中,不同类型的扫描请求出现的频率会有所不同,并且很可能具有一定的随机性,因此为了更好地模拟实际应用场景,扫描请求样本数据中不仅可包括多种类型的扫描请求对应的数据,而且可包括多个同一类型的扫描请求对应的数据。
例如,可选取之前一定时间范围内所确定的扫描请求对应的数据作为扫描请求样本数据;也可从之前已确定的全部扫描请求对应的数据中,随机选取一定数量的扫描请求对应的数据作为扫描请求样本数据。
子步骤A2,根据风险关键字信息和占比信息,构建第一分值评估模型。
具体地,基于所构建的第一分值评估模型,可根据是否包括子步骤A1中所获得的风险关键字信息来判断Web请求是否为扫描请求,以及确定其所对应的扫描请求的类型。
具体地,可根据不同类型的扫描请求在扫描请求样本数据对应的全部扫描请求中的各自占比情况,客观评估不同类型的扫描请求的危害程度,即根据占比信息确定不同类型扫描请求对应的危害程度。
可选地,为了降低运算复杂度,可对不同种类的扫描请求进行风险等级的划分,即子步骤A2可进一步包括:根据风险关键字信息和占比信息,确定包含风险关键字信息的扫描请求与风险等级的对应关系,以构建第一分值评估模型。
可选地,为了提高风险等级评估的准确性,在根据占比信息确定不同种类的扫描请求对应的风险等级后,还可根据安全专家的经验数据对不同种类的扫描请求对应的风险等级进行进一步的优化调整。
例如,虽然在扫描请求样本数据中,针对版本库配置文件的请求/xx/.svn的占比较低,根据占比信息可能被评估为低危等级的扫描请求,但是根据安全专家的经验数据将该种类的请求设置为高危等级的扫描请求,则最终利用构建的第一分值评估模型会将该种类的请求评估为高危等级的扫描请求。
可选地,为了便于后续计算Web请求对应的评估分值,可预先设定不同风险等级对应的第一子分值,以使得第一分值评估模型的输出为Web请求对应的第一子分值。其中,第一子分值的设定规则及标识方式可根据实际应用需求确定,本实施例在此不做限制。
例如,可根据技术专家的经验数据,设定“低危”、“中危”和“高危”三个风险等级,对应的第一子分值分别为20分、50分和100分,若通过第一分值评估模型确定某Web请求为“高危”的话,则第一分值评估模型的输出分值为100分;若通过第一分值评估模型确定某Web请求为“低危”的话,则第一分值评估模型的输出分值为20分;若通过第一分值评估模型确定某Web请求并非为扫描请求的话,则第一分值评估模型的输出分值为0分。
本实施例中,第二分值评估模型的构建步骤可包括子步骤B1至B3:
子步骤B1,根据网站的日志信息,获得网站的正常响应对应的请求地址信息。
具体地,网站的日志信息可以为需进行Web扫描识别的特定网站全部或者部分历史日志信息,例如可以是最近一个月或者最近一周的历史日志信息。请求地址信息用于标识Web请求向特定网站所请求的地址,若该网站包括Web请求所请求的地址的话,则会针对该Web请求进行正常响应,因此可通过分析网站的正常响应对应的请求地址信息,对网站进行地图建模,以获得网站整体的目录结构,即获得网站的目录信息。
可选地,为了提高对网站正常响应对应的Web请求判断的准确性,可通过决策树从网站的全部或者部分历史日志中筛选出正常响应的日志。其中,决策树(Decision Tree)是一种基础的有监督学习模型,可以不断地对数据进行切割,达到分割数据的目的。
子步骤B2,根据网站的正常响应对应的请求地址信息,获得网站的目录信息。
可选地,为了获得更为精准的网站整体目录结构,子步骤B2可进一步包括:通过建立N叉树对网站目录进行建模;对设定的重点目录进行模糊归一化处理,以及对N叉树的树枝进行剪枝合并,以获得网站的目录信息。
例如,可根据请求地址信息中所包括的URL建立某个网站的整体目录结构的N叉树,其中对网站业务相关的目录节点进行特定的模糊归一化处理后,对N叉树的树枝进行进一步剪枝合并,以获得该网站的整体目录结构,即获得该网站的目录信息。
子步骤B3,根据网站的目录信息,构建第二分值评估模型。
具体地,由于对于网站而言,通常所接收的正常的Web请求会包括该网站的相关地址信息,因此在获得网站的目录信息后,可根据所接收的Web请求对应的请求地址信息,确定是否属于该网站目录结构,如果是,则Web请求并非为扫描请求;如果否,则Web请求为扫描请求。
可选地,为了便于后续计算Web请求对应的评估分值,可预先设定不同判断结果对应的第二子分值,以使得第二分值评估模型的输出为Web请求对应的第二子分值。其中,第二子分值的设定规则可根据实际应用需求确定,本实施例在此不做限制。
例如,可设定第二子分值包括100分和0分两种分值,若根据网站的目录信息,确定所接收的Web请求对应的请求地址信息与网站的目录信息匹配,则表明Web请求不属于扫描请求,第二分值评估模型的输出分值为0分;若确定所接收的Web请求对应的请求地址信息与网站的目录信息不匹配,则表明Web请求为扫描请求,第二分值评估模型的输出分值为100分。
本实施例中,由于网站在进行搭建时对编程语言、框架等会有多种选择,因此网站正常响应的Web请求也需要满足相应的要求,因此可根据网站可正常响应的Web请求的相关特征,来判断所接收的Web请求是否为扫描请求。即第二分值评估模型的构建步骤可包括子步骤C1至子步骤C2:
子步骤C1,根据网站的日志信息,获得网站的正常响应对应的请求特征信息。
具体地,网站的日志信息可以为需进行Web扫描识别的网站全部或者部分历史日志信息,例如可以是最近一个月或者最近一周的历史日志信息。网站的请求特征信息用于标识网站专有的正常请求特征,若特定网站所接收的Web请求包括该网站专有的正常请求特征的话,则该网站可针对该Web请求进行正常响应。
子步骤C2,根据网站的请求特征信息,构建第二分值评估模型。
具体地,在获得网站的请求特征信息后,可根据所接收的Web请求对应的请求特征信息,确定是否属于该网站正常响应对应的请求特征信息,如果是,则Web请求并非为扫描请求;如果否,则Web请求为扫描请求。
例如,若一网站的开发语言为PHP语言,该网站可正常响应的Web请求主要为.php的请求,如果该网站收到/xx/xx.jsp的请求的话,则/xx/xx.jsp请求对该网站而言就属于非正常请求,可通过第二分值评估模型确定为扫描请求。
可选地,为了便于后续计算Web请求对应的评估分值,可预先设定不同判断结果对应的第二子分值,以使得第二分值评估模型的输出为Web请求对应的第二子分值。其中,第二子分值的设定规则可根据实际应用需求确定,本实施例在此不做限制。
例如,可设定第二子分值包括100分和0分两种分值,若根据网站的请求特征信息,确定所接收的Web请求对应的请求特征信息与网站的请求特征信息匹配,则表明Web请求不属于扫描请求,第二分值评估模型的输出分值为0分;若确定所接收的Web请求对应的请求特征信息与网站的请求特征信息不匹配,则表明Web请求为扫描请求,第二分值评估模型的输出分值为100分。
步骤S202,根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值。
本实施例中,为了降低数据处理量,提高处理效率,可依照预设顺序,利用第一分值评估模型和第二分值评估模型对最新接收的Web请求进行评估。
例如,若利用第一分值评估模型即可确定最新接收的Web请求为扫描请求的话,则无需再利用第一分值评估模型对最新接收的Web请求进行评估。具体地,步骤S202可包括子步骤D1至子步骤D3:
子步骤D1,利用第一分值评估模型对最新接收的Web请求进行评估,获得第一子分值。
子步骤D2,若第一子分值大于或者等于第一预设分值,则将第一子分值确定为评估分值。
子步骤D3,若第一子分值小于第一预设分值,则利用第二分值评估模型对最新接收的Web请求进行评估,获得第二子分值,并将第一子分值和第二子分值的和确定为评估分值。
步骤S203,若评估分值大于或者等于第一预设分值,则确定最新接收的Web请求为扫描请求。
本实施例中,步骤S203与前述实施例中的步骤S103基本相同,在此不再赘述。
本实施例中,如果利用第一分值评估模型和第二分值评估模型仅评估单次接收的Web请求,第一预设分值设置较高的话,有可能造成攻击者发送的部分风险较低的扫描请求未被识别出;第一预设分值设置较低的话,有可能造成正常请求被误判为扫描请求。因此为了提高对扫描请求的识别准确率,可对同一地址在一个时间周期内所发送的全部Web请求进行综合评估,以确定最新接收的Web请求是否为扫描请求。
具体地,若评估分值小于第一预设分值,则还可包括步骤S204a至步骤S204c:
步骤S204a,确定最新接收的Web请求对应的请求地址,并获得在之前预设时长范围内接收的请求地址对应的全部Web请求。
其中,预设时长可根据需求和实际应用场景进行设定,并且设定方式不限。例如,在实施过程中根据数据统计结果,可优选将预设时长设置为1分钟或者5分钟。
步骤S204b,利用第一分值评估模型和第二分值评估模型,对之前预设时长范围内接收的请求地址信息对应的全部Web请求进行评估,获得累计分值。
其中,若累计分值用Y表示的话,计算公式为:Y=∑M+∑N,M为利用第一分值评估模型,对最新接收的Web请求以及同一地址在之前的预设时长范围内接收的全部请求进行评估,分别获得的第一子分值;N为利用第二分值评估模型,对最新接收的Web请求以及同一地址在之前的预设时长范围内接收的全部请求进行评估,分别获得的第二子分值。
步骤S204c,若累计分值大于或者等于第二预设分值,则确定最新接收的Web请求为扫描请求。
其中,第二预设分值可根据需求和实际应用场景进行设定,与第一预设分值相同或者不同均可。
步骤S205,若最新接收的Web请求为扫描请求,则对最新接收的Web请求,以及对最新接收的Web请求对应的请求地址后续发送的Web请求进行拦截或者验证。
本实施例中,为了对网站进行安全防护,在确定最新接收的Web请求为扫描请求后,可对该Web请求及同一地址后续发送的其他Web请求进行拦截或者验证。
例如,当最新接收的Web请求被判定为扫描请求的话,需要对最新接收的Web请求进行验证,支持JS、图片等多种验证方式,只有验证通过才放行该Web请求。
又例如,当最新接收的Web请求被判定为扫描请求的话,可直接拦截该Web请求,并将发送该Web请求的地址在后续特定时间内发送的其他Web请求全部进行拦截。
本实施例中,若最新接收的Web请求并非为扫描请求,则可将该Web请求往后进行转发,以使得网站可进行响应。
由以上本发明实施例可见,本发明实施例为了对不同危害程度的扫描请求进行区分,利用风险关键字信息和占比信息,构建第一分值评估模型,并且对不同种类的扫描请求进行风险等级的划分;为了提高风险等级评估的准确性,在根据占比信息确定不同种类的扫描请求对应的风险等级后,还可根据安全专家的经验数据对不同种类的扫描请求对应的风险等级进行进一步的优化调整。为了提高对网站正常响应对应的Web请求判断的准确性,可通过决策树从网站的全部或者部分历史日志中筛选出正常响应的日志,从而根据网站的正常响应对应的请求地址信息获得网站的目录信息,构建第二分值评估模型;为了降低数据处理量,提高处理效率,依照预设顺序利用第一分值评估模型和第二分值评估模型对最新接收的Web请求进行评估;为了提高对扫描请求的识别准确率,对同一地址在一个时间周期内所发送的全部Web请求进行综合评估,以确定最新接收的Web请求是否为扫描请求。
实施例三
本申请实施例三提供一种Web扫描识别系统,图3为本申请实施例三公开的一种Web扫描识别系统的结构示意图,该系统包括:
模型构建模块301,用于根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型;
评估模块302,用于根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值;
判断模块303,用于若评估分值大于或者等于第一预设分值,则确定最新接收的Web请求为扫描请求。
本实施例中,扫描请求样本数据包括多种扫描请求对应的数据,对应的,模型构建模块301还包括:
关键字提取单元,用于从扫描请求样本数据中提取至少一种风险关键字信息,并获得包含风险关键字信息的扫描请求在扫描请求样本数据对应的全部扫描请求中的占比信息;
第一构建单元,用于根据风险关键字信息和占比信息,构建第一分值评估模型。
可选地,构建单元进一步用于根据风险关键字信息和占比信息,确定包含风险关键字信息的扫描请求与风险等级的对应关系,以构建第一分值评估模型。
本实施例中,模型构建模块301还包括:
地址获取单元,用于根据网站的日志信息,获得网站的正常响应对应的请求地址信息;
目录信息获取单元,用于根据网站的正常响应对应的请求地址信息,获得网站的目录信息;
第二构建单元,用于根据网站的目录信息,构建第二分值评估模型。
本实施例中,模型构建模块301还包括:
特征获取单元,用于根据网站的日志信息,获得网站的正常响应对应的请求特征信息;
第三构建单元,用于根据网站的请求特征信息,构建第二分值评估模型。
本实施例中,评估模块302还包括:
第一评估单元,用于利用第一分值评估模型对最新接收的Web请求进行评估,获得第一子分值;
评估分值确定单元,用于若第一子分值大于或者等于第一预设分值,则将第一子分值确定为评估分值;
第二评估单元,用于若第一子分值小于第一预设分值,则利用第二分值评估模型对最新接收的Web请求进行评估,获得第二子分值,并将第一子分值和第二子分值的和确定为评估分值。
本实施例中,若评估分值小于第一预设分值,还包括:
请求获取单元,用于确定最新接收的Web请求对应的请求地址,并获得在之前预设时长范围内接收的请求地址对应的全部Web请求;
累计分值计算单元,用于利用第一分值评估模型和第二分值评估模型,对之前预设时长范围内接收的请求地址信息对应的全部Web请求进行评估,获得累计分值;
累计分值判断单元,用于若累计分值大于或者等于第二预设分值,则确定最新接收的Web请求为扫描请求。
本实施例中,还包括处理模块,用于若最新接收的Web请求为扫描请求,则对最新接收的Web请求,以及最新接收的Web请求对应的请求地址后续发送的Web请求进行拦截或者验证。
通过本实施例的Web扫描识别系统,可以实现前述多个方法实施例中相应的Web扫描识别方法,并具有相应方法实施例的有益效果,在此不再赘述。
实施例四
本发明实施例还提供了一种计算机存储介质,计算机存储介质中存储有用于执行前述多个方法实施例中相应的方法的计算机程序。具体地,计算机程序包括:
用于执行根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型的指令;
用于执行根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值的指令;
用于执行若所述评估分值大于或者等于第一预设分值,则确定最新接收的所述Web请求为扫描请求的指令。
本实施例中,所述扫描请求样本数据包括多种扫描请求对应的数据,对应的,所述根据扫描请求样本数据获得第一分值评估模型包括:
从所述扫描请求样本数据中提取至少一种风险关键字信息,并获得包含所述风险关键字信息的所述扫描请求在所述扫描请求样本数据对应的全部所述扫描请求中的占比信息;
根据所述风险关键字信息和所述占比信息,构建所述第一分值评估模型。
本实施例中,所述根据所述风险关键字信息和所述占比信息,构建所述第一分值评估模型包括:根据所述风险关键字信息和所述占比信息,确定包含所述风险关键字信息的所述扫描请求与风险等级的对应关系,以构建所述第一分值评估模型。
本实施例中,所述根据网站的日志信息获得第二分值评估模型包括:根据所述网站的所述日志信息,获得所述网站的正常响应对应的请求地址信息;
根据所述网站的正常响应对应的请求地址信息,获得所述网站的目录信息;
根据所述网站的所述目录信息,构建所述第二分值评估模型。
本实施例中,所述根据网站的日志信息获得第二分值评估模型包括:
根据所述网站的所述日志信息,获得所述网站的正常响应对应的请求特征信息;
根据所述网站的所述请求特征信息,构建所述第二分值评估模型。
本实施例中,所述根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值包括:
利用所述第一分值评估模型对最新接收的所述Web请求进行评估,获得第一子分值;
若所述第一子分值大于或者等于所述第一预设分值,则将所述第一子分值确定为所述评估分值;
若所述第一子分值小于所述第一预设分值,则利用所述第二分值评估模型对最新接收的所述Web请求进行评估,获得第二子分值,并将所述第一子分值和所述第二子分值的和确定为所述评估分值。
本实施例中,若所述评估分值小于所述第一预设分值,还包括:
用于执行确定最新接收的所述Web请求对应的请求地址,并获得在之前预设时长范围内接收的所述请求地址对应的全部所述Web请求的指令;
用于执行利用所述第一分值评估模型和所述第二分值评估模型,对之前预设时长范围内接收的所述请求地址信息对应的全部所述Web请求进行评估,获得累计分值的指令;
用于执行若所述累计分值大于或者等于第二预设分值,则确定最新接收的所述Web请求为扫描请求的指令。
本实施例中,还包括:用于执行若最新接收的所述Web请求为扫描请求,则对最新接收的所述Web请求,以及最新接收的所述Web请求对应的请求地址后续发送的所述Web请求进行拦截或者验证的指令。
通过本实施例的计算机存储介质,可以实现前述多个方法实施例中相应的Web扫描识别方法,并具有相应方法实施例的有益效果,在此不再赘述。
至此,已经对本申请的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序,以实现期望的结果。在某些实施方式中,多任务处理和并行处理可以是有利的。
本申请是参照根据本申请实施例的方法的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种Web扫描识别方法,其特征在于,所述方法包括:
根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型;
根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值;
若所述评估分值大于或者等于第一预设分值,则确定最新接收的所述Web请求为扫描请求。
2.根据权利要求1所述的方法,其特征在于,所述扫描请求样本数据包括多种扫描请求对应的数据,对应的,所述根据扫描请求样本数据获得第一分值评估模型包括:
从所述扫描请求样本数据中提取至少一种风险关键字信息,并获得包含所述风险关键字信息的所述扫描请求在所述扫描请求样本数据对应的全部所述扫描请求中的占比信息;
根据所述风险关键字信息和所述占比信息,构建所述第一分值评估模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述风险关键字信息和所述占比信息,构建所述第一分值评估模型包括:
根据所述风险关键字信息和所述占比信息,确定包含所述风险关键字信息的所述扫描请求与风险等级的对应关系,以构建所述第一分值评估模型。
4.根据权利要求1所述的方法,其特征在于,所述根据网站的日志信息获得第二分值评估模型包括:
根据所述网站的所述日志信息,获得所述网站的正常响应对应的请求地址信息;
根据所述网站的正常响应对应的请求地址信息,获得所述网站的目录信息;
根据所述网站的所述目录信息,构建所述第二分值评估模型。
5.根据权利要求1所述的方法,其特征在于,所述根据网站的日志信息获得第二分值评估模型包括:
根据所述网站的所述日志信息,获得所述网站的正常响应对应的请求特征信息;
根据所述网站的所述请求特征信息,构建所述第二分值评估模型。
6.根据权利要求1所述的方法,其特征在于,所述根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值包括:
利用所述第一分值评估模型对最新接收的所述Web请求进行评估,获得第一子分值;
若所述第一子分值大于或者等于所述第一预设分值,则将所述第一子分值确定为所述评估分值;
若所述第一子分值小于所述第一预设分值,则利用所述第二分值评估模型对最新接收的所述Web请求进行评估,获得第二子分值,并将所述第一子分值和所述第二子分值的和确定为所述评估分值。
7.根据权利要求1所述的方法,其特征在于,若所述评估分值小于所述第一预设分值,所述方法还包括:
确定最新接收的所述Web请求对应的请求地址,并获得在之前预设时长范围内接收的所述请求地址对应的全部所述Web请求;
利用所述第一分值评估模型和所述第二分值评估模型,对之前预设时长范围内接收的所述请求地址信息对应的全部所述Web请求进行评估,获得累计分值;
若所述累计分值大于或者等于第二预设分值,则确定最新接收的所述Web请求为扫描请求。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若最新接收的所述Web请求为扫描请求,则对最新接收的所述Web请求,以及最新接收的所述Web请求对应的请求地址后续发送的所述Web请求进行拦截或者验证。
9.一种Web扫描识别系统,其特征在于,包括:
模型构建模块,用于根据扫描请求样本数据获得第一分值评估模型,以及根据网站的日志信息获得第二分值评估模型;
评估模块,用于根据第一分值评估模型和第二分值评估模型,获得最新接收的Web请求对应的评估分值;
判断模块,用于若所述评估分值大于或者等于第一预设分值,则确定最新接收的所述Web请求为扫描请求。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序用于执行权利要求1-8中任一项所述方法。
CN202110249913.7A 2021-03-08 2021-03-08 一种Web扫描识别方法、装置及计算机存储介质 Active CN113055368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110249913.7A CN113055368B (zh) 2021-03-08 2021-03-08 一种Web扫描识别方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110249913.7A CN113055368B (zh) 2021-03-08 2021-03-08 一种Web扫描识别方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113055368A true CN113055368A (zh) 2021-06-29
CN113055368B CN113055368B (zh) 2022-12-13

Family

ID=76510647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110249913.7A Active CN113055368B (zh) 2021-03-08 2021-03-08 一种Web扫描识别方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113055368B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114285639A (zh) * 2021-12-24 2022-04-05 云盾智慧安全科技有限公司 一种网站安全防护方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072089A (zh) * 2015-07-10 2015-11-18 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统
CN106254368A (zh) * 2016-08-24 2016-12-21 杭州迪普科技有限公司 Web漏洞扫描的检测方法及装置
CN110602029A (zh) * 2019-05-15 2019-12-20 上海云盾信息技术有限公司 一种用于识别网络攻击的方法和系统
CN111586005A (zh) * 2020-04-29 2020-08-25 杭州迪普科技股份有限公司 扫描器扫描行为识别方法及装置
CN111740884A (zh) * 2020-08-25 2020-10-02 云盾智慧安全科技有限公司 一种日志处理方法及电子设备、服务器、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072089A (zh) * 2015-07-10 2015-11-18 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统
CN106254368A (zh) * 2016-08-24 2016-12-21 杭州迪普科技有限公司 Web漏洞扫描的检测方法及装置
CN110602029A (zh) * 2019-05-15 2019-12-20 上海云盾信息技术有限公司 一种用于识别网络攻击的方法和系统
CN111586005A (zh) * 2020-04-29 2020-08-25 杭州迪普科技股份有限公司 扫描器扫描行为识别方法及装置
CN111740884A (zh) * 2020-08-25 2020-10-02 云盾智慧安全科技有限公司 一种日志处理方法及电子设备、服务器、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114285639A (zh) * 2021-12-24 2022-04-05 云盾智慧安全科技有限公司 一种网站安全防护方法及装置
CN114285639B (zh) * 2021-12-24 2023-11-24 云盾智慧安全科技有限公司 一种网站安全防护方法及装置

Also Published As

Publication number Publication date
CN113055368B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN109347801B (zh) 一种基于多源词嵌入和知识图谱的漏洞利用风险评估方法
CN108366045B (zh) 一种风控评分卡的设置方法和装置
CN107547490B (zh) 一种扫描器识别方法、装置及系统
CN109104421B (zh) 一种网站内容篡改检测方法、装置、设备及可读存储介质
KR101692982B1 (ko) 로그 분석 및 특징 자동 학습을 통한 위험 감지 및 접근제어 자동화 시스템
CN113553583A (zh) 信息系统资产安全风险评估方法与装置
CN112765660A (zh) 一种基于MapReduce并行聚类技术的终端安全性分析方法和系统
CN118101250A (zh) 一种网络安全检测方法及系统
CN113055368B (zh) 一种Web扫描识别方法、装置及计算机存储介质
CN114285639A (zh) 一种网站安全防护方法及装置
CN114039837B (zh) 告警数据处理方法、装置、系统、设备和存储介质
CN116010951A (zh) 电力区块链智能合约安全检测方法、装置、设备及介质
CN115525897A (zh) 终端设备的系统检测方法、装置、电子装置和存储介质
Holm et al. A metamodel for web application injection attacks and countermeasures
CN113434826A (zh) 一种仿冒移动应用的检测方法,系统及相关产品
CN113238971A (zh) 基于状态机的自动化渗透测试系统及方法
CN114189585A (zh) 骚扰电话异常检测方法、装置及计算设备
CN116405287B (zh) 工控系统网络安全评估方法、设备和介质
CN117131445B (zh) 一种异常交易检测方法及系统
CN118487872B (zh) 一种面向核电行业的网络异常行为检测分析方法
TWI726455B (zh) 滲透測試個案建議方法及系統
CN115967542B (zh) 基于人因的入侵检测方法、装置、设备及介质
CN116432208B (zh) 工业互联网数据的安全管理方法、装置、服务器及系统
CN118052594A (zh) 一种欺诈行为识别方法和装置
KR20240124013A (ko) 특징 정보를 이용한 침해 사고 연관 분석 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant