CN114640492B - 一种url检测方法、系统、设备及计算机可读存储介质 - Google Patents

一种url检测方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114640492B
CN114640492B CN202011491721.9A CN202011491721A CN114640492B CN 114640492 B CN114640492 B CN 114640492B CN 202011491721 A CN202011491721 A CN 202011491721A CN 114640492 B CN114640492 B CN 114640492B
Authority
CN
China
Prior art keywords
url
http
urls
target
regular expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011491721.9A
Other languages
English (en)
Other versions
CN114640492A (zh
Inventor
陈扬
雷昕
李晓燕
闫凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN202011491721.9A priority Critical patent/CN114640492B/zh
Publication of CN114640492A publication Critical patent/CN114640492A/zh
Application granted granted Critical
Publication of CN114640492B publication Critical patent/CN114640492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种URL检测方法、系统、设备及计算机可读存储介质，获取目标URL；获取预设的HTTP指纹库，HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，指纹包括表征URL为恶意的特征信息；判断目标URL是否与HTTP指纹库中的指纹相匹配；若是，则生成表征目标URL恶意的安全性检测结果。本申请中，由于HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，所以判断目标URL是否与HTTP指纹库相匹配的过程中，实际是判断目标URL是否与共同指纹相匹配，实现了借助共同指纹来对目标URL进行检测的效果，因为指纹具有不易更改、准确的特性，所以本申请可以提高URL检测的准确性。

Description

一种URL检测方法、系统、设备及计算机可读存储介质
技术领域
本申请涉及信息安全技术领域，更具体地说，涉及一种URL检测方法、系统、设备及计算机可读存储介质。
背景技术
HTTP(Hypertext Transfer Protocol，超文本传输协议)是一个简单的请求-响应协议，HTTP通常运行在TCP(Transmission Control Protocol，传输控制协议)之上，HTTP指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。因为HTTP可以使得开发和部署直截了当，所以在通信中被广泛应用。
然而，在HTTP的应用过程中，可能出现攻击者借助HTTP来攻击其他设备的情况，比如攻击客户端、攻击服务器等，为HTTP的安全使用带来威胁。为了保护HTTP的安全，需要对HTTP对应的URL(Uniform Resource Locator，统一资源定位符)的安全性进行检测，比如根据URL的域名信息对URL的安全性进行检测，确定URL的安全与否。
然而，在根据URL的域名信息对URL的安全性进行检测的过程中，由于URL的域名多变，且URL的有效期短等原因，使得根据域名信息确定出的URL安全性检测结果的准确性较差。
综上所述，如何提高URL安全性检测的准确性是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种URL检测方法，其能在一定程度上解决如何提高URL安全性检测的准确性的技术问题。本申请还提供了一种URL检测系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种URL检测方法，包括：
获取目标URL；
获取预设的HTTP指纹库，所述HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，所述指纹包括表征URL为恶意的特征信息；
判断所述目标URL是否与所述HTTP指纹库中的指纹相匹配；
若所述目标URL与所述HTTP指纹库中的指纹相匹配，则生成表征所述目标URL恶意的安全性检测结果。
优选的，所述获取预设的HTTP指纹库，包括：
获取已知的恶意URL；
对所述恶意URL进行家族划分，得到家族URL；
对所述家族URL进行聚类，得到所述HTTP指纹库。
优选的，所述对所述家族URL进行聚类，得到所述HTTP指纹库，包括：
筛选出所述家族URL中不带预设类型参数的第一类URL；
对属于同一家族的所述第一类URL进行聚类，得到第一聚类结果；
将所述第一聚类结果作为所述HTTP指纹库中的指纹；
其中，所述预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数。
优选的，所述对所述家族URL进行聚类，得到所述HTTP指纹库，包括：
筛选出所述家族URL中带一个预设类型参数的第二类URL；
对属于同一家族的所述第二类URL携带的所述预设类型参数进行聚类，得到第二聚类结果；
计算各个所述第二聚类结果的第一正则表达式；
计算各个所述第二聚类结果中目标类型关键值的第二正则表达式；
将所述第一正则表达式和所述第二正则表达式作为所述HTTP指纹库中的指纹；
其中，所述预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；所述目标类型关键值包括所述第二聚类结果中等号之后的参数；
所述判断所述目标URL是否与所述HTTP指纹库中的指纹相匹配，包括：
判断所述目标URL是否携带一个所述预设类型参数；
若所述目标URL携带一个所述预设类型参数，则对所述目标URL携带的所述预设类型参数进行提取，得到第一提取值；计算所述第一提取值的第三正则表达式；判断所述第三正则表达式是否与所述第一正则表达式相同；
若所述第三正则表达式与所述第一正则表达式不相同，则判定所述目标URL与所述HTTP指纹库中的指纹不匹配；
若所述第三正则表达式与所述第一正则表达式相同，则对所述第一提取值中携带的所述目标类型关键值进行提取，得到第二提取值；计算所述第二提取值的第四正则表达式；判断所述第四正则表达式是否与所述第二正则表达式相同；
若所述第四正则表达式与所述第二正则表达式相同，则判定所述目标URL与所述HTTP指纹库中的指纹相匹配。
优选的，所述对所述家族URL进行聚类，得到所述HTTP指纹库，包括：
筛选出所述家族URL中带两个或两个以上预设类型参数的第三类URL；
对属于同一家族的所述第三类URL进行聚类，得到第三聚类结果；
提取所述第三聚类结果中的目标类型参数；
将所述目标类型参数作为所述HTTP指纹库中的指纹；
其中，所述预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；所述目标类型参数包括位于URL中问号与相邻等号间的参数，且相邻等号位于问号之后。
优选的，聚类算法包括2-gram算法。
优选的，所述获取已知的恶意URL，包括：
获取IOC事件库中的域名；
对所述域名进行爬取，得到所述恶意URL。
一种URL检测系统，包括：
第一获取模块，用于获取目标URL；
第二获取模块，用于获取预设的HTTP指纹库，所述HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，所述指纹包括表征URL为恶意的特征信息；
判断模块，用于判断所述目标URL是否与所述HTTP指纹库中的指纹相匹配；若所述目标URL与所述HTTP指纹库中的指纹相匹配，则生成表征所述目标URL恶意的安全性检测结果。
一种URL检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述URL检测方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述URL检测方法的步骤。
本申请提供的一种URL检测方法中，由于HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，所以判断目标URL是否与HTTP指纹库相匹配的过程中，实际是判断目标URL是否与共同指纹相匹配，实现了借助共同指纹来对目标URL进行检测的效果，因为指纹具有不易更改、准确的特性，所以本申请可以提高URL检测的准确性。本申请提供的一种URL检测系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种URL检测方法的流程图；
图2为本申请实施例中生成HTTP指纹库的第一流程图；
图3为本申请实施例中生成HTTP指纹库的第二流程图；
图4为本申请实施例中生成HTTP指纹库的第三流程图；
图5为本申请实施例提供的一种URL检测系统的结构示意图；
图6为本申请实施例提供的一种URL检测设备的结构示意图；
图7为本申请实施例提供的一种URL检测设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例提供的一种URL检测方法的流程图。
本申请实施例提供的一种URL检测方法，可以包括以下步骤：
步骤S101：获取目标URL。
实际应用中，可以先获取目标URL，目标URL指的是安全性未知，需要进行安全性检测的URL。
步骤S102：获取预设的HTTP指纹库，HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，指纹包括表征URL为恶意的特征信息。
实际应用中，在获取目标URL之后，便可以获取预设的HTTP指纹库，且HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，也即HTTP指纹库中的指纹代表属于同一家族的恶意URL的共性，那么，后续便可以根据HTTP指纹库中的指纹对目标URL进行检测，以确定目标URL的安全与否。步骤S103：判断目标URL是否与HTTP指纹库中的指纹相匹配；若目标URL与HTTP指纹库中的指纹不匹配，则执行步骤S104；若目标URL与HTTP指纹库中的指纹相匹配，则执行步骤S105。
步骤S104：生成表征目标URL正常的安全性检测结果。
步骤S105：生成表征目标URL恶意的安全性检测结果。
实际应用中，在获取HTTP指纹库之后，可以判断目标URL是否与HTTP指纹库中的指纹相匹配，若目标URL与HTTP指纹库中的指纹不匹配，则表示目标URL未命中恶意URL的指纹，可以生成表征目标URL正常的安全性检测结果，以此表征目标URL正常；若目标URL与HTTP指纹库中的指纹相匹配，则表示目标URL命中了恶意URL的指纹，可以生成表征目标URL恶意的安全性检测结果，以此表征目标URL为恶意URL。
本申请提供的一种URL检测方法，获取目标URL；获取预设的HTTP指纹库，HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，指纹包括表征URL为恶意的特征信息；判断目标URL是否与HTTP指纹库中的指纹相匹配；若目标URL与HTTP指纹库中的指纹不匹配，则生成表征目标URL正常的安全性检测结果；若目标URL与HTTP指纹库中的指纹相匹配，则生成表征目标URL恶意的安全性检测结果。本申请中，由于HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，所以判断目标URL是否与HTTP指纹库相匹配的过程中，实际是判断目标URL是否与共同指纹相匹配，实现了借助共同指纹来对目标URL进行检测的效果，因为指纹具有不易更改、准确的特性，所以本申请可以提高URL检测的准确性。
本申请实施例提供的一种URL检测方法中，在获取预设的HTTP指纹库的过程中，可以获取已知的恶意URL；对恶意URL进行家族划分，得到家族URL；对家族URL进行聚类，得到HTTP指纹库。
也即本申请提供的技术方案中，可以获取已知的恶意URL，对恶意URL进行家族划分，得到存在共性的家族URL，并对家族URL进行聚类，得到反映家族URL共性的聚类结果，最后再基于聚类结果生成HTTP指纹库，实现了根据恶意URL生成预设的HTTP指纹库的目的，生成过程简便易实施，可以提高HTTP指纹库的生成效率。
应当指出，本申请中的家族URL指的是存在共性的URL的集合，比如一个家族URL可以为产生规则相同的URL的集合，可以为行为相同的URL的集合等。因为将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类，由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异；所以对家族URL进行聚类后，得到的是反映该家族中的URL为恶意的共性信息，且该家族URL的聚类结果与其他家族URL的聚类结果所反映的URL的恶意信息不同。
请参阅图2，图2为本申请实施例中生成HTTP指纹库的第一流程图。
本申请实施例提供的一种URL检测方法中，如果URL中不存在问号及以后的参数的话，比如恶意URL为https://baike.abc.com/item/ini，那么URL的安全性只能通过URL的文件路径来判断，所以在对家族URL进行聚类，得到HTTP指纹库的过程中，可以包括以下步骤：
步骤S201：筛选出家族URL中不带预设类型参数的第一类URL。
实际应用中，由于预设类型参数指的是位于URL中相邻问号之间的参数和最后一个问号之后的参数，所以家族URL中不带预设类型参数的第一类URL，也即家族URL中不带问号的URL。
步骤S202：对属于同一家族的第一类URL进行聚类，得到第一聚类结果。
步骤S203：将第一聚类结果作为HTTP指纹库中的指纹；其中，预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数。
实际应用中，由于第一类URL为家族URL中不带问号的URL，所以在提取反映第一类URL为恶意URL的指纹时，可以直接对属于同一家族的第一类URL进行聚类，得到第一聚类结果，并直接将第一聚类结果作为HTTP指纹库中的指纹，以此构建HTTP指纹库。
也即本申请提供的技术方案中，实现了根据恶意URL的文件路径来构建HTTP指纹库，进而实现了根据恶意URL的文件路径来对目标URL进行安全性检测。
实际应用中，在判断目标URL是否与HTTP指纹库中的指纹相匹配的过程中，如果目标URL不带预设类型参数，则可以直接判断目标URL是否命中HTTP指纹库中的第一聚类结果，若命中，则可以直接判定目标URL与HTTP指纹库中的指纹相匹配，若未命中，则可以直接判定目标URL与HTTP指纹库中的指纹不匹配等；当然，还可以有其他根据目标URL命中第一聚类结果的情况，来判断目标URL是否与HTTP指纹库中的指纹匹配的方法，比如根据目标URL命中的第一聚类结果的数量来判断目标URL是否与HTTP指纹库相匹配等，本申请在此不做具体限定。
请参阅图3，图3为本申请实施例中生成HTTP指纹库的第二流程图。
本申请实施例提供的一种URL检测方法中，如果URL中存在问号及以后的参数，那么可以直接根据URL中的参数来构建HTTP指纹库，也即对家族URL进行聚类，得到HTTP指纹库的过程，可以包括以下步骤：
步骤S301：筛选出家族URL中带一个预设类型参数的第二类URL。
步骤S302：对属于同一家族的第二类URL携带的预设类型参数进行聚类，得到第二聚类结果。
步骤S303：计算各个第二聚类结果的第一正则表达式。
步骤S304：计算各个第二聚类结果中目标类型关键值的第二正则表达式。
步骤S305：将第一正则表达式和第二正则表达式作为HTTP指纹库中的指纹；其中，预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；目标类型关键值包括第二聚类结果中等号之后的参数；
实际应用中，如果恶意URL只携带一个预设类型参数，也即只携带一个问号及以后的参数的话，直接将恶意URL携带的预设类型参数作为指纹的话，可能会导致HTTP指纹库中的指纹局限性较大，使得目标URL未命中预设类型参数的话，会将目标URL判定为正常，但此时目标URL与恶意URL满足相应规律的话，目标URL仍属于恶意URL，也即为了保证对携带一个预设类型参数的目标URL的安全性检测准确性，本申请中可以先筛选出家族URL中带一个预设类型参数的第二类URL，对属于同一家族的第二类URL携带的预设类型参数进行聚类，得到第二聚类结果，再计算各个第二聚类结果的第一正则表达式，以借助第一正则表达式进一步提炼第二聚类结果的共性，并计算各个第二聚类结果中目标类型关键值的第二正则表达式，以借助第二正则表达式进一步提供目标类型关键值的共性，最后再将第一正则表达式和第二正则表达式作为HTTP指纹库中的指纹，使得可以借助第一正则表达式和第二正则表达式准确对携带一个预设类型参数的目标URL进行安全性检测。其中，正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑，在本申请中便是对表征URL为恶意的参数信息的过滤逻辑。
为了便于理解目标类型参数，现假设URL为https://baike.baidu.com/item/ini？fr＝aladdin，则该URL中的预设类型参数便为“fr＝aladdin”，目标类型参数便为“aladdin”。
实际应用中，判断目标URL是否与HTTP指纹库中的指纹相匹配的过程，可以为：
判断目标URL是否携带一个预设类型参数；若目标URL携带一个预设类型参数，则对目标URL携带的预设类型参数进行提取，得到第一提取值；计算第一提取值的第三正则表达式；判断第三正则表达式是否与第一正则表达式相同；
若第三正则表达式与第一正则表达式不相同，则判定目标URL与HTTP指纹库中的指纹不匹配；
若第三正则表达式与第一正则表达式相同，则对第一提取值中携带的目标类型关键值进行提取，得到第二提取值；计算第二提取值的第四正则表达式；判断第四正则表达式是否与第二正则表达式相同；若第四正则表达式与第二正则表达式相同，则判定目标URL与HTTP指纹库中的指纹相匹配。
请参阅图4，图4为本申请实施例中生成HTTP指纹库的第三流程图。
本申请实施例提供的一种URL检测方法中，对家族URL进行聚类，得到HTTP指纹库的过程，可以具体为：
步骤S401：筛选出家族URL中带两个或两个以上预设类型参数的第三类URL。
步骤S402：对属于同一家族的第三类URL进行聚类，得到第三聚类结果。
步骤S403：提取第三聚类结果中的目标类型参数。
步骤S404：将目标类型参数作为HTTP指纹库中的指纹；其中，预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；目标类型参数包括位于URL中问号与相邻等号间的参数，且相邻等号位于问号之后。
实际应用中，如果恶意URL携带多个预设类型参数，也即只携带两个或两个以上问号及以后的参数的话，直接将恶意URL携带的预设类型参数作为指纹的话，能够准确对携带多个预设类型参数的URL安全性进行准确检测，此时再计算相应正则值的话，会增大HTTP指纹库的构建复杂性，且不利于后续快速对目标URL的安全性检测，也即为了保证对携带多个预设类型参数的目标URL的安全性检测效率，本申请中可以筛选出家族URL中带两个或两个以上预设类型参数的第三类URL；对属于同一家族的第三类URL进行聚类，得到第三聚类结果；提取第三聚类结果中的目标类型参数；将目标类型参数作为HTTP指纹库中的指纹。
为了便于理解目标类型参数，现假设URL为https://baidu.com/item/ini？fr＝aladdin？ie＝utf，则该URL中的目标类型参数便为“fr”和“ie”。
实际应用中，在判断目标URL是否与HTTP指纹库中的指纹相匹配的过程中，如果目标URL带多个预设类型参数，则可以直接判断目标URL中的目标类型参数是否均命中HTTP指纹库中的第三聚类结果，若是，则可以直接判定目标URL与HTTP指纹库中的指纹相匹配，若否，则可以直接判定目标URL与HTTP指纹库中的指纹不匹配等；当然，还可以有其他根据目标URL命中第三聚类结果的情况，来判断目标URL是否与HTTP指纹库中的指纹匹配的方法，比如只要目标URL中的一个目标类型参数命中第三聚类结果，便判定目标URL与HTTP指纹库中的指纹相匹配等，本申请在此不做具体限定。
本申请实施例提供的一种URL检测方法中，聚类算法可以包括2-gram(二元语法)算法。
本申请提供的技术方案中，由于2-gram算法具有实施方便、效率高等特点，所以本申请采用2-gram聚类算法的话，能够提高方法的运行效率。
本申请实施例提供的一种URL检测方法中，获取已知的恶意URL的过程，可以具体为：获取IOC(Indicators of Compromise，失陷指标)事件库中的域名；对域名进行爬取，得到恶意URL。
本申请提供的技术方案中，由于IOC事件库中的URL均为已知的恶意URL，所以为了快速获取恶意URL，可以获取IOC事件库中的域名，对域名进行爬取，得到恶意URL，在此过程中，如果域名存在子域名的话，第一次对域名进行爬取后，会得到域名的子域名，此时，需要再对子域名进行爬取，得到相应的恶意URL。
应当指出，具体应用场景中，为了进一步提高恶意URL的获取效率，可以借助爬取工具对IOC事件库中的域名进行爬取，得到相应的恶意URL等。
请参阅图5，图5为本申请实施例提供的一种URL检测系统的结构示意图。
本申请实施例提供的一种URL检测系统，可以包括：
第一获取模块101，用于获取目标URL；
第二获取模块102，用于获取预设的HTTP指纹库，HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，指纹包括表征URL为恶意的特征信息；
判断模块103，用于判断目标URL是否与HTTP指纹库中的指纹相匹配；若目标URL与HTTP指纹库中的指纹相匹配，则生成表征目标URL正常的安全性检测结果；若目标URL与HTTP指纹库中的指纹不匹配，则生成表征目标URL恶意的安全性检测结果。
本申请实施例提供的一种URL检测系统，第二获取模块可以包括：
获取子模块，用于获取已知的恶意URL；
划分子模块，用于对恶意URL进行家族划分，得到家族URL；
聚类子模块，用于对家族URL进行聚类，得到HTTP指纹库。
本申请实施例提供的一种URL检测系统，聚类子模块可以包括：
第一筛选单元，用于筛选出家族URL中不带预设类型参数的第一类URL；
第一聚类单元，用于对属于同一家族的第一类URL进行聚类，得到第一聚类结果；
第一设置单元，用于将第一聚类结果作为HTTP指纹库中的指纹；
其中，预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数。
本申请实施例提供的一种URL检测系统，聚类子模块可以包括：
第二筛选单元，用于筛选出家族URL中带一个预设类型参数的第二类URL；
第二聚类单元，用于对属于同一家族的第二类URL携带的预设类型参数进行聚类，得到第二聚类结果；
第一计算单元，用于计算各个第二聚类结果的第一正则表达式；
第二计算单元，用于计算各个第二聚类结果中目标类型关键值的第二正则表达式；
第二设置单元，用于将第一正则表达式和第二正则表达式作为HTTP指纹库中的指纹；
其中，预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；目标类型关键值包括第二聚类结果中等号之后的参数；
判断模块可以包括：
判断单元，用于判断目标URL是否携带一个预设类型参数；若目标URL携带一个预设类型参数，则对目标URL携带的预设类型参数进行提取，得到第一提取值；计算第一提取值的第三正则表达式；判断第三正则表达式是否与第一正则表达式相同；若第三正则表达式与第一正则表达式不相同，则判定目标URL与HTTP指纹库中的指纹不匹配；若第三正则表达式与第二正则表达式相同，则对第一提取值中携带的目标类型关键值进行提取，得到第二提取值；计算第二提取值的第四正则表达式；判断第四正则表达式是否与第二正则表达式相同；若第四正则表达式与第二正则表达式相同，则判定目标URL与HTTP指纹库中的指纹相匹配。
本申请实施例提供的一种URL检测系统，聚类子模块可以包括：
第三筛选单元，用于筛选出家族URL中带两个或两个以上预设类型参数的第三类URL；
第三聚类单元，用于对属于同一家族的第三类URL进行聚类，得到第三聚类结果；
第一提取单元，用于提取第三聚类结果中的目标类型参数；
第三设置单元，用于将目标类型参数作为HTTP指纹库中的指纹；
其中，预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；目标类型参数包括位于URL中问号与相邻等号间的参数，且相邻等号位于问号之后。
本申请实施例提供的一种URL检测系统，聚类算法可以包括2-gram算法。
本申请实施例提供的一种URL检测系统，获取子模块可以包括：
域名获取单元，用于获取IOC事件库中的域名；
获取单元，用于对域名进行爬取，得到恶意URL。
本申请还提供了一种URL检测设备及计算机可读存储介质，其均具有本申请实施例提供的一种URL检测方法具有的对应效果。请参阅图6，图6为本申请实施例提供的一种URL检测设备的结构示意图。
本申请实施例提供的一种URL检测设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如上任一实施例所描述URL检测方法的步骤。
请参阅图7，本申请实施例提供的另一种URL检测设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现URL检测设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所描述URL检测方法的步骤。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、非易失性可读存储介质或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的URL检测系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的URL检测方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种URL检测方法，其特征在于，包括：
获取目标URL；
获取已知的恶意URL；
对所述恶意URL进行家族划分，得到家族URL；
对所述家族URL进行聚类，得到HTTP指纹库，所述HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，所述指纹包括表征URL为恶意的特征信息；
判断所述目标URL是否与所述HTTP指纹库中的指纹相匹配；
若所述目标URL与所述HTTP指纹库中的指纹相匹配，则生成表征所述目标URL恶意的安全性检测结果；
其中，所述对所述家族URL进行聚类，得到所述HTTP指纹库，包括：
筛选出所述家族URL中带一个预设类型参数的第二类URL；
对属于同一家族的所述第二类URL携带的所述预设类型参数进行聚类，得到第二聚类结果；
计算各个所述第二聚类结果的第一正则表达式；
计算各个所述第二聚类结果中目标类型关键值的第二正则表达式；
将所述第一正则表达式和所述第二正则表达式作为所述HTTP指纹库中的指纹；
其中，所述预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；所述目标类型关键值包括所述第二聚类结果中等号之后的参数。
2.根据权利要求1所述的方法，其特征在于，所述对所述家族URL进行聚类，得到所述HTTP指纹库，还包括：
筛选出所述家族URL中不带预设类型参数的第一类URL；
对属于同一家族的所述第一类URL进行聚类，得到第一聚类结果；
将所述第一聚类结果作为所述HTTP指纹库中的指纹；
其中，所述预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数。
3.根据权利要求1所述的方法，其特征在于，
所述判断所述目标URL是否与所述HTTP指纹库中的指纹相匹配，包括：
判断所述目标URL是否携带一个所述预设类型参数；
若所述目标URL携带一个所述预设类型参数，则对所述目标URL携带的所述预设类型参数进行提取，得到第一提取值；计算所述第一提取值的第三正则表达式；判断所述第三正则表达式是否与所述第一正则表达式相同；
若所述第三正则表达式与所述第一正则表达式不相同，则判定所述目标URL与所述HTTP指纹库中的指纹不匹配；
若所述第三正则表达式与所述第一正则表达式相同，则对所述第一提取值中携带的所述目标类型关键值进行提取，得到第二提取值；计算所述第二提取值的第四正则表达式；判断所述第四正则表达式是否与所述第二正则表达式相同；
若所述第四正则表达式与所述第二正则表达式相同，则判定所述目标URL与所述HTTP指纹库中的指纹相匹配。
4.根据权利要求1所述的方法，其特征在于，所述对所述家族URL进行聚类，得到所述HTTP指纹库，还包括：
筛选出所述家族URL中带两个或两个以上预设类型参数的第三类URL；
对属于同一家族的所述第三类URL进行聚类，得到第三聚类结果；
提取所述第三聚类结果中的目标类型参数；
将所述目标类型参数作为所述HTTP指纹库中的指纹；
其中，所述预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；所述目标类型参数包括位于URL中问号与相邻等号间的参数，且相邻等号位于问号之后。
5.根据权利要求1至4任一项所述的方法，其特征在于，聚类算法包括2-gram算法。
6.根据权利要求1所述的方法，其特征在于，所述获取已知的恶意URL，包括：
获取IOC事件库中的域名；
对所述域名进行爬取，得到所述恶意URL。
7.一种URL检测系统，其特征在于，包括：
第一获取模块，用于获取目标URL；
第二获取模块，用于获取已知的恶意URL；对所述恶意URL进行家族划分，得到家族URL；对所述家族URL进行聚类，得到HTTP指纹库，所述HTTP指纹库中包括属于同一家族的恶意URL的共同指纹，所述指纹包括表征URL为恶意的特征信息；
判断模块，用于判断所述目标URL是否与所述HTTP指纹库中的指纹相匹配；若所述目标URL与所述HTTP指纹库中的指纹相匹配，则生成表征所述目标URL恶意的安全性检测结果；
其中，所述对所述家族URL进行聚类，得到所述HTTP指纹库，包括：
筛选出所述家族URL中带一个预设类型参数的第二类URL；
对属于同一家族的所述第二类URL携带的所述预设类型参数进行聚类，得到第二聚类结果；
计算各个所述第二聚类结果的第一正则表达式；
计算各个所述第二聚类结果中目标类型关键值的第二正则表达式；
将所述第一正则表达式和所述第二正则表达式作为所述HTTP指纹库中的指纹；
其中，所述预设类型参数包括位于URL中相邻问号之间的参数和最后一个问号之后的参数；所述目标类型关键值包括所述第二聚类结果中等号之后的参数。
8.一种URL检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述URL检测方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述URL检测方法的步骤。
CN202011491721.9A 2020-12-16 2020-12-16 一种url检测方法、系统、设备及计算机可读存储介质 Active CN114640492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011491721.9A CN114640492B (zh) 2020-12-16 2020-12-16 一种url检测方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011491721.9A CN114640492B (zh) 2020-12-16 2020-12-16 一种url检测方法、系统、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114640492A CN114640492A (zh) 2022-06-17
CN114640492B true CN114640492B (zh) 2024-08-20

Family

ID=81945236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011491721.9A Active CN114640492B (zh) 2020-12-16 2020-12-16 一种url检测方法、系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114640492B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499237A (zh) * 2022-09-29 2022-12-20 绿盟科技集团股份有限公司 高风险app检测方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111404949A (zh) * 2020-03-23 2020-07-10 深信服科技股份有限公司 一种流量检测方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9178901B2 (en) * 2013-03-26 2015-11-03 Microsoft Technology Licensing, Llc Malicious uniform resource locator detection
CN104216930B (zh) * 2013-07-30 2018-04-27 腾讯科技（深圳）有限公司 一种跳转类钓鱼网页的检测方法和装置
EP3547193B1 (en) * 2017-01-11 2021-11-24 Nippon Telegraph and Telephone Corporation Analysis apparatus, analysis method and analysis program
CN109474587A (zh) * 2018-11-01 2019-03-15 北京亚鸿世纪科技发展有限公司 基于信安系统的http劫持监测分析及定位的方法
CN110839042B (zh) * 2019-11-22 2021-08-03 上海交通大学 一种基于流量的自反馈恶意软件监测系统和方法
CN111131236A (zh) * 2019-12-23 2020-05-08 杭州安恒信息技术股份有限公司 一种web指纹检测装置、方法、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111404949A (zh) * 2020-03-23 2020-07-10 深信服科技股份有限公司 一种流量检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114640492A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
US20200195667A1 (en) Url attack detection method and apparatus, and electronic device
CN111401416B (zh) 异常网站的识别方法、装置和异常对抗行为的识别方法
Niakanlahiji et al. Phishmon: A machine learning framework for detecting phishing webpages
CN110650117B (zh) 跨站攻击防护方法、装置、设备及存储介质
CN112685739B (zh) 恶意代码检测方法、数据交互方法及相关设备
CN108924118B (zh) 一种撞库行为检测方法及系统
CN113496033B (zh) 访问行为识别方法和装置及存储介质
CN113315742B (zh) 攻击行为检测方法、装置及攻击检测设备
CN111949803A (zh) 一种基于知识图谱的网络异常用户检测方法、装置和设备
CN107888606B (zh) 一种域名信誉度评估方法及系统
CN108900554B (zh) Http协议资产检测方法、系统、设备及计算机介质
CN113347210A (zh) 一种dns隧道检测方法、装置及电子设备
Geng et al. Favicon-a clue to phishing sites detection
CN111224941A (zh) 一种威胁类型识别方法及装置
WO2020082763A1 (zh) 基于决策树的钓鱼网站检测方法、装置及计算机设备
CN107784107B (zh) 基于逃逸行为分析的暗链检测方法及装置
CN115314236A (zh) 在域名系统（dns）记录集中检测网络钓鱼域的系统和方法
CN110855716B (zh) 一种面向仿冒域名的自适应安全威胁分析方法及系统
CN114640492B (zh) 一种url检测方法、系统、设备及计算机可读存储介质
CN112583827A (zh) 一种数据泄露检测方法及装置
CN111541687B (zh) 一种网络攻击检测方法及装置
CN110851828A (zh) 基于多维度特征的恶意url监测方法、装置和电子设备
KR101893029B1 (ko) 머신 러닝 기반의 취약점 정보를 분류하는 방법 및 장치
CN107332856B (zh) 地址信息的检测方法、装置、存储介质和电子装置
CN115827379A (zh) 异常进程检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant