CN108092962A - 一种恶意url检测方法及装置 - Google Patents

一种恶意url检测方法及装置 Download PDF

Info

Publication number
CN108092962A
CN108092962A CN201711296924.0A CN201711296924A CN108092962A CN 108092962 A CN108092962 A CN 108092962A CN 201711296924 A CN201711296924 A CN 201711296924A CN 108092962 A CN108092962 A CN 108092962A
Authority
CN
China
Prior art keywords
detected
url
cryptographic hash
daily record
record data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711296924.0A
Other languages
English (en)
Other versions
CN108092962B (zh
Inventor
白敏�
汪列军
韩志立
高浩浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qianxin Technology Co Ltd
Original Assignee
Beijing Qianxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qianxin Technology Co Ltd filed Critical Beijing Qianxin Technology Co Ltd
Priority to CN201711296924.0A priority Critical patent/CN108092962B/zh
Publication of CN108092962A publication Critical patent/CN108092962A/zh
Application granted granted Critical
Publication of CN108092962B publication Critical patent/CN108092962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1483—Countermeasures against malicious traffic service impersonation, e.g. phishing, pharming or web spoofing

Abstract

本发明实施例提供一种恶意URL检测方法及装置。所述方法包括：读取并解析待检测日志数据，获得待检测URL；若判断获知待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将待检测URL的哈希值与映射表中的哈希值进行匹配；若判断获知待检测URL的哈希值不在映射表中，或待检测URL对应的告警类型为未知类型，则利用沙箱技术对待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。并在本地生成对应的资产表及告警表。所述装置用于执行所述方法。本发明实施例通过若判断获知待检测URL不在黑名单和白名单中时，通过与映射表进行匹配，以及利用沙箱技术进行检测获得检测结果，在提高了检测效率的同时，也提高了检测的准确率。

Description

一种恶意URL检测方法及装置
技术领域
本发明实施例涉及信息安全技术领域，尤其涉及一种恶意URL检测方法及装置。
背景技术
网络丰富了人们的生活，但是越来越多的色情、欺诈钓鱼网站也层出不穷，严重威胁了广大网民在网上获取信息的安全，由此就需要识别恶意URL的检测引擎。
现有的URL云检测引擎可以识别和提示用户访问的URL(Uniform/UniversalResource Locator，统一资源定位符)是否具有恶意特性。在用户输入要访问的URL之后、浏览器显示出页面内容之前，URL云检测引擎需要到云检测中心获取用户访问的URL的恶意属性，并对其进行识别后，进行相关的提示。由于恶意站点的变幻多端，因此URL云检测引擎必须具备快速、高效、准确的特性，从而确保恶意网站能够及时、准确地被发现。
在实现本发明实施例的过程中，发明人发现，目前恶意URL的检测方式都是基于字符串匹配的方法，安全厂商收集大量恶意URL，将其保存在特征库中，在URL检测时，通过与大量恶意URL字符串的比较来获得检测结果。这种检测方法存在准确率低的问题，因此，如何在保证检测效率的同时提高检测的准确性是现如今亟待解决的课题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种恶意URL检测方法及装置。
第一方面，本发明实施例提供一种恶意URL检测方法，包括：
读取并解析待检测日志数据，获得待检测URL；
若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；
若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
第二方面，本发明实施例提供一种恶意URL检测装置，包括：
读取模块，用于读取并解析待检测日志数据，获得待检测URL；
第一匹配模块，用于若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；
检测模块，用于若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法步骤。
本发明实施例提供的一种恶意URL检测方法及装置，通过若判断获知待检测URL不在黑名单和白名单中时，通过与映射表进行匹配，以及利用沙箱技术进行检测获得检测结果，在提高了检测效率的同时，也提高了检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种恶意URL检测方法流程示意图；
图2为本发明实施例提供的告警、资产表工作流程示意图；
图3为本发明实施例提供的一种恶意URL检测装置结构示意图；
图4为本发明实施例提供的一种电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种恶意URL检测方法流程示意图，如图1所示，所述方法，包括：
步骤101：读取并解析待检测日志数据，获得待检测URL；
具体的，一个系统在运行过程中会产生很多日志数据，检测装置将产生的日志数据存储到日志数据库中，并从日志数据库中获取一条日志数据作为待检测日志数据，并对待检测日志数据进行解析，获得待检测日志数据对应的待检测URL。
步骤102：若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；
具体的，获取预先配置的黑名单和白名单，将待检测URL分别与黑名单和白名单中的内容进行匹配，如果待检测URL既没有在黑名单中也没有在白名单中，则计算待检测URL对应的哈希值，并获取预先配置的映射表，映射表中包括已经在云端检测过的URL对应的哈希值与告警类型的映射关系。应当说明的是映射表中还包括已检测的URL的访问时间，可以通过map<key,value>的形式来表示映射表，key为URL的哈希值，value是检测结果，检测结果包括告警类型和访问时间，告警类型可以为0-99，每一个数值都表示不同的告警类型，例如：<9dc070ddaf035b8d,{warn_type:2,expira_time:86400}>，warn_type表示告警类型，expira_time表示访问时间。应当说明的是，黑名单中包括URL或URL对应的哈希值，以及告警类型，且黑名单和白名单构成了IOC知识库。
步骤103：若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
具体的，在将待检测URL的哈希值与映射表中已检测URL的哈希值进行匹配后，发现映射表中没有与该待检测URL的哈希值相同的已检测URL的哈希值，则说明该待检测URL没有被检测过；或者经过匹配后发现映射表中存在与该待检测URL的哈希值相同的已检测URL，但是该已检测URL对应的告警类型为未知类型，则说明该待检测URL需要进行进一步的检测，此时，利用沙箱技术对待检测URL对应的待检测日志数据进行检测，从而获得待检测URL是否是恶意URL的检测结果。应当说明的是，如果待检测URL的哈希值与映射表中的某个已检测URL的哈希值相同，且该已检测URL未过期，则表示已经在云端检测过了，此时，直接使用映射表中的检测结果作为待检测URL的检测结果即可。
应当说明的是，检测装置能够接收各类日志数据，包括HTTP、DNS流量、JSON、XDR、TXT、ES以及SYSLOG等信息。且当产生的日志数据过多，检测装置处理不过来，则可以放到kafka队列中，检测装置从kafka队列中获取日志数据。
本发明实施例通过若判断获知待检测URL不在黑名单和白名单中时，通过与映射表进行匹配，以及利用沙箱技术进行检测获得检测结果，在提高了检测效率的同时，也提高了检测的准确率。
在上述实施例的基础上，所述利用沙箱技术对所述待检测URL对应的待检测日志数据进行检测，获得检测结果，包括：
获取训练样本，并通过所述训练样本利用沙箱技术对静态沙箱和动态沙箱进行训练；
根据待检测日志数据中的静态数据和所述静态沙箱进行静态分析，获得所述待检测URL的第一分析结果；
根据待检测日志数据对应的动态行为和所述动态沙箱进行动态分析，获得所述待检测URL的第二分析结果，
根据所述第一分析结果和所述第二分析结果获得所述检测结果。
具体的，在利用沙箱技术对待检测URL进行检测时，首选需要构建静态沙箱和动态沙箱，获取一些训练样本，该训练样本包括静态训练样本和动态训练样本，静态训练样本有静态数据构成，用于训练静态沙箱；动态训练样本由动态行为构成，用来训练动态沙箱。利用机器学习、QVM的静态分析方法对静态训练样本进行黑白判定与家族分类，应当说明的是，黑白判定是指静态训练样本是属于恶意的还是非恶意的，家族分类是指恶意URL属于哪一类，事先可以将恶意URL按类型分为不同的家族。在训练过程中，选取哪些参数作为静态数据可以根据实际情况自行确定，本发明实施例对此不做具体限定。通过动态训练样本中的动态行为对动态沙箱进行训练，动态行为包括主机层面的行为和网络行为，对每一个动态训练样本产生的动态行为和该动态训练样本的告警类型进行训练。应当说明的是，训练样本由各类网络数据，如：DNS、URL、IP，以及网络爬虫和社交信息等大数据实时推送获得。
获取待检测日志数据中的静态分析所需的静态数据和动态分析所需的动态行为，将静态数据输入到静态沙箱中进行静态分析，从而可以获得待检测URL的第一分析结果，将动态行为输入到动态沙箱中进行动态分析，从而可以获得待检测URL的第二分析结果，将第一分析结果和第二分析结果进行综合，获得最终的检测结果。
本发明实施例通过沙箱技术对待检测URL进行静态分析和动态分析，从而获得检测结果，提高了检测的准确率。
在上述实施例的基础上，所述方法，还包括：
若根据所述检测结果判断所述待检测URL为恶意URL，则根据所述待检测URL对应的目的IP和资产信息将所述检测结果对应的告警信息进行去重处理，并将去重后的告警信息进行存储。
具体的，在经过检测后发现待检测URL为恶意URL，则需要发出告警信息，为了避免同一个资产产生多条告警信息，在产生告警之前对检测结果进行去重处理，具体为，获取待检测URL对应的目的IP和资产信息，如果发现有两条以上的检测结果对应的目的IP和资产信息都相同，此时，需要对告警信息进行去重处理，并将去重后的告警信息进行存储，使一个资产只有一条告警信息，告警的具体详情可以通过告警信息详情连接或文件截图获取。
本发明实施例通过目的IP和资产信息对告警信息进行去重，避免了一条资产产生过多的告警信息，使得有效信息被淹没在无效日志里。
在上述实施例的基础上，所述方法，还包括：
将所述待检测URL与所述黑名单和所述白名单进行匹配；
若判断获知所述待检测URL在所述黑名单中，则发出告警信息；
若判断获知所述待检测URL在所述白名单中，则停止对所述待检测URL的检测。
具体的，预先构建黑名单和白名单，其中黑名单可以包括全网恶意软件黑名单库、全网恶意URL黑名单库、全网恶意软件URL库、本地MD5库等，白名单包括全网恶意软件白名单库和全网恶意URL白名单库等。将待检测URL与黑名单和白名单进行匹配，如果待检测URL在黑名单中，则说明该待检测URL为恶意URL，此时可以发出告警信息；如果待检测URL在白名单中，则说明待检测URL不是恶意URL，此时可以放过该待检测URL，不再对其进行后续的检测。应当说明的是，经过沙箱技术进行检测后得到的检测结果也需要存入到对应的黑名单或白名单，用于更新黑白名单。
本发明实施例通过将待检测URL与黑白名单进行匹配，如果匹配成功，则可以直接得出检测结果，而不需要后续的检测，从而提高了检测的效率。
在上述实施例的基础上，所述将所述待检测URL的哈希值与映射表中的哈希值进行匹配，包括：
将所述待检测URL的哈希值与本地映射表中的哈希值进行匹配，若匹配失败，则将所述待检测URL的哈希值与云端映射表中的哈希值进行匹配。
具体的，映射表包括本地映射表和云端映射表，可以根据一定的周期将云端映射表同步到本地，构成本地映射表，从而使得映射表具有同步、老化和刷新机制。待检测URL既没有在黑名单也没有在白名单中时，先将待检测URL的哈希值与本地映射表中已检测URL的哈希值进行匹配，如果匹配成功且告警类型不是未知类型，则直接将与本地映射表中匹配成功的URL对应的检测结果作为待检测URL的检测结果，如果匹配失败，再与云端映射表中的已检测URL的哈希值进行匹配。
本发明实施例通过设置本地映射表，并将待检测URL先与本地映射表进行匹配，如果匹配失败再与云端映射表匹配，从而提高了检测的效率。
在上述实施例的基础上，所述方法，还包括：
预先建立资产表和告警表，将所述待检测日志数据对应的资产信息存入所述资产表中，将所述待检测URL对应的告警信息存储到所述告警表中；其中，所述资产表包括源目的IP、源目的端口和URL；所述告警表包括：所述源目的IP、所述URL和恶意类型。
具体的，图2为本发明实施例提供的告警、资产表工作流程示意图，如图2所示，预先建立资产表204和告警表203，资产表204和告警表203中存储的是经过检测的日志数据，首先，检测装置202从日志服务器201中获取待检测日志数据，然后对待检测日志数据进行检测，并将检测结果按照告警表203和资产表204的字段需求分别进行存储，告警表将存入的告警信息存入告警数据库205中的同时也同步至云端207。资产表将经过本地去重后的资产信息存储到资产数据库206中。其中资产表中包括源目的IP、源目的端口、URL、时间戳和该信息最近访问的时间等信息，告警表中除IP，时间戳，URL等信息外还包括规则ID和恶意类型、是否CDN、开始时间、结束时间、处置动作和URL详情等信息，将检测到的日志数据对应的资产信息进行本地去重并存储到资产表中，提高了查询结果返回效率。
在上述实施例的基础上，所述方法，还包括：
根据所述待检测日志数据对应的IP地址，判断所述IP地址是否为CDN归属的域名。
具体的，预先设置CDN数据库，CDN数据库中包括归属于CDN的IP地址，获取待检测日志数据对应的IP地址，根据CDN数据库判断该IP地址是否为CDN归属的域名，依次在对恶意信息进行研判处理时，加入该IP地址是否为CDN的属性。
在上述实施例的基础上，所述方法，还包括：
若根据所述检测结果判断所述待检测URL为恶意URL，则对所述待检测URL对应的页面进行截图获得对应的图片，并将所述图片进行存储。
具体的，根据检测结果判断待检测URL为恶意URL，例如可能存在挂马、恶意文件下载等，则需要将待检测URL对应的页面进行截图处理，获得对应的图片，作为研判处理的证据，当获取到图片后，将图片存入数据库中，并标记此信息为已取证，避免恶意网站的数据不可访问，及提供数据追踪。应当说明的是，如果用户在访问检测结果时图片无法下载，则会提供含有恶意详情的连接地址，以供用户可以直接访问具体信息。
在上述实施例的基础上，所述方法，还包括：
获取所述待检测日志数据的IOC字段，根据本地IOC库和云端IOC库，通过所述待检测日志数据对应的目的IP及URL资产对所述待检测日志数据进行去重处理。
具体的，将待检测日志数据先进行去重去噪处理，然后将解析后获得对应的IOC字段，分别与本地IOC库和云端IOC库进行比对分析检测，然后将检测结果存储到检测装置，同时更新本地资产表和告警表，并将IOC字段存储到本地IOC库和云端IOC库中，有效提高了告警准确率。
图3为本发明实施例提供的一种恶意URL检测装置结构示意图，如图3所示，所述装置，包括：读取模块301、第一匹配模块302和检测模块303，其中，
读取模块301用于读取并解析待检测日志数据，获得待检测URL；第一匹配模块302用于若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；检测模块302用于若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
具体的，一个系统在运行过程中会产生很多日志数据，读取模块301将产生的日志数据存储到日志数据库中，并从日志数据库中获取一条日志数据作为待检测日志数据，并对待检测日志数据进行解析，获得待检测日志数据对应的待检测URL。第一匹配模块302获取预先配置的黑名单和白名单，将待检测URL分别与黑名单和白名单中的内容进行匹配，如果待检测URL既没有在黑名单中也没有在白名单中，则计算待检测URL对应的哈希值，并获取预先配置的映射表，映射表中包括已经在云端检测过的URL对应的哈希值与告警类型的映射关系。在将待检测URL的哈希值与映射表中已检测URL的哈希值进行匹配后，发现映射表中没有与该待检测URL的哈希值相同的已检测URL的哈希值，则说明该待检测URL没有被检测过；或者经过匹配后发现映射表中存在与该待检测URL的哈希值相同的已检测URL，但是该已检测URL对应的告警类型为未知类型，则说明该待检测URL需要进行进一步的检测，此时，检测模块303利用沙箱技术对待检测URL对应的待检测日志数据进行恶意URL检测，从而获得待检测URL是否为恶意URL的检测结果。
本发明实施例通过若判断获知待检测URL不在黑名单和白名单中时，通过与映射表进行匹配，以及利用沙箱技术进行检测获得检测结果，在提高了检测效率的同时，也提高了检测的准确率。
在上述实施例的基础上，所述检测模块，具体用于：
获取训练样本，并通过所述训练样本利用沙箱技术对静态沙箱和动态沙箱进行训练；
根据待检测日志数据中的静态数据和所述静态沙箱进行静态分析，获得所述待检测URL的第一分析结果；
根据待检测日志数据对应的动态行为和所述动态沙箱进行动态分析，获得所述待检测URL的第二分析结果，
根据所述第一分析结果和所述第二分析结果获得所述检测结果。
在上述实施例的基础上，所述装置，还包括：
第一去重模块，用于若根据所述检测结果判断所述待检测URL为恶意URL，则根据所述待检测URL对应的目的IP和资产信息将所述检测结果进行去重处理，并将去重后的检测结果进行存储。
在上述实施例的基础上，所述装置，还包括：
第二匹配模块，用于将所述待检测URL与所述黑名单和所述白名单进行匹配；
若判断获知所述待检测URL在所述黑名单中，则发出告警信息；
若判断获知所述待检测URL在所述白名单中，则停止对所述待检测URL的检测。
在上述实施例的基础上，所述第一匹配模块，具体用于：
将所述待检测URL的哈希值与本地映射表中的哈希值进行匹配，若匹配失败，则将所述待检测URL的哈希值与云端映射表中的哈希值进行匹配。
在上述实施例的基础上，所述装置，还包括：
表建立模块，用于预先建立资产表和告警表，将所述待检测日志数据对应的资产信息存入所述资产表中，将所述待检测URL对应的告警信息存储到所述告警表中；其中，所述资产表包括源目的IP、源目的端口和已检测URL；所述告警表包括：所述源目的IP、所述已检测URL和恶意类型。
在上述实施例的基础上，所述装置，还包括：
判断模块，用于根据所述待检测日志数据对应的IP地址，判断所述IP地址是否为CDN归属的域名。
在上述实施例的基础上，所述装置，还包括：
取证模块，用于若根据所述检测结果判断所述待检测URL为恶意URL，则对所述待检测URL对应的页面进行截图获得对应的图片，并将所述图片进行存储。
在上述实施例的基础上，其特征在于，所述装置，还包括：
第二去重模块，用于获取所述待检测日志数据的IOC字段，根据本地IOC库和云端IOC库，通过所述待检测日志数据对应的目的IP及URL资产对所述待检测日志数据进行去重处理。
本发明提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
本发明实施例通过若判断获知待检测URL不在黑名单和白名单中时，通过与映射表进行匹配，以及利用沙箱技术进行检测获得检测结果，在提高了检测效率的同时，也提高了检测的准确率。
图4为本发明实施例提供的一种电子设备实体结构示意图，如图4所示，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；其中，
所述处理器401和存储器402通过所述总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：读取并解析待检测日志数据，获得待检测URL；若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：读取并解析待检测日志数据，获得待检测URL；若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：读取并解析待检测日志数据，获得待检测URL；若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种恶意URL检测方法，其特征在于，包括：
读取并解析待检测日志数据，获得待检测URL；
若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；
若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用沙箱技术对所述待检测URL对应的待检测日志数据进行检测，获得检测结果，包括：
获取训练样本，并通过所述训练样本利用沙箱技术对静态沙箱和动态沙箱进行训练；
根据待检测日志数据中的静态数据和所述静态沙箱进行静态分析，获得所述待检测URL的第一分析结果；
根据待检测日志数据对应的动态行为和所述动态沙箱进行动态分析，获得所述待检测URL的第二分析结果，
根据所述第一分析结果和所述第二分析结果获得所述检测结果。
3.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
若根据所述检测结果判断所述待检测URL为恶意URL，则根据所述待检测URL对应的目的IP和资产信息将所述检测结果对应的告警信息进行去重处理，并将去重后的告警信息进行存储。
4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
将所述待检测URL与所述黑名单和所述白名单进行匹配；
若判断获知所述待检测URL在所述黑名单中，则发出告警信息；
若判断获知所述待检测URL在所述白名单中，则停止对所述待检测URL的检测。
5.根据权利要求1所述的方法，其特征在于，所述将所述待检测URL的哈希值与映射表中的哈希值进行匹配，包括：
将所述待检测URL的哈希值与本地映射表中的哈希值进行匹配，若匹配失败，则将所述待检测URL的哈希值与云端映射表中的哈希值进行匹配。
6.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
预先建立资产表和告警表，将所述待检测日志数据对应的资产信息存入所述资产表中，将所述待检测URL对应的告警信息存储到所述告警表中；其中，所述资产表包括源目的IP、源目的端口和已检测URL；所述告警表包括：所述源目的IP、所述已检测URL和恶意类型。
7.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
根据所述待检测日志数据对应的IP地址，判断所述IP地址是否为CDN归属的域名。
8.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
若根据所述检测结果判断所述待检测URL为恶意URL，则对所述待检测URL对应的页面进行截图获得对应的图片，并将所述图片进行存储。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法，还包括：
获取所述待检测日志数据的IOC字段，根据本地IOC库和云端IOC库，通过所述待检测日志数据对应的目的IP及URL资产对所述待检测日志数据进行去重处理。
10.一种恶意URL检测装置，其特征在于，包括：
读取模块，用于读取并解析待检测日志数据，获得待检测URL；
第一匹配模块，用于若判断获知所述待检测URL不在预先配置的黑名单且不在预先配置的白名单中，则将所述待检测URL的哈希值与映射表中的哈希值进行匹配，所述映射表包括已检测的URL的哈希值与告警类型的映射关系；
检测模块，用于若判断获知所述待检测URL的哈希值不在所述映射表中，或所述待检测URL对应的告警类型为未知类型，则利用沙箱技术对所述待检测URL对应的待检测日志数据进行恶意URL检测，获得检测结果。
11.根据权利要求10所述的装置，其特征在于，所述检测模块，具体用于：
获取训练样本，并通过所述训练样本利用沙箱技术对静态沙箱和动态沙箱进行训练；
根据待检测日志数据中的静态数据和所述静态沙箱进行静态分析，获得所述待检测URL的第一分析结果；
根据待检测日志数据对应的动态行为和所述动态沙箱进行动态分析，获得所述待检测URL的第二分析结果，
根据所述第一分析结果和所述第二分析结果获得所述检测结果。
12.根据权利要求10所述的装置，其特征在于，所述装置，还包括：
第一去重模块，用于若根据所述检测结果判断所述待检测URL为恶意URL，则根据所述待检测URL对应的目的IP和资产信息将所述检测结果进行去重处理，并将去重后的检测结果进行存储。
13.根据权利要求10所述的装置，其特征在于，所述装置，还包括：
第二匹配模块，用于将所述待检测URL与所述黑名单和所述白名单进行匹配；
若判断获知所述待检测URL在所述黑名单中，则发出告警信息；
若判断获知所述待检测URL在所述白名单中，则停止对所述待检测URL的检测。
14.根据权利要求10所述的装置，其特征在于，所述第一匹配模块，具体用于：
将所述待检测URL的哈希值与本地映射表中的哈希值进行匹配，若匹配失败，则将所述待检测URL的哈希值与云端映射表中的哈希值进行匹配。
15.根据权利要求10所述的装置，其特征在于，所述装置，还包括：
表建立模块，用于预先建立资产表和告警表，将所述待检测日志数据对应的资产信息存入所述资产表中，将所述待检测URL对应的告警信息存储到所述告警表中；其中，所述资产表包括源目的IP、源目的端口和已检测URL；所述告警表包括：所述源目的IP、所述已检测URL和恶意类型。
16.根据权利要求10所述的装置，其特征在于，所述装置，还包括：
判断模块，用于根据所述待检测日志数据对应的IP地址，判断所述IP地址是否为CDN归属的域名。
17.根据权利要求10所述的装置，其特征在于，所述装置，还包括：
取证模块，用于若根据所述检测结果判断所述待检测URL为恶意URL，则对所述待检测URL对应的页面进行截图获得对应的图片，并将所述图片进行存储。
18.根据权利要求10-17任一项所述的装置，其特征在于，所述装置，还包括：
第二去重模块，用于获取所述待检测日志数据的IOC字段，根据本地IOC库和云端IOC库，通过所述待检测日志数据对应的目的IP及URL资产对所述待检测日志数据进行去重处理。
19.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-9任一项所述的方法。
20.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-9任一项所述的方法。
CN201711296924.0A 2017-12-08 2017-12-08 一种恶意url检测方法及装置 Active CN108092962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711296924.0A CN108092962B (zh) 2017-12-08 2017-12-08 一种恶意url检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711296924.0A CN108092962B (zh) 2017-12-08 2017-12-08 一种恶意url检测方法及装置

Publications (2)

Publication Number Publication Date
CN108092962A true CN108092962A (zh) 2018-05-29
CN108092962B CN108092962B (zh) 2020-11-06

Family

ID=62174906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711296924.0A Active CN108092962B (zh) 2017-12-08 2017-12-08 一种恶意url检测方法及装置

Country Status (1)

Country Link
CN (1) CN108092962B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005145A (zh) * 2018-06-04 2018-12-14 上海交通大学 一种基于自动特征抽取的恶意url检测系统及其方法
CN109190376A (zh) * 2018-08-30 2019-01-11 郑州云海信息技术有限公司 一种网页木马检测方法、系统及电子设备和存储介质
CN109240895A (zh) * 2018-09-11 2019-01-18 北京北信源信息安全技术有限公司 一种分析日志故障的处理方法及装置
CN109309665A (zh) * 2018-08-22 2019-02-05 阿里巴巴集团控股有限公司 一种访问请求处理方法及装置、一种计算设备及存储介质
CN109784034A (zh) * 2018-12-20 2019-05-21 北京奇安信科技有限公司 一种信息处理的方法、设备、系统和介质
CN109784049A (zh) * 2018-12-21 2019-05-21 北京奇安信科技有限公司 威胁数据处理的方法、设备、系统和介质
CN110086811A (zh) * 2019-04-29 2019-08-02 深信服科技股份有限公司 一种恶意脚本检测方法及相关装置
CN111125704A (zh) * 2019-12-27 2020-05-08 北京安信天行科技有限公司 一种网页挂马识别方法及系统
CN111177719A (zh) * 2019-08-13 2020-05-19 腾讯科技（深圳）有限公司 地址类别判定方法、装置、计算机可读存储介质及设备
CN111314301A (zh) * 2020-01-17 2020-06-19 武汉思普崚技术有限公司 一种基于dns解析的网站访问控制方法及装置
CN111506499A (zh) * 2020-04-08 2020-08-07 百度在线网络技术（北京）有限公司 一种小程序中参数可用性检测方法、装置以及电子设备
CN111628990A (zh) * 2020-05-22 2020-09-04 北京金山云网络技术有限公司 识别攻击的方法、装置和服务器
CN111641663A (zh) * 2020-07-06 2020-09-08 奇安信科技集团股份有限公司 一种安全检测方法和装置
CN112868008A (zh) * 2020-04-28 2021-05-28 深圳开源互联网安全技术有限公司 Java开源组件的漏洞检测方法、装置及存储介质
CN112866279A (zh) * 2021-02-03 2021-05-28 恒安嘉新（北京）科技股份公司 网页安全检测方法、装置、设备及介质
CN112887159A (zh) * 2021-03-26 2021-06-01 北京安天网络安全技术有限公司 一种统计告警方法和装置
CN113596016A (zh) * 2021-07-27 2021-11-02 北京丁牛科技有限公司 恶意域名检测方法及装置、电子设备和存储介质
CN114172703A (zh) * 2021-11-26 2022-03-11 杭州安恒信息技术股份有限公司 一种恶意软件识别方法、装置、介质
CN114238965A (zh) * 2021-11-17 2022-03-25 北京华清信安科技有限公司 用于恶意访问的检测分析方法及系统
US20220114260A1 (en) * 2020-10-13 2022-04-14 Kyndryl, Inc. Malware detection by distributed telemetry data analysis
WO2022156293A1 (zh) * 2021-01-22 2022-07-28 华为技术有限公司 处理告警日志的方法、装置及存储介质
CN115001789A (zh) * 2022-05-27 2022-09-02 绿盟科技集团股份有限公司 一种失陷设备检测方法、装置、设备及介质
WO2024019226A1 (ko) * 2022-07-22 2024-01-25 주식회사 필상 유해 url 탐지 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638448A (zh) * 2012-02-27 2012-08-15 珠海市君天电子科技有限公司 一种基于非内容分析的判断钓鱼网站的方法
CN102843271A (zh) * 2011-11-14 2012-12-26 哈尔滨安天科技股份有限公司 恶意url的形式化检测方法和系统
US8381292B1 (en) * 2008-12-30 2013-02-19 The Uab Research Foundation System and method for branding a phishing website using advanced pattern matching
CN103390129A (zh) * 2012-05-08 2013-11-13 腾讯科技（深圳）有限公司 检测统一资源定位符安全性的方法和装置
CN104243460A (zh) * 2014-09-03 2014-12-24 飞天诚信科技股份有限公司 一种实现网络防钓鱼的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381292B1 (en) * 2008-12-30 2013-02-19 The Uab Research Foundation System and method for branding a phishing website using advanced pattern matching
CN102843271A (zh) * 2011-11-14 2012-12-26 哈尔滨安天科技股份有限公司 恶意url的形式化检测方法和系统
CN102638448A (zh) * 2012-02-27 2012-08-15 珠海市君天电子科技有限公司 一种基于非内容分析的判断钓鱼网站的方法
CN103390129A (zh) * 2012-05-08 2013-11-13 腾讯科技（深圳）有限公司 检测统一资源定位符安全性的方法和装置
CN104243460A (zh) * 2014-09-03 2014-12-24 飞天诚信科技股份有限公司 一种实现网络防钓鱼的方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005145B (zh) * 2018-06-04 2021-01-01 上海交通大学 一种基于自动特征抽取的恶意url检测系统及其方法
CN109005145A (zh) * 2018-06-04 2018-12-14 上海交通大学 一种基于自动特征抽取的恶意url检测系统及其方法
CN109309665A (zh) * 2018-08-22 2019-02-05 阿里巴巴集团控股有限公司 一种访问请求处理方法及装置、一种计算设备及存储介质
CN109309665B (zh) * 2018-08-22 2021-03-05 创新先进技术有限公司 一种访问请求处理方法及装置、一种计算设备及存储介质
CN109190376A (zh) * 2018-08-30 2019-01-11 郑州云海信息技术有限公司 一种网页木马检测方法、系统及电子设备和存储介质
CN109240895A (zh) * 2018-09-11 2019-01-18 北京北信源信息安全技术有限公司 一种分析日志故障的处理方法及装置
CN109784034A (zh) * 2018-12-20 2019-05-21 北京奇安信科技有限公司 一种信息处理的方法、设备、系统和介质
CN109784049A (zh) * 2018-12-21 2019-05-21 北京奇安信科技有限公司 威胁数据处理的方法、设备、系统和介质
CN109784049B (zh) * 2018-12-21 2021-04-09 奇安信科技集团股份有限公司 威胁数据处理的方法、设备、系统和介质
CN110086811A (zh) * 2019-04-29 2019-08-02 深信服科技股份有限公司 一种恶意脚本检测方法及相关装置
CN111177719A (zh) * 2019-08-13 2020-05-19 腾讯科技（深圳）有限公司 地址类别判定方法、装置、计算机可读存储介质及设备
CN111125704B (zh) * 2019-12-27 2022-06-28 北京安信天行科技有限公司 一种网页挂马识别方法及系统
CN111125704A (zh) * 2019-12-27 2020-05-08 北京安信天行科技有限公司 一种网页挂马识别方法及系统
CN111314301A (zh) * 2020-01-17 2020-06-19 武汉思普崚技术有限公司 一种基于dns解析的网站访问控制方法及装置
CN111506499A (zh) * 2020-04-08 2020-08-07 百度在线网络技术（北京）有限公司 一种小程序中参数可用性检测方法、装置以及电子设备
CN112868008A (zh) * 2020-04-28 2021-05-28 深圳开源互联网安全技术有限公司 Java开源组件的漏洞检测方法、装置及存储介质
CN111628990A (zh) * 2020-05-22 2020-09-04 北京金山云网络技术有限公司 识别攻击的方法、装置和服务器
CN111641663A (zh) * 2020-07-06 2020-09-08 奇安信科技集团股份有限公司 一种安全检测方法和装置
CN111641663B (zh) * 2020-07-06 2022-08-12 奇安信科技集团股份有限公司 一种安全检测方法和装置
US11886587B2 (en) * 2020-10-13 2024-01-30 Kyndryl, Inc Malware detection by distributed telemetry data analysis
US20220114260A1 (en) * 2020-10-13 2022-04-14 Kyndryl, Inc. Malware detection by distributed telemetry data analysis
WO2022156293A1 (zh) * 2021-01-22 2022-07-28 华为技术有限公司 处理告警日志的方法、装置及存储介质
CN112866279B (zh) * 2021-02-03 2022-12-09 恒安嘉新（北京）科技股份公司 网页安全检测方法、装置、设备及介质
CN112866279A (zh) * 2021-02-03 2021-05-28 恒安嘉新（北京）科技股份公司 网页安全检测方法、装置、设备及介质
CN112887159A (zh) * 2021-03-26 2021-06-01 北京安天网络安全技术有限公司 一种统计告警方法和装置
CN113596016B (zh) * 2021-07-27 2022-02-25 北京丁牛科技有限公司 恶意域名检测方法及装置、电子设备和存储介质
CN113596016A (zh) * 2021-07-27 2021-11-02 北京丁牛科技有限公司 恶意域名检测方法及装置、电子设备和存储介质
CN114238965A (zh) * 2021-11-17 2022-03-25 北京华清信安科技有限公司 用于恶意访问的检测分析方法及系统
CN114172703A (zh) * 2021-11-26 2022-03-11 杭州安恒信息技术股份有限公司 一种恶意软件识别方法、装置、介质
CN115001789A (zh) * 2022-05-27 2022-09-02 绿盟科技集团股份有限公司 一种失陷设备检测方法、装置、设备及介质
CN115001789B (zh) * 2022-05-27 2024-04-02 绿盟科技集团股份有限公司 一种失陷设备检测方法、装置、设备及介质
WO2024019226A1 (ko) * 2022-07-22 2024-01-25 주식회사 필상 유해 url 탐지 방법

Also Published As

Publication number Publication date
CN108092962B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108092962A (zh) 一种恶意url检测方法及装置
CN109347801B (zh) 一种基于多源词嵌入和知识图谱的漏洞利用风险评估方法
CN106295333B (zh) 用于检测恶意代码的方法和系统
CN108200054A (zh) 一种基于dns解析的恶意域名检测方法及装置
CN111565171B (zh) 异常数据的检测方法、装置、电子设备及存储介质
CN114679329B (zh) 用于基于赝象对恶意软件自动分组的系统
CN104156490A (zh) 基于文字识别检测可疑钓鱼网页的方法及装置
CN110691080B (zh) 自动溯源方法、装置、设备及介质
CN109104421B (zh) 一种网站内容篡改检测方法、装置、设备及可读存储介质
CN108183916A (zh) 一种基于日志分析的网络攻击检测方法及装置
CN103617213B (zh) 识别新闻网页属性特征的方法和系统
Wardman et al. High-performance content-based phishing attack detection
CN110177114A (zh) 网络安全威胁指标识别方法、设备、装置以及计算机可读存储介质
CN104158828B (zh) 基于云端内容规则库识别可疑钓鱼网页的方法及系统
CN107437026B (zh) 一种基于广告网络拓扑的恶意网页广告检测方法
CA3120833C (en) Identifying equivalent links on a page
Rizzo et al. Unveiling web fingerprinting in the wild via code mining and machine learning
CN105302815B (zh) 网页的统一资源定位符url的过滤方法和装置
CN104202291A (zh) 基于多因素综合评定方法的反钓鱼方法
CN112487208A (zh) 一种网络安全数据关联分析方法、装置、设备及存储介质
CN110209659A (zh) 一种简历过滤方法、系统和计算机可读存储介质
CN114528457A (zh) Web指纹检测方法及相关设备
CN111371757B (zh) 恶意通信检测方法、装置、计算机设备和存储介质
CN107493275A (zh) 异构网络安全日志信息的自适应提取和分析方法及系统
CN113886829A (zh) 一种失陷主机检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100088 Building 3 332, 102, 28 Xinjiekouwai Street, Xicheng District, Beijing

Applicant after: Qianxin Technology Group Co.,Ltd.

Address before: 100015 No. 1701-26, building 3, building 10, Jiuxianqiao Road, Beijing, Chaoyang District, 17

Applicant before: Beijing Qi'anxin Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant