CN107438079B - 一种网站未知异常行为的检测方法 - Google Patents

一种网站未知异常行为的检测方法 Download PDF

Info

Publication number
CN107438079B
CN107438079B CN201710713787.XA CN201710713787A CN107438079B CN 107438079 B CN107438079 B CN 107438079B CN 201710713787 A CN201710713787 A CN 201710713787A CN 107438079 B CN107438079 B CN 107438079B
Authority
CN
China
Prior art keywords
website
access
alarm
detecting
alarming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710713787.XA
Other languages
English (en)
Other versions
CN107438079A (zh
Inventor
杨波
范渊
黄进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201710713787.XA priority Critical patent/CN107438079B/zh
Publication of CN107438079A publication Critical patent/CN107438079A/zh
Application granted granted Critical
Publication of CN107438079B publication Critical patent/CN107438079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种网站未知异常行为的检测方法，包括获取原始网站信息，预处理，学习，完善网站有向图和网页入度表；检测单页面访问异常数据；若检测到异常则告警，告警次数加1；检测关键业务访问异常数据；若检测到异常则告警，告警次数加1；检测单个用户访问异常数据；若检测到异常则告警，告警次数加1；统计告警次数，检测网站HTTP协议状态码告警次数；对每半个小时返回超过20次网站HTTP协议状态码告警次数的网站进行告警，统计异常页面URL，根据访问次数排序；排查。本发明检测网站本身安全漏洞及已知的各种威胁，对未知非法连接和访问进行分析，对网络问题进行及时预警，最大程度避免用户网络瘫痪，便于后期排查、处置及维护。

Description

一种网站未知异常行为的检测方法
技术领域
本发明属于数字信息的传输，例如电报通信的技术领域，特别涉及一种有关信息安全技术的网站未知异常行为的检测方法。
背景技术
当前，网站系统越来越先进，功能也越来越强大，人们可以在网站系统上做各种事务流程、购物及查询等等，这大大方便了用户，但同时也带来了各种安全问题，如爬虫、拖库等将导致网站数据大规模泄露。而随着信息技术的发展，网站库成了很多企业的核心资产，特别是金融、互联网等企业，网站一旦出现故障，整个企业的业务立刻瘫痪，因此网站安全越来越受到人们的重视。
目前常见的网站防护软件主要检测网站本身的安全漏洞及已知的各种威胁，没有能力对未知的非法连接和访问进行分析的功能，这对于网络问题的预警是极不到位的，往往容易导致用户在未知的情况下网络瘫痪，后续的排查及处置极为困难。
发明内容
本发明解决的技术问题是，现有技术中，常见的网站防护软件主要检测网站本身的安全漏洞及已知的各种威胁，没有能力对未知的非法连接和访问进行分析的功能，而导致的对于网络问题的预警极不到位的，往往容易导致用户在未知的情况下网络瘫痪，后续的排查及处置极为困难的问题，进而提供了一种优化的网站未知异常行为的检测方法。
本发明所采用的技术方案是，一种网站未知异常行为的检测方法，所述检测方法包括以下步骤：
步骤1：获取原始网站信息，预处理，学习，完善网站有向图和网页入度表；
步骤2：检测单页面访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步；
步骤3：检测关键业务访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步；
步骤4：检测单个用户访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步；
步骤5：统计告警次数，检测网站HTTP协议状态码告警次数；
步骤6：对每半个小时返回超过20次网站HTTP协议状态码告警次数的网站进行告警，统计异常页面URL，根据访问次数排序；
步骤7：排查。
优选地，所述步骤1中，网站有向图包括站点、URI、reference字段和时间字段，网页入度表包括站点、URI、访问次数、reference字段、初始访问时间和最后一次访问时间。
优选地，所述步骤1中，所述预处理包括reference字段不准确和URL中含有随机数的格式处理、筛选200和302的日志、排除静态资源请求日志。
优选地，所述步骤2中，检测单页面访问异常数据包括以下步骤：
步骤2.1：当日志中发现页面访问记录时，根据session ID查看该用户之前访问的URI中是否出现过当前记录的reference字段；若否，告警，告警次数加1，进行步骤3，若是，进行步骤2.2；
步骤2.2：搜索网站有向图是否存在页面记录，如有，则更新网站有向图的时间字段，如不存在，则更新网页入度表最后一次访问时间；
步骤2.3：设定统计时间段，统计该时间段内网页入度表中的数据，若网页访问次数大于20，检查reference字段是否为当前网页，若是，则直接将其相关信息更新至网站有向图中，同时清空网页入度表，进行下一步，若否，则在网站有向图中查找当前网页是否出现在reference字段中，如出现过，则网页正常，更新网站有向图，否则告警，告警次数加1，进行步骤3。
优选地，所述步骤2.1中，没有出现reference字段的页面，建立URL和内网IP段的白名单，对于访问URL或源IP地址在白名单中的请求，可以不进行告警，其余页面需要进行告警；对于爬虫访问来说，暂时先进行告警，收集爬虫代理的信息，并建立爬虫白名单进行例外。
优选地，所述步骤1中，若当前网站处于迭代更新中，新增正常页面访问量较少，则根据例外文件中的路径暂时对这些页面进行告警例外和学习例外，例外时间小于等于10天。
优选地，所述步骤2中，每过N天检查网站有向图，当网站有向图中页面的最后访问时间超过10天，告警，并删除此记录。
优选地，所述步骤3中，检测关键业务访问异常数据包括以下步骤：
步骤3.1：根据业务逻辑，设定给定规则的页面访问次序；
步骤3.2：设定业务需要访问的URL依次为u1、u2……un，当监控某个session ID访问到un时，检查该页面的reference字段是否为un-1，依次追溯同一个session ID访问前序URL的请求，检查该页面的reference字段是否为再前序的URL，如否，告警，告警次数加1，进行步骤4。
优选地，所述步骤4中，所述检测单个用户访问异常数据包括以下步骤：
步骤4.1：每隔t时间，统计单个用户的访问URL分布，如果访问同一个URL超过M次，则认为存在异常行为，告警，告警次数加1；
步骤4.2：根据网站有向图，若用户访问的URL未遵循固定模式，告警，告警次数加1；
步骤4.3：检测当前用户的访问记录，用户如12个小时内无访问记录，则认为该访问是首次访问，可判断访问URL是否在入口URL列表中，如第一次访问到的是非入口URL，告警，告警次数加1；进行步骤5。
优选地，所述步骤5中，还包括对反复登录失败的行为进行监控，若在同一时间段内反复登录失败，告警，告警次数加1。
本发明提供了一种优化的网站未知异常行为的检测方法，通过获取网络设备的历史日志数据，解析所述历史日志数据，生成历史网站行为数据，使用机器学习对网站行为数据和进行训练和学习，获取所述网络设备的当前日志数据，解析所述当前日志数据，生成当前网络行为数据；根据所述已知行为对当前网络行为数据进行过滤，得到可疑行为数据，对可疑行为数据进行过滤，得到异常行为数据和未知行为数据，将所述未知行为数据与未知行为数据中行为人身份对应的基调规则比较，将超出所述基调规则的未知行为数据标识为异常行为数据；最终输出包括所述异常行为数据的告警信息。本发明不仅检测网站本身的安全漏洞及已知的各种威胁，同时对未知的非法连接和访问进行分析，可以对网络问题进行及时预警，最大程度上避免用户网络瘫痪，同时便于后期的排查、处置及维护。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种网站未知异常行为的检测方法，所述检测方法包括以下步骤。
步骤1：获取原始网站信息，预处理，学习，完善网站有向图和网页入度表。
本发明中，首先应当尽可能多的收集网络设备、应用系统和操作系统的日志信息，着力将已知规则的安全告警展现完全，重点分析以下场景：
1）操作系统日志收集和分析；
2）防火墙、WAF、VPN等网络安全设备日志联动分析；
3）DNS日志分析；
4）以页面的异常访问作为监控点，选取部分应用场景进行web日志的未知异常行为分析；
5）安全日志分析报表展现。
所述步骤1中，网站有向图包括站点、URI、reference字段和时间字段，网页入度表包括站点、URI、访问次数、reference字段、初始访问时间和最后一次访问时间。
所述步骤1中，所述预处理包括reference字段不准确和URL中含有随机数的格式处理、筛选200和302的日志、排除静态资源请求日志。
本发明中，学习的时间一般为10天，完善原始网站有向图和网页入度表。
本发明中，排除静态资源请求日志主要排除图片请求，以减少后续流程的误报率。
本发明中，网站有向图为数组结构，记录每个页面的reference字段（入度）和入度时间，主要包括站点、URI、reference字段和时间字段。网页入度表为数组结构，记录页面的初始访问时间、最后一次访问时间和访问总数，主要包括站点、URI、访问次数、reference字段、初始访问时间和最后一次访问时间。在学习阶段，网站有向图的Time字段暂时保留空值。
所述步骤1中，若当前网站处于迭代更新中，新增正常页面访问量较少，则根据例外文件中的路径暂时对这些页面进行告警例外和学习例外，例外时间小于等于10天。
本发明中，例外文件指存放例外页面的文件，一般为新增文件，可以采用txt格式等。
步骤2：检测单页面访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步。
本发明中，步骤2的原理为：将站点视为有向图，每个页面是图中的每个节点，则页面之间的链接指向关系就是节点和节点之间的有向边，当某一页面的入度为0时，则该页面的异常概率较大；因为正常情况下，每个页面的入度和出度不会全部为0，对每个session块中的数据分析导航模式，正常的referer必然会出现在当前session中之前的路径数据中，且同时能与当前session之前的数据形成连通路径。
所述步骤2中，每过N天检查网站有向图，当网站有向图中页面的最后访问时间超过10天，告警，并删除此记录。
本发明中，当网站有向图中某些页面的最后访问时间超过10天，应及时告警，并删除此记录。此情况下，N≥10。
所述步骤2中，检测单页面访问异常数据包括以下步骤。
步骤2.1：当日志中发现页面访问记录时，根据session ID查看该用户之前访问的URI中是否出现过当前记录的reference字段；若是，告警，告警次数加1，进行步骤3，若否，进行步骤2.2。
步骤2.2：搜索网站有向图是否存在页面记录，如有，则更新网站有向图的时间字段，如不存在，则更新网页入度表最后一次访问时间。
步骤2.3：设定统计时间段，统计该时间段内网页入度表中的数据，若网页访问次数大于20，检查reference字段是否为当前网页，若是，则直接将其相关信息更新至网站有向图中，同时清空网页入度表，进行下一步，若否，则在网站有向图中查找当前网页是否出现在reference字段中，如出现过，则网页正常，更新网站有向图，否则告警，告警次数加1，进行步骤3。
本发明中，当日志中发现页面访问记录时，首先需要判断页面访问记录是否存在异常，根据session ID查看该用户之前访问的URI中是否出现过当前记录的reference字段，如果未出现过，则直接告警异常，否则视为一个正常的访问，接着搜索网站有向图中是否有页面记录，如果有记录，则更新网站有向图的时间字段，如果不存在相关记录，则将此记录计入网页入度表中。
本发明中，步骤2.3中的统计时间段一般设定为每一天结束时，即每24小时，此时统计网页入度表中的数据，发现网页访问次数（hit account）数目大于20的网页，如发现二维表中某网页的reference字段非当前网站，则在网站有向图中反查此网页是否出现在reference字段中，如出现过，则网页正常，更新至网站有向图，否则异常，告警。
本发明中，网页访问次数（hit account）数目大于20的网页还存在另外一种情况，即reference字段为当前网站，此时直接将其相关信息更新至网站有向图中，同时清空网页入度表。
所述步骤2.1中，没有出现reference字段的页面，建立URL和内网IP段的白名单，对于访问URL或源IP地址在白名单中的请求，可以不进行告警，其余页面需要进行告警；对于爬虫访问来说，暂时先进行告警，收集爬虫代理的信息，并建立爬虫白名单进行例外。
本发明中，对于异常情况及其处理包括以下4种情况。
A.没有reference字段的页面
没有reference字段的页面包括有session字段和没有session字段的页面两种情况。
①当一个页面没有reference字段而有session字段时，由script脚本跳转打开的页面没有任何reference字段，故对网页入度表中没有reference字段的页面进行判断和处理后再进行告警。
当一个页面没有reference字段时，根据该页面的访问session ID字段查看在1分钟内是否有同样的session ID访问过其他页面，若有，则反查这些页面是否在网页入度表中且作为其他页面的reference字段存在，如果存在任一页面，其不是任何其他页面的reference字段，则可以认为当前判断的没有reference字段的页面是正常的，学习到网站有向图中，否则为异常。
②当一个页面没有reference字段且没有session字段时，基本上是由爬虫和应用进行访问的。
对于应用访问来说，需要建立URL和内网IP段的白名单，对于访问URL或源IP地址在白名单中的请求，可以不进行告警，其余页面需要进行告警。
对于爬虫访问来说，暂时先进行告警，以供收集爬虫代理的信息，后续建立爬虫白名单以进行例外。
B.URL中含有随机数
为了避免一些动态页面被网络设备缓存，一些URL中带有随机数，比如blog.dbappsecurity.com.cn/test0.1546356。为了避免同样的页面在有向图中学习到多次，必须页面进行预处理后，再学习到网页入度表中。
一般情况下，当页面以0.XXXX数字结尾时，可以认为该页面是含有随机数的页面，应该将此页面的0.XXX去掉后，再学习到网页入度表中。
C. reference字段不准确
在实际的操作中，需要对日志信息中的reference字段和URL字段进行预处理，主要是将域名中的“\\”或“/”或“/\”或“\/”等字符统一整理为“\”。
对于所有依赖reference字段进行告警的，仅当reference字段是“*.dbappsecurity.com.cn”、“*.dbappsecurity.com”、“*.dbappsecurity.cn”时进行告警。
D.误报的自学习功能
为了减少人工维护过滤白名单的工作量，一般情况下，在告警模块前增加一个自学习的白名单。
白名单的自学习原理为：每次告警时，统计每个告警URL的最近告警时间、最初告警时间、总访问次数、访问源IP地址、访问源IP地址总数，当发现某一个告警URL的告警时间超过五天，访问源IP地址总数超过40，则将该URL加入自学习的告警白名单中，不再进行告警。安全管理员必须对该白名单进行定期审核。
步骤3：检测关键业务访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步。
所述步骤3中，检测关键业务访问异常数据包括以下步骤。
步骤3.1：根据业务逻辑，设定给定规则的页面访问次序。
步骤3.2：设定业务需要访问的URL依次为u1、u2……un，当监控某个session ID访问到un时，检查该页面的reference字段是否为un-1，依次追溯同一个session ID访问前序URL的请求，检查该页面的reference字段是否为再前序的URL，如否，告警，告警次数加1，进行步骤4。
本发明中，正常情况下，针对支付、登录、忘记密码、微信活动页面等操作，应根据业务逻辑，存在给定规则的页面访问次序，如发现特定页面的访问未遵循相应的访问次序，则肯定存在业务逻辑漏洞。目前已知需要进行业务访问逻辑监控的业务包括：登录、忘记密码、注册。
本发明中，检测关键业务访问异常数据的方法为：设定业务需要访问的URL依次为：u1、u2、u3，当监控某个session ID访问到u3时，检查该页面的reference字段是否为u2，并追溯到同一个session ID访问u2的请求，检查该页面的reference字段是否为u1，当存在异常时，则立即告警。
步骤4：检测单个用户访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步。
所述步骤4中，所述检测单个用户访问异常数据包括以下步骤。
步骤4.1：每隔t时间，统计单个用户的访问URL分布，如果访问同一个URL超过M次，则认为存在异常行为，告警，告警次数加1。
步骤4.2：根据网站有向图，若用户访问的URL未遵循固定模式，告警，告警次数加1。
步骤4.3：检测当前用户的访问记录，用户如12个小时内无访问记录，则认为该访问是首次访问，可判断访问URL是否在入口URL列表中，如第一次访问到的是非入口URL，告警，告警次数加1；进行步骤5。
本发明中，单个用户的访问异常存在一定逻辑原理，原则上：
1）单个用户访问的URL应是离散的，如果集中在某几个URL，则极有可能是漏洞探测；
2）用户访问URL的关联关系，应该有固定模式，即用户之前的行为会记录在网站有向图中，如，正常的访问是从登陆页面登陆、处理签到业务等，则这些正常的操作路径会记录在用户的网站有向图中，如用户当次访问未遵循网站有向图，则有可能是自动化提交工具，存在异常；
3）网站的入口URL相对固定，如第一次访问到的是非入口URL，则有可能是webshell、XSS等攻击。
本发明中，t的取值一般为10min，M的取值为11。
步骤5：统计告警次数，检测网站HTTP协议状态码告警次数。
所述步骤5中，还包括对反复登录失败的行为进行监控，若在同一时间段内反复登录失败，告警，告警次数加1。
步骤6：对每半个小时返回超过20次网站HTTP协议状态码告警次数的网站进行告警，统计异常页面URL，根据访问次数排序。
步骤7：排查。
本发明解决了现有技术中，常见的网站防护软件主要检测网站本身的安全漏洞及已知的各种威胁，没有能力对未知的非法连接和访问进行分析的功能，而导致的对于网络问题的预警极不到位的，往往容易导致用户在未知的情况下网络瘫痪，后续的排查及处置极为困难的问题，通过获取网络设备的历史日志数据，解析所述历史日志数据，生成历史网站行为数据，使用机器学习对网站行为数据和进行训练和学习，获取所述网络设备的当前日志数据，解析所述当前日志数据，生成当前网络行为数据；根据所述已知行为对当前网络行为数据进行过滤，得到可疑行为数据，对可疑行为数据进行过滤，得到异常行为数据和未知行为数据，将所述未知行为数据与未知行为数据中行为人身份对应的基调规则比较，将超出所述基调规则的未知行为数据标识为异常行为数据；最终输出包括所述异常行为数据的告警信息。本发明不仅检测网站本身的安全漏洞及已知的各种威胁，同时对未知的非法连接和访问进行分析，可以对网络问题进行及时预警，最大程度上避免用户网络瘫痪，同时便于后期的排查、处置及维护。

Claims (10)

1.一种网站未知异常行为的检测方法，其特征在于：所述检测方法包括以下步骤：
步骤1：获取原始网站信息，对原始网站信息进行预处理、学习，完善网站有向图和网页入度表；
步骤2：检测单页面访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步；
步骤3：检测关键业务访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步；
步骤4：检测单个用户访问异常数据；若检测到异常，则告警，告警次数加1；进行下一步；
步骤5：统计告警次数，检测网站HTTP协议状态码告警次数；
步骤6：对每半个小时返回超过20次网站HTTP协议状态码告警次数的网站进行告警，统计异常页面URL，根据访问次数排序；
步骤7：排查。
2.根据权利要求1所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤1中，网站有向图包括站点、URI、reference字段和时间字段，网页入度表包括站点、URI、访问次数、reference字段、初始访问时间和最后一次访问时间。
3.根据权利要求2所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤1中，所述预处理包括reference字段不准确和URL中含有随机数的格式处理、筛选200和302的日志、排除静态资源请求日志。
4.根据权利要求2所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤2中，检测单页面访问异常数据包括以下步骤：
步骤2.1：当日志中发现页面访问记录时，根据session ID查看该用户之前访问的URI中是否出现过当前记录的reference字段；若否，告警，告警次数加1，进行步骤3，若是，进行步骤2.2；
步骤2.2：搜索网站有向图是否存在页面记录，如有，则更新网站有向图的时间字段，如不存在，则更新网页入度表最后一次访问时间；
步骤2.3：设定统计时间段，统计该时间段内网页入度表中的数据，若网页访问次数大于20，检查reference字段是否为当前网页，若是，则直接将其相关信息更新至网站有向图中，同时清空网页入度表，进行下一步，若否，则在网站有向图中查找当前网页是否出现在reference字段中，如出现过，则网页正常，更新网站有向图，否则告警，告警次数加1，进行步骤3。
5.根据权利要求4所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤2.1中，没有出现reference字段的页面，建立URL和内网IP段的白名单，对于访问URL或源IP地址在白名单中的请求，可以不进行告警，其余页面需要进行告警；对于爬虫访问来说，暂时先进行告警，收集爬虫代理的信息，并建立爬虫白名单进行例外。
6.根据权利要求1所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤1中，若当前网站处于迭代更新中，新增正常页面访问量较少，则根据例外文件中的路径暂时对这些页面进行告警例外和学习例外，例外时间小于等于10天。
7.根据权利要求1所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤2中，每过N天检查网站有向图，当网站有向图中页面的最后访问时间超过10天，告警，并删除此记录。
8.根据权利要求1所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤3中，检测关键业务访问异常数据包括以下步骤：
步骤3.1：根据业务逻辑，设定给定规则的页面访问次序；
步骤3.2：设定业务需要访问的URL依次为u1、u2……un，当监控某个session ID访问到un时，检查该页面的reference字段是否为un-1，依次追溯同一个session ID访问前序URL的请求，检查该页面的reference字段是否为再前序的URL，如否，告警，告警次数加1，进行步骤4。
9.根据权利要求1所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤4中，所述检测单个用户访问异常数据包括以下步骤：
步骤4.1：每隔t时间，统计单个用户的访问URL分布，如果访问同一个URL超过M次，则认为存在异常行为，告警，告警次数加1；
步骤4.2：根据网站有向图，若用户访问的URL未遵循固定模式，告警，告警次数加1；
步骤4.3：检测当前用户的访问记录，用户如12个小时内无访问记录，则认为该访问是首次访问，可判断访问URL是否在入口URL列表中，如第一次访问到的是非入口URL，告警，告警次数加1；进行步骤5。
10.根据权利要求1所述的一种网站未知异常行为的检测方法，其特征在于：所述步骤5中，还包括对反复登录失败的行为进行监控，若在同一时间段内反复登录失败，告警，告警次数加1。
CN201710713787.XA 2017-08-18 2017-08-18 一种网站未知异常行为的检测方法 Active CN107438079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710713787.XA CN107438079B (zh) 2017-08-18 2017-08-18 一种网站未知异常行为的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710713787.XA CN107438079B (zh) 2017-08-18 2017-08-18 一种网站未知异常行为的检测方法

Publications (2)

Publication Number Publication Date
CN107438079A CN107438079A (zh) 2017-12-05
CN107438079B true CN107438079B (zh) 2020-05-01

Family

ID=60461497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710713787.XA Active CN107438079B (zh) 2017-08-18 2017-08-18 一种网站未知异常行为的检测方法

Country Status (1)

Country Link
CN (1) CN107438079B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108156177A (zh) * 2018-01-30 2018-06-12 国家电网公司 基于大数据的信息网安全态势感知预警方法
CN110830496B (zh) * 2018-03-30 2021-08-17 厦门白山耘科技有限公司 一种防止扫描权限文件的系统的使用方法及作业方法
US10958683B2 (en) * 2018-04-26 2021-03-23 Wipro Limited Method and device for classifying uniform resource locators based on content in corresponding websites
CN108449368A (zh) * 2018-06-26 2018-08-24 北京云枢网络科技有限公司 一种应用层攻击检测方法、装置和电子设备
CN109167773B (zh) * 2018-08-22 2021-01-26 杭州安恒信息技术股份有限公司 一种基于马尔科夫模型的访问异常检测方法和系统
CN109660502A (zh) * 2018-09-28 2019-04-19 平安科技（深圳）有限公司 异常行为的检测方法、装置、设备及存储介质
CN111147431B (zh) * 2018-11-06 2022-06-07 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
CN109617915B (zh) * 2019-01-15 2020-12-15 成都知道创宇信息技术有限公司 一种基于页面访问拓扑的异常用户挖掘方法
CN109981627B (zh) * 2019-03-18 2021-02-26 武汉思普崚技术有限公司 网络威胁情报信息的更新方法及系统
CN110135166B (zh) * 2019-05-08 2021-03-30 北京国舜科技股份有限公司 一种针对业务逻辑漏洞攻击的检测方法及系统
CN110708339B (zh) * 2019-11-06 2021-06-22 四川长虹电器股份有限公司 一种基于web日志的关联分析方法
CN110798385B (zh) * 2019-11-07 2023-03-03 中天宽带技术有限公司 广域网访问设置功能的测试方法、装置、设备及介质
CN110881044B (zh) * 2019-12-05 2022-08-09 北京宏达隆和科技有限公司 一种计算机防火墙动态防御安全平台
CN111224823B (zh) * 2020-01-06 2022-08-16 杭州数群科技有限公司 一种基于异网日志分析的方法
CN111274094B (zh) * 2020-02-04 2023-09-26 上海携程商务有限公司 接口预警方法、系统、设备及存储介质
CN113779571B (zh) * 2020-06-10 2024-04-26 天翼云科技有限公司 WebShell检测装置、WebShell检测方法及计算机可读存储介质
CN112188291B (zh) * 2020-09-24 2022-11-29 北京明略昭辉科技有限公司 广告位异常的识别方法和装置
CN113364773B (zh) * 2021-06-04 2022-11-29 中国工商银行股份有限公司 安全性识别方法、装置和电子设备
CN113987482B (zh) * 2021-12-28 2022-05-06 中孚信息股份有限公司 一种基于fm的ip首次访问检测方法、系统及设备
CN116846782B (zh) * 2023-08-31 2024-01-02 北京仁科互动网络技术有限公司 Saas crm系统移动端的业务异常观测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724059A (zh) * 2012-03-31 2012-10-10 常熟市支塘镇新盛技术咨询服务有限公司 基于MapReduce的网站运行状态监控与异常检测
CN103973663A (zh) * 2013-02-01 2014-08-06 中国移动通信集团河北有限公司 一种ddos攻击动态阈值异常流量检测方法及装置
CN105100122A (zh) * 2015-09-08 2015-11-25 南京联成科技发展有限公司 一种基于大数据分析的威胁检测和预警的方法及系统
US9225738B1 (en) * 2014-06-30 2015-12-29 Emc Corporation Markov behavior scoring
CN106612216A (zh) * 2015-10-27 2017-05-03 北京国双科技有限公司 网站访问异常的检测方法及装置
CN106936778A (zh) * 2015-12-29 2017-07-07 北京国双科技有限公司 网站流量异常的检测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724059A (zh) * 2012-03-31 2012-10-10 常熟市支塘镇新盛技术咨询服务有限公司 基于MapReduce的网站运行状态监控与异常检测
CN103973663A (zh) * 2013-02-01 2014-08-06 中国移动通信集团河北有限公司 一种ddos攻击动态阈值异常流量检测方法及装置
US9225738B1 (en) * 2014-06-30 2015-12-29 Emc Corporation Markov behavior scoring
CN105100122A (zh) * 2015-09-08 2015-11-25 南京联成科技发展有限公司 一种基于大数据分析的威胁检测和预警的方法及系统
CN106612216A (zh) * 2015-10-27 2017-05-03 北京国双科技有限公司 网站访问异常的检测方法及装置
CN106936778A (zh) * 2015-12-29 2017-07-07 北京国双科技有限公司 网站流量异常的检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于内网行为分析的未知攻击检测模型;俞艺涵等;《网络与信息安全学报》;20160630;第2卷(第6期);54-57页 *

Also Published As

Publication number Publication date
CN107438079A (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
CN107438079B (zh) 一种网站未知异常行为的检测方法
AU2020200967B2 (en) Cybersecurity system
US9838419B1 (en) Detection and remediation of watering hole attacks directed against an enterprise
US8713682B2 (en) Dynamic learning method and adaptive normal behavior profile (NBP) architecture for providing fast protection of enterprise applications
US8561187B1 (en) System and method for prosecuting dangerous IP addresses on the internet
CN106101145B (zh) 一种网站漏洞检测方法及装置
US9569471B2 (en) Asset model import connector
US9027121B2 (en) Method and system for creating a record for one or more computer security incidents
US8321934B1 (en) Anti-phishing early warning system based on end user data submission statistics
US9830453B1 (en) Detection of code modification
CN104767757A (zh) 基于web业务的多维度安全监测方法和系统
CN103023905B (zh) 一种用于检测恶意链接的设备、方法及系统
WO2009039434A2 (en) System and method for detecting security defects in applications
CN104579773A (zh) 域名系统分析方法及装置
CN107733699B (zh) 互联网资产安全管理方法、系统、设备及可读存储介质
CN111404937B (zh) 一种服务器漏洞的检测方法和装置
CN103036896B (zh) 用于检测恶意链接的方法及系统
CN111274276A (zh) 操作审计方法、装置及电子设备和计算机可读存储介质
CN111031025B (zh) 一种自动化检测验证Webshell的方法及装置
CN111770097B (zh) 一种基于白名单的内容锁防火墙方法及系统
KR100655492B1 (ko) 검색엔진을 이용한 웹서버 취약점 점검 시스템 및 방법
Rinnan Benefits of centralized log file correlation
Mohammed et al. Visualization of DNS tunneling attacks using parallel coordinates technique
US20190173908A1 (en) Automatic User Session Profiling System for Detecting Malicious Intent
CN116991680B (zh) 一种日志降噪方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Zhejiang Zhongcai Building No. 68 Binjiang District road Hangzhou City, Zhejiang Province, the 310052 and 15 layer

Applicant after: DBAPPSECURITY Ltd.

Address before: Zhejiang Zhongcai Building No. 68 Binjiang District road Hangzhou City, Zhejiang Province, the 310052 and 15 layer

Applicant before: DBAPPSECURITY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant