CN107465648B - 异常设备的识别方法及装置 - Google Patents
异常设备的识别方法及装置 Download PDFInfo
- Publication number
- CN107465648B CN107465648B CN201610393536.3A CN201610393536A CN107465648B CN 107465648 B CN107465648 B CN 107465648B CN 201610393536 A CN201610393536 A CN 201610393536A CN 107465648 B CN107465648 B CN 107465648B
- Authority
- CN
- China
- Prior art keywords
- equipment
- abnormal
- user equipment
- access
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及异常设备的识别方法和装置。本发明中,记录用户设备在预设的观察时间内的访问数据;根据各个用户设备的访问数据,从中筛选出异常设备;根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面,生成异常设备访问页面集合;根据各个用户设备在所述观察时间内访问过的页面为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;通过聚类算法对所有用户设备的特征向量进行分类;及将与异常设备的分为一类的用户设备确定为疑似异常设备。通过本发明可以识别出异常设备和疑似异常设备,从而有效避免来自异常设备的网络攻击。
Description
技术领域
本发明涉及网络安全技术,特别涉及异常设备的识别方法及装置。
背景技术
互联网上的网站,是商户用来向普通用户提供信息展示或者交换的地方,用户正常访问网络链接的时候会获取到服务提供商展示的网页。但是每一次访问就会需要占用服务器的带宽和计算资源。所以就产生了一个黑色产业,通过向某一个服务提供端发送足够多的请求去消耗服务提供端的资源。当请求达到一定量时,服务端的带宽和计算资源就会被占满,从而使得服务端无法再给正常用户提供服务。通常情况下,攻击者或黑客会借助代理服务器或者远程控制其他普通用户设备生成指向受害主机的合法请求,实现分布式阻断服务(DDOS)攻击。比如黑客用"灰鸽子"等诱导客户点击或者用户设备被黑客攻破或用户设备有漏洞被种植了木马等等,在这些情况下黑客可以随意操纵这些用户设备并利用这些用户设备做任何事情。其中,被黑客远程控制的设备就被称为异常设备,也可称为“肉鸡”或“傀儡机”。因此,如何从众多的访问者中识别出异常设备,是网络安全需要解决的重要问题之一。
发明内容
本发明提供了一种异常设备识别方法,可以识别出异常设备及疑似异常设备。该方法包括:
记录用户设备在预设的观察时间内的访问数据;
根据各个用户设备的访问数据从中筛选出异常设备;
根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面,生成异常设备访问页面集合;
根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
通过聚类算法对所有用户设备的特征向量进行分类;以及
将与异常设备的分为一类的用户设备确定为疑似异常设备。
本发明还提供了一种服务器,包括:
访问数据收集模块,用于记录用户设备在预设的观察时间内的访问数据;
异常设备识别模块,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
聚类模块,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备的分为一类的其他用户设备为疑似异常设备;以及
响应模块,用于根据预先设定的响应策略选择是否响应来自异常设备或疑似异常设备的访问请求。
本发明还提供了另一种服务器,包括:
访问数据收集模块,用于记录用户设备在预设的观察时间内的访问数据;
异常设备识别模块,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
聚类模块,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备的分为一类的其他用户设备为疑似异常设备;以及
重定向模块,用于根据预先设定的响应策略选择是否将来自疑似异常设备的访问请求重定向至相应的网站服务器。
本发明还提供了一种服务器,包括:
访问数据收集模块,用于记录用户设备在预设的观察时间内的访问数据;
异常设备识别模块,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
聚类模块,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备的分为一类的其他用户设备为疑似异常设备;以及
黑名单生成模块,用于通过反向验证确定疑似异常设备是否为异常设备,并根据确定的异常设备生成黑名单提供给防火墙。
本发明还提供了另一种服务器,包括:
访问数据收集模块,用于记录用户设备在预设的观察时间内的访问数据;
异常设备识别模块,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
聚类模块,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备的分为一类的其他用户设备为疑似异常设备;以及
黑名单生成模块,用于根据确定的异常设备和疑似异常设备生成黑名单提供给防火墙;其中,黑名单中标识出用户设备是异常设备还是疑似异常设备。
通过本发明可以完成对异常设备以及疑似异常设备的识别,可以有效避免来自异常设备的网络攻击。
附图说明
图1显示了本发明实施例所述的异常设备识别方法的流程;
图2显示了本发明实施例所述的通过K-Means算法对用户设备的特征向量进行分类的过程;
图3显示了本发明实施例所提供的一种进行异常设备识别的系统架构;
图4显示了本发明实施例所提供的另一种进行异常设备识别的系统架构;以及
图5显示了本发明实施例所提供的又一种进行异常设备识别的系统架构。
具体实施方式
本发明的实施例提出了一种异常设备识别方法,可以根据确知的异常设备的访问数据找出疑似异常设备,进而可以更加快速和准确地识别出异常设备,实现快速并准确的网络攻击拦截。
图1显示了本发明实施例所述的异常设备识别方法的流程。如图1所示,该方法主要包括:
步骤101,记录用户设备在预设的观察时间内的访问数据。
需要说明的是,在本发明实施例的各个步骤中,各个用户设备可由其IP(互联网协议)地址来标识。例如,在本步骤中,记录各个用户设备在预设的观察时间内的访问数据时,可以对应每个访问请求的源IP地址记录其在预设的观察时间内的访问数据。
上述用户设备可以是用户的电脑、平板、手机或其他智能终端等等可以进行网页访问的设备。
上述访问数据至少包括用户设备访问的页面,还可以包括用户设备进行访问的时间等其它数据。
上述观察时间的大小可以根据需要设置也可以根据一般计算机病毒的潜伏时间来设置,例如,可以设置为1周或者1个月等等。
步骤102,根据各个用户设备的访问数据从用户设备中筛选出异常设备。
在本步骤中,根据各个用户设备的访问数据筛选出异常设备可以采用多种方法实现。筛选出的异常设备可以用其IP地址来标识。
例如,可以采用黑名单的方式筛选出异常设备。具体而言,可以预先存储一张黑名单,其中列举已被确知为是异常设备的IP地址。如若发送访问请求的用户设备的IP地址在此黑名单中,则可认定该用户设备为异常设备。为了进一步保证识别的准确性,也可以对在黑名单中的IP进行反向验证,例如在收到来自黑名单中IP的访问请求后,向该IP返回图片格式的验证码,如果验证没有通过,则可确认该用户设备为异常设备;如果验证通过,则可以重新认定该用户设备仍为正常用户设备。
又例如,可以根据所接收的访问请求本身来进行判断,如果所接收的访问请求满足某些特定的规则,例如,若访问请求的UA(User Agent)中包含WordPress字符串等,则可以认定发送该访问请求的用户设备是异常设备。同样,为了进一步保证识别的准确性,也可以对这些被识别出来的用户设备进行反向验证,例如在收到这些满足某些特定规则的访问请求后,向发送这些访问请求的用户设备返回图片格式的验证码,如果验证没有通过,则可以确认该用户设备为异常设备;如果验证通过,则可以重新认定该用户设备仍为正常用户设备。
再例如,还可以根据用户设备的历史访问轨迹来进行判断。通过对用户设备的行为分析,找出行为符合异常设备画像的用户设备。例如,根据记录的访问数据,IP 1.1.1.1的历史活跃时段为晚上8点到10点,常用浏览器为Chrome,感兴趣的站点为电商,且访问频次不超过30次/分钟。但某天凌晨3:00,该IP突然对游戏网站的首页发起高频请求,访问频次超过6000/分钟,且浏览器变为IE。则说明此时使用该用户设备的并非正常用户,用户设备已被坏人控制,则可以该用户设备的行为符合异常设备画像,也即是异常设备。同样,为了进一步保证识别的准确性,也可以对这些被识别出来的用户设备进行反向验证,例如在收到这些来自这些用户设备的访问请求后,向发送这些用户设备返回图片格式的验证码,如果验证没有通过,则可以确认该用户设备为异常设备;如果验证通过,则可以重新认定该用户设备仍为正常用户设备。
步骤103,根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面,生成异常设备访问页面集合。
在确定了异常设备之后,根据所有异常设备的访问数据,将所有异常设备访问过的所有页面列出,组成集合A作为异常设备访问页面集合。集合A中可以包含N个元素,其中,每个元素为异常设备访问过的一个页面的地址,其集合包含了异常设备访问过的所有页面。例如,集合A可以为[页面1,页面2,页面3,……,页面N]。其中,N为自然数。
步骤104,根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量。
所述用户设备的特征向量表征了用户设备的历史访问轨迹,可以包含N个特征值,例如,特征向量可以是如下结构:[特征值1,特征值2,特征值3,……,特征值N]。
在本发明的实施例中,这N个特征值与页面集合A中的N个页面的地址一一对应。例如,可以是特征值1对应页面1、特征值2对应页面2、特征值3对应页面3……;或者也可以是特征值1对应页面N,特征值2对应N-1,……;又或者是其他任何一种一一对应关系。
在本发明的一个实施例中,所述用户设备的特征向量中的每个特征值代表所述用户设备在预设的观察时间内是否访问过这个特征值所对应的页面。例如,如果所述用户设备访问过这个特征值对应的页面,则这个特征值可以设为1,反之,如果所述用户设备没有访问过这个特征值所对应的页面,则这个特征值可以设为0。需要说明的是,上述“1”代表访问过,而“0”代表没有访问过只是一种约定。当然也可以设置“1”代表没有访问过,“0”代表访问过。或者也可以使用其它约定的数值。
例如,如果用户设备i在预设的观察时间(比如1个月)内只访问过页面集合中的页面1,页面3以及页面N。则按照“1”代表访问过,而“0”代表没有访问过的约定,在本步骤中,所生成的用户设备i的特征向量可以为[1,0,1,0,0,……,0,1],也即用户设备i的特征向量只有第1个、第3个和第N个特征值为1,其余特征值为0。
在本发明的另一个实施例中,所述用户设备的特征向量中的每个特征值为所述用户设备在预设的观察时间内访问过这个特征值所对应的页面的次数与所有用户设备访问该页面次数的比值。例如,在步骤101,记录发送过访问请求的各个用户设备在预设的观察时间内的访问数据时,可以进一步统计并记录在该观察时间内所有用户设备访问过的页面、每个页面被访问的总次数,以及针对每个页面每个用户设备访问的次数。这样,在为每个用户设备生成特征向量时,则可以将该用户设备访问某个页面的次数除以记录的所有用户设备访问该页面的次数,将该比值(商)作为该用户设备特征向量中与该页面对应的特征值的值。
例如,如果用户设备i,访问在预设的观察时间(比如1个月)内访问过异常设备访问页面集合中的页面1十次,页面3二十次以及页面N五十次。而且根据统计信息,在预设的观察时间内,页面1共被访问了100次,页面3共被访问了1000次,而页面N共被访问了50000次。则在本步骤中,所生成的用户设备i的特征向量可以为[0.1,0,0.02,0,0,……,0,0.005],也即用户设备i的特征向量的第1个特征值为10/100=0.1,第3个特征值为20/1000=0.02和第N个特征值为50/50000=0.001,其余特征值为0。
步骤105,通过聚类算法对所有用户设备的特征向量进行分类,并将与异常设备的分为一类的其他用户设备为疑似异常设备。
在本步骤中,可以通过各种聚类算法,例如K-Means,K-Medoids或GMM(高斯混合模型)等等,实现对所有用户设备特征向量的分类。
例如,可以选择K-Means算法对用户设备的特征向量进行分类。图2显示了通过K-Means算法对用户设备的特征向量进行分类的过程。如图2所示,对则将通过如下步骤实现:
步骤1051,针对设置的目标类别数K,从所有用户设备的特征向量中任意选择K个特征向量作为初始的聚类中心,也即作为K个簇(分类)的中心;
步骤1052:计算每个特征向量到上述K个簇的中心的距离;
步骤1053:根据每个特征向量到上述K个簇的中心的距离,分别将每个特征向量分别划分到距离自身最近的簇中,得到K个簇;
步骤1054:更新上述K个簇的中心,也即分别计算上述K个簇中所有特征向量的均值;
步骤1055:判断当前K个簇包含的特征向量是否与之前K个簇包含的特征向量相同,如果不相同,则返回步骤1052,重新划分K个簇;如果相同,则结束,得到确定的K个簇。
在本发明的实施例中,用户设备的特征向量表征的是每个用户设备的历史访问轨迹,且在本步骤中对用户设备的特征向量进行分类的主要目标是根据异常设备的历史访问轨迹找到与异常设备历史访问轨迹相似度比较高的用户设备,作为疑似异常设备。因此,为了算法的简单,同时减少计算量,可以设置K为2,也即将所有用户设备的特征向量分为两类,一类对应的是异常设备和疑似异常设备,而另一类对应的是正常的用户设备。这样,经过上述方法聚类之后可以得到两个簇,其中一个簇是异常设备和疑似异常设备,其中心是将是异常设备特征向量的均值;而另外一个簇是正常用户设备,其中心将是其他所有用户设备特征向量的均值。如前所述,用户设备可以用其IP地址进行标识,因此,在本步骤中得到的疑似异常设备也可以由其IP地址来标识。例如,通过本步骤可以得到一组IP地址。
在确定了异常设备以及疑似异常设备之后,可以继续执行步骤106,根据预先设定的响应策略选择是否响应来自异常设备或疑似异常设备的访问请求。
例如,预先设定的响应策略可以是:对于来自异常设备的访问请求可以直接进行阻断而不予响应;对于来自正常用户设备的访问请求则进行响应;而对于来自疑似异常设备的访问请求,可以先对其进行反向验证,如果疑似异常设备通过了反向验证,则可以将其重新认定为正常用户设备,从而可以对其访问进行响应;如果疑似异常设备无法通过反向验证,则可以确认该疑似异常设备为真正的异常设备,从而直接阻断该访问请求而不予响应。上述反向验证可以是向用户设备返回图片格式或其它不易机器识别的验证码,如果用户输入了正确的验证码,则反向验证通过;如果用户在一段时间内没有返回验证码或者返回的验证码错误,则反向验证不通过。当然,也可以通过其他预先确定的策略对来自疑似异常设备或异常设备的访问请求进行处理。
通过上述方法,可以根据已确定的异常设备的访问数据找出行为与已知异常设备类似的疑似异常设备,并可以通过对疑似异常设备的进一步验证,进一步阻断可能存在的网络攻击,从而可以更加快速和准确地拦截网络攻击。
需要说明的是,上述方法可以仅在网站的访问量较大导致网站负荷较大时才启动,例如在网站的访问量大于预先设置的阈值时启动。在应用中,可以根据网站的最大承受访问量来设置上述阈值,例如可以将上述阈值设置为网站最大承受访问量的70%-90%。当监测到网站的访问量超过该预先设置的阈值(例如网站最大承受访问量的80%)时,则触发执行上述操作,即执行步骤102-105以及步骤106。
可以看出,通过监测网站的访问量,仅在网站的负荷大时才启动上述攻击检测,可以使网站免受网络攻击的同时大大节约设备资源。
此外,在执行上述步骤106时,可以对识别出的疑似异常设备进行反向验证,例如可以返回图片格式的验证码请用户辨认并输入。如果反向验证通过,则可以暂时认定疑似异常设备为正常用户;而如果反向验证不通过,则可以确认疑似异常设备为异常设备,进而根据认定结果进一步更新已被确认为是异常设备的集合。然后,再返回上述步骤103-105,再根据更新后的异常设备集合找出疑似异常设备,然后再通过反向验证确定真正的异常设备。再次更新异常设备集合后,再返回步骤103-105。如此不断迭代执行上述过程,而且在上述过程中还可以不断地记录发送过访问请求的各个用户设备的访问数据,从而可以不断更新异常设备集合,据此找到新的真正的异常设备,使得异常设备识别过程更为准确。
上述方法可以应用在各个网站的服务器上。图3显示了本发明实施例所提供的一种进行异常设备识别的系统架构。如图3所示,该系统可以包括:服务器301,多个用户设备302(302A、302B、302C)等等。其中,服务器301和用户设备302之间通过网络303连接,用户设备302发送对服务器301的访问请求,该访问请求通过网络303到达服务器301之后,服务器301根据用户设备302的访问数据判断是否响应来自用户设备302的访问请求。
具体而言,如图3所示,上述服务器301可以包括:用于存储指令的存储器3011以及用于执行存储于存储器中指令的处理器3012。上述指令包含如下指令模块:
访问数据收集模块30111,用于记录用户设备在预设的观察时间内的访问数据;
异常设备识别模块30112,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块30113,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块30114,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,特征向量的特征值与上述异常设备访问页面集合中的页面一一对应;
聚类模块30115,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备的分为一类的其他用户设备为疑似异常设备;以及
响应模块30116,用于根据预先设定的响应策略选择是否响应来自异常设备或疑似异常设备的访问请求。
上述指令模块还可以进一步包括一个触发模块30117,用于在访问量大于预先设置的阈值时,触发异常设备识别模块30112、访问特征确定模块30113、特征向量生成模块30114、聚类模块30115以及响应模块30116工作。
从图3可以看出,各个网站的服务器可以根据用户设备的访问数据筛出异常设备以及与异常设备行为相似的疑似异常设备,从而可以针对异常设备、疑似异常设备以及正常用户选择不同的策略对其访问请求进行响应,例如针对异常设备可以不响应其访问请求;针对正常用户,可以响应其访问请求;针对疑似异常设备可以对疑似异常设备用户进行反向验证,从而进一步确定疑似异常设备是真正的异常设备还是正常的用户,然后再按照异常设备或正常用户的策略进行后续处理。因此,带有这种攻击检测功能的网站服务器,可以通过执行上述指令模块有效并且及时地发现异常设备并阻断异常设备的网络攻击,保护自身免受网络攻击。
上述方法还可以应用在专门用于攻击检测的服务平台上,该专门用于攻击检测的平台,可以包括至少一个攻击检测服务器,可同时为多个网站提供攻击检测服务。图4显示了本发明实施例所提供的另一种进行异常设备识别系统架构。如图4所示,该系统可以包括:多个网站服务器401(401A、401B、401C)、多个用户设备402(402A、402B、402C)以及一个可以进行攻击检测服务器403。其中,网站服务器401、攻击检测服务器403以及用户设备402之间通过网络404连接。
用户设备402发送到某个网站服务器401的访问请求,将首先被重定向到攻击检测服务器403。攻击检测服务器403根据该用户设备402的访问数据判断是否响应其的访问请求,如果应当响应,则将其访问请求重定向至响应的网站服务器401。
具体而言,上述将用户设备的访问请求重定向至攻击检测服务器403可以由各个网站服务器401自己实现,即将来自用户设备402的访问请求直接转发至攻击检测服务器。或者上述将用户设备的访问请求重定向至攻击检测服务器403还可以由网络上的域名系统(DNS)服务器实现,也即在对访问请求中携带的地址进行DNS解析时所有来自用户设备的对某个或某些网站的访问请求都将被解析为攻击检测服务器的IP地址,从而,这些访问请求就会被重定向到攻击检测服务器403。
如图4所示,上述攻击检测服务器403可以包括:用于存储指令的存储器4031以及用于执行存储于存储器中指令的处理器4032。上述指令包含如下指令模块:访问数据收集模块30111、异常设备识别模块30112、访问特征确定模块30113、特征向量生成模块30114、聚类模块30115;以及重定向模块40311,用于根据预先设定的响应策略选择是否将来自疑似异常设备的访问请求重定向至相应的网站服务器。
上述指令模块还可以进一步包括一个触发模块30117,用于在某个网站的访问量大于预先设置的阈值时,触发异常设备识别模块30112、访问特征确定模块30113、特征向量生成模块30114、聚类模块30115以及重定向模块40311工作。
从图4可以看出,通过引入攻击检测服务器和攻击检测服务平台可以同时为各个网站提供攻击检测的服务,即可以根据用户设备的访问数据筛出异常设备以及与异常设备行为相似的疑似异常设备,从而可以针对异常设备、疑似异常设备以及正常用户选择不同的策略对其访问请求进行响应,例如,针对异常设备可以直接阻断其访问请求,不进行任何处理;针对正常用户,可以将其访问请求重定向至相应的网站服务器;针对疑似异常设备可以先对疑似异常设备用户进行反向验证,进一步确定疑似异常设备是真正的异常设备还是正常的用户,然后再按照异常设备或正常用户的策略进行后续处理。通过上述攻击检测服务器可以有效并且及时地发现并阻断网络攻击。并且由于一个攻击检测服务器同时服务于多个网站,可以得到更加海量的数据,基于海量数据的分析通常更为准确,因此在这种应用场景下通常可以更加准确地识别出各种异常设备。
上述傀儡机识别方法还可以与网站应用级入侵防御系统(WAF,Web ApplicationFirewall)结合在一起,共同实现网络攻击检测和防御。例如,通过本发明实施例的方法可以确定出异常设备以及疑似异常设备,并且针对疑似异常设备经过反向验证等验证手段确定是否为真正的异常设备后,针对识别出的异常设备生成黑名单,并将黑名单直接发送给WAF。由WAF来直接完成对来自异常设备访问请求的阻断,从而实现保护网站的安全的目的。
图5显示了本发明实施例所提供的又一种进行异常设备识别系统架构。如图5所示,该系统可以包括:网站服务器501、多个用户设备502(502A、502B、502C)、一个可以进行攻击检测的攻击检测服务器503以及一个防火墙504(例如可以是WAF)。其中,网站服务器501通过防火墙504与网络505连接,攻击检测服务器503以及用户设备502也连接到网络505。
攻击检测服务器503收集用户设备的访问数据,并通过本发明实施例所提供的识别方法从中识别出异常设备和疑似异常设备后,通过反向验证从疑似异常设备中确定真正的异常设备,再根据前后两次确定的异常设备生成黑名单(例如异常设备的IP地址),然后将生成的黑名单发送至防火墙504,由防火墙504完成对来自异常设备的访问请求的阻断。又或者,攻击检测服务器503收集用户设备的访问数据,并通过本发明实施例所提供的识别方法从中识别出异常设备和疑似异常设备后,可以生成黑名单(例如异常设备和疑似异常设备的IP地址)并发送至防火墙504,由防火墙504完成对疑似异常设备的反向验证确定疑似异常设备是正常用户还是真正的异常设备,同时对来自异常设备的访问请求进行阻断。
如图5所示,上述攻击检测服务器503可以包括:用于存储指令的存储器5031以及用于执行存储于存储器中指令的处理器5032。上述指令包含如下指令模块:访问数据收集模块30111、异常设备识别模块30112、访问特征确定模块30113、特征向量生成模块30114、聚类模块30115;以及黑名单生成模块50311。
其中,黑名单生成模块50311可以首先通过反向验证确定疑似异常设备是否为异常设备,并根据确定的异常设备生成黑名单提供给防火墙504。在这种情况下,由防火墙504根据来自攻击检测服务器503的黑名单对来自黑名单中用户设备的访问请求进行阻断。
此外,黑名单生成模块50311还可以直接根据确定的异常设备和疑似异常设备生成黑名单提供给防火墙504,其中,黑名单中应当标识出哪些用户设备是真正的异常设备,哪些用户设备是疑似异常设备。在这种情况下,防火墙504会根据来自攻击检测服务器503的黑名单对疑似异常设备进行反向验证,确定疑似异常设备是正常用户还是真正的异常设备,并对来自真正异常设备的访问请求进行阻断。在本发明中,上述标识可以采用多种方式,例如,可以为黑名单中每个用户设备设置一个标示字段用于标示这个用户设备是异常设备还是疑似异常设备。又或者可以生成两个黑名单,一个黑名单记录异常设备;另一个黑名单记录疑似异常设备。
上述指令模块还可以进一步包括一个触发模块30117,用于在某个网站的访问量大于预先设置的阈值时,触发异常设备识别模块30112、访问特征确定模块30113、特征向量生成模块30114、聚类模块30115以及黑名单生成模块50311工作。
从图5可以看出,通过将攻击检测服务器和防火墙相结合,也可以根据用户设备的访问数据筛选出异常设备,从而实现对网站服务器的攻击保护。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (23)
1.一种异常设备识别方法,其特征在于,包括:
记录用户设备在预设的观察时间内的访问数据;
根据各个用户设备的访问数据,从中筛选出异常设备;
根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面,生成异常设备访问页面集合;
根据各个用户设备在所述观察时间内访问过的页面为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
通过聚类算法对所有用户设备的特征向量进行分类;以及
将与异常设备分为一类的用户设备确定为疑似异常设备。
2.根据权利要求1所述的方法,其特征在于,所述访问数据包括用户设备访问的页面。
3.根据权利要求1所述的方法,其特征在于,所述观察时间的大小根据计算机病毒的潜伏时间设置。
4.根据权利要求1所述的方法,其特征在于,所述筛选出异常设备包括:
预先存储一张黑名单,其中列举已被确知为是异常设备的互联网协议IP地址;以及
若发送访问请求的用户设备的IP地址在此黑名单中,则认定所述用户设备为异常设备。
5.根据权利要求1所述的方法,其特征在于,所述筛选出异常设备包括:判断所接收的访问请求是否满足预设的规则,如果是,则认定发送所述访问请求的用户设备是异常设备。
6.根据权利要求1所述的方法,其特征在于,所述筛选出异常设备包括:分析用户设备的历史访问轨迹,将行为异常的用户设备认定为异常设备。
7.根据权利要求4、5或6所述的方法,其特征在于,进一步包括:
对认定的异常设备进行反向验证,如果反向验证没有通过,则确认所述用户设备为异常设备;如果反向验证通过,则重新认定所述用户设备为正常用户设备。
8.根据权利要求1所述的方法,其特征在于,所述用户设备的特征向量中的每个特征值表征所述用户设备在预设的观察时间内是否访问过所述特征值所对应的页面。
9.根据权利要求1所述的方法,其特征在于,所述用户设备的特征向量中的每个特征值为所述用户设备在预设的观察时间内访问过这个特征值所对应的页面的次数与所有用户设备访问该页面次数的比值。
10.根据权利要求1所述的方法,其特征在于,所述聚类算法为K-Medoids或高斯混合模型算法。
11.根据权利要求1所述的方法,其特征在于,所述聚类算法为K-Means算法。
12.根据权利要求11所述的方法,其特征在于,所述对所有用户设备的特征向量进行分类包括:
A、针对设置的目标类别数K,从所有用户设备的特征向量中任意选择K个特征向量作为K个簇的中心;
B、计算每个特征向量到上述K个簇的中心的距离;
C、根据每个特征向量到上述K个簇的中心的距离,分别将每个特征向量分别划分到距离自身最近的簇中,得到K个簇,并分别计算上述K个簇中所有特征向量的均值,得到每个簇的中心;
D、判断当前K个簇包含的特征向量和之前生成的K个簇包含的特征向量是否相同,如果不同,则返回B,重新划分K个簇;如果相同,则结束。
13.根据权利要求1所述的方法,其特征在于,进一步包括:
对于来自疑似异常设备的访问请求,进行反向验证,如果所述疑似异常设备可以通过反向验证,则重新认定所述疑似异常设备为正常用户;如果所述疑似异常设备无法通过反向验证,则确认所述疑似异常设备为异常设备。
14.根据权利要求1所述的方法,其特征在于,进一步包括:监测网站的访问量,当网站的访问量大于预先设置的阈值时,执行根据各个用户设备的访问数据,从中筛选出异常设备及后续过程。
15.一种服务器,其特征在于,包括:
访问数据收集模块,用于记录用户设备在预设观察时间内的访问数据;
异常设备识别模块,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
聚类模块,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备分为一类的其他用户设备为疑似异常设备;以及
响应模块,用于根据预先设定的响应策略选择是否响应来自异常设备或疑似异常设备的访问请求。
16.根据权利要求15所述的服务器,其特征在于,进一步包括:
触发模块,用于在访问量大于预先设置的阈值时,触发异常设备识别模块、访问特征确定模块、特征向量生成模块、聚类模块以及响应模块工作。
17.一种服务器,其特征在于,包括:
访问数据收集模块,用于记录用户设备在预设的观察时间内的访问数据;
异常设备识别模块,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
聚类模块,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备分为一类的其他用户设备为疑似异常设备;以及
重定向模块,用于根据预先设定的响应策略选择是否将来自疑似异常设备的访问请求重定向至相应的网站服务器。
18.根据权利要求17所述的服务器,其特征在于,进一步包括:触发模块,用于在访问量大于预先设置的阈值时,触发异常设备识别模块、访问特征确定模块、特征向量生成模块、聚类模块以及重定向模块工作。
19.一种服务器,其特征在于,包括:
访问数据收集模块,用于记录用户设备在预设的观察时间内的访问数据;
异常设备识别模块,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
聚类模块,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备分为一类的其他用户设备为疑似异常设备;以及
黑名单生成模块,用于通过反向验证确定疑似异常设备是否为异常设备,并根据确定的异常设备生成黑名单提供给防火墙。
20.根据权利要求19所述的服务器,其特征在于,进一步包括:触发模块,用于在访问量大于预先设置的阈值时,触发异常设备识别模块、访问特征确定模块、特征向量生成模块、聚类模块以及黑名单生成模块工作。
21.一种服务器,其特征在于,包括:
访问数据收集模块,用于记录用户设备在预设的观察时间内的访问数据;
异常设备识别模块,用于根据各个用户设备的访问数据从中筛选出异常设备;
访问特征确定模块,用于根据筛选出的异常设备的访问数据,列出所有异常设备访问过的页面集合,生成异常设备访问页面集合;
特征向量生成模块,用于根据各个用户设备在所述观察时间内访问过的页面,为每个用户设备生成该用户设备的特征向量;其中,用户设备特征向量中的特征值与异常设备访问页面集合中的页面一一对应;
聚类模块,用于通过聚类算法对所有用户设备的特征向量进行分类,将与异常设备分为一类的其他用户设备为疑似异常设备;以及
黑名单生成模块,用于根据确定的异常设备和疑似异常设备生成黑名单提供给防火墙;其中,黑名单中标识出用户设备是异常设备还是疑似异常设备。
22.根据权利要求21所述的服务器,其特征在于,进一步包括:触发模块,用于在访问量大于预先设置的阈值时,触发异常设备识别模块、访问特征确定模块、特征向量生成模块、聚类模块以及黑名单生成模块工作。
23.一种服务器,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述指令可以使所述处理器执行如权利要求1至14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610393536.3A CN107465648B (zh) | 2016-06-06 | 2016-06-06 | 异常设备的识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610393536.3A CN107465648B (zh) | 2016-06-06 | 2016-06-06 | 异常设备的识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107465648A CN107465648A (zh) | 2017-12-12 |
CN107465648B true CN107465648B (zh) | 2020-09-04 |
Family
ID=60544529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610393536.3A Active CN107465648B (zh) | 2016-06-06 | 2016-06-06 | 异常设备的识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107465648B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108600145B (zh) * | 2017-12-25 | 2020-12-25 | 北京神州绿盟信息安全科技股份有限公司 | 一种确定DDoS攻击设备的方法及装置 |
CN108683678A (zh) * | 2018-05-28 | 2018-10-19 | 北京天地和兴科技有限公司 | 一种基于行为协同感知模型的异常行为预测方法 |
CN109284380B (zh) * | 2018-09-25 | 2023-04-25 | 平安科技(深圳)有限公司 | 基于大数据分析的非法用户识别方法及装置、电子设备 |
CN111385236B (zh) * | 2018-12-27 | 2022-04-29 | 北京卫达信息技术有限公司 | 一种基于网络诱骗的动态防御系统 |
CN109743309B (zh) * | 2018-12-28 | 2021-09-10 | 微梦创科网络科技(中国)有限公司 | 一种非法请求识别方法、装置及电子设备 |
CN109949069A (zh) * | 2019-01-28 | 2019-06-28 | 平安科技(深圳)有限公司 | 可疑用户筛选方法、装置、计算机设备及存储介质 |
CN110445753A (zh) * | 2019-06-28 | 2019-11-12 | 平安科技(深圳)有限公司 | 终端设备异常访问的隔离方法和装置 |
CN110300027A (zh) * | 2019-06-29 | 2019-10-01 | 西安交通大学 | 一种异常登录检测方法 |
CN110381151B (zh) * | 2019-07-24 | 2021-12-28 | 秒针信息技术有限公司 | 一种异常设备检测方法及装置 |
CN111222123B (zh) * | 2020-01-03 | 2022-08-19 | 苏宁金融科技(南京)有限公司 | 确定具有聚集性的设备群的方法、装置、设备和存储介质 |
CN111311285A (zh) * | 2020-02-21 | 2020-06-19 | 深圳壹账通智能科技有限公司 | 一种防止用户非法登录的方法、装置、设备和存储介质 |
CN113422697B (zh) * | 2021-06-21 | 2023-03-24 | 深信服科技股份有限公司 | 一种追踪方法、装置、电子设备及可读存储介质 |
CN113630415A (zh) * | 2021-08-10 | 2021-11-09 | 工银科技有限公司 | 网络准入控制方法、装置、系统、设备、介质和产品 |
CN113973087B (zh) * | 2021-11-24 | 2024-01-05 | 中国银联股份有限公司 | 一种网页访问限流方法、装置及计算机可读存储介质 |
CN114885006A (zh) * | 2022-05-10 | 2022-08-09 | 四川封面传媒科技有限责任公司 | 基于综合特征识别真实用户的方法 |
CN116599778B (zh) * | 2023-07-18 | 2023-09-26 | 山东溯源安全科技有限公司 | 用于确定恶意设备的数据处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102946331A (zh) * | 2012-10-10 | 2013-02-27 | 北京交通大学 | 一种社交网络僵尸用户检测方法及装置 |
CN103793484A (zh) * | 2014-01-17 | 2014-05-14 | 五八同城信息技术有限公司 | 分类信息网站中的基于机器学习的欺诈行为识别系统 |
WO2016031034A1 (ja) * | 2014-08-29 | 2016-03-03 | 株式会社日立製作所 | 不正アクセスの検知方法および検知装置 |
CN105450619A (zh) * | 2014-09-28 | 2016-03-30 | 腾讯科技(深圳)有限公司 | 恶意攻击的防护方法、装置和系统 |
-
2016
- 2016-06-06 CN CN201610393536.3A patent/CN107465648B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102946331A (zh) * | 2012-10-10 | 2013-02-27 | 北京交通大学 | 一种社交网络僵尸用户检测方法及装置 |
CN103793484A (zh) * | 2014-01-17 | 2014-05-14 | 五八同城信息技术有限公司 | 分类信息网站中的基于机器学习的欺诈行为识别系统 |
WO2016031034A1 (ja) * | 2014-08-29 | 2016-03-03 | 株式会社日立製作所 | 不正アクセスの検知方法および検知装置 |
CN105450619A (zh) * | 2014-09-28 | 2016-03-30 | 腾讯科技(深圳)有限公司 | 恶意攻击的防护方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107465648A (zh) | 2017-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107465648B (zh) | 异常设备的识别方法及装置 | |
CN109951500B (zh) | 网络攻击检测方法及装置 | |
US10855700B1 (en) | Post-intrusion detection of cyber-attacks during lateral movement within networks | |
US9369479B2 (en) | Detection of malware beaconing activities | |
US10601848B1 (en) | Cyber-security system and method for weak indicator detection and correlation to generate strong indicators | |
US9817969B2 (en) | Device for detecting cyber attack based on event analysis and method thereof | |
KR101689296B1 (ko) | 보안이벤트 자동 검증 방법 및 장치 | |
US7526806B2 (en) | Method and system for addressing intrusion attacks on a computer system | |
CN111786966A (zh) | 浏览网页的方法和装置 | |
KR20200052881A (ko) | 멀웨어 호스트 넷플로우 분석 시스템 및 방법 | |
WO2016040937A1 (en) | Blocking forgiveness for ddos | |
CN113711559B (zh) | 检测异常的系统和方法 | |
WO2016014014A1 (en) | Remedial action for release of threat data | |
CN113411297A (zh) | 基于属性访问控制的态势感知防御方法及系统 | |
Selvakani et al. | Genetic Algorithm for framing rules for Intrusion Detection | |
CN116781405A (zh) | 攻击处理方法、装置、设备和介质 | |
US9936008B2 (en) | Method and system for dynamically shifting a service | |
WO2019159809A1 (ja) | アクセス分析システム及びアクセス分析方法 | |
CN111901324B (zh) | 一种基于序列熵流量识别的方法、装置和存储介质 | |
Goyal et al. | Application of Deep Learning in Honeypot Network for Cloud Intrusion Detection | |
Panimalar et al. | A review on taxonomy of botnet detection | |
CN113923039A (zh) | 攻击设备识别方法、装置、电子设备及可读存储介质 | |
KR102002560B1 (ko) | 인공지능 기반의 목표계정 정찰행위 탐지 장치 | |
CN115529145B (zh) | 网络安全入侵检测与防护系统及方法 | |
US12034731B2 (en) | Evaluating access requests using assigned common actor identifiers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |