CN110011918B - 一种路由器协作的网址安全性检测方法及系统 - Google Patents

一种路由器协作的网址安全性检测方法及系统 Download PDF

Info

Publication number
CN110011918B
CN110011918B CN201810008412.8A CN201810008412A CN110011918B CN 110011918 B CN110011918 B CN 110011918B CN 201810008412 A CN201810008412 A CN 201810008412A CN 110011918 B CN110011918 B CN 110011918B
Authority
CN
China
Prior art keywords
website
router
user
routers
cooperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810008412.8A
Other languages
English (en)
Other versions
CN110011918A (zh
Inventor
韩锐
张晶
郭志川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Xinrand Network Technology Co ltd
Institute of Acoustics CAS
Original Assignee
Institute of Acoustics CAS
Beijing Intellix Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS, Beijing Intellix Technologies Co Ltd filed Critical Institute of Acoustics CAS
Priority to CN201810008412.8A priority Critical patent/CN110011918B/zh
Publication of CN110011918A publication Critical patent/CN110011918A/zh
Application granted granted Critical
Publication of CN110011918B publication Critical patent/CN110011918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H04L45/745—Address table lookup; Address filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种路由器协作的网址安全性检测方法及系统，所述方法包括：步骤1)路由器通过分析用户访问网址历史记录确定用户的网址偏好类型，将网址偏好类型相似且网络距离近的路由器定义为协作路由器，多个协作路由器采用分布式方式协作存储相应偏好类型的网址黑名单和/或白名单；步骤2)路由器收到用户网址请求后，首先在本地查询黑名单和/或白名单，如果没有得到查询结果，则向协作路由器查询黑名单和/或白名单，如果仍然没有得到查询结果，则向云端服务器查询黑名单和/或白名单。本发明的方法将用户偏好的网址存储到路由器中，并将用户网址偏好相似的路由器组成协作路由器，充分利用路由器的存储空间，很大程度上提高了检测效率。

Description

一种路由器协作的网址安全性检测方法及系统
技术领域
本发明涉及计算机技术领域，具体涉及网络信息安全领域，尤其涉及一种路由器协作的网址安全性检测方法及系统。
背景技术
随着互联网技术的日新月异的发展，网络相关应用愈发普及的大趋势下，网络使用中的信息安全问题也变得越发严重。网络的信息安全大到涉及国家的安全、经济的发展和文化的建设等领域，小到与每一位互联网使用者的个人私密和交易支付息息相关。而在众多信息安全问题中，计算机病毒、恶意网址和木马是近年来互联网的主要安全威胁，它们通过各自的方式影响着用户以及国家的信息安全，比如对用户主机进行破坏，对国家机密进行泄露等，严重危害着国家和每个互联网用户。
在计算机领域里，黑白名单规则得到了广泛应用。从操作系统到杀毒软件，从邮件系统到各类应用软件，凡是涉及到安全控制方面都应用了黑白名单规则。针对恶意网址威胁，国内有很多关于恶意网址检测技术的研究，现有技术中大多需要先获取网址对应的内容，使得检测恶意网址的效率比较低，基于黑白名单的检测方式检测正常网址和恶意网址的速度极快，能够更好的满足用户高速上网的需求。但是由于网址数量庞大，单个路由器设备难以满足存储要求，所以现有黑白名单检测方法需要将待测网址上传到云端服务器进行检测，或者只能在路由器设备上存储少量黑名单和/或白名单，大部分网址仍然需要云端服务器进行检测，并且在路由设备中存储的网址名单缺少提高待测网址在路由器中检测命中率的策略，降低了检测效率。
发明内容
本发明的目的在于克服目前网址安全性检测方法存在的上述缺陷，提供一种路由器协作的网址安全性检测方法，该方法基于偏好网址类型，网络距离等因素进行聚类构成协作路由器组，从而进行网址安全性检测。该方法充分利用路由器的存储空间，很大程度上提高了检测效率
为了实现上述目的，本发明提供了一种路由器协作的网址安全性检测方法，所述方法包括：
步骤1)路由器通过分析用户访问网址历史记录确定用户的网址偏好类型，将网址偏好类型相似且网络距离近的路由器定义为协作路由器，多个协作路由器采用分布式方式协作存储相应偏好类型的网址黑名单和/或白名单；
步骤2)路由器收到用户网址请求后，首先在本地查询黑名单和/或白名单，如果没有得到查询结果，然后向协作路由器查询黑名单和/或白名单，如果仍然没有得到查询结果，向云端服务器查询黑名单和/或白名单。
作为上述的一种改进，所述方法还包括：
步骤3)路由器定期存储并更新用户的访问网址记录，当用户的访问行为发生变化时，重新分析用户的网址偏好类型，并根据新的网址偏好重新选择协作的路由器组。
作为上述的一种改进，所述步骤1)具体包括：
步骤1-1)路由器对用户的Web服务访问做预处理，对用户的网页的浏览次数做统计，删除那些浏览次数少于预定次数的网页，然后计算用户的网址偏好类型；
步骤1-2)基于网址偏好类型采用最小相似度的聚类算法对各路由器进行聚类；路由器间相似度采用欧氏距离公式来度量：
Figure BDA0001539435940000021
其中：ti、si为用户会话t、s的第i个分量，即用户会话中用户访问的第i个网页的兴趣度，d2(t,s)越小，其相似程度越高，设定一个相似度阈值ζ，路由器间相似度小于阈值ζ的两个路由器具有相似网址偏好类型；
步骤1-3)将具有相似网址偏好类型的路由器依照网络距离排序，选择若干个网络距离小的路由器作为协作路由器；
步骤1-4)将多个协作路由器组成一个路由器组，采用分布式方式存储云端服务器中相应偏好类型的网址黑名单和/或白名单的一部分，并共同完成该偏好类型完整黑白名单的存储。
作为上述的一种改进，所述步骤1-1)具体为：
所述用户的网址偏好类型为用户对页面感兴趣的程度，即用户对页面的访问频度，设hits为u访问x的次数，Totalofunm为u访问了的所有页面的总次数，u对x的兴趣度的In计算方法如下：
In＝hits/Totalofunm (1)。
作为上述的一种改进，所述步骤2)具体包括：
步骤2-1)当路由器收到用户网址请求时，首先在本地黑名单和/或白名单中查找是否存在待检测网址，如果用户的网址请求在白名单中，则直接放行该网址请求，若在黑名单中，则将恶意网址提醒界面返回给用户；若不存在，转入步骤2-2)；
步骤2-2)将该网址同时发送给网址偏好类型相似的所有协作路由器，协作路由器将待测网址在本地黑名单和/或白名单中进行检测，并将检测结果返回给源请求路由器；
步骤2-3)源请求路由器分析协作路由器返回的结果，若待测网址存在于任意协作路由器的白名单中，则认为待测网址为正常网址，若存在于任意协作路由器的黑名单中，则立即返回用户恶意网址提醒，若仍然没有检测到结果，则上报给云端服务器进行检测。
一种路由器协作的网址安全性检测系统，包括存储器、处理器和存储在存储器上的并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述方法的步骤。
本发明的优势在于：
本发明的方法将用户喜好的网址存储到路由器中，并将用户网址偏好相似的路由器组成协作路由器，提高在路由器中查询到待测网址的概率，充分利用路由器的存储空间，很大程度上提高了检测效率。
附图说明
图1是本发明的路由器协作网址安全性检测方法架构图；
图2为本发明的路由器协作网址安全性检测方法流程图。
具体实施方式
为了使本发明的目的、实现方法和优点更加清楚明白，下面结合附图及具体实施例对本发明作进一步的描述。
图1是本发明的路由器协作网址安全性检测方法架构图。
Web服务器日志中包含了用户浏览信息，虽然不同的用户在不同的时间可能有不同的浏览模式，但用户的兴趣在一段时间的访问行为中是稳定的。用户偶然请求了一个网页，便认为用户浏览了该网页，事实上有些被请求的网页是用户并不关心的，因此，需要对用户在一定时期内的访问信息进行数据挖掘，得到用户的网址访问兴趣偏好。并且不难发现，用户的访问行为具有一定的群体性，尤其在一个子网下，用户访问的兴趣网址具有很强的相似性，例如一个家庭，一个公司的工作人员，因此对一个子网的用户群进行网址访问兴趣偏向的挖掘具有意义。
路由器先对用户的Web服务访问做预处理，对用户的网页的浏览次数做统计，删除那些浏览次数少于预定次数的网页，然后分析用户的网址偏好类型。用户感兴趣的程度即兴趣度的计算依赖于用户对页面的访问频度。设hits为u访问x的次数，Totalofunm为u访问了的所有页面的总次数，u对x的兴趣度的In计算方法如下:
In＝hits/Totalofunm(1)
In越大，则u对x越感兴趣。
根据公式(1)得到各路由器下用户的网址偏好类型及分布如图1所示。
然后采用最小相似度的聚类算法作为工具对各路由器进行聚类。在进行聚类之前需要设定一个相似度的阈值ζ作为终止条件,ζ的选取直接影响聚类的个数。路由器间相似度采用欧氏距离公式(式(2))来度量，距离越近,相似度越高，反之越低。
Figure BDA0001539435940000041
其中：ti、si为用户会话t、s的第i个分量，即用户会话中用户访问的第i个网页的兴趣度，d2(t,s)越小，其相似程度越高。
经过用户网址访问数据信息挖掘后，各路由器用户偏好网址类型分布如图1所示。考虑偏好网址类型，网络距离等因素将路由器进行聚类构成协作路由器组，存在若干种偏好网址类型的路由器可同时加入多个路由器组。如图1所示，网址偏好类型相近且网络距离较近的路由器构成协作路由器组，例如网址偏好类型1、2、3等。存在路由器同时拥有两个类型的协作路由器组。
云端服务器将黑名单和/或白名单按类型分类后下发到对应类型的协作路由器组中，路由器组的多个协作路由器采用分布式方式协作存储云端服务器中相应偏好类型的网址黑名单和/或白名单，每个路由器存储黑名单和/或白名单中的一部分。
此外，路由器可根据用户近期的访问网址情况对本地存储的黑名单和/或白名单进行更新，对于存在于黑名单和/或白名单中并且长期未访问到的网址，路由器将其在本地黑名单和/或白名单中删除，当用户的访问行为发生变化时，路由器重新分析用户的网址偏好类型，并根据新的网址偏好重新选择协作的路由器组，因此，协作路由器组是动态变化的。
图2为本发明的路由器协作的网址安全性检测方法流程图，下面结合流程图做详细的说明。
当路由器收到用户网址请求时，首先在本地黑名单和/或白名单中查找是否存在待检测网址，如果用户的网址请求在白名单中，则直接放行该网址请求，若在黑名单中，则将恶意网址提醒界面返回给用户；若不存在，则将该网址发送给网址偏好类型相似的协作路由器，协作路由器将待测网址在本地黑名单和/或白名单中进行检测，并将检测结果返回给源请求路由器，源请求路由器分析协作路由器返回的结果，若待测网址存在于任意协作路由器的白名单中，则说明待测网址为正常网址，若存在于任意协作路由器的黑名单中，则立即返回用户恶意网址提醒，若仍然没有检测到结果，则上报给云端服务器进行检测。
1、路由器通过分析用户访问网址历史记录确定用户的网址偏好类型，网址偏好类型相似且网络距离近的路由器可以互为协作路由器，多个协作路由器采用分布式方式协作存储相应偏好类型的网址黑名单和/或白名单。
2、路由器收到用户网址请求后，首先在本地查询黑名单和/或白名单，如果没有得到查询结果，然后向协作路由器查询黑名单和/或白名单，如果仍然没有得到查询结果，最后向云端服务器查询黑名单和/或白名单。
3、路由器更新用户的网址偏好类型，并在偏好类型发生变化时动态更新其协作路由器。
路由器通过挖掘用户的网址访问记录来分析用户偏好的网址类型，首先对用户的Web服务访问做预处理，删除浏览次数少于预定次数的网页，并根据用户对页面的访问频度计算出用户的兴趣偏好。路由器考虑偏好网址类型，网络距离等因素，采用最小相似度的聚类算法作为工具对各路由器进行聚类，网址偏好类型相近的路由器组成一个协作路由器组。
对于用户数目较多的路由器可能存在若干种偏好网址类型，存在若干种偏好网址类型的路由器可同时加入多个路由器组，并在每个路由器组中进行相应类型的网址检测。
多个协作路由器组成一个路由器组，采用分布式方式存储云端服务器中相应偏好类型的网址黑名单和/或白名单的一部分，并共同完成该偏好类型完整黑白名单的存储。当路由器收到待测网址时首先在本地查询黑名单和/或白名单，如果没有得到查询结果，然后向协作路由器查询黑名单和/或白名单，如果仍然没有得到查询结果，最后向云端服务器查询黑名单和/或白名单。将用户喜好的网址存储到路由器中，提高在路由器中查询到待测网址的概率，充分利用路由器的存储空间。
路由器存储并更新用户近期的访问网址记录，当用户的访问行为发生变化时，重新分析用户的网址偏好类型，并根据新的网址偏好重新选择协作的路由器组。由于充分考虑用户兴趣爱好的可变性,对路由器聚类进行更新和调整，提高了协作路由器组的准确度。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种路由器协作的网址安全性检测方法，所述方法包括：
步骤1)路由器通过分析用户访问网址历史记录确定用户的网址偏好类型，将网址偏好类型相似且网络距离近的路由器定义为协作路由器，多个协作路由器采用分布式方式协作存储相应偏好类型的网址黑名单和/或白名单；
步骤2)路由器收到用户网址请求后，首先在本地查询黑名单和/或白名单，如果没有得到查询结果，则向协作路由器查询黑名单和/或白名单，如果仍然没有得到查询结果，则向云端服务器查询黑名单和/或白名单；
所述步骤1)具体包括：
步骤1-1)路由器对用户的Web服务访问做预处理，对用户的网页的浏览次数做统计，删除那些浏览次数少于预定次数的网页，然后计算用户的网址偏好类型；
步骤1-2)基于网址偏好类型采用最小相似度的聚类算法对各路由器进行聚类；路由器间相似度采用欧氏距离公式来度量：
Figure FDA0002360874390000011
其中：ti、si为用户会话t、s的第i个分量，即用户会话中用户访问的第i个网页的兴趣度，N为网页的数量；d2(t,s)越小，其相似程度越高，设定一个相似度阈值ζ，路由器间相似度小于阈值ζ的两个路由器具有相似网址偏好类型；
步骤1-3)将具有相似网址偏好类型的路由器依照网络距离排序，选择若干个网络距离小的路由器作为协作路由器；
步骤1-4)将多个协作路由器组成一个路由器组，采用分布式方式存储云端服务器中相应偏好类型的网址黑名单和/或白名单的一部分，并共同完成该偏好类型完整黑白名单的存储。
2.根据权利要求1所述的路由器协作的网址安全性检测方法，其特征在于，所述方法还包括：
步骤3)路由器定期存储并更新用户的访问网址记录，当用户的访问行为发生变化时，重新分析用户的网址偏好类型，并根据新的网址偏好重新选择协作的路由器组。
3.根据权利要求1所述的路由器协作的网址安全性检测方法，其特征在于，所述步骤1-1)具体为：
所述用户的网址偏好类型为用户对页面感兴趣的程度，即用户对页面的访问频度，设hits为u访问x的次数，Totalofunm为u访问了的所有页面的总次数，u对x的兴趣度的In计算方法如下：
In＝hits/Totalofunm (1)。
4.根据权利要求3所述的路由器协作的网址安全性检测方法，其特征在于，所述步骤2)具体包括：
步骤2-1)当路由器收到用户网址请求时，首先在本地黑名单和/或白名单中查找是否存在待检测网址，如果用户的网址请求在白名单中，则直接放行该网址请求，若在黑名单中，则将恶意网址提醒界面返回给用户；若不存在，转入步骤2-2)；
步骤2-2)将该网址同时发送给网址偏好类型相似的所有协作路由器，协作路由器将待测网址在本地黑名单和/或白名单中进行检测，并将检测结果返回给源请求路由器；
步骤2-3)源请求路由器分析协作路由器返回的结果，若待测网址存在于任意协作路由器的白名单中，则认为待测网址为正常网址，若存在于任意协作路由器的黑名单中，则立即返回用户恶意网址提醒，若仍然没有检测到结果，则上报给云端服务器进行检测。
5.一种路由器协作的网址安全性检测系统，包括存储器、处理器和存储在存储器上的并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～4之一所述方法的步骤。
CN201810008412.8A 2018-01-04 2018-01-04 一种路由器协作的网址安全性检测方法及系统 Active CN110011918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810008412.8A CN110011918B (zh) 2018-01-04 2018-01-04 一种路由器协作的网址安全性检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810008412.8A CN110011918B (zh) 2018-01-04 2018-01-04 一种路由器协作的网址安全性检测方法及系统

Publications (2)

Publication Number Publication Date
CN110011918A CN110011918A (zh) 2019-07-12
CN110011918B true CN110011918B (zh) 2020-08-18

Family

ID=67164331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810008412.8A Active CN110011918B (zh) 2018-01-04 2018-01-04 一种路由器协作的网址安全性检测方法及系统

Country Status (1)

Country Link
CN (1) CN110011918B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753223B (zh) * 2020-06-09 2024-01-30 北京天空卫士网络安全技术有限公司 一种访问控制的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102364468A (zh) * 2011-09-29 2012-02-29 北京亿赞普网络技术有限公司 一种用户网络行为分析方法、装置和系统
CN103491543A (zh) * 2013-09-30 2014-01-01 北京奇虎科技有限公司 通过无线终端检测恶意网址的方法、无线终端
CN105429956B (zh) * 2015-11-02 2018-09-25 重庆大学 基于p2p动态云的恶意软件检测系统及方法
US10049213B2 (en) * 2016-04-15 2018-08-14 Cisco Technology, Inc. Fog-based distributed malware defense
CN107231360A (zh) * 2017-06-08 2017-10-03 上海斐讯数据通信技术有限公司 基于云网络的网络病毒防护方法、安全无线路由器和系统

Also Published As

Publication number Publication date
CN110011918A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
Stevanovic et al. Detection of malicious and non-malicious website visitors using unsupervised neural network learning
US9723016B2 (en) Detecting web exploit kits by tree-based structural similarity search
John et al. {deSEO}: Combating {Search-Result} Poisoning
US8229930B2 (en) URL reputation system
US9342614B2 (en) Asymmetric identification of interest twins in an online community
US8244752B2 (en) Classifying search query traffic
US9654495B2 (en) System and method of analyzing web addresses
KR100619178B1 (ko) 인터넷 검색 엔진에 있어서의 무효 클릭 검출 방법 및 장치
Taylor et al. Detecting malicious exploit kits using tree-based similarity searches
US20080010683A1 (en) System and method for analyzing web content
WO2021114454A1 (zh) 一种检测爬虫请求的方法和装置
US20120072982A1 (en) Detecting potential fraudulent online user activity
CN104572798A (zh) 一种用于处理网页的方法、设备与系统
Marchal et al. PhishScore: Hacking phishers' minds
Kalavri et al. Like a pack of wolves: Community structure of web trackers
Bai et al. Analysis and detection of bogus behavior in web crawler measurement
Xiang et al. Detecting mobile advanced persistent threats based on large-scale DNS logs
Wu et al. Detect repackaged android application based on http traffic similarity
CN103440454B (zh) 一种基于搜索引擎关键词的主动式蜜罐检测方法
CN110011918B (zh) 一种路由器协作的网址安全性检测方法及系统
Gržinić et al. Lino-an intelligent system for detecting malicious web-robots
Zhang et al. Hunting for invisibility: Characterizing and detecting malicious web infrastructures through server visibility analysis
He et al. Mobile app identification for encrypted network flows by traffic correlation
Shakiba et al. Spam query detection using stream clustering
WO2024031884A1 (zh) 一种域名同源判定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210813

Address after: Room 1601, 16th floor, East Tower, Ximei building, No. 6, Changchun Road, high tech Industrial Development Zone, Zhengzhou, Henan 450001

Patentee after: Zhengzhou xinrand Network Technology Co.,Ltd.

Address before: 100190, No. 21 West Fourth Ring Road, Beijing, Haidian District

Patentee before: INSTITUTE OF ACOUSTICS, CHINESE ACADEMY OF SCIENCES

Effective date of registration: 20210813

Address after: 100190, No. 21 West Fourth Ring Road, Beijing, Haidian District

Patentee after: INSTITUTE OF ACOUSTICS, CHINESE ACADEMY OF SCIENCES

Address before: 100190, No. 21 West Fourth Ring Road, Beijing, Haidian District

Patentee before: INSTITUTE OF ACOUSTICS, CHINESE ACADEMY OF SCIENCES

Patentee before: BEIJING INTELLIX TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right