CN101547197A - Url洗白装置和洗白方法 - Google Patents

Url洗白装置和洗白方法 Download PDF

Info

Publication number
CN101547197A
CN101547197A CN200910039168A CN200910039168A CN101547197A CN 101547197 A CN101547197 A CN 101547197A CN 200910039168 A CN200910039168 A CN 200910039168A CN 200910039168 A CN200910039168 A CN 200910039168A CN 101547197 A CN101547197 A CN 101547197A
Authority
CN
China
Prior art keywords
url
malice
time
status
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910039168A
Other languages
English (en)
Other versions
CN101547197B (zh
Inventor
陈勇
梅银明
刘桂峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Internet Security Software Co Ltd
Original Assignee
Zhuhai Kingsoft Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Kingsoft Software Co Ltd filed Critical Zhuhai Kingsoft Software Co Ltd
Priority to CN2009100391682A priority Critical patent/CN101547197B/zh
Publication of CN101547197A publication Critical patent/CN101547197A/zh
Application granted granted Critical
Publication of CN101547197B publication Critical patent/CN101547197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种对曾经被识别为恶意网址的URL进行洗白的装置和方法。URL洗白装置，包括服务器端和多个客户端；服务器端包括：通信模块、URL状态列表、URL状态列表修改模块、URL状态列表轮询模块；客户端包括：通信模块、恶意URL检测模块。上述装置根据服务器端不断对URL的访问而获得该URL的一般访问频率，如果在k倍正常的访问时间间隔内，该URL没有被当做恶意URL而收集入服务器端的URL状态列表，则可以说明该URL已经被洗白(被认为是非恶意URL)，大大缩短了受害URL的洗白时间。另外，不需要服务器端另外设置进行URL访问试探的模块，降低了服务器的工作压力。

Description

URL洗白装置和洗白方法
技术领域
本发明涉及计算机软件领域，尤其涉及一种对曾经被识别为恶意网址的URL进行洗白的装置和方法。
背景技术
利用网页挂马传播恶意程序，是恶意程序传播的一种重要渠道。一个网页连接(URL)被识别为恶意网址的时候，带安全警告的搜索引擎、浏览器、以及带网页浏览安全防护的软件会拦截对这个URL的访问。多数情况，URL的所有者也是受害者，黑客攻击了这个网站并植入了恶意程序或恶意代码，网站的所有者发现后，会对其进行清除。问题是，当该网站已经安全后，而上述工具(搜索引擎、浏览器、以及带网页浏览安全防护的软件等)还会在较长一段时间内认为其是恶意网站。因为，搜索引擎、浏览器等一旦将某个URL识别为恶意网址后，搜索引擎、浏览器等要经过固定的一个周期以后才会再次访问该URL，如果访问结果显示该URL已经安全，则将其洗白，本文中所说的URL洗白就是将该URL设置为非恶意的网址，将URL的状态由恶意改为非恶意。上述周期一般很长，因此，延缓了用户对已经及时清除了网页挂马的URL的访问。上述周期之所以比较长，原因是，在搜索引擎、浏览器等的服务器端有URL访问尝试模块，该模块不断循环地访问所有URL，然后返回URL是否为恶意的结果。由于全球网站数量众多，也受到服务器的工作能力的限制，必然这种尝试周期会很长。
综上，有必要提供一种能够及时将已经清除了网页挂马的URL洗白的装置和方法。本方法要解决的就是缩短这些受害网站的洗白时间。
发明内容
本发明克服了现有技术中的不足，本发明的第一目的是提供一种缩短受害URL的洗白时间的装置。
本发明的第二目的是提供一种缩短受害URL的洗白时间的方法。
为了实现上述第一目的，本发明采用如下技术方案：
URL洗白装置，包括服务器端和多个客户端；
服务器端包括：
通信模块，其用于与各个客户端的通信模块共同实现服务器端与客户端的信息交互；
URL状态列表，其具体包括每个被收集的URL的收集时间、最早发现时间、最后发现时间、发现次数、链接状态、链接状态被修改为恶意的次数；
URL状态列表修改模块，其用于修改URL状态列表中的各种信息；
URL状态列表轮询模块，其轮询URL状态列表中的各个链接状态为恶意的URL；
客户端包括：
通信模块，其用于与服务器端的通信模块共同实现服务器端与客户端的信息交互；
恶意URL检测模块，其用于检测用户所访问的URL是否为恶意URL，如果用户所访问URL为恶意URL，将通过客户端的通信模块和服务器端的通信模块将此URL发送到服务器端；如果为非恶意URL，则不做任何操作。
为了实现上述第二目的，本发明采用如下技术方案：
使用上述URL洗白装置进行的URL洗白方法，其包括URL状态收集整理过程和URL洗白过程，这两个过程分别进行；
URL状态收集整理过程的具体步骤如下；
a.恶意URL检测模块检测到恶意URL，通过客户端的通信模块和服务器端的通信模块把该URL发送到服务器端；
b.如果该URL尚未存在于URL状态列表中，进入步骤c；如果该URL已经存在于URL状态列表中，进入步骤d；
c.URL状态列表修改模块增加这个URL到URL状态列表，设定该URL的收集时间为当前时间，最早发现时间为当前时间，最后发现时间为当前时间；发现次数设为1，链接状态设置为恶意，链接状态被修改为恶意次数设为1，返回步骤a；
d.如果该URL在状态列表中的状态为恶意，URL状态列表修改模块将该URL的最后发现时间改为当前时间，发现次数加1；如果该URL在状态列表中的状态为非恶意，URL状态列表修改模块将该URL的最早发现时间改为当前时间，最后发现时间改为当前时间，发现次数设为1，链接状态改为恶意，链接状态被修改为恶意次数加1，返回步骤a；
URL洗白过程的具体步骤是，
URL状态列表轮询模块轮询URL状态列表中的各个链接状态为恶意的URL，对同时满足下列两个条件的URL进行链接状态修改，将链接状态修改为非恶意：第一、该URL的发现次数大于或等于2，第二、(当前时间-最后发现时间)>k*((最后发现时间-最早发现时间)/发现次数)，其中，k为大于1的实数。
上述装置和方法根据服务器端不断对URL的访问而获得该URL的一般访问频率，如果在k倍正常的访问时间间隔内，该URL没有被当做恶意URL而收集入服务器端的URL状态列表，则可以说明该URL已经被洗白(被认为是非恶意URL)，大大缩短了受害URL的洗白时间。另外，不需要服务器端另外设置进行URL访问试探的模块，降低了服务器的工作压力。
具体实施方式
URL洗白装置，包括服务器端和多个客户端。
服务器端包括：
通信模块，其用于与各个客户端的通信模块共同实现服务器端与客户端的信息交互；
URL状态列表，其具体包括每个被收集的URL的收集时间、最早发现时间、最后发现时间、发现次数、链接状态、链接状态被修改为恶意的次数；
URL状态列表修改模块，其用于修改URL状态列表中的上述各种信息；
URL状态列表轮询模块，其轮询URL状态列表中的各个链接状态为恶意的URL；
系数k取值列表，该系数k取值列表中列出了在不同时间段内系数k的取值，其中，k为大于1的实数。
客户端包括：
通信模块，其用于与服务器端的通信模块共同实现服务器端与客户端的信息交互；
恶意URL检测模块，其用于检测用户所访问的URL是否为恶意URL，如果用户所访问URL为恶意URL，将通过客户端的通信模块和服务器端的通信模块将此URL发送到服务器端；如果为非恶意URL，则不做任何操作。
下面介绍使用上述URL洗白装置进行URL洗白的方法，该方法包括URL状态收集整理过程和URL洗白过程，这两个过程分别进行；
URL状态收集整理过程的具体步骤如下；
a.恶意URL检测模块检测到恶意URL，通过客户端的通信模块和服务器端的通信模块把该URL发送到服务器端；
b.如果该URL尚未存在于URL状态列表中，进入步骤c；如果该URL已经存在于URL状态列表中，进入步骤d；
c.URL状态列表修改模块增加这个URL到URL状态列表，设定该URL的收集时间为当前时间，最早发现时间为当前时间，最后发现时间为当前时间；发现次数设为1，链接状态设置为恶意，链接状态被修改为恶意次数设为1，返回步骤a；
d.如果该URL在URL状态列表中的链接状态为恶意，URL状态列表修改模块将该URL的最后发现时间改为当前时间，发现次数加1；如果该URL在URL状态列表中的链接状态为非恶意，URL状态列表修改模块将该URL的最早发现时间改为当前时间，最后发现时间改为当前时间，发现次数设为1，链接状态改为恶意，链接状态被修改为恶意次数加1，返回步骤a；
URL洗白过程的具体步骤是，
URL状态列表轮询模块轮询URL状态列表中的各个链接状态为恶意的URL，对同时满足下列两个条件的URL进行链接状态修改，将链接状态修改为非恶意：第一、该URL的发现次数大于或等于2，第二、(当前时间-最后发现时间)>k*((最后发现时间-最早发现时间)/发现次数)，其中，k为大于1的实数。“(最后发现时间-最早发现时间)/发现次数”代表该恶意URL先前被客户端访问的平均时间间隔，上述公式表示，在k倍的平均时间间隔内，仍然没有客户端反映该URL为恶意URL，则认为该URL已经被修复，变为非恶意URL，因此，进行URL洗白操作。
还有一种情况是，有一部分URL被访问的频率非常低，其首次被确定为恶意URL以后，可能经过很长一段时间都再也无客户端访问，这样，上述URL洗白过程就不能对其洗白。针对这种情况，URL状态列表轮询模块轮询URL状态列表中的各个链接状态为恶意的URL，对同时满足下列两个条件的URL也进行链接状态修改，将链接状态修改为非恶意：第一、该URL的发现次数等于1，第二、(前时间-最后发现时间)>Max，其中，Max为在服务端设置的最长洗白周期，一般可以设置为28-40天。当然，Max值也可以根据客户端的分布广度不同，由编程者设定为其他值。
在上述方法中，k为修正系数，修正系数由两个因素决定：
A.客户端分布规模：规模越大，k值越小。客户端规模越大，其收集数据越接近真实情况，所以k的修正需求就越小。
B.客户端分布时区规律和当前时间在该时区规律中客户端活跃程度。如果客户端时区分布窄，在较窄的时区里，所有客户端的活跃情况和该时区的作息时间密切相关。所以，窄时区分布的客户端，期k值根据当前时间跟作息时间表对应修改。因为，对于同一时区(例如中国来说)，在白天客户端访问URL的频率一般会比凌晨时段要高，因此，作为修正系数的k值在白天一般应该比凌晨时段要小。同样的道理，周末、休假等作息规律也会影响到k的取值。如果客户端分布的时区比较广，比如在绝大多数国家都有分布，则可以不考虑作息时间的而变化，即不考虑此时间段内客户端的活跃程度。
当然，k的具体取值可以由编程人员根据实际情况设定，上面只是给出影响k值设定的一些常见因素。k值越大，洗白URL的正确性越高，但却可能影响到URL应该被洗白的时间。一般，k取大于或等于2的值比较安全、实用。K值可以是一个定值。也可以把k值放入系数k取值列表中，该系数k取值列表中列出了在不同时间段内系数k的取值，在不同时段，根据列表取不同的k值，这样进行URL洗白操作的准确性更高。
以上实施例描述仅用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，应涵盖在本发明的权利要求范围当中。

Claims (9)

1、URL洗白装置，其特征在于，包括服务器端和多个客户端；服务器端包括：
通信模块，其用于与各个客户端的通信模块共同实现服务器端与客户端的信息交互；
URL状态列表，其具体包括每个被收集的URL的收集时间、最早发现时间、最后发现时间、发现次数、链接状态、链接状态被修改为恶意的次数；
URL状态列表修改模块，其用于增加URL到URL状态列表以及修改URL状态列表中的各种信息；
URL状态列表轮询模块，其轮询URL状态列表中的各个链接状态为恶意的URL；
客户端包括：
通信模块，其用于与服务器端的通信模块共同实现服务器端与客户端的信息交互；
恶意URL检测模块，其用于检测用户所访问的URL是否为恶意URL，如果用户所访问URL为恶意URL，将通过客户端的通信模块和服务器端的通信模块将此URL发送到服务器端；如果为非恶意URL，则不做任何操作。
2、根据权利要求1所述的URL洗白装置，其特征在于，
服务器端还包括一系数k取值列表，该系数k取值列表中列出了不同时间段内系数k的取值，其中，k为大于1的实数。
3、使用权利要求1所述URL洗白装置进行的URL洗白方法，其特征在于，包括URL状态收集整理过程和URL洗白过程，这两个过程分别进行；
URL状态收集整理过程的具体步骤如下；
a.恶意URL检测模块检测到恶意URL，通过客户端的通信模块和服务器端的通信模块把该URL发送到服务器端；
b.如果该URL尚未存在于URL状态列表中，进入步骤c；如果该URL已经存在于URL状态列表中，进入步骤d；
c.URL状态列表修改模块增加这个URL到URL状态列表，设定该URL的收集时间为当前时间，最早发现时间为当前时间，最后发现时间为当前时间；发现次数设为1，链接状态设置为恶意，链接状态被修改为恶意次数设为1，返回步骤a；
d.如果该URL在URL状态列表中的链接状态为恶意，URL状态列表修改模块将该URL的最后发现时间改为当前时间，发现次数加1；如果该URL在URL状态列表中的链接状态为非恶意，URL状态列表修改模块将该URL的最早发现时间改为当前时间，最后发现时间改为当前时间，发现次数设为1，链接状态改为恶意，链接状态被修改为恶意次数加1，返回步骤a；
URL洗白过程的具体步骤是，
URL状态列表轮询模块轮询URL状态列表中的各个链接状态为恶意的URL，对同时满足下列两个条件的URL进行链接状态修改，将链接状态修改为非恶意：第一、该URL的发现次数大于或等于2，第二、(当前时间-最后发现时间)>k*((最后发现时间-最早发现时间)/发现次数)，其中，k为大于1的实数。
4、根据权利要求3所述的URL洗白方法，其特征在于，
URL洗白过程还包括，对同时满足下列两个条件的URL进行链接状态修改，将链接状态修改为非恶意：第一、该URL的发现次数等于1，第二、(前时间-最后发现时间)>Max，其中，Max为在服务端设置的最长洗白周期。
5、根据权利要求4所述的URL洗白方法，其特征在于，
所述k值的设定与客户端的数量有关，客户端的数量越多，k值越小。
6、根据权利要求5所述的URL洗白方法，其特征在于，
所述k值的设定与所有客户端分布的时区规律及当前时间客户端的活跃程度有关；
如果客户端在各个时区规律中分布均匀，则不考虑当前时间客户端的活跃程度；
如果客户端在较窄的时区内分布，则k值根据作息时间进行修正。
7、根据权利要求6所述的URL洗白方法，其特征在于，
所述Max值为28-40天。
8、根据权利要求7所述的URL洗白方法，其特征在于，
K＝2。
9、根据权利要求3-8中任意一项所述的URL洗白方法，其特征在于，所述k值存在于系数k取值列表中，该系数k取值列表中列出了不同时间段内系数k的取值。
CN2009100391682A 2009-04-30 2009-04-30 Url洗白装置和洗白方法 Active CN101547197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100391682A CN101547197B (zh) 2009-04-30 2009-04-30 Url洗白装置和洗白方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100391682A CN101547197B (zh) 2009-04-30 2009-04-30 Url洗白装置和洗白方法

Publications (2)

Publication Number Publication Date
CN101547197A true CN101547197A (zh) 2009-09-30
CN101547197B CN101547197B (zh) 2012-05-30

Family

ID=41194086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100391682A Active CN101547197B (zh) 2009-04-30 2009-04-30 Url洗白装置和洗白方法

Country Status (1)

Country Link
CN (1) CN101547197B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663000A (zh) * 2012-03-15 2012-09-12 北京百度网讯科技有限公司 恶意网址数据库的建立方法、恶意网址的识别方法和装置
CN103428183A (zh) * 2012-05-23 2013-12-04 北京新媒传信科技有限公司 恶意网址的识别方法和装置
CN103685158A (zh) * 2012-09-04 2014-03-26 珠海市君天电子科技有限公司 基于钓鱼网站传播的精确收集方法及系统
CN104769587A (zh) * 2012-10-30 2015-07-08 高通股份有限公司 用于访问短url的抢先框架
CN105144767A (zh) * 2013-04-12 2015-12-09 Sk电信有限公司 用于检查消息的装置和方法以及用户终端
CN106961410A (zh) * 2016-01-08 2017-07-18 阿里巴巴集团控股有限公司 一种异常访问检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588879A (zh) * 2004-08-12 2005-03-02 复旦大学 一种互联网内容过滤系统及过滤方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663000A (zh) * 2012-03-15 2012-09-12 北京百度网讯科技有限公司 恶意网址数据库的建立方法、恶意网址的识别方法和装置
CN102663000B (zh) * 2012-03-15 2016-08-03 北京百度网讯科技有限公司 恶意网址数据库的建立方法、恶意网址的识别方法和装置
CN103428183A (zh) * 2012-05-23 2013-12-04 北京新媒传信科技有限公司 恶意网址的识别方法和装置
CN103428183B (zh) * 2012-05-23 2017-02-08 北京新媒传信科技有限公司 恶意网址的识别方法和装置
CN103685158A (zh) * 2012-09-04 2014-03-26 珠海市君天电子科技有限公司 基于钓鱼网站传播的精确收集方法及系统
CN104769587A (zh) * 2012-10-30 2015-07-08 高通股份有限公司 用于访问短url的抢先框架
CN105144767A (zh) * 2013-04-12 2015-12-09 Sk电信有限公司 用于检查消息的装置和方法以及用户终端
CN105144767B (zh) * 2013-04-12 2019-07-02 Sk电信有限公司 用于检查消息的装置和方法以及用户终端
CN106961410A (zh) * 2016-01-08 2017-07-18 阿里巴巴集团控股有限公司 一种异常访问检测方法及装置
CN106961410B (zh) * 2016-01-08 2020-02-18 阿里巴巴集团控股有限公司 一种异常访问检测方法及装置

Also Published As

Publication number Publication date
CN101547197B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
CN101547197B (zh) Url洗白装置和洗白方法
CN103116723A (zh) 一种网址拦截处理的方法、装置和系统
CN104301302A (zh) 越权攻击检测方法及装置
Parthasarathy et al. Bloom filter based intrusion detection for smart grid SCADA
CN105100032A (zh) 一种防止资源盗取的方法及装置
CN106899549B (zh) 一种网络安全检测方法及装置
CN104767653B (zh) 一种网络接口监控的方法和装置
CN105930363A (zh) 一种基于html5网页的用户行为分析方法及装置
CN105306463A (zh) 基于支持向量机的Modbus TCP入侵检测方法
CN106961410B (zh) 一种异常访问检测方法及装置
CN106993009A (zh) 一种在浏览器中加载网页的方法和装置
CN110502461A (zh) 一种基于rs485通讯协议的高效数据采集方法
CN107276986B (zh) 一种通过机器学习保护网站的方法、装置和系统
CN104391953B (zh) 检测网页更新的方法及装置
CN104967632B (zh) 网页异常数据处理方法、数据服务器及系统
CN105577718A (zh) 一种智能化的网络信息采集方法及网络信息采集系统
CN103220277B (zh) 监控跨站脚本攻击的方法、装置及系统
Mahadik Variable sample size and sampling interval charts with runs rules for switching between sample sizes and sampling interval lengths
Mahadik Variable sampling interval hotelling's T2 charts with runs rules for switching between sampling interval lengths
AU2012207000B2 (en) Utility meters configured to execute multiple collection agents
CN107239689B (zh) 一种基于众包的验证信息的识别方法及系统
CN107294905A (zh) 一种识别用户的方法及装置
CN106874423A (zh) 搜索控制方法和系统
CN101610251A (zh) 一种预定义关键字的信息拦截方法和设备
CN105591467B (zh) 基于面向服务架构的继电保护故障信息主站系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: KINGSOFT CORPORATION LIMITED

Free format text: FORMER OWNER: ZHUHAI KINGSOFT SOFTWARE CO., LTD.

Effective date: 20140902

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 519015 ZHUHAI, GUANGDONG PROVINCE TO: 100085 HAIDIAN, BEIJING

TR01 Transfer of patent right

Effective date of registration: 20140902

Address after: Kingsoft No. 33 building, 100085 Beijing city Haidian District Xiaoying Road

Patentee after: BEIJING KINGSOFT INTERNET SECURITY SOFTWARE Co.,Ltd.

Address before: Jinshan computer Building No. 8 Jingshan Hill Road, Lane 519015 Zhuhai Jida Lianshan Guangdong city of Zhuhai Province

Patentee before: Zhuhai Kingsoft Software Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20090930

Assignee: Zhuhai Kingsoft Software Co.,Ltd.

Assignor: BEIJING KINGSOFT INTERNET SECURITY SOFTWARE Co.,Ltd.

Contract record no.: 2014990000778

Denomination of invention: A URL washing device and a washing method

Granted publication date: 20120530

License type: Common License

Record date: 20140926

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model