CN103632084A - 恶意特征数据库的建立方法、恶意对象检测方法及其装置 - Google Patents

恶意特征数据库的建立方法、恶意对象检测方法及其装置 Download PDF

Info

Publication number
CN103632084A
CN103632084A CN201210297350.XA CN201210297350A CN103632084A CN 103632084 A CN103632084 A CN 103632084A CN 201210297350 A CN201210297350 A CN 201210297350A CN 103632084 A CN103632084 A CN 103632084A
Authority
CN
China
Prior art keywords
malicious
database
objects
feature
blacklist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210297350.XA
Other languages
English (en)
Inventor
周向荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201210297350.XA priority Critical patent/CN103632084A/zh
Publication of CN103632084A publication Critical patent/CN103632084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/56Computer malware detection or handling, e.g. anti-virus arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种恶意特征数据库的建立方法、恶意对象检测方法及其装置,其中建立方法包括:S1、获取恶意对象样本;S2、从样本中的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表;S3、利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象。通过本发明能够扩大恶意对象检测的覆盖面,对新出现的恶意对象做出及时地反应。

Description

恶意特征数据库的建立方法、恶意对象检测方法及其装置
【技术领域】
本发明涉及计算机技术领域,特别涉及一种恶意特征数据库的建立方法、恶意对象检测方法及其装置。
【背景技术】
随着网络技术的广泛应用和黑客潜在可得利益的迅速膨胀,对于网络中用户随时提交的新的网页和软件包都需要安全性验证。当今的安全解决方案需要深层的面向应用的扫描和过滤功能。为保障在面对所有威胁的同时能够集中资源轻松保持业务步伐,需要建立有效的恶意特征数据库并经常更新。具有全面覆盖安全威胁,同时满足性能需求的恶意特征数据库建立方案,是实现网络安全的重点。
现有技术通常是通过网络抓取系统收集各种网站和软件,并分别对其是否为挂马网站、是否为钓鱼网站、是否包含黑链、是否为恶意软件、是否为作弊器、是否具有恶意行为进行逐一分析,每一块都有专门的工具或软件进行检测,当检测出来以后报告给客户。也就是说,现有技术通常建立具有某种特征的恶意软件或恶意网站的数据库,例如现在常用的病毒数据库,这种方式具备以下缺点:
其一、覆盖面很小,仅能够识别出病毒数据库中列出的恶意软件或恶意网站。
其二、缺乏有效的更新机制,对于新出现的恶意软件或恶意网站则无法做出及时地反应。
【发明内容】
有鉴于此,本发明提供了一种恶意特征数据库的建立方法、恶意对象检测方法及其装置,以便于扩大恶意对象检测的覆盖面,对新出现的恶意对象做出及时地反应。
具体技术方案如下:
一种恶意特征数据库的建立方法,该建立方法包括:
S1、获取恶意对象样本;
S2、从样本中的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表;
S3、利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象。
根据本发明一优选实施例,在所述步骤S3之后还包括:
S4、从步骤S3确定出的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
根据本发明一优选实施例,所述恶意特征包括:挂马源、域名信息、注册信息、链接关系信息、网络内容提供商ICP信息或者关键词索引。
根据本发明一优选实施例,所述利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象具体包括:
判断搜索数据库中的对象包含的超链接是否为恶意特征数据库的黑名单列表中的对象,如果是,则确定搜索数据库中的该对象为恶意对象;或者,
将搜索数据库中的对象与恶意特征数据库的黑名单列表中的对象进行相似度计算,如果相似度超过预设的相似度阈值,则确定搜索数据库中的该对象为恶意对象;或者,
将搜索数据库中的对象与恶意特征数据库的恶意特征列表中的恶意特征进行匹配,如果满足匹配条件,则确定搜索数据库中的该对象为恶意对象;或者,
判断搜索数据库中的对象是否是恶意特征数据库的黑名单列表中恶意对象所引用的对象,如果是,则确定搜索数据库中的该对象为恶意对象。
根据本发明一优选实施例,该建立方法还包括:
定时对恶意特征数据库中的黑名单列表中的恶意对象和恶意特征列表中的恶意特征进行有效性验证,保留验证有效的恶意对象和恶意特征,删除验证无效的恶意对象和恶意特征。
根据本发明一优选实施例,所述有效性验证具体包括:
向所述黑名单列表中的对象发出请求,根据响应结果确定该对象是否失效,在所述黑名单列表中保留仍然有效的恶意对象,将失效的恶意对象从所述黑名单列表中删除;
对于仍然有效的恶意对象进一步进行恶意对象检测,如果检测结果仍为恶意,则在所述恶意特征列表中保留所述仍然有效的恶意对象对应的恶意特征;如果检测结果为非恶意,则将该恶意对象以及该恶意对象对应的恶意特征分别从所述黑名单列表和恶意特征列表中删除。
根据本发明一优选实施例,在所述恶意特征列表中保留所述仍然有效的恶意对象对应的恶意特征具体包括:判断所述仍然有效的恶意对象的恶意特征是否发生变更,如果是,则更新恶意特征列表中所述仍然有效的恶意对象对应的恶意特征;否则保留所述仍然有效的恶意对象对应的恶意特征。
一种恶意对象检测方法,该检测方法包括:
A1、判断待检测对象是否包含在恶意特征数据库的黑名单列表中,如果是,确定所述待检测对象为恶意对象,结束对所述待检测对象的检测;否则,执行步骤A2;
A2、将所述待检测对象在恶意特征数据库的恶意特征列表中进行匹配,如果满足匹配条件,则确定所述待检测对象为恶意对象;否则,确定所述待检测对象为非恶意对象;
其中所述恶意特征数据库是采用上述建立方法得到的。
根据本发明一优选实施例,在所述步骤A2中如果确定所述待检测对象为恶意对象,则进一步从恶意对象中提取恶意特征,分别将该恶意对象以及对应的恶意特征加入所述恶意特征数据库的黑名单列表和恶意特征列表。
一种恶意特征数据库的建立装置,该建立装置包括:
样本获取单元,用于获取恶意对象样本,将恶意对象样本中的各恶意对象分别提供给特征提取单元;
特征提取单元,用于从恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表;
反挖掘单元,用于利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象。
所述反挖掘单元,还用于将确定出的恶意对象分别提供给所述特征提取单元;
所述特征提取单元从所述反挖掘单元提供的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
根据本发明一优选实施例,所述恶意特征包括:挂马源、域名信息、注册信息、链接关系信息、网络内容提供商ICP信息或者关键词索引。
根据本发明一优选实施例,所述反挖掘单元在利用恶意特征数据库对搜索数据库中的对象进行匹配时,具体执行:
判断搜索数据库中的对象包含的超链接是否为恶意特征数据库的黑名单列表中的对象,如果是,则确定搜索数据库中的该对象为恶意对象;或者,
将搜索数据库中的对象与恶意特征数据库的黑名单列表中的对象进行相似度计算,如果相似度超过预设的相似度阈值,则确定搜索数据库中的该对象为恶意对象;或者,
将搜索数据库中的对象与恶意特征数据库的恶意特征列表中的恶意特征进行匹配,如果满足匹配条件,则确定搜索数据库中的该对象为恶意对象;或者,
判断搜索数据库中的对象是否是恶意特征数据库的黑名单列表中恶意对象所引用的对象,如果是,则确定搜索数据库中的该对象为恶意对象。
根据本发明一优选实施例,该建立装置还包括:
有效性验证单元,用于定时对恶意特征数据库中的黑名单列表中的恶意对象和恶意特征列表中的恶意特征进行有效性验证,保留验证有效的恶意对象和恶意特征,删除验证无效的恶意对象和恶意特征。
根据本发明一优选实施例,所述有效性验证单元在进行有效性验证时,具体执行:
向所述黑名单列表中的对象发出请求,根据响应结果确定该对象是否失效,在所述黑名单列表中保留仍然有效的恶意对象,将失效的恶意对象从所述黑名单列表中删除;
对于仍然有效的恶意对象进一步进行恶意对象检测,如果检测结果仍为恶意,则在所述恶意特征列表中保留所述仍然有效的恶意对象对应的恶意特征;如果检测结果为非恶意,则将该恶意对象以及该恶意对象对应的恶意特征分别从所述黑名单列表和恶意特征列表中删除。
根据本发明一优选实施例,所述有效性验证单元在恶意特征列表中保留所述仍然有效的恶意对象对应的恶意特征时,具体执行:判断所述仍然有效的恶意对象的恶意特征是否发生变更,如果是,则更新恶意特征列表中所述仍然有效的恶意对象对应的恶意特征;否则保留所述仍然有效的恶意对象对应的恶意特征。
一种恶意对象检测装置,该检测装置包括:
对象判断单元,用于判断待检测对象是否包含在恶意特征数据库的黑名单列表中,如果是,确定所述待检测对象为恶意对象,否则触发特征匹配单元;
特征匹配单元,用于将所述待检测对象在恶意特征数据库的恶意特征列表中进行匹配,如果满足匹配条件,则确定所述待检测对象为恶意对象;否则,确定所述待检测对象为非恶意对象;
其中所述恶意特征数据库是由上述建立装置得到的。
根据本发明一优选实施例,该装置还包括:特征提取单元,用于在所述特征匹配单元确定所述待检测对象为恶意对象时,从恶意对象中提取恶意特征,分别将该恶意对象以及对应的恶意特征加入所述恶意特征数据库的黑名单列表和恶意特征列表。
由以上技术方案可以看出,本发明基于恶意对象样本抽取恶意特征后建立初步的恶意特征数据库,再通过利用搜索数据库对恶意特征数据库进行反挖掘的方式形成一个迭代,逐步丰富恶意特征数据库。这种方式并不限制单一特征的恶意对象,能够包容各种恶意特征,显然扩大了恶意对象检测的覆盖面,并且这种迭代更新的方式能够便于对新出现的恶意软件或恶意网站做出及时地反应。
【附图说明】
图1为本发明实施例一提供的恶意特征数据库的建立方法的主要流程图;
图2为本发明实施例二提供的利用恶意特征数据库的恶意对象检测过程流程图;
图3为本发明实施例三提供的恶意特征数据库的建立装置结构图;
图4为本发明实施例四提供的恶意对象检测装置结构图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
实施例一、
图1为本发明实施例一提供的恶意特征数据库的建立方法的主要流程图,该方法的主要思想是,首先利用现有的恶意对象检测技术对小规模的对象进行检测,将检测出的恶意对象作为样本,利用样本建立恶意特征数据库;然后再利用恶意特征数据库对大规模的对象进行反挖掘,从而确定出恶意对象反馈至恶意特征数据库,从而完成恶意特征数据库的建立过程。需要说明的是,本发明各实施例中涉及的对象包括但不限于网页、软件、链接等,相应地,恶意对象包括但不限于恶意网页、恶意软件、恶意链接等。如图1所示,该方法可以主要包括以下步骤:
步骤101:获取恶意对象样本。
本步骤中恶意对象样本的获取可以采用现有的恶意对象检测技术对小规模的网站或软件等对象进行检测,即调用现有的检测模块进行检测,这些检测模块可以是一个以上独立的检测模块,每个检测模块可以采用不同的检测方式或检测条件,并发明并不限于恶意对象样本的确定方式。
步骤102:从样本中的恶意对象中提取恶意特征,分别将恶意对象及其恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
本发明实施例建立的恶意特征数据库包含两个部分:黑名单列表和恶意特征列表,其中黑名单列表中包含恶意对象的信息,恶意特征列表中包含恶意对象对应的恶意特征的信息。
对于确定出的恶意对象,诸如挂马网站、黑链、色情网站、恶意软件、作弊器等等,将这些恶意对象加入黑名单列表,例如将恶意网站的url、恶意软件的名称等加入黑名单列表。
在对恶意对象提取恶意特征时,可以提取但不限于以下特征:挂马源、域名信息、注册信息、链接关系信息、网络内容提供商(ICP)信息或者关键词索引。其中,挂马源是指网页挂马链中,最终发起攻击的页面;域名信息是指域名的ip地址信息;注册信息包括注册邮箱、注册公司、联系电话、QQ、MSN等;链接关系信息是指如反链等反映网页之间链接关系的信息。关键词索引是指如果一个关键词得到的前N个搜索结果中包含该恶意对象,则该关键词就可以作为该恶意对象的关键词索引。
除此之外,主机(Host)、域名、ip地址、国家、whois信息可以为附加特征,用于后续统计恶意站点的域名、ip地址、地域分布情况。
步骤103:利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象。
步骤104:从恶意对象中提取恶意特征,分别将恶意对象及其恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
本步骤实际上是利用恶意特征数据库在搜索数据库进行反挖掘的过程,将匹配得到的对象确定为恶意对象,再利用以此确定出的恶意对象以及从中提取出的恶意特征来更新恶意特征数据库。
在本发明实施例中涉及到的搜索数据库实际上是一个包含大规模网站、软件等对象信息的数据库,用户可以随时提交自己网站的超链接、上传开发的软件等至搜索数据库,也可以通过爬虫抓取网页或者搜索引擎通过关键字查询到的网页等存至搜索数据库,等等。
搜索数据库反挖掘过程的加入,使本发明提出的恶意特征数据库建立方法形成了一个迭代,搜索数据库可以利用恶意特征数据库进一步挖掘,而挖掘到的恶意对象又被加入到恶意特征数据库,对新出现的恶意对象能够迅速更新在恶意特征数据库中。
下面对上述反挖掘的方式即利用恶意特征数据库对搜索数据库中各对象进行匹配的过程进行描述,可以采用但不限于以下方式:
方式一、反向挖掘。即判断搜索数据库中的对象包含的超链接是否为恶意特征数据库的黑名单列表中的对象,如果是,则确定搜索数据库中的该对象为恶意对象。例如,搜索数据库中的网页url1包含的超链接为恶意特征数据库的黑名单列表中的网页url2,则认为url1为恶意对象。
方式二、相似性挖掘。由于在批量挂马网站中,很多挂马网页页面内容基本一致,因此,将搜索数据库中的对象与恶意特征数据库的黑名单列表中的对象进行相似度计算,如果相似度超过预设的相似度阈值,则认为搜索数据库中的该对象为恶意对象,或者认为其为可疑对象,可以结合其他检测方式进行进一步检测来确定是否为恶意对象。例如,搜索数据库中的网页url1与恶意特征数据库的黑名单列表中的网页url2之间的相似度超过预设的相似度阈值,则认为url1为恶意对象。
方式三、特征挖掘。将搜索数据库中的对象与恶意特征数据库的恶意特征列表中的恶意特征匹配,如果满足匹配条件,则认为搜索数据库中的该对象为恶意对象。
例如,挂马者为了增大用户影响面,希望更多的受害者能够中马,往往会选择最近的热门关键词网站异或是用户访问频度较高的网站,挖掘同样内容或关键词的疑似网页,因此可以将搜索数据库中的网页url1与恶意特征列表中的关键词进行匹配,如果满足关键词数量的匹配要求,则认为该url1为恶意对象。
再例如,目前恶意网站大多采用动态域名和免费域名的方式,在同一个服务器上假设多个站点,如果其中一个站点为恶意对象,则其他站点很大可能也是恶意对象,因此,可以将搜索数据库中的网页url1与恶意特征列表中的IP地址信息进行匹配,如果属于同一IP地址,则认为该url1为恶意对象。
再例如,具有相同域名的站点,如果其中一个站点为恶意对象,则其他站点也可能为恶意对象,因此可以将搜索数据库中的网页url1与恶意特征列表中的域名信息进行匹配,如果具有相同域名,则认为该url1为恶意对象。
再例如,具有相同注册信息的站点,如果其中一个站点为恶意对象,则其他站点也可能为恶意对象,因此可以将搜索数据库中的网页url1与恶意特征列表中的注册信息进行匹配,如果具有相同注册信息,则认为该url1为恶意对象。
再例如,相同ICP的站点,如果其中一个站点为恶意对象,则属于同一ICP的其他站点也可能为恶意对象,因此可以将搜索数据库中的网页url1与恶意特征列表中的ICP信息进行匹配,如果具有相同ICP信息,则认为该url1为恶意对象。
方式四、链接引用关系挖掘。判断搜索数据库中的对象是否是恶意特征数据库的黑名单列表中恶意对象所引用的对象,如果是,则认为搜索数据库中的该对象为恶意对象。
由于恶意特征数据库的存储空间有限,网络中恶意对象又是动态变化的,例如网络攻击者利用一台服务器进行攻击被发现后,很可能关闭该服务器,其对应的所有URL就无法访问了。因此,优选地,本发明实施例中可以进一步通过定时的有效性验证来对恶意特征数据库进行维护。即定时对恶意特征数据库的黑名单列表中的恶意对象和恶意特征列表中的恶意特征进行有效性验证,如果验证有效,则保留,如果验证无效,则将无效的恶意对象和恶意特征从恶意特征数据库中删除。
具体地,可以预先设置一个验证周期,例如24小时,该验证周期可以根据具体需求进行设置和变更。当验证周期到达时,向恶意特征数据库的黑名单列表中的恶意对象进行访问以验证该恶意对象是否失效,例如,可以向黑名单列表中的URL发出请求,或者,向黑名单列表中恶意软件对应的服务器发出请求,根据响应结果确定是否失效,如果仍然有效,则在黑名单列表中予以保留;如果失效,则将该恶意对象从黑名单列表中删除。
如果在上述过程中验证恶意对象仍然有效可以进一步对该恶意对象进行检测,该检测方式可以如步骤101中所述采用现有技术中的检测方式,如果检测结果仍然为恶意,则保留该恶意对象对应的恶意特征,如果检测结果为非恶意,则将该恶意对象及其对应的恶意特征分别从恶意对象和恶意特征列表中删除。其中,在保留恶意对象对应的恶意特征之前,可以首先判断该恶意对象的恶意特征是否发生变更,如果发生变更,则更新恶意特征列表中该恶意对象对应的恶意特征;否则直接保留该恶意对象对应的恶意特征。
在本实施例中对于从恶意特征数据库中删除的恶意对象及其恶意特征,可以记录在历史恶意库中,记录的内容除了删除的恶意对象及其恶意特征之外,还可以包括但不限于:删除时间、删除原因等,以备误删或者将来查阅。
在采用实施例一所示方法建立了恶意特征数据库之后,就可以利用恶意特征数据库进行恶意对象的检测,该检测可以是实时的检测方式。下面通过实施例二对利用恶意特征数据库的恶意对象检测过程进行描述。
实施例二、
图2为本发明实施例二提供的利用恶意特征数据库的恶意对象检测过程流程图,如图2所示,该过程可以包括以下步骤:
步骤201:判断待检测对象是否包含在恶意特征数据库的黑名单列表中,如果是,则确定该待检测对象为恶意对象,结束对该待检测对象的检测;否则,执行步骤202。
如果待检测对象就是恶意特征数据库的黑名单列表中的恶意对象,则显然可以直接确定待检测对象为恶意对象;如果不能够直接确定,则进一步通过以下步骤进行恶意特征匹配的方式检测其是否为恶意对象。
在本实施例中,一旦确定待检测对象为恶意对象,则可以拒绝该恶意对象的执行,防止其对主机造成破坏,还可以发出告警等。
步骤202:将该待检测对象在恶意特征数据库的恶意特征列表中进行匹配。
步骤203:判断是否满足匹配条件,如果是,则执行步骤204;否则,确定该待检测对象为非恶意对象,结束对该待检测对象的检测。
在匹配时,如果待检测对象匹配上恶意特征列表中的一个或者多个恶意特征,则可以认为该待检测对象为恶意对象。
步骤204:确定该待检测对象为恶意对象,可以进一步执行步骤205。
步骤205:从恶意对象中提取恶意特征,分别将恶意对象及其恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
通过该检测方式检测得到的恶意对象,可以用于反馈给恶意特征数据库,本步骤的执行与实施例一中的步骤102相同,在此不再赘述。
以上是对本发明所提供的方法进行的详细描述,下面结合实施例三和实施例四对本发明提供的装置进行详细描述。
实施例三、
图3为本发明实施例三提供的恶意特征数据库的建立装置结构图,如图3所示,该装置可以包括:样本获取单元301、特征提取单元302、特征提取单元302和反挖掘单元303。
样本获取单元301,用于获取恶意对象样本,将恶意对象样本中的各恶意对象分别提供给特征提取单元302。
其中恶意对象样本的获取可以采用现有的恶意对象检测技术对小规模的网站或软件等对象进行检测,即调用现有的检测模块进行检测,这些检测模块可以是一个以上独立的检测模块,每个检测模块可以采用不同的检测方式或检测条件,并发明并不限于恶意对象样本的确定方式。
特征提取单元302,用于从恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
对于确定出的恶意对象,诸如挂马网站、黑链、色情网站、恶意软件、作弊器等等,将这些恶意对象加入黑名单列表,例如将恶意网站的url、恶意软件的名称等加入黑名单列表。
在对恶意对象提取恶意特征时,可以提取但不限于以下特征:挂马源、域名信息、注册信息、链接关系信息、网络内容提供商(ICP)信息或者关键词索引。
反挖掘单元303,用于利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象。
反挖掘单元303还用于将确定出的恶意对象分别提供给特征提取单元302。
特征提取单元302从所述反挖掘单元提供的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
具体地,反挖掘单元303在利用恶意特征数据库对搜索数据库中的对象进行匹配时,具体可以但不限于以下方式:
方式一、反向挖掘:判断搜索数据库中的对象包含的超链接是否为恶意特征数据库的黑名单列表中的对象,如果是,则确定搜索数据库中的该对象为恶意对象。
方式二、相似性挖掘:将搜索数据库中的对象与恶意特征数据库的黑名单列表中的对象进行相似度计算,如果相似度超过预设的相似度阈值,则确定搜索数据库中的该对象为恶意对象。
方式三、特征挖掘:将搜索数据库中的对象与恶意特征数据库的恶意特征列表中的恶意特征进行匹配,如果满足匹配条件,则确定搜索数据库中的该对象为恶意对象。
其中特征挖掘的方式可以采用但不限于以下方式中的至少一个:
1)将搜索数据库中的对象与恶意特征列表中的关键词进行匹配,如果满足关键词数量的匹配要求,则认为搜索数据库中的对象为恶意对象。
2)将搜索数据库中的对象与恶意特征列表中的IP地址信息进行匹配,如果属于同一IP地址,则认为该对象为恶意对象。
3)将搜索数据库中的对象与恶意特征列表中的域名信息进行匹配,如果具有相同域名,则认为该对象为恶意对象。
4)将搜索数据库中的对象与恶意特征列表中的注册信息进行匹配,如果具有相同注册信息,则认为该对象为恶意对象。
5)将搜索数据库中的对象与恶意特征列表中的ICP信息进行匹配,如果具有相同ICP信息,则认为该对象为恶意对象。
方式四、链接引用关系挖掘:判断搜索数据库中的对象是否是恶意特征数据库的黑名单列表中恶意对象所引用的对象,如果是,则确定搜索数据库中的该对象为恶意对象。
由于恶意特征数据库的存储空间有限,网络中恶意对象又是动态变化的,例如网络攻击者利用一台服务器进行攻击被发现后,很可能关闭该服务器,其对应的所有URL就无法访问了。因此,优选地,该建立装置还包括:有效性验证单元304,用于定时对恶意特征数据库中的黑名单列表中的恶意对象和恶意特征列表中的恶意特征进行有效性验证,保留验证有效的恶意对象和恶意特征,删除验证无效的恶意对象和恶意特征。
其中有效性验证单元304在进行有效性验证时,具体执行:向黑名单列表中的对象发出请求,根据响应结果确定该对象是否失效,在黑名单列表中保留仍然有效的恶意对象,将失效的恶意对象从黑名单列表中删除;对于仍然有效的恶意对象进一步进行恶意对象检测,如果检测结果仍为恶意,则在恶意特征列表中保留仍然有效的恶意对象对应的恶意特征;如果检测结果为非恶意,则将该恶意对象以及该恶意对象对应的恶意特征分别从黑名单列表和恶意特征列表中删除。
其中,在进行恶意对象检测时,有效性验证单元304可以通过调用已有的检测模块对仍然有效的恶意对象进行恶意对象检测,并获取检测结果,此处已有的检测模块可以是一个以上独立的检测模块,每个检测模块可以采用不同的检测方式或检测条件,并发明并不限于此处恶意对象检测的具体方式。
优选地,有效性验证单元304在恶意特征列表中保留仍然有效的恶意对象对应的恶意特征时,具体执行:判断仍然有效的恶意对象的恶意特征是否发生变更,如果是,则更新恶意特征列表中仍然有效的恶意对象对应的恶意特征;否则保留仍然有效的恶意对象对应的恶意特征。
在本实施例中对于从恶意特征数据库中删除的恶意对象及其恶意特征,可以记录在历史恶意库中,记录的内容除了删除的恶意对象及其恶意特征之外,还可以包括但不限于:删除时间、删除原因等,以备误删或者将来查阅。
实施例四、
图4为本发明实施例四提供的恶意对象检测装置的结构图,该恶意对象检测装置所采用的恶意特征数据库是由实施例三所提供的建立装置得到的,如图4所示,该检测装置包括:对象判断单元401和特征匹配单元402。
对象判断单元401,用于判断待检测对象是否包含在恶意特征数据库的黑名单列表中,如果是,确定待检测对象为恶意对象,否则触发特征匹配单元402。
特征匹配单元402,用于将待检测对象在恶意特征数据库的恶意特征列表中进行匹配,如果满足匹配条件,则确定待检测对象为恶意对象;否则,确定待检测对象为非恶意对象。
更进一步地,该装置还包括:特征提取单元403,用于在特征匹配单元402确定待检测对象为恶意对象时,从恶意对象中提取恶意特征,分别将该恶意对象以及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。也就是说,检测出来的恶意对象还可以用于反馈给恶意特征数据库,对新出现的恶意对象能够迅速更新在恶意特征数据库中。
在该检测装置中还可以包括用于设定主机安全策略、接收或发送安全报告的控制单元(图中未示出),例如在本实施例中,一旦确定待检测对象为恶意对象,则可以拒绝该恶意对象的执行,防止其对主机造成破坏,还可以发出告警等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (18)

1.一种恶意特征数据库的建立方法,其特征在于,该建立方法包括:
S1、获取恶意对象样本;
S2、从样本中的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表;
S3、利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象。
2.根据权利要求1所述的建立方法,其特征在于,在所述步骤S3之后还包括:
S4、从步骤S3确定出的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
3.根据权利要求1所述的建立方法,其特征在于,所述恶意特征包括:挂马源、域名信息、注册信息、链接关系信息、网络内容提供商ICP信息或者关键词索引。
4.根据权利要求1所述的建立方法,其特征在于,所述利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象具体包括:
判断搜索数据库中的对象包含的超链接是否为恶意特征数据库的黑名单列表中的对象,如果是,则确定搜索数据库中的该对象为恶意对象;或者,
将搜索数据库中的对象与恶意特征数据库的黑名单列表中的对象进行相似度计算,如果相似度超过预设的相似度阈值,则确定搜索数据库中的该对象为恶意对象;或者,
将搜索数据库中的对象与恶意特征数据库的恶意特征列表中的恶意特征进行匹配,如果满足匹配条件,则确定搜索数据库中的该对象为恶意对象;或者,
判断搜索数据库中的对象是否是恶意特征数据库的黑名单列表中恶意对象所引用的对象,如果是,则确定搜索数据库中的该对象为恶意对象。
5.根据权利要求1所述的建立方法,其特征在于,该建立方法还包括:
定时对恶意特征数据库中的黑名单列表中的恶意对象和恶意特征列表中的恶意特征进行有效性验证,保留验证有效的恶意对象和恶意特征,删除验证无效的恶意对象和恶意特征。
6.根据权利要求5所述的建立方法,其特征在于,所述有效性验证具体包括:
向所述黑名单列表中的对象发出请求,根据响应结果确定该对象是否失效,在所述黑名单列表中保留仍然有效的恶意对象,将失效的恶意对象从所述黑名单列表中删除;
对于仍然有效的恶意对象进一步进行恶意对象检测,如果检测结果仍为恶意,则在所述恶意特征列表中保留所述仍然有效的恶意对象对应的恶意特征;如果检测结果为非恶意,则将该恶意对象以及该恶意对象对应的恶意特征分别从所述黑名单列表和恶意特征列表中删除。
7.根据权利要求6所述的建立方法,其特征在于,在所述恶意特征列表中保留所述仍然有效的恶意对象对应的恶意特征具体包括:判断所述仍然有效的恶意对象的恶意特征是否发生变更,如果是,则更新恶意特征列表中所述仍然有效的恶意对象对应的恶意特征;否则保留所述仍然有效的恶意对象对应的恶意特征。
8.一种恶意对象检测方法,其特征在于,该检测方法包括:
A1、判断待检测对象是否包含在恶意特征数据库的黑名单列表中,如果是,确定所述待检测对象为恶意对象,结束对所述待检测对象的检测;否则,执行步骤A2;
A2、将所述待检测对象在恶意特征数据库的恶意特征列表中进行匹配,如果满足匹配条件,则确定所述待检测对象为恶意对象;否则,确定所述待检测对象为非恶意对象;
其中所述恶意特征数据库是采用如权利要求1至7任一权项所述建立方法得到的。
9.根据权利要求8所述的检测方法,其特征在于,在所述步骤A2中如果确定所述待检测对象为恶意对象,则进一步从恶意对象中提取恶意特征,分别将该恶意对象以及对应的恶意特征加入所述恶意特征数据库的黑名单列表和恶意特征列表。
10.一种恶意特征数据库的建立装置,其特征在于,该建立装置包括:
样本获取单元,用于获取恶意对象样本;
特征提取单元,用于从样本中的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表;
反挖掘单元,用于利用恶意特征数据库对搜索数据库中的对象进行匹配,将匹配得到的对象确定为恶意对象。
11.根据权利要求10所述的建立装置,其特征在于,所述反挖掘单元,还用于将确定出的恶意对象分别提供给所述特征提取单元;
所述特征提取单元从所述反挖掘单元提供的恶意对象中提取恶意特征,分别将恶意对象及对应的恶意特征加入恶意特征数据库的黑名单列表和恶意特征列表。
12.根据权利要求10所述的建立装置,其特征在于,所述恶意特征包括:挂马源、域名信息、注册信息、链接关系信息、网络内容提供商ICP信息或者关键词索引。
13.根据权利要求10所述的建立装置,其特征在于,所述反挖掘单元在利用恶意特征数据库对搜索数据库中的对象进行匹配时,具体执行:
判断搜索数据库中的对象包含的超链接是否为恶意特征数据库的黑名单列表中的对象,如果是,则确定搜索数据库中的该对象为恶意对象;或者,
将搜索数据库中的对象与恶意特征数据库的黑名单列表中的对象进行相似度计算,如果相似度超过预设的相似度阈值,则确定搜索数据库中的该对象为恶意对象;或者,
将搜索数据库中的对象与恶意特征数据库的恶意特征列表中的恶意特征进行匹配,如果满足匹配条件,则确定搜索数据库中的该对象为恶意对象;或者,
判断搜索数据库中的对象是否是恶意特征数据库的黑名单列表中恶意对象所引用的对象,如果是,则确定搜索数据库中的该对象为恶意对象。
14.根据权利要求10所述的建立装置,其特征在于,该建立装置还包括:
有效性验证单元,用于定时对恶意特征数据库中的黑名单列表中的恶意对象和恶意特征列表中的恶意特征进行有效性验证,保留验证有效的恶意对象和恶意特征,删除验证无效的恶意对象和恶意特征。
15.根据权利要求14所述的建立装置,其特征在于,所述有效性验证单元在进行有效性验证时,具体执行:
向所述黑名单列表中的对象发出请求,根据响应结果确定该对象是否失效,在所述黑名单列表中保留仍然有效的恶意对象,将失效的恶意对象从所述黑名单列表中删除;
对于仍然有效的恶意对象进一步进行恶意对象检测,如果检测结果仍为恶意,则在所述恶意特征列表中保留所述仍然有效的恶意对象对应的恶意特征;如果检测结果为非恶意,则将该恶意对象以及该恶意对象对应的恶意特征分别从所述黑名单列表和恶意特征列表中删除。
16.根据权利要求15所述的建立装置,其特征在于,所述有效性验证单元在恶意特征列表中保留所述仍然有效的恶意对象对应的恶意特征时,具体执行:判断所述仍然有效的恶意对象的恶意特征是否发生变更,如果是,则更新恶意特征列表中所述仍然有效的恶意对象对应的恶意特征;否则保留所述仍然有效的恶意对象对应的恶意特征。
17.一种恶意对象检测装置,其特征在于,该检测装置包括:
对象判断单元,用于判断待检测对象是否包含在恶意特征数据库的黑名单列表中,如果是,确定所述待检测对象为恶意对象,否则触发特征匹配单元;
特征匹配单元,用于将所述待检测对象在恶意特征数据库的恶意特征列表中进行匹配,如果满足匹配条件,则确定所述待检测对象为恶意对象;否则,确定所述待检测对象为非恶意对象;
其中所述恶意特征数据库是由如权利要求10至16任一权项所述建立装置得到的。
18.根据权利要求17所述的检测装置,其特征在于,该装置还包括:特征提取单元,用于在所述特征匹配单元确定所述待检测对象为恶意对象时,从恶意对象中提取恶意特征,分别将该恶意对象以及对应的恶意特征加入所述恶意特征数据库的黑名单列表和恶意特征列表。
CN201210297350.XA 2012-08-20 2012-08-20 恶意特征数据库的建立方法、恶意对象检测方法及其装置 Pending CN103632084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210297350.XA CN103632084A (zh) 2012-08-20 2012-08-20 恶意特征数据库的建立方法、恶意对象检测方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210297350.XA CN103632084A (zh) 2012-08-20 2012-08-20 恶意特征数据库的建立方法、恶意对象检测方法及其装置

Publications (1)

Publication Number Publication Date
CN103632084A true CN103632084A (zh) 2014-03-12

Family

ID=50213122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210297350.XA Pending CN103632084A (zh) 2012-08-20 2012-08-20 恶意特征数据库的建立方法、恶意对象检测方法及其装置

Country Status (1)

Country Link
CN (1) CN103632084A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927486A (zh) * 2014-05-06 2014-07-16 珠海市君天电子科技有限公司 一种黑特征库中失效特征的确定方法及系统
CN104615695A (zh) * 2015-01-23 2015-05-13 腾讯科技(深圳)有限公司 一种恶意网址的检测方法及系统
CN105223455A (zh) * 2015-11-11 2016-01-06 无锡中感微电子股份有限公司 安全监测系统、方法以及便携式电子设备
CN105516151A (zh) * 2015-12-15 2016-04-20 北京奇虎科技有限公司 后门文件的查杀方法及装置
CN105897751A (zh) * 2016-06-03 2016-08-24 北京奇虎科技有限公司 威胁情报的生成方法及装置
CN105897752A (zh) * 2016-06-03 2016-08-24 北京奇虎科技有限公司 未知域名的安全检测方法及装置
CN105978934A (zh) * 2016-04-25 2016-09-28 中国联合网络通信集团有限公司 名单共享方法和移动终端
CN106055981A (zh) * 2016-06-03 2016-10-26 北京奇虎科技有限公司 威胁情报的生成方法及装置
WO2018011785A1 (en) * 2016-07-10 2018-01-18 Cyberint Technologies Ltd. Online assets continuous monitoring and protection
CN108090352A (zh) * 2016-11-22 2018-05-29 财团法人资讯工业策进会 检测系统及检测方法
CN109347846A (zh) * 2018-10-30 2019-02-15 郑州市景安网络科技股份有限公司 一种网站放行方法、装置、设备及可读存储介质
CN109829304A (zh) * 2018-12-29 2019-05-31 北京奇安信科技有限公司 一种病毒检测方法及装置
CN109981604A (zh) * 2019-03-07 2019-07-05 北京华安普特网络科技有限公司 一种快速检测网页黑链的方法
CN111339532A (zh) * 2020-03-23 2020-06-26 湘潭大学 一种恶意网站拦截方法
CN113364764A (zh) * 2021-06-02 2021-09-07 中国移动通信集团广东有限公司 基于大数据的信息安全防护方法及装置
CN113553587A (zh) * 2021-06-21 2021-10-26 深信服科技股份有限公司 一种文件检测方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100115621A1 (en) * 2008-11-03 2010-05-06 Stuart Gresley Staniford Systems and Methods for Detecting Malicious Network Content
CN102222187A (zh) * 2011-06-02 2011-10-19 国家计算机病毒应急处理中心 基于域名构造特征的挂马网页检测方法
US20120060221A1 (en) * 2010-09-08 2012-03-08 At&T Intellectual Property I, L.P. Prioritizing Malicious Website Detection
CN102571812A (zh) * 2011-12-31 2012-07-11 成都市华为赛门铁克科技有限公司 一种网络威胁的跟踪识别方法及装置
CN102638448A (zh) * 2012-02-27 2012-08-15 珠海市君天电子科技有限公司 一种基于非内容分析的判断钓鱼网站的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100115621A1 (en) * 2008-11-03 2010-05-06 Stuart Gresley Staniford Systems and Methods for Detecting Malicious Network Content
US20120060221A1 (en) * 2010-09-08 2012-03-08 At&T Intellectual Property I, L.P. Prioritizing Malicious Website Detection
CN102222187A (zh) * 2011-06-02 2011-10-19 国家计算机病毒应急处理中心 基于域名构造特征的挂马网页检测方法
CN102571812A (zh) * 2011-12-31 2012-07-11 成都市华为赛门铁克科技有限公司 一种网络威胁的跟踪识别方法及装置
CN102638448A (zh) * 2012-02-27 2012-08-15 珠海市君天电子科技有限公司 一种基于非内容分析的判断钓鱼网站的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜振华 等: "《一种恶意网页检测系统的研究与设计》", 《第23届全国计算机安全学术交流会》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927486B (zh) * 2014-05-06 2018-03-06 珠海市君天电子科技有限公司 一种黑特征库中失效特征的确定方法及系统
CN103927486A (zh) * 2014-05-06 2014-07-16 珠海市君天电子科技有限公司 一种黑特征库中失效特征的确定方法及系统
CN104615695A (zh) * 2015-01-23 2015-05-13 腾讯科技(深圳)有限公司 一种恶意网址的检测方法及系统
CN104615695B (zh) * 2015-01-23 2018-10-09 腾讯科技(深圳)有限公司 一种恶意网址的检测方法及系统
CN105223455A (zh) * 2015-11-11 2016-01-06 无锡中感微电子股份有限公司 安全监测系统、方法以及便携式电子设备
CN105516151A (zh) * 2015-12-15 2016-04-20 北京奇虎科技有限公司 后门文件的查杀方法及装置
US10678915B2 (en) 2015-12-15 2020-06-09 Beijing Qihoo Technology Company Limited Method, device and program for checking and killing a backdoor file, and readable medium
CN105516151B (zh) * 2015-12-15 2019-02-12 北京奇虎科技有限公司 后门文件的查杀方法及装置
WO2017101751A1 (zh) * 2015-12-15 2017-06-22 北京奇虎科技有限公司 后门文件的查杀方法、装置、程序及可读介质
CN105978934A (zh) * 2016-04-25 2016-09-28 中国联合网络通信集团有限公司 名单共享方法和移动终端
CN105978934B (zh) * 2016-04-25 2019-07-23 中国联合网络通信集团有限公司 名单共享方法和服务器
CN106055981B (zh) * 2016-06-03 2019-08-20 北京奇虎科技有限公司 威胁情报的生成方法及装置
CN106055981A (zh) * 2016-06-03 2016-10-26 北京奇虎科技有限公司 威胁情报的生成方法及装置
CN105897752A (zh) * 2016-06-03 2016-08-24 北京奇虎科技有限公司 未知域名的安全检测方法及装置
CN105897751A (zh) * 2016-06-03 2016-08-24 北京奇虎科技有限公司 威胁情报的生成方法及装置
WO2018011785A1 (en) * 2016-07-10 2018-01-18 Cyberint Technologies Ltd. Online assets continuous monitoring and protection
US11960604B2 (en) 2016-07-10 2024-04-16 Bank Leumi Le-Israel B.M. Online assets continuous monitoring and protection
CN108090352A (zh) * 2016-11-22 2018-05-29 财团法人资讯工业策进会 检测系统及检测方法
CN109347846A (zh) * 2018-10-30 2019-02-15 郑州市景安网络科技股份有限公司 一种网站放行方法、装置、设备及可读存储介质
CN109829304A (zh) * 2018-12-29 2019-05-31 北京奇安信科技有限公司 一种病毒检测方法及装置
CN109981604A (zh) * 2019-03-07 2019-07-05 北京华安普特网络科技有限公司 一种快速检测网页黑链的方法
CN111339532A (zh) * 2020-03-23 2020-06-26 湘潭大学 一种恶意网站拦截方法
CN113364764A (zh) * 2021-06-02 2021-09-07 中国移动通信集团广东有限公司 基于大数据的信息安全防护方法及装置
CN113364764B (zh) * 2021-06-02 2022-07-12 中国移动通信集团广东有限公司 基于大数据的信息安全防护方法及装置
CN113553587A (zh) * 2021-06-21 2021-10-26 深信服科技股份有限公司 一种文件检测方法、装置、设备及可读存储介质
CN113553587B (zh) * 2021-06-21 2024-02-23 深信服科技股份有限公司 一种文件检测方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN103632084A (zh) 恶意特征数据库的建立方法、恶意对象检测方法及其装置
US10102372B2 (en) Behavior profiling for malware detection
US8359651B1 (en) Discovering malicious locations in a public computer network
Jain et al. Two-level authentication approach to protect from phishing attacks in real time
US8997220B2 (en) Automatic detection of search results poisoning attacks
CN106657044B (zh) 一种用于提高网站系统安全防御的网页地址跳变方法
US8856937B1 (en) Methods and systems for identifying fraudulent websites
AU2007273085B2 (en) System and method of analyzing web content
CN104954372B (zh) 一种钓鱼网站的取证与验证方法及系统
CN103023712B (zh) 网页恶意属性监测方法和系统
Hara et al. Visual similarity-based phishing detection without victim site information
CN107688743B (zh) 一种恶意程序的检测分析方法及系统
CN103595732B (zh) 一种网络攻击取证的方法及装置
CN101901232A (zh) 用于处理网页数据的方法和装置
CN108259514B (zh) 漏洞检测方法、装置、计算机设备和存储介质
WO2013044757A1 (zh) 一种下载链接安全性检测方法、装置及系统
CN101350822A (zh) 一种Internet恶意代码的发现和追踪方法
CN107800686B (zh) 一种钓鱼网站识别方法和装置
CN103368957A (zh) 对网页访问行为进行处理的方法及系统、客户端、服务器
CN108737332B (zh) 一种基于机器学习的中间人攻击预测方法
CN113904820A (zh) 网络入侵防护方法、系统、计算机及可读存储介质
CN103440454B (zh) 一种基于搜索引擎关键词的主动式蜜罐检测方法
CN108182360A (zh) 一种风险识别方法及其设备、存储介质、电子设备
Kim et al. A study on the digital forensic investigation method of clever malware in IoT devices
Abuadbba et al. Towards web phishing detection limitations and mitigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140312

RJ01 Rejection of invention patent application after publication