CN108985068A - 漏洞快速感知、定位及验证的方法与系统 - Google Patents

漏洞快速感知、定位及验证的方法与系统 Download PDF

Info

Publication number
CN108985068A
CN108985068A CN201810671984.4A CN201810671984A CN108985068A CN 108985068 A CN108985068 A CN 108985068A CN 201810671984 A CN201810671984 A CN 201810671984A CN 108985068 A CN108985068 A CN 108985068A
Authority
CN
China
Prior art keywords
loophole
vulnerability information
vulnerability
information
theme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810671984.4A
Other languages
English (en)
Inventor
吴勤勤
刘晔
沈伍强
艾解清
魏理豪
温柏坚
余志文
梁智强
陈敏
王海柱
伍晓泉
胡海生
陈志华
刘洋
吉威炎
廖璐
李虹
何刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Center of Guangdong Power Grid Co Ltd
Original Assignee
Information Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Center of Guangdong Power Grid Co Ltd filed Critical Information Center of Guangdong Power Grid Co Ltd
Priority to CN201810671984.4A priority Critical patent/CN108985068A/zh
Publication of CN108985068A publication Critical patent/CN108985068A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577Assessing vulnerabilities and evaluating computer system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

一种用于实现漏洞快速感知、定位及验证的系统,包括漏洞感知模块,所述漏洞感知模块包括:漏洞信息采集层,通过漏洞信息采集技术从漏洞信息源获取漏洞信息;漏洞信息预处理层,对所述漏洞信息采集层获取的漏洞信息进行预处理,并根据处理结果将漏洞信息送入漏洞数据存储层;漏洞数据存储层,在漏洞数据库中存储经处理的漏洞信息。本发明提供的漏洞快速感知、定位及验证的方法与系统能够快速、可靠地感知漏洞信息,并根据漏洞感知结果可进行漏洞的定位及验证。

Description

漏洞快速感知、定位及验证的方法与系统
技术领域
本发明涉及信息资产安全,尤其是一种漏洞快速感知、定位及验证的方法与系统。
背景技术
安全漏洞是信息系统在生命周期的各个阶段(设计、实现、运维等过程)中产生的某类问题,这些问题会对系统的安全(机密性、完整性、可用性)产生影响,它们以不同形式存在于信息系统中,一旦被利用,就会影响信息系统所承载业务的正常运行,危害信息系统及信息的安全。近年来由漏洞导致的网络安全事件层出不穷,如2014年4月爆出了Heartbleed漏洞,该漏洞是近年来影响范围最广的高危漏洞,涉及各大网银、门户网站等。2015年,VENOM毒液漏洞影响全球数百万虚拟机安全。2016年3月,全球有三分之二的网站服务器用的开源的加密工具OpenSSL爆出新的安全漏洞“水牢漏洞”,我国有十万余家网站受到影响。漏洞给国家政治、经济和社会造成危害,并对Internet及国家关键基础设施构成严重威胁。
漏洞库是网络安全隐患分析的核心,收集和整理漏洞信息,建设漏洞库有十分重要的意义。漏洞库关系国家安全,世界各国都十分重视漏洞库的建设工作。欧美发达国家对漏洞库的研究建设投入较早,如美国国家漏洞库NVD、澳大利亚的Aus-CERT、丹麦的Secunia、法国的VUPEN。国内在该领域的研究起步较晚,但对漏洞库建设工作非常重视,自2009年,先后建成了国家信息安全漏洞共享平台(CNVD)、中国国家安全漏洞库(CNNVD)及安全漏洞库(NIPC)等三个颇具规模的国家级漏洞库。国家漏洞库建立后,国内知名安全厂商也纷纷建立第三方漏洞库,如360的补天漏洞响应平台、腾讯漏洞提交平台、Seebug漏洞库等。
传统漏洞信息大多通过类似NVD、CVE、CNVD、CNNVD等国家级漏洞平台或Seebug等民间平台公布,而工业控制系统则通过ICS-CERT、CNVD的工控系统行业漏洞平台、工业控制系统生产厂商官网等进行公布,国内专业工控系统漏洞库较少,CNVD的工控系统行业漏洞平台主要通过对CVE相关漏洞的分类整理进行收集,未能较突出地体现工业控制系统漏洞的重要性和危害性,CNNVD并未对工控系统漏洞单独分类,由此可知,多数收录工业控制系统漏洞的机构组织仅将从CVE官网搜集的漏洞进行简单罗列和展示,未进行更深一步的分析和评级。
国有企业自有的漏洞库建设,目前尚未形成规模。
根据对国内外NVD、Bugtrag、Secunia、CNNVD、Seebug的分类现状调研,NVD参照的是CWE标准,其漏洞类型,是目前分类最为规范、条目最多、使用最为广泛的分类标准,目前NVD漏洞分类有34个类型。CNNVD漏洞库参照NVD对漏洞的分类制定了《CNNVD漏洞分类描述规范》,在规范中,漏洞共分为31种类型。而Bugtrag、Secunia、Sebug、360补天等其他漏洞发布平台漏洞分类标准,存在分类类型少、分类标准不规范、适用范围小等问题。
针对以上情况,国家于2017年颁布了漏洞分类标准GB/T 33561-2017信息安全技术安全漏洞分类标准。在国家标准中,漏洞根据成因、空间、时间三个维度进行分类。从成因维度:漏洞分为11个类别;从空间维度,漏洞分为三个类别;按时间维度,漏洞则从生成阶段、发现阶段、利用阶段及验证阶段几个阶段进行分类。
另外,国家于2013年颁布了漏洞分类标准GB/T 30279-2013信息安全技术安全漏洞等级划分指南标准。在国家标准中,根据访问路径、利用复杂度、影响程度三个要素进行等级的划分,共分为超危、高危、中危、低危。访问路径主要考察本地、邻接、远程三个因素,利用复杂度主要考察简单、复杂三个因素,影响程度主要考察保密性、完整性和可用性的影响程度。
根据对国内外漏洞平台NVD、CNVD、CNNVD采用的漏洞分级标准调研,NVD、CNVD分级均采用了CVSS评分标准。CNNVD采用了国家标准,将漏洞分为超危、高危、中危、低危,并与CVSS兼容,兼容的结果为超危(CVSS:9-10分)、高危(CVSS:7-8.9分)、中危(CVSS:4-6.9分)、低危(CVSS:1-3.9分)。
另外,国家于2012年颁布了漏洞分类标准GB/T 28458-2012信息安全技术安全漏洞标识与描述规范。在国家标准中,定义了安全漏洞标识号为CVD-YYYY-NNNNNN格式,其中CVD为Common Vulnerabilities Description的缩写,YYYY为4位十进制数字,表示产生本漏洞的年份;NNNNNN为6位十进制数字,表示当年内产生的安全漏洞的序号;在国家标准中,漏洞描述项包括标识号、名称、发布时间、发布单位、类别、等级、影响系统等必须描述项,并可根据需要扩展相关编号、利用方法、解决方案建议、其他描述等描述项。
针对漏洞编码语法规则的制定,对CVE、Bugtraq、Secunia、CNNVD、CNVD、360补天等国内外一些重要的漏洞发布平台进行分析调研。上述平台,除Bugtraq和Secunia仅以数字代表漏洞编号(BID:72853,SID:58037)外,其他均采用“前缀-年-数字”的形式表示。对于编码中未体现提交单位的情况,在漏洞展示页面中有“提交人员”、“提交单位”等属性项,可以提供相应的展示、统计等功能。
CVE-ID目前是国际通用的漏洞标识格式,在国内的各大漏洞平台中,漏洞编码与CVE-ID大多是一一对应关系,即任意CVE-ID都有唯一的漏洞编码进行标识。
漏洞信息的收集与发布对于互联网安全的发展来讲具有重要的意义。既可帮助安全人员研究分析漏洞数据,总结漏洞规律,提供相应的安全防护措施,也可帮助互联网用户有效的防止攻击者的攻击,保护个人隐私和利益。
通过对国内外知名漏洞库如CVE、CNNVD、CNVD、360补天等进行分析调研,国外漏洞共享平台发展较早,已经形成一套完善的体系,CVE的漏洞来源于美国政府部门、安全组织、商业公司、产品厂商合作共享以及专业人员的挖掘分析;国内各漏洞平台发展较晚,其历史漏洞资源都来自于国外权威漏洞平台的共享,对于新漏洞情报的获取,经过这些年的发展,目前也渐渐形成政府部门、安全组织、商业公司合作共享、国外权威漏洞平台获取及专业人员的挖掘分析多途径获取的模式;获取的方式可通过共享API、网络爬虫爬取、平台提交等技术和方法。
爬虫技术作为一种辅助人们检索信息的工具成为用户访问互联网的入口和指南。通用的爬虫技术是从一个或若干个初始种子开始爬行,获得初始,在爬取网页的过程中,不断从当前也面上获取新的放入队列,直到满足系统结束条件为止。然而随着网络资源的爆炸式膨胀和信息量的飞速增长,通用爬虫技术在搜索规模、更新速度和个性化等很多方面都已不能满足用户需要。为了解决此类问题,定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序,它根据既定的抓取目标,有选择的访问万维网上的网页与相关链接,获取所需的信息。与通用爬虫技术不同,聚焦爬虫并不追求大的覆盖率,而将目标定为抓取与某一特定主题内容相关的网页。从用户提供的种子网站幵始,按照用户根据自身需求所设定的爬取规则来爬取网站信息。
发明内容
本发明的主要目的在于针对现有技术的不足,提供一种漏洞快速感知、定位及验证的方法与系统。
为实现上述目的,本发明采用以下技术方案:
一种用于实现漏洞快速感知、定位及验证的系统,其特征在于,包括漏洞感知模块,所述漏洞感知模块包括:
漏洞信息采集层,通过漏洞信息采集技术从漏洞信息源获取漏洞信息;
漏洞信息预处理层,对所述漏洞信息采集层获取的漏洞信息进行预处理,并根据处理结果将漏洞信息送入漏洞数据存储层;
漏洞数据存储层,在漏洞数据库中存储经处理的漏洞信息。
进一步地,所述漏洞信息采集技术包括线下导入、提交、线上下载、漏洞平台API获取以及网络自动爬取。
进一步地,所述漏洞信息预处理包括通过去重、降噪、评级、分类、建索引中的任一种或多种处理方法,对漏洞信息进行处理。
进一步地,所述漏洞信息采集层采用爬虫技术实现漏洞的自动化巡检,实现漏洞资源的自动获取,包括:自动收集各个漏洞库在网络上最新发布的漏洞信息和最近更新的漏洞信息;通过调整网络参数躲避目标站点防护墙的检测;针对漏洞信息的局部及全局快速下载。
进一步地,所述漏洞信息采集层采用漏洞扫描方法获得漏洞信息,包括:建立漏洞扫描任务,开展漏洞扫描,以及发掘漏洞威胁;优选地,以不同粒度进行漏洞扫描,包括:全漏洞库扫描,按漏洞类别进行扫描,以及指定特定漏洞的扫描。
进一步地,所述漏洞信息采集层采用匹配法获得漏洞信息,将漏洞信息与资产信息库进行匹配,包括构建跨区资产信息库,资产库中包含资产的详细属性,包括:资产归属组织管理字段:业务资产管理字段:IP资产管理字段:IP资产属性字段;
当从漏洞源获取新高危漏洞情况时,通过比对漏洞详细信息,匹配出可能存在该漏洞的资产;当资产库发生变更时,则通过比对发生变更的资产的详细信息,找出此资产可能存在漏洞清单。
进一步地,采用主题描述方法,将所需要的主题量化成可以计算、对比的形式,实现网络爬虫漏洞信息获取;所述主题描述方法包括以下基于本体的描述法、基于层次分类的描述法和基于动态关键词的描述法中的一种或多种;
基于本体的描述法包括将主题采用本体的概念来描述,所述本体是描述概念模型的明确清晰的规范说明;
基于层次分类的描述法包括利用树状结构的目录对主题进行描述,优选地,在设置好的目录树中选择一些结点作为正例,其余结点作为反例;
基于动态关键词的描述法包括对基本关键字集合进行动态扩充。
进一步地,采用相关度分析方法实现网络爬虫漏洞信息获取,包括基于内容的相关度分析和基于链接的相关度分析以及两者的结合;
基于内容的相关度分析包括:分析网页中的文本、锚文等与主题的相关性,其中通过字符串匹配扫描对比文本与主题字典有无重合部分,或者,在主题关键词的出现顺序对主题表示无影响的情况下,首先将主题字典表示为一个主题空间中的n维向量k(k1,k2,…,kn),ki表示第i个关键词对主题描述的准确度,ki的值越大则第i个关键词对主题描述的准确度越高,之后将待分析内容也表示为主题空间的一个向量a(a1,a2,…,an),计算k和a的余弦值得到内容与主题的相关度,所述相关度的取值范围为[0,1],若结果为0表示相关度最低,为1表示相关度最高;
基于链接的相关度分析包括:通过网页之间的链接关系来确定网页的相关程度;
结合基于基于内容的相关度分析方法和基于链接的相关度分析包括:利用公式k=k1α+k2β或者k=k1αβ来重新计算相关度,其中α,β分别是所述基于内容相关度的分析和所述基于链接的相关度分析得到的结果,k1,k2是调节参数,k是最终的相关度分析结果;优选地,包括对URL和网页进行相关度分析。
进一步地,针对同一个漏洞从不同的源下载后出现多个名字,采用以下的处理方式:
1)对于已经列入CVE名称列表的漏洞,在从不同的源爬取时,采用比对CVE-ID的方法,下载漏洞信息时,首先判断漏洞库中是否已经包含该条漏洞,如果包含,将放弃下载,避免重复:
2)对于未列入CVE名称列表的漏洞,在预处理时判断其描述、影响系统、级别、分类、参考资源等信息,并作未待确认漏洞,提示用户判断该漏洞信息是否已经存在。
一种用于实现漏洞快速感知、定位及验证的方法,使用所述的系统来进行漏洞快速感知、定位及验证。
本发明的有益效果:
本发明提供了一种漏洞快速感知、定位及验证的方法与系统,能够快速、可靠地感知漏洞信息,并根据漏洞感知结果可进行漏洞的定位及验证。例如,通过本发明的漏洞感知,可以用于发现联网主机的操作系统、服务、应用组件的脆弱点,为渗透攻击/测试提供数据支撑和利用资源,最终寻找出联网主机、其系统、服务、应用组件中可能存在的漏洞。本发明有助于建设结构合理、信息完备的漏洞库,有利于为安全厂商基于漏洞发现和攻击防护类的产品提供技术和数据支持;有利于企业从整体上分析漏洞的数量、类型、威胁要素及发展趋势,指导他们制定未来的安全策略;有利于用户确认自身应用环境中可能存在的漏洞,及时采取防护措施。使用本发明实施例,可实现漏洞信息的自动化巡检,包括自动收集目前各个漏洞库发布的漏洞信息;通过调整网络参数躲避目标站点防护墙的检测;自动化检测最新发布的漏洞信息和最新更新的漏洞信息;针对漏洞信息局部及全局快速下载。本发明为实现漏洞快速治理,及时地修复信息系统的安全漏洞提供了有利的条件和有效的途径。同时,本发明还有利于实现资产识别和管理。本发明还为资产的变更感知和分布式资产的探测提供了有用的方法。
附图说明
图1为本发明一种实施例的用于实现漏洞快速感知、定位及验证的系统的结构框图;
图2为本发明优选实施例中的采用相关度分析方法结合基于内容的相关度分析和基于链接的相关度分析实现网络爬虫漏洞信息获取的流程图;
图3为本发明优选一种实施例的针对同一漏洞从不同的源下载后出现多个名字的处理流程图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
参阅图1,在一种实施例中,一种用于实现漏洞快速感知、定位及验证的系统,其特征在于,包括漏洞感知模块,所述漏洞感知模块包括:
漏洞信息采集层,通过漏洞信息采集技术从漏洞信息源获取漏洞信息;
漏洞信息预处理层,对所述漏洞信息采集层获取的漏洞信息进行预处理,并根据处理结果将漏洞信息送入漏洞数据存储层;
漏洞数据存储层,在漏洞数据库中存储经处理的漏洞信息。
在具体实施例中,漏洞信息可以分别从国际、国家等权威漏洞平台、厂商漏洞以及电网内部等漏洞信息来源获取。
在各种实施例中,所述漏洞信息采集技术包括线下导入、提交、线上下载、漏洞平台API获取以及网络自动爬取。
在一些实施例中,所述漏洞信息预处理包括通过去重、降噪、评级、分类、建索引中的任一种或多种处理方法,对漏洞信息进行处理。
在一些实施例中,所述漏洞信息采集层采用爬虫技术实现漏洞的自动化巡检,实现漏洞资源的自动获取,包括:自动收集各个漏洞库在网络上最新发布的漏洞信息和最近更新的漏洞信息;通过调整网络参数躲避目标站点防护墙的检测;针对漏洞信息的局部及全局快速下载。
在一些实施例中,所述漏洞信息采集层采用漏洞扫描方法获得漏洞信息,包括:建立漏洞扫描任务,开展漏洞扫描,以及发掘漏洞威胁;优选地,以不同粒度进行漏洞扫描,包括:全漏洞库扫描,按漏洞类别进行扫描,以及指定特定漏洞的扫描。
在另一些实施例中,所述漏洞信息采集层采用匹配法获得漏洞信息,将漏洞信息与资产信息库进行匹配,包括构建跨区资产信息库,资产库中包含资产的详细属性,包括:资产归属组织管理字段:业务资产管理字段:IP资产管理字段:IP资产属性字段。例如:
资产归属组织管理字段:
组织名称、组织接口人、备注;
业务资产管理字段:
等保备案名称、资产IP(多个)、业务资产名称、编号、业务资产类型、资产所属组织、资产管理员、资产管理员联系方式、等保级别(1,2,3,4,5)、机密性需求、完整性需求、可用性需求;
IP资产管理字段:
IP、域名、区域、业务资产名称、资产归属组织、资产管理员、操作系统类型、操作系统版本、资产MAC、所处位置、所处机架;
IP资产属性字段:
端口属性:端口、应用名称、服务名称、服务版本;
数据库属性:服务名称、服务端口、数据库版本;
WEB服务属性:服务端口、标题、WEB应用名称、WEB服务名称;
证书数据集:加密套件的标识、证书版本、证书拥有者信息、证书序列号。
当从漏洞源获取新高危漏洞情况时,通过比对漏洞详细信息,匹配出可能存在该漏洞的资产;当资产库发生变更时,则通过比对发生变更的资产的详细信息,找出此资产可能存在漏洞清单。
与漏洞扫描方法相比,信息匹配的方式更全面,也能快速定位后采用验证方式进行漏洞验证,达到提高精确度、减少工作量的目的。
在一些实施例中,可采用聚焦爬虫(也称之为主题爬虫策略),通过聚焦爬虫根据既定的主题有选择性地获取网页信息,获取后对网页进行主题相关性分析。网络爬虫源自Spider(或Crawler、robots、wanderer)等的意译。网络爬虫的定义有广义和狭义之分,狭义的定义为:利用标准的http协议,根据超级链接和Web文档检索的方法遍历万维网信息空间的软件程序。广义的定义为:所有能利用http协议检索Web文档的软件都称之为网络爬虫。网络爬虫是一个功能很强大的自动提取网页的程序,它为搜索引擎从万维网下载网页,是搜索引擎的重要组成部分。它通过请求站点上的HTML文档访问某一站点。它遍历Web空间,不断从一个站点移动到另一个站点,自动建立索引,并加入到网页数据库中。网络爬虫进入某个超级文本时,利用HTML语言的标记结构来搜索信息及获取指向其他超级文本的URL地址,可以完全不依赖用户干预实现网络上的自动“爬行”和搜索。网络爬虫在搜索时往往采用一定的搜索策略。
在一些具体实施例中,聚焦爬虫的爬行策略只跳出某个特定主题的页面,根据“最好优先原则”进行访问,快速、有效地获得更多的与主题相关的页面,主要通过内容与Web的链接结构指导进一步的页面抓取。聚焦爬虫会给它所下载的页面一个评价分,根据得分排序插入到一个队列中。最好的下一个搜索对弹出队列中的第一个页面进行分析后执行,这种策略保证爬虫能优先跟踪那些最有可能链接到目标页面的页面。通过评价链接价值,链接的价值不同,表现出的链接的“重要程度”也不同。由于链接包含于页面之中,而通常具有较高价值的页面包含的链接也具有较高价值。因此,可以对链接价值的评价转换为对页面价值的评价。本策略尤其适于只关心某一特定主题的页面。
在一些实施例中,采用主题描述方法,将所需要的主题量化成可以计算、对比的形式,实现网络爬虫漏洞信息获取;所述主题描述方法包括以下基于本体的描述法、基于层次分类的描述法和基于动态关键词的描述法中的一种或多种。
基于本体的描述法包括将主题采用本体的概念来描述,所述本体是描述概念模型的明确清晰的规范说明。
基于层次分类的描述法包括利用树状结构的目录对主题进行描述,优选地,在设置好的目录树中选择一些结点作为正例,其余结点作为反例。
基于动态关键词的描述法包括对基本关键字集合进行动态扩充。
在优选的实施例中,采用相关度分析方法实现网络爬虫漏洞信息获取,包括基于内容的相关度分析和基于链接的相关度分析以及两者的结合。
基于内容的相关度分析包括:分析网页中的文本、锚文等与主题的相关性,其中通过字符串匹配扫描对比文本与主题字典有无重合部分,或者,在主题关键词的出现顺序对主题表示无影响的情况下,首先将主题字典表示为一个主题空间中的n维向量k(k1,k2,…,kn),ki表示第i个关键词对主题描述的准确度,ki的值越大则第i个关键词对主题描述的准确度越高,之后将待分析内容也表示为主题空间的一个向量a(a1,a2,…,an),计算k和a的余弦值得到内容与主题的相关度,所述相关度的取值范围为[0,1],若结果为0表示相关度最低,为1表示相关度最高。
基于链接的相关度分析包括:通过网页之间的链接关系来确定网页的相关程度。
如图2所示,在更优选的实施例中,结合基于基于内容的相关度分析方法和基于链接的相关度分析包括:利用公式k=k1α+k2β或者k=k1αβ来重新计算相关度,其中α,β分别是所述基于内容相关度的分析和所述基于链接的相关度分析得到的结果,k1,k2是调节参数,k是最终的相关度分析结果。本实施例的方法可以有效提高相关度分析的准确性。优选地,包括对URL和网页进行相关度分析。在此感知模型中对URL和网页进行相关度分析,可进一步提高相关度分析的准确性。
较佳地,本发明的实施例还提供一种多源获知的漏洞集成策略。对于多源获知的漏洞,可以保证信息的全面性,但是可能会出现同一个漏洞信息在多个源都存在的问题,也就是存在信息冗余的问题,即同一个漏洞从不同的源下载后,出现多个名字的问题。目前,国外的大多数权威漏洞源遵循CVE的标准,而国内的权威漏洞平台的漏洞都会将名称对应唯一的CVE-ID。如图3所示,在优选的实施例中,针对同一个漏洞从不同的源下载后出现多个名字,采用以下的处理方式:
1)对于已经列入CVE名称列表的漏洞,在从不同的源爬取时,采用比对CVE-ID的方法,下载漏洞信息时,首先判断漏洞库中是否已经包含该条漏洞,如果包含,将放弃下载,避免重复:
2)对于未列入CVE名称列表的漏洞,在预处理时判断其描述、影响系统、级别、分类、参考资源等信息,并作未待确认漏洞,提示用户判断该漏洞信息是否已经存在。
一种用于实现漏洞快速感知、定位及验证的方法,使用前述任一实施例所述的系统来进行漏洞快速感知、定位及验证。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种用于实现漏洞快速感知、定位及验证的系统,其特征在于,包括漏洞感知模块,所述漏洞感知模块包括:
漏洞信息采集层,通过漏洞信息采集技术从漏洞信息源获取漏洞信息;
漏洞信息预处理层,对所述漏洞信息采集层获取的漏洞信息进行预处理,并根据处理结果将漏洞信息送入漏洞数据存储层;
漏洞数据存储层,在漏洞数据库中存储经处理的漏洞信息。
2.如权利要求1所述的系统,其特征在于,所述漏洞信息采集技术包括线下导入、提交、线上下载、漏洞平台API获取以及网络自动爬取。
3.如权利要求1或2所述的系统,其特征在于,所述漏洞信息预处理包括通过去重、降噪、评级、分类、建索引中的任一种或多种处理方法,对漏洞信息进行处理。
4.如权利要求1至3任一项所述的系统,其特征在于,所述漏洞信息采集层采用爬虫技术实现漏洞的自动化巡检,实现漏洞资源的自动获取,包括:自动收集各个漏洞库在网络上最新发布的漏洞信息和最近更新的漏洞信息;通过调整网络参数躲避目标站点防护墙的检测;针对漏洞信息的局部及全局快速下载。
5.如权利要求1至3任一项所述的系统,其特征在于,所述漏洞信息采集层采用漏洞扫描方法获得漏洞信息,包括:建立漏洞扫描任务,开展漏洞扫描,以及发掘漏洞威胁;优选地,以不同粒度进行漏洞扫描,包括:全漏洞库扫描,按漏洞类别进行扫描,以及指定特定漏洞的扫描。
6.如权利要求1至3任一项所述的系统,其特征在于,所述漏洞信息采集层采用匹配法获得漏洞信息,将漏洞信息与资产信息库进行匹配,包括构建跨区资产信息库,资产库中包含资产的详细属性,包括:资产归属组织管理字段:业务资产管理字段:IP资产管理字段:IP资产属性字段;当从漏洞源获取新高危漏洞情况时,通过比对漏洞详细信息,匹配出可能存在该漏洞的资产;当资产库发生变更时,则通过比对发生变更的资产的详细信息,找出此资产可能存在漏洞清单。
7.如权利要求1至6任一项所述的系统,其特征在于,采用主题描述方法,将所需要的主题量化成可以计算、对比的形式,实现网络爬虫漏洞信息获取;所述主题描述方法包括以下基于本体的描述法、基于层次分类的描述法和基于动态关键词的描述法中的一种或多种;
基于本体的描述法包括将主题采用本体的概念来描述,所述本体是描述概念模型的明确清晰的规范说明;
基于层次分类的描述法包括利用树状结构的目录对主题进行描述,优选地,在设置好的目录树中选择一些结点作为正例,其余结点作为反例;
基于动态关键词的描述法包括对基本关键字集合进行动态扩充。
8.如权利要求1至6任一项所述的系统,其特征在于,采用相关度分析方法实现网络爬虫漏洞信息获取,包括基于内容的相关度分析和基于链接的相关度分析以及两者的结合;
基于内容的相关度分析包括:分析网页中的文本、锚文等与主题的相关性,其中通过字符串匹配扫描对比文本与主题字典有无重合部分,或者,在主题关键词的出现顺序对主题表示无影响的情况下,首先将主题字典表示为一个主题空间中的n维向量k(k1,k2,…,kn),ki表示第i个关键词对主题描述的准确度,ki的值越大则第i个关键词对主题描述的准确度越高,之后将待分析内容也表示为主题空间的一个向量a(a1,a2,…,an),计算k和a的余弦值得到内容与主题的相关度,所述相关度的取值范围为[0,1],若结果为0表示相关度最低,为1表示相关度最高;
基于链接的相关度分析包括:通过网页之间的链接关系来确定网页的相关程度;
结合基于基于内容的相关度分析方法和基于链接的相关度分析包括:利用公式k=k1α+k2β或者k=k1αβ来重新计算相关度,其中α,β分别是所述基于内容相关度的分析和所述基于链接的相关度分析得到的结果,k1,k2是调节参数,k是最终的相关度分析结果;优选地,包括对URL和网页进行相关度分析。
9.如权利要求1至8任一项所述的系统,其特征在于,针对同一个漏洞从不同的源下载后出现多个名字,采用以下的处理方式:
1)对于已经列入CVE名称列表的漏洞,在从不同的源爬取时,采用比对CVE-ID的方法,下载漏洞信息时,首先判断漏洞库中是否已经包含该条漏洞,如果包含,将放弃下载,避免重复:
2)对于未列入CVE名称列表的漏洞,在预处理时判断其描述、影响系统、级别、分类、参考资源等信息,并作未待确认漏洞,提示用户判断该漏洞信息是否已经存在。
10.一种用于实现漏洞快速感知、定位及验证的方法,其特征在于,使用如权利要求1至9任一项所述的系统来进行漏洞快速感知、定位及验证。
CN201810671984.4A 2018-06-26 2018-06-26 漏洞快速感知、定位及验证的方法与系统 Pending CN108985068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810671984.4A CN108985068A (zh) 2018-06-26 2018-06-26 漏洞快速感知、定位及验证的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810671984.4A CN108985068A (zh) 2018-06-26 2018-06-26 漏洞快速感知、定位及验证的方法与系统

Publications (1)

Publication Number Publication Date
CN108985068A true CN108985068A (zh) 2018-12-11

Family

ID=64538838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810671984.4A Pending CN108985068A (zh) 2018-06-26 2018-06-26 漏洞快速感知、定位及验证的方法与系统

Country Status (1)

Country Link
CN (1) CN108985068A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361707A (zh) * 2018-12-13 2019-02-19 北京知道创宇信息技术有限公司 一种批量查询方法、装置、服务器及存储介质
CN110096890A (zh) * 2019-05-08 2019-08-06 北京国舜科技股份有限公司 漏洞整改策略推送方法及设备
CN110502902A (zh) * 2019-08-07 2019-11-26 杭州海康威视数字技术股份有限公司 一种漏洞分类方法、装置及设备
CN110768977A (zh) * 2019-10-21 2020-02-07 中国民航信息网络股份有限公司 一种安全漏洞信息的抓取方法及系统
CN111767545A (zh) * 2020-06-16 2020-10-13 北京思特奇信息技术股份有限公司 一种基于数据库的漏洞管理方法和系统
CN111914259A (zh) * 2019-05-09 2020-11-10 阿里巴巴集团控股有限公司 数据处理方法及计算设备
CN112464252A (zh) * 2020-12-29 2021-03-09 山东泽鹿安全技术有限公司 一种基于风险的漏洞威胁程度动态计算方法
CN112822210A (zh) * 2021-02-06 2021-05-18 华能国际电力股份有限公司 一种基于网络资产的漏洞管理系统
CN113434864A (zh) * 2021-06-25 2021-09-24 国汽(北京)智能网联汽车研究院有限公司 一种车联网漏洞库的管理方法和管理系统
CN113656122A (zh) * 2021-07-28 2021-11-16 上海纽盾科技股份有限公司 面向等保测评的信息筛选方法、装置及系统
CN113672934A (zh) * 2021-08-09 2021-11-19 中汽创智科技有限公司 一种安全漏洞扫描系统及方法、终端、存储介质
WO2021232282A1 (zh) * 2020-05-20 2021-11-25 深圳市欢太科技有限公司 漏洞信息获取方法、装置、电子设备及存储介质
CN114372272A (zh) * 2022-01-11 2022-04-19 浙江齐安信息科技有限公司 一种非验证式的漏洞匹配方法
CN115001849A (zh) * 2022-07-06 2022-09-02 济南鲁通汇元电子科技有限公司 针对大数据安全漏洞挖掘的漏洞修复方法及漏洞修复系统
CN116595142A (zh) * 2023-05-19 2023-08-15 大安健康科技(北京)有限公司 基于医疗语义分析的检索匹配方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853277A (zh) * 2010-05-14 2010-10-06 南京信息工程大学 一种基于分类和关联分析的漏洞数据挖掘方法
CN105635121A (zh) * 2015-12-23 2016-06-01 赛尔网络有限公司 一种基于厂商的漏洞严重等级分布统计方法、装置与系统
CN106126705A (zh) * 2016-07-01 2016-11-16 武汉泰迪智慧科技有限公司 一种大规模网络数据实时爬取系统
CN106911694A (zh) * 2017-02-28 2017-06-30 广东电网有限责任公司信息中心 一种基于android漏洞知识库自动更新的方法
CN107977575A (zh) * 2017-12-20 2018-05-01 北京关键科技股份有限公司 一种基于私有云平台的代码组成分析系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853277A (zh) * 2010-05-14 2010-10-06 南京信息工程大学 一种基于分类和关联分析的漏洞数据挖掘方法
CN105635121A (zh) * 2015-12-23 2016-06-01 赛尔网络有限公司 一种基于厂商的漏洞严重等级分布统计方法、装置与系统
CN106126705A (zh) * 2016-07-01 2016-11-16 武汉泰迪智慧科技有限公司 一种大规模网络数据实时爬取系统
CN106911694A (zh) * 2017-02-28 2017-06-30 广东电网有限责任公司信息中心 一种基于android漏洞知识库自动更新的方法
CN107977575A (zh) * 2017-12-20 2018-05-01 北京关键科技股份有限公司 一种基于私有云平台的代码组成分析系统和方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361707A (zh) * 2018-12-13 2019-02-19 北京知道创宇信息技术有限公司 一种批量查询方法、装置、服务器及存储介质
CN109361707B (zh) * 2018-12-13 2021-07-13 北京知道创宇信息技术股份有限公司 一种批量查询方法、装置、服务器及存储介质
CN110096890A (zh) * 2019-05-08 2019-08-06 北京国舜科技股份有限公司 漏洞整改策略推送方法及设备
CN111914259A (zh) * 2019-05-09 2020-11-10 阿里巴巴集团控股有限公司 数据处理方法及计算设备
CN110502902A (zh) * 2019-08-07 2019-11-26 杭州海康威视数字技术股份有限公司 一种漏洞分类方法、装置及设备
CN110768977A (zh) * 2019-10-21 2020-02-07 中国民航信息网络股份有限公司 一种安全漏洞信息的抓取方法及系统
CN110768977B (zh) * 2019-10-21 2022-02-25 中国民航信息网络股份有限公司 一种安全漏洞信息的抓取方法及系统
WO2021232282A1 (zh) * 2020-05-20 2021-11-25 深圳市欢太科技有限公司 漏洞信息获取方法、装置、电子设备及存储介质
CN111767545A (zh) * 2020-06-16 2020-10-13 北京思特奇信息技术股份有限公司 一种基于数据库的漏洞管理方法和系统
CN112464252A (zh) * 2020-12-29 2021-03-09 山东泽鹿安全技术有限公司 一种基于风险的漏洞威胁程度动态计算方法
CN112822210B (zh) * 2021-02-06 2023-01-03 华能国际电力股份有限公司 一种基于网络资产的漏洞管理系统
CN112822210A (zh) * 2021-02-06 2021-05-18 华能国际电力股份有限公司 一种基于网络资产的漏洞管理系统
CN113434864A (zh) * 2021-06-25 2021-09-24 国汽(北京)智能网联汽车研究院有限公司 一种车联网漏洞库的管理方法和管理系统
CN113656122A (zh) * 2021-07-28 2021-11-16 上海纽盾科技股份有限公司 面向等保测评的信息筛选方法、装置及系统
CN113656122B (zh) * 2021-07-28 2023-05-16 上海纽盾科技股份有限公司 面向等保测评的信息筛选方法、装置及系统
CN113672934A (zh) * 2021-08-09 2021-11-19 中汽创智科技有限公司 一种安全漏洞扫描系统及方法、终端、存储介质
CN114372272A (zh) * 2022-01-11 2022-04-19 浙江齐安信息科技有限公司 一种非验证式的漏洞匹配方法
CN115001849A (zh) * 2022-07-06 2022-09-02 济南鲁通汇元电子科技有限公司 针对大数据安全漏洞挖掘的漏洞修复方法及漏洞修复系统
CN115001849B (zh) * 2022-07-06 2023-11-10 湖北集防科技有限公司 针对大数据安全漏洞挖掘的漏洞修复方法及漏洞修复系统
CN116595142A (zh) * 2023-05-19 2023-08-15 大安健康科技(北京)有限公司 基于医疗语义分析的检索匹配方法及系统

Similar Documents

Publication Publication Date Title
CN108985068A (zh) 漏洞快速感知、定位及验证的方法与系统
CN103685575B (zh) 一种基于云架构的网站安全监控方法
CN104618343B (zh) 一种基于实时日志的网站威胁检测的方法及系统
JP4358188B2 (ja) インターネット検索エンジンにおける無効クリック検出装置
Lakshmi et al. Efficient prediction of phishing websites using supervised learning algorithms
CN112131882A (zh) 一种多源异构网络安全知识图谱构建方法及装置
CN113486351A (zh) 一种民航空管网络安全检测预警平台
CN102591965B (zh) 一种黑链检测的方法及装置
CN104520871A (zh) 漏洞矢量信息分析
RU2722693C1 (ru) Способ и система выявления инфраструктуры вредоносной программы или киберзлоумышленника
Singh et al. A network based vulnerability scanner for detecting SQLI attacks in web applications
CN103067387B (zh) 一种反钓鱼监测系统和方法
CN111488590A (zh) 一种基于用户行为可信分析的sql注入检测方法
Gu et al. An efficient approach to detecting phishing web
CN103905372A (zh) 一种钓鱼网站去误报的方法和装置
WO2020211130A1 (zh) 一种网站暗链检测方法和装置
CN106603490A (zh) 一种钓鱼网站的检测方法和系统
Shyni et al. Phishing detection in websites using parse tree validation
Singh et al. A survey on different phases of web usage mining for anomaly user behavior investigation
Yan et al. Detection method of the second-order SQL injection in Web applications
CN116976435B (zh) 一种基于网络安全的知识图谱构建方法
Chang et al. Mining the networks of telecommunication fraud groups using social network analysis
CN103902725A (zh) 搜索引擎优化信息的获取方法和装置
Wang et al. Minedetector: Javascript browser-side cryptomining detection using static methods
CN107579975A (zh) 网站信息实时监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication