CN102446254A - 一种基于文本挖掘的相似漏洞查询方法 - Google Patents

一种基于文本挖掘的相似漏洞查询方法 Download PDF

Info

Publication number
CN102446254A
CN102446254A CN2011104523531A CN201110452353A CN102446254A CN 102446254 A CN102446254 A CN 102446254A CN 2011104523531 A CN2011104523531 A CN 2011104523531A CN 201110452353 A CN201110452353 A CN 201110452353A CN 102446254 A CN102446254 A CN 102446254A
Authority
CN
China
Prior art keywords
vulnerability
data
field
value
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104523531A
Other languages
English (en)
Other versions
CN102446254B (zh
Inventor
刘晖
易锦
赵向辉
刘彦钊
张磊
吴润浦
曹伟
刘林
彭涛
韩波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JETWAY INFORMATION SECURITY INDUSTRY Co Ltd
China Information Technology Security Evaluation Center
Original Assignee
JETWAY INFORMATION SECURITY INDUSTRY Co Ltd
China Information Technology Security Evaluation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JETWAY INFORMATION SECURITY INDUSTRY Co Ltd, China Information Technology Security Evaluation Center filed Critical JETWAY INFORMATION SECURITY INDUSTRY Co Ltd
Priority to CN201110452353.1A priority Critical patent/CN102446254B/zh
Publication of CN102446254A publication Critical patent/CN102446254A/zh
Application granted granted Critical
Publication of CN102446254B publication Critical patent/CN102446254B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于文本挖掘的相似漏洞查询方法，属于计算机信息安全技术领域，其步骤包括：A、对漏洞数据进行预处理；B、相似漏洞查询输入处理；C、漏洞记录数据的处理；D、输出相似漏洞查询结果。本发明的优点有：将不明确采用文字描述的漏洞信息明确化，便于计算机系统对漏洞记录数据进行智能化处理；区别于基于关键字匹配的查询，根据相似度的大小输出查询结果，是一种模糊查询；能挖掘出漏洞数据之间暗含的模式和规律，为漏洞数据的进一步应用提供基础。

Description

一种基于文本挖掘的相似漏洞查询方法
技术领域
本发明涉及一种基于文本挖掘的相似漏洞查询方法，属于计算机信息安全技术领域。
背景技术
信息技术和互联网迅速发展，互联网上病毒木马程序泛滥，窃泄密事件频发，网络安全事件层出不穷，信息安全问题形势严峻。众多信息安全威胁的产生都与信息系统存在安全漏洞有关，世界各国已将漏洞信息等数据作为重要战略资源实施掌控。
2003年9月，美国国土安全部与Carnegie Mellon大学计算机应急响应中心CERT共同组建美国政府计算机应急响应中心US-CERT。US-CERT对外以US-CERT Vulnerability Notes的形式发布漏洞信息。2005年，在美国国土安全部网络安全司NCSD的赞助和US-CERT的技术支持下，美国国家标准与技术委员会NIST下属计算机安全资源中心CSRS建立了美国国家漏洞数据库NVD（National Vulnerability Database
）。2008年，欧盟推出了“欧洲盾牌计划”，拟建立一个包括漏洞发现、消除、防御所需的所有信息、模型和工具在内的漏洞数据库。中国信息安全测评中心负责建设运维中国国家信息安全漏洞库CNNVD（China National Vulnerability Database of Information Security），已经搜集了包括漏洞、补丁等信息在内的多种数据。一些信息安全厂商和组织也建立了漏洞库。如微软的安全公告、Dragonsoft漏洞库、开源漏洞库等。
目前，现有技术所建立的漏洞库都只是提供了漏洞公告、统计、查询等一些简单服务，如重要的漏洞实例描述、漏洞增长数量情况、漏洞分布情况、漏洞危害等级与修复情况以及基于关键字漏洞和补丁查询服务。
发明内容
本发明的目的在于，克服现有技术缺点，区别于普通的基于关键字匹配的查询，提供一种基于文本挖掘的相似漏洞查询方法，根据输入的漏洞记录标识，计算该漏洞记录与其他记录之间的相似度，根据相似度的大小输出查询结果，是一种模糊查询；依据特征词汇库对文本描述字段取值进行数值向量化处理，将不明确的文字描述明确化，便于计算机系统对漏洞记录数据的智能化处理；挖掘出漏洞数据之间暗含的模式和规律，为漏洞数据的进一步应用提供基础。
本发明的技术方案是：
一种基于文本挖掘的相似漏洞查询方法，包括下述步骤：
A、对漏洞数据进行预处理：选取漏洞记录属性字段数据；对原始漏洞数据进行数据清理，包括填充缺失的数据和纠正错误的数据；对清理之后的字段数据进行规范化处理；
B、相似漏洞查询输入处理：根据用户输入的相似漏洞查询条件，选定目标漏洞记录数据和筛选出查询漏洞数据记录集合； 
C、漏洞记录数据的处理：计算漏洞记录数据之间的相似度，对漏洞记录数据进行重新排列；
D、输出相似漏洞查询结果：将C步骤重新排列的漏洞记录数据中的若干条输出。
在上述技术方案的基础上更进一步技述方案是：
所述的基于文本挖掘的相似漏洞查询方法，其目标漏洞记录数据为                                                
Figure 2011104523531100002DEST_PATH_IMAGE001
，筛选出的查询漏洞数据记录集合为；所述计算漏洞记录数据之间的相似度是计算漏洞记录数据
Figure 843989DEST_PATH_IMAGE001
与
Figure 2011104523531100002DEST_PATH_IMAGE003
之间的相似度，计算结果为
Figure 227566DEST_PATH_IMAGE004
；所述对漏洞记录数据进行重新排列是依据
Figure 2011104523531100002DEST_PATH_IMAGE005
从大到小的顺序对集合
Figure 566185DEST_PATH_IMAGE006
中的漏洞记录数据进行重新排列，前条记录即为相似漏洞查询结果，其中m的大小根据实际应用设定具体的值。
所述的基于文本挖掘的相似漏洞查询方法，所述对清理之后的字段数据规范化处理，包括：1）将数值型字段取值映射到特定的值域空间，包括：连续数值型字段处理和离散序数值型字段处理；2）将文本描述字段取值进行向量化处理。
所述的基于文本挖掘的相似漏洞查询方法，其连续数值型字段处理是将连续数值型字段取值映射到特定的值域空间，步骤是：先取出漏洞信息中该字段数据的最大值a和最小值b，某条漏洞记录该字段的原始取值为
Figure 427830DEST_PATH_IMAGE008
，然后依照公式
Figure 2011104523531100002DEST_PATH_IMAGE009
，将原始字段取值映射到
Figure 764265DEST_PATH_IMAGE010
之间。
所述的基于文本挖掘的相似漏洞查询方法，其离散序数值型字段处理是将离散序数值字段取值映射到特定的值域空间，是依照公式
Figure 2011104523531100002DEST_PATH_IMAGE011
，将原始字段取值
Figure 817278DEST_PATH_IMAGE008
映射到
Figure 917958DEST_PATH_IMAGE010
之间；其中：离散序数值有
Figure 396344DEST_PATH_IMAGE012
种状态，且
Figure 2011104523531100002DEST_PATH_IMAGE013
，某条漏洞记录该字段的原始取值为
Figure 665914DEST_PATH_IMAGE014
，式中
Figure 188031DEST_PATH_IMAGE016
表示该取值在状态集中的排序序号。
所述的基于文本挖掘的相似漏洞查询方法，所述将文本描述字段取值进行向量化处理，其步骤是： 1）建立特征词汇库；2）将文本描述字段取值表示成对应特征词列的文本向量：即将漏洞记录的文本描述字段取值表示成对应所有特征词列的高纬空间文本向量；3）将文本向量映射为数值向量：若漏洞记录的文本描述字段取值含有某个特征词汇，则在该词汇对应的文本向量位置上置TF-IDF权值，否则置0。
所述的基于文本挖掘的相似漏洞查询方法，其建立特征词汇库的步骤是： 1）依据文字描述的信息分类选取词汇，存入特征词汇库；2）将特征词汇库进行更新，包括增加新发现的领域特征词汇和剔除描述能力不强的词汇；增加新发现的领域特征词汇在漏洞数据库存入新的数据时进行，剔除描述能力不强的词汇根据实际应用的效果来进行；3）在对特征词汇库进行更新之后，再对漏洞记录数据的文本描述字段取值重新进行向量化处理。
所述的基于文本挖掘的相似漏洞查询方法，所述筛选出查询漏洞数据记录集合
Figure 540121DEST_PATH_IMAGE002
是按用户输入的相似漏洞查询条件，包括漏洞类型相同和产品生产商名称相同两个选项进行选择，对该两个选项或同时都未选择，或选择一个，或都选，其中：若用户对两个选项都未选择，则筛选出数据记录集合
Figure 743570DEST_PATH_IMAGE002
包括除外的其他所有漏洞记录数据；若用户选择了一个选项，则
Figure 373713DEST_PATH_IMAGE006
中每条记录的漏洞类型或产品生产商名称与
Figure 527614DEST_PATH_IMAGE001
相同；若用户选择了两个选项，则
Figure 534753DEST_PATH_IMAGE006
中的每条记录的漏洞类型与产品生产商名称与
Figure 572723DEST_PATH_IMAGE001
都相同。
所述的基于文本挖掘的相似漏洞查询方法，所述计算漏洞记录数据
Figure 452954DEST_PATH_IMAGE001
与
Figure 77840DEST_PATH_IMAGE003
之间的相似度步骤是：
1）计算相似度之前的漏洞记录数据经过预处理，只包括单值变量和数值向量两类，取单值变量的字段为
Figure 2011104523531100002DEST_PATH_IMAGE017
，取值为向量的字段有
Figure 124555DEST_PATH_IMAGE018
；
2）计算
Figure 534808DEST_PATH_IMAGE001
与
Figure 2011104523531100002DEST_PATH_IMAGE019
的单值变量字段之间的相似度，结果为 
Figure 192798DEST_PATH_IMAGE020
；
3）计算
Figure 242662DEST_PATH_IMAGE001
与
Figure 404654DEST_PATH_IMAGE019
的向量字段之间的相似度，结果为
Figure 2011104523531100002DEST_PATH_IMAGE021
；
4）按照如下公式计算
Figure 357828DEST_PATH_IMAGE001
与之间的相似度：
Figure 179340DEST_PATH_IMAGE022
其中，
Figure 2011104523531100002DEST_PATH_IMAGE023
所述的基于文本挖掘的相似漏洞查询方法，所述步骤2）的相似度
Figure 751879DEST_PATH_IMAGE024
，
Figure 2011104523531100002DEST_PATH_IMAGE025
、
Figure 559560DEST_PATH_IMAGE026
分别为漏洞记录
Figure 952495DEST_PATH_IMAGE001
与
Figure 662438DEST_PATH_IMAGE019
中该字段经预处理之后的值。
所述的基于文本挖掘的相似漏洞查询方法，所述步骤3）的相似度
Figure DEST_PATH_IMAGE027
，其中为字段
Figure DEST_PATH_IMAGE029
的向量取值的转置，
Figure 953053DEST_PATH_IMAGE030
、
Figure DEST_PATH_IMAGE031
为向量的维度。
本发明的显著优点和效果主要有：1．现有信息漏洞记录数据的文本描述字段取值为非结构化数据，不同的数据来源其描述格式和用词不同，计算机无法自动完成对文本描述字段的自动理解。本发明依据特征词汇库对文本描述字段取值进行数值向量化处理，将不明确的文字描述明确化，便于计算机系统对漏洞记录数据的智能化处理。2．现有漏洞数据库所提供的查询服务只能对用户输入的关键字进行匹配或者对用户输入的数值进行大于或小于范围内的查找，本发明根据输入的漏洞记录标识，计算该漏洞记录与其他记录之间的相似度，根据相似度的大小输出查询结果，是一种模糊查询。3．现有漏洞数据库的漏洞记录之间只有明确的类别一致、危险程序高低、发现时间先后的关系，漏洞记录之间的安全攻击依赖关系无法体现，本发明能挖掘出漏洞数据之间暗含的模式和规律，为漏洞数据的进一步应用提供基础。
附图说明
图1为本发明的流程图；
图2为图1中方框1001漏洞数据预处理的流程图；
图3为图2中方框2001选取漏洞记录属性字段数据处理的流程图，为所选中的漏洞记录属性字段的一个实施例示意图；
图4为图2中方框2009对清理之后的字段数据进行规范化处理的一个实施例示意图；
图5为图4中方框4013离散序数值型字段处理的一个实施例示意图；
图6为图4中方框4005将文本描述字段取值进行向量化处理的流程图；
图7为图6中方框6001建立特征词汇库的一个实施例示意图。
具体实施方式
结合附图和实施例对本发明作进一步说明如下。
实施例1：
如图1所示，为本发明基本实施例。一种基于文本挖掘的相似漏洞查询方法，包括下述步骤：A、1001步骤，对漏洞数据进行预处理：如图2所示：首先按2001步骤选取漏洞记录属性字段数据；再按2005步骤对原始漏洞数据进行数据清理，该清理步骤包括填充缺失的数据和纠正错误的数据；最后为2009步骤，对清理之后的字段数据进行规范化处理； B、1005步骤，相似漏洞查询输入处理：根据用户输入的相似漏洞查询条件，选定目标漏洞记录数据和筛选出查询漏洞数据记录集合； C、1009步骤，漏洞记录数据的处理：计算漏洞记录数据之间的相似度，对漏洞记录数据进行重新排列；D、1009步骤，输出相似漏洞查询结果：将C、即1009步骤重新排列的漏洞记录数据中的若干条输出。
实施例2：
如附图1-7所示，是在上述本发明基本实施例基础上进一步的较优的实施例。所述的目标漏洞记录数据为
Figure 703840DEST_PATH_IMAGE001
，筛选出的查询漏洞数据记录集合为
Figure 776445DEST_PATH_IMAGE002
；所述计算漏洞记录数据之间的相似度是计算漏洞记录数据
Figure 818351DEST_PATH_IMAGE001
与
Figure 161476DEST_PATH_IMAGE003
之间的相似度，计算结果为
Figure 896214DEST_PATH_IMAGE004
；所述对漏洞记录数据进行重新排列是依据
Figure 131148DEST_PATH_IMAGE005
从大到小的顺序对集合
Figure 491591DEST_PATH_IMAGE006
中的漏洞记录数据进行重新排列，前
Figure 439956DEST_PATH_IMAGE007
条记录即为相似漏洞查询结果，其中m的大小根据实际应用设定具体的值。如图4所示，所述对清理之后的字段数据规范化处理，包括：1）将数值型字段取值映射到特定的值域空间，包括：连续数值型字段处理和离散序数值型字段处理；2）将文本描述字段取值进行向量化处理。所述连续数值型字段处理是将连续数值型字段取值映射到特定的值域空间，步骤是：先取出漏洞信息中该字段数据的最大值a和最小值b，某条漏洞记录该字段的原始取值为
Figure 54518DEST_PATH_IMAGE008
，然后依照公式，将原始字段取值映射到
Figure 721309DEST_PATH_IMAGE010
之间。所述的离散序数值型字段处理是将离散序数值字段取值映射到特定的值域空间，是依照公式
Figure 478175DEST_PATH_IMAGE011
，将原始字段取值
Figure 803983DEST_PATH_IMAGE008
映射到
Figure 325094DEST_PATH_IMAGE010
之间；其中：离散序数值有
Figure 260295DEST_PATH_IMAGE012
种状态，且
Figure 183252DEST_PATH_IMAGE013
，某条漏洞记录该字段的原始取值为
Figure 679961DEST_PATH_IMAGE014
，式中
Figure 376784DEST_PATH_IMAGE016
表示该取值在状态集中的排序序号。如图6所示，所述将文本描述字段取值进行向量化处理，其步骤是：1）建立特征词汇库；2）将文本描述字段取值表示成对应特征词列的文本向量：即将漏洞记录的文本描述字段取值表示成对应所有特征词列的高纬空间文本向量；3）将文本向量映射为数值向量：若漏洞记录的文本描述字段取值含有某个特征词汇，则在该词汇对应的文本向量位置上置TF-IDF权值，否则置0。所述建立特征词汇库的步骤是：1）依据文字描述的信息分类选取词汇，存入特征词汇库；2）将特征词汇库进行更新，包括增加新发现的领域特征词汇和剔除描述能力不强的词汇；增加新发现的领域特征词汇在漏洞数据库存入新的数据时进行，剔除描述能力不强的词汇根据实际应用的效果来进行；3）在对特征词汇库进行更新之后，再对漏洞记录数据的文本描述字段取值重新进行向量化处理。所述筛选出查询漏洞数据记录集合
Figure 367874DEST_PATH_IMAGE002
是按用户输入的相似漏洞查询条件，包括漏洞类型相同和产品生产商名称相同两个选项进行选择，对该两个选项或同时都未选择，或选择一个，或都选，其中：若用户对两个选项都未选择，则筛选出数据记录集合
Figure 394605DEST_PATH_IMAGE002
包括除
Figure 812948DEST_PATH_IMAGE001
外的其他所有漏洞记录数据；若用户选择了一个选项，则
Figure 790875DEST_PATH_IMAGE006
中每条记录的漏洞类型或产品生产商名称与
Figure 772606DEST_PATH_IMAGE001
相同；若用户选择了两个选项，则
Figure 404576DEST_PATH_IMAGE006
中的每条记录的漏洞类型与产品生产商名称与
Figure 744552DEST_PATH_IMAGE001
都相同。所述计算漏洞记录数据与
Figure 309712DEST_PATH_IMAGE003
之间的相似度步骤是：
1）计算相似度之前的漏洞记录数据经过预处理，只包括单值变量和数值向量两类，取单值变量的字段为
Figure 606307DEST_PATH_IMAGE017
，取值为向量的字段有；
2）计算
Figure 587481DEST_PATH_IMAGE001
与
Figure 645436DEST_PATH_IMAGE019
的单值变量字段之间的相似度，结果为 
Figure 251998DEST_PATH_IMAGE020
；
3）计算
Figure 196427DEST_PATH_IMAGE001
与
Figure 809810DEST_PATH_IMAGE019
的向量字段之间的相似度，结果为
Figure 750085DEST_PATH_IMAGE021
；
4）按照如下公式计算
Figure 961885DEST_PATH_IMAGE001
与
Figure 250784DEST_PATH_IMAGE019
之间的相似度：
其中，
Figure 593965DEST_PATH_IMAGE023
所述步骤2）的相似度
Figure 158807DEST_PATH_IMAGE024
，
Figure 385651DEST_PATH_IMAGE025
、
Figure 973627DEST_PATH_IMAGE026
分别为漏洞记录
Figure 255704DEST_PATH_IMAGE001
与
Figure 376851DEST_PATH_IMAGE019
中该字段经预处理之后的值。
所述步骤3）的相似度，其中
Figure 223770DEST_PATH_IMAGE028
为字段
Figure 732374DEST_PATH_IMAGE029
的向量取值的转置，
Figure 271808DEST_PATH_IMAGE030
、
Figure 571946DEST_PATH_IMAGE031
为向量的维度。
进一步说明如下：
图1为本发明的流程图。相似漏洞查询始于方框1001，对漏洞数据进行预处理。在方框1005，依据输入的相似漏洞查询条件，对漏洞记录数据进行选定和筛选；所述相似漏洞查询条件包括漏洞记录标识和漏洞类型相同、产品生产商名称相同两个选项，这两个选项可以同时都不选择，或选择一个，或者都选；具体选项内容的设置和数量多少可根据具体应用进行调整。依据用户输入的漏洞记录标识，取出该漏洞记录数据，记为
Figure 947564DEST_PATH_IMAGE001
；依据用户对漏洞类型相同、产品生产商名称相同两个选项的选择，对除
Figure 820711DEST_PATH_IMAGE001
外的其他所有漏洞记录数据进行筛选，将筛选之后的数据记录表示成一个集合
Figure 653800DEST_PATH_IMAGE002
；在方框1009，计算漏洞记录数据之间的相似度；在方框1013，依据计算出来的相似度大小，输出查询结果，漏洞相似查询结束。
图2为图1中方框1001为对漏洞数据进行预处理的一个实施例。所述流程始于方框2001，选取与漏洞信息紧密相关的属性字段数据；在方框2005对所选择的原始漏洞数据进行数据清理，包括填充缺失的数据和纠正错误的数据；在方框2009，对清理之后的字段数据进行规范化处理，漏洞数据预处理结束。
图3为图2中方框2001所选中的漏洞记录属性字段数据的一个实施例示意图。所选中的漏洞记录属性字段包括CNNVD编号3001、漏洞类型3005、产品生产商名称3009、严重级别3013、利用复杂性3017、攻击复杂性3021和漏洞描述3021。
图4为图2中方框2009对清理之后的字段数据进行规范化处理的一个实施例示意图。所述的清理之后的字段数据、也即漏洞数据规范化处理包括：将数值型字段取值映射到特定的值域空间4001和文本描述字段取值的向量化处理4005，其中，将数值型字段取值映射到特定的值域空间4001包括：连续数值型字段处理4009和离散数值型字段处理4013。
图5为图4中方框4013离散序数值型字段处理的一个实施例示意图。所述的离散序数值型字段的取值包括低危5001、中危5005、高危5009和危急5013，且其危险程度由低到高，将其映射为数值0（5017）、0.33（5021）、0.67（2025）、1（2029）。
图6为图4中方框4005的处理流程图，为对文本描述字段取值进行向量化处理的一个实施例。所述流程始于方框6001建立特征词汇库；在方框6005将文本描述字段取值表示成对应特征词列的文本向量；在方框6009，将文本向量映射为数值向量，文本描述字段取值进行向量化处理结束。
图7为图6中方框6001建立特征词汇库的一个实施例示意图。所述建立的特征词汇库包括的类别有产品名称7001、范围7005、权限7009、结果7013、产品生产商名称7017和其他7021；产品名称7001类特征词汇包括Office 7025、Chrome 7029；范围7005类特征词汇包括本地7033、远程7037；权限7009类特征词汇包括下载7041、共享7045；结果7013类特征词汇包括拒绝服务7049、内存共享7053；产品生产商名称7017类特征词汇包括Microsoft 7057、Mozilla 7061；其他7021类特征词汇包括协议7065、接口7069。
本发明的权利要求保护范围不限于上述实施例。

Claims (11)

1.一种基于文本挖掘的相似漏洞查询方法，其特征在于：包括下述步骤：
A、对漏洞数据进行预处理：选取漏洞记录属性字段数据；对原始漏洞数据进行数据清理，包括填充缺失的数据和纠正错误的数据；对清理之后的字段数据进行规范化处理；
B、相似漏洞查询输入处理：根据用户输入的相似漏洞查询条件，选定目标漏洞记录数据和筛选出查询漏洞数据记录集合； 
C、漏洞记录数据的处理：计算漏洞记录数据之间的相似度，对漏洞记录数据进行重新排列；
D、输出相似漏洞查询结果：将C步骤重新排列的漏洞记录数据中的若干条输出。
2.按照权利要求1所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述目标漏洞记录数据为                                               
Figure 2011104523531100001DEST_PATH_IMAGE002
，筛选出的查询漏洞数据记录集合为
Figure 2011104523531100001DEST_PATH_IMAGE004
；所述计算漏洞记录数据之间的相似度是计算漏洞记录数据
Figure 314292DEST_PATH_IMAGE002
与
Figure 2011104523531100001DEST_PATH_IMAGE006
之间的相似度，计算结果为
Figure 2011104523531100001DEST_PATH_IMAGE008
；所述对漏洞记录数据进行重新排列是依据
Figure 2011104523531100001DEST_PATH_IMAGE010
从大到小的顺序对集合
Figure 2011104523531100001DEST_PATH_IMAGE012
中的漏洞记录数据进行重新排列，前
Figure 2011104523531100001DEST_PATH_IMAGE014
条记录即为相似漏洞查询结果，其中m的大小根据实际应用设定具体的值。
3.按照权利要求1或2所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述对清理之后的字段数据规范化处理，包括：
1）将数值型字段取值映射到特定的值域空间，包括：连续数值型字段处理和离散序数值型字段处理；
2）将文本描述的字段取值进行向量化处理。
4.按照权利要求3所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述连续数值型字段处理是将连续数值型字段取值映射到特定的值域空间，步骤是：先取出漏洞信息中该字段数据的最大值a和最小值b，某条漏洞记录该字段的原始取值为
Figure 2011104523531100001DEST_PATH_IMAGE016
，然后依照公式
Figure 2011104523531100001DEST_PATH_IMAGE018
，将原始字段取值映射到
Figure 2011104523531100001DEST_PATH_IMAGE020
之间。
5.按照权利要求3所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述离散序数值型字段处理是将离散序数值字段取值映射到特定的值域空间，是依照公式
Figure 2011104523531100001DEST_PATH_IMAGE022
，将原始字段取值
Figure 361227DEST_PATH_IMAGE016
映射到
Figure 398584DEST_PATH_IMAGE020
之间；其中：离散序数值有
Figure 2011104523531100001DEST_PATH_IMAGE024
种状态，且
Figure 2011104523531100001DEST_PATH_IMAGE026
，某条漏洞记录该字段的原始取值为
Figure 2011104523531100001DEST_PATH_IMAGE028
，式中
Figure 2011104523531100001DEST_PATH_IMAGE030
表示该取值在状态集中的排序序号。
6.按照权利要求3所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述将文本描述字段取值进行向量化处理，其步骤是： 
1）建立特征词汇库；
2）将文本描述字段取值表示成对应特征词列的文本向量：即将漏洞记录的文本描述字段取值表示成对应所有特征词列的高纬空间文本向量；
3）将文本向量映射为数值向量：若漏洞记录的文本描述字段取值含有某个特征词汇，则在该词汇对应的文本向量位置上置TF-IDF权值，否则置0。
7.按照权利要求6所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述建立特征词汇库的步骤是： 
1）依据文字描述的信息分类选取词汇，存入特征词汇库；
2）将特征词汇库进行更新，包括增加新发现的领域特征词汇和剔除描述能力不强的词汇；增加新发现的领域特征词汇在漏洞数据库存入新的数据时进行，剔除描述能力不强的词汇根据实际应用的效果来进行；
3）在对特征词汇库进行更新之后，再对漏洞记录数据的文本描述字段取值重新进行向量化处理。
8.按照权利要求2所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述筛选出查询漏洞数据记录集合是按用户输入的相似漏洞查询条件，包括漏洞类型相同和产品生产商名称相同两个选项进行选择，对该两个选项或同时都未选择，或选择一个，或都选，其中：
若用户对两个选项都未选择，则筛选出数据记录集合
Figure 695497DEST_PATH_IMAGE004
包括除
Figure 655494DEST_PATH_IMAGE002
外的其他所有漏洞记录数据；
若用户选择了一个选项，则中每条记录的漏洞类型或产品生产商名称与
Figure 802759DEST_PATH_IMAGE002
相同；
若用户选择了两个选项，则
Figure 91568DEST_PATH_IMAGE012
中的每条记录的漏洞类型与产品生产商名称与
Figure 53708DEST_PATH_IMAGE002
都相同。
9.按照权利要求2所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述计算漏洞记录数据与
Figure 344323DEST_PATH_IMAGE006
之间的相似度步骤是：
1）计算相似度之前的漏洞记录数据经过预处理，只包括单值变量和数值向量两类，取单值变量的字段为，取值为向量的字段有；
2）计算
Figure 718279DEST_PATH_IMAGE002
与
Figure 2011104523531100001DEST_PATH_IMAGE036
的单值变量字段之间的相似度，结果为 
Figure 2011104523531100001DEST_PATH_IMAGE038
；
3）计算
Figure 777502DEST_PATH_IMAGE002
与
Figure 22670DEST_PATH_IMAGE036
的向量字段之间的相似度，结果为
Figure 2011104523531100001DEST_PATH_IMAGE040
；
4）按照如下公式计算
Figure 54211DEST_PATH_IMAGE002
与
Figure 661385DEST_PATH_IMAGE036
之间的相似度：
其中，
Figure 2011104523531100001DEST_PATH_IMAGE044
     。
10.按照权利要求9所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述步骤2）的相似度
Figure 2011104523531100001DEST_PATH_IMAGE046
，
Figure 2011104523531100001DEST_PATH_IMAGE048
、
Figure 2011104523531100001DEST_PATH_IMAGE050
分别为漏洞记录
Figure 768756DEST_PATH_IMAGE002
与
Figure 738986DEST_PATH_IMAGE036
中该字段经预处理之后的值。
11.按照权利要求9所述的基于文本挖掘的相似漏洞查询方法，其特征在于，所述步骤3）的相似度
Figure 2011104523531100001DEST_PATH_IMAGE052
，其中
Figure 2011104523531100001DEST_PATH_IMAGE054
为字段的向量取值的转置，、为向量的维度。
CN201110452353.1A 2011-12-30 2011-12-30 一种基于文本挖掘的相似漏洞查询方法 Expired - Fee Related CN102446254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110452353.1A CN102446254B (zh) 2011-12-30 2011-12-30 一种基于文本挖掘的相似漏洞查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110452353.1A CN102446254B (zh) 2011-12-30 2011-12-30 一种基于文本挖掘的相似漏洞查询方法

Publications (2)

Publication Number Publication Date
CN102446254A true CN102446254A (zh) 2012-05-09
CN102446254B CN102446254B (zh) 2014-08-06

Family

ID=46008745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110452353.1A Expired - Fee Related CN102446254B (zh) 2011-12-30 2011-12-30 一种基于文本挖掘的相似漏洞查询方法

Country Status (1)

Country Link
CN (1) CN102446254B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166680A (zh) * 2014-07-12 2014-11-26 中国信息安全测评中心 一种基于开源库与文本挖掘的并行漏洞挖掘方法
CN104252448A (zh) * 2013-06-26 2014-12-31 上海能感物联网有限公司 汉语自然人语音现场实时查询指路机信息的方法
CN104536984A (zh) * 2014-12-08 2015-04-22 北京邮电大学 一种外包数据库中的空间文本Top-k查询的验证方法及系统
CN104919458A (zh) * 2013-01-11 2015-09-16 日本电气株式会社 文本挖掘设备、文本挖掘系统、文本挖掘方法和记录介质
CN105335496A (zh) * 2015-10-22 2016-02-17 国网山东省电力公司电力科学研究院 基于余弦相似度文本挖掘算法的客服重复来电处理方法
CN105389341A (zh) * 2015-10-22 2016-03-09 国网山东省电力公司电力科学研究院 一种客服电话重复来电工单的文本聚类与分析方法
CN110417751A (zh) * 2019-07-10 2019-11-05 腾讯科技（深圳）有限公司 一种网络安全预警方法、装置和存储介质
CN112528294A (zh) * 2020-12-21 2021-03-19 网神信息技术（北京）股份有限公司 漏洞匹配方法、装置、计算机设备和可读存储介质
CN112765031A (zh) * 2021-01-25 2021-05-07 北京航空航天大学 一种群智化漏洞挖掘任务的分解方法
CN114329485A (zh) * 2021-12-24 2022-04-12 中电信数智科技有限公司 基于深度学习的漏洞去重方法及装置
CN116561764A (zh) * 2023-05-11 2023-08-08 上海麓霏信息技术服务有限公司 计算机信息数据交互处理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257530B2 (en) * 2002-02-27 2007-08-14 Hongfeng Yin Method and system of knowledge based search engine using text mining
CN101739337A (zh) * 2009-12-14 2010-06-16 北京理工大学 一种基于聚类的软件漏洞序列特征的分析方法
CN101853277A (zh) * 2010-05-14 2010-10-06 南京信息工程大学 一种基于分类和关联分析的漏洞数据挖掘方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257530B2 (en) * 2002-02-27 2007-08-14 Hongfeng Yin Method and system of knowledge based search engine using text mining
CN101739337A (zh) * 2009-12-14 2010-06-16 北京理工大学 一种基于聚类的软件漏洞序列特征的分析方法
CN101853277A (zh) * 2010-05-14 2010-10-06 南京信息工程大学 一种基于分类和关联分析的漏洞数据挖掘方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
严怀成 等: "基于PowerBuider的通用查询的设计与实现", 《微机发展》, vol. 15, no. 6, 30 June 2005 (2005-06-30), pages 124 - 129 *
唐和平 等: "漏洞数据库的文本聚类分析", 《计算机应用研究》, vol. 27, no. 7, 31 July 2010 (2010-07-31), pages 2670 - 2673 *
孙爽 等: "一种基于语义相似度的文本聚类算法", 《南京航空航天大学学报》, vol. 38, no. 6, 31 December 2006 (2006-12-31), pages 712 - 716 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919458A (zh) * 2013-01-11 2015-09-16 日本电气株式会社 文本挖掘设备、文本挖掘系统、文本挖掘方法和记录介质
CN104919458B (zh) * 2013-01-11 2018-12-14 日本电气株式会社 文本挖掘设备、文本挖掘方法和记录介质
CN104252448A (zh) * 2013-06-26 2014-12-31 上海能感物联网有限公司 汉语自然人语音现场实时查询指路机信息的方法
CN104166680A (zh) * 2014-07-12 2014-11-26 中国信息安全测评中心 一种基于开源库与文本挖掘的并行漏洞挖掘方法
CN104166680B (zh) * 2014-07-12 2017-05-17 中国信息安全测评中心 一种基于开源库与文本挖掘的并行漏洞挖掘方法
CN104536984B (zh) * 2014-12-08 2017-10-13 北京邮电大学 一种外包数据库中的空间文本Top‑k查询的验证方法及系统
CN104536984A (zh) * 2014-12-08 2015-04-22 北京邮电大学 一种外包数据库中的空间文本Top-k查询的验证方法及系统
CN105335496A (zh) * 2015-10-22 2016-02-17 国网山东省电力公司电力科学研究院 基于余弦相似度文本挖掘算法的客服重复来电处理方法
CN105389341A (zh) * 2015-10-22 2016-03-09 国网山东省电力公司电力科学研究院 一种客服电话重复来电工单的文本聚类与分析方法
CN105389341B (zh) * 2015-10-22 2019-04-09 国网山东省电力公司电力科学研究院 一种客服电话重复来电工单的文本聚类与分析方法
CN105335496B (zh) * 2015-10-22 2019-05-21 国网山东省电力公司电力科学研究院 基于余弦相似度文本挖掘算法的客服重复来电处理方法
CN110417751A (zh) * 2019-07-10 2019-11-05 腾讯科技（深圳）有限公司 一种网络安全预警方法、装置和存储介质
CN110417751B (zh) * 2019-07-10 2021-07-02 腾讯科技（深圳）有限公司 一种网络安全预警方法、装置和存储介质
CN112528294A (zh) * 2020-12-21 2021-03-19 网神信息技术（北京）股份有限公司 漏洞匹配方法、装置、计算机设备和可读存储介质
CN112765031A (zh) * 2021-01-25 2021-05-07 北京航空航天大学 一种群智化漏洞挖掘任务的分解方法
CN114329485A (zh) * 2021-12-24 2022-04-12 中电信数智科技有限公司 基于深度学习的漏洞去重方法及装置
CN114329485B (zh) * 2021-12-24 2023-01-10 中电信数智科技有限公司 基于深度学习的漏洞去重方法及装置
CN116561764A (zh) * 2023-05-11 2023-08-08 上海麓霏信息技术服务有限公司 计算机信息数据交互处理系统及方法
CN116561764B (zh) * 2023-05-11 2024-09-06 广州华数云计算有限公司 计算机信息数据交互处理系统及方法

Also Published As

Publication number Publication date
CN102446254B (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
CN102446254B (zh) 一种基于文本挖掘的相似漏洞查询方法
CN109922069B (zh) 高级持续性威胁的多维关联分析方法及系统
EP3038002B1 (en) Interactive user interfaces
CN114679329B (zh) 用于基于赝象对恶意软件自动分组的系统
US20230139783A1 (en) Schema-adaptable data enrichment and retrieval
US20210112101A1 (en) Data set and algorithm validation, bias characterization, and valuation
AU2015347304B2 (en) Testing insecure computing environments using random data sets generated from characterizations of real data sets
JP2019519027A (ja) 履歴ログからの学習と、ｅｔｌツール内のデータアセットに関するデータベースオペレーションの推奨
JP2016509308A (ja) データレコード選択
CN101853277A (zh) 一种基于分类和关联分析的漏洞数据挖掘方法
WO2020028008A1 (en) Automated threat alert triage via data provenance
CN115427954A (zh) 基于调查历史的安全警报事件分组
CN113360580A (zh) 基于知识图谱的异常事件检测方法、装置、设备及介质
CN108491228A (zh) 一种二进制漏洞代码克隆检测方法及系统
CN112016138A (zh) 一种车联网自动化安全建模的方法、装置和电子设备
US11475318B2 (en) Automated resolution of over and under-specification in a knowledge graph
CN111400713A (zh) 基于操作码邻接图特征的恶意软件族群分类方法
WO2016194752A1 (ja) 情報分析システム、情報分析方法
CN111245815B (zh) 数据处理方法、装置、存储介质及电子设备
Vahedi et al. Cloud based malware detection through behavioral entropy
CN116015939A (zh) 一种基于原子技术模板的高级持续威胁解释方法
CN113869904B (zh) 可疑数据识别方法、装置、电子设备、介质和计算机程序
US8856946B2 (en) Security filter for context-based data gravity wells
Alnajjar et al. Feature indexing and search optimization for enhancing the forensic analysis of mobile cloud environment
US12135740B1 (en) Generating a unified metadata graph via a retrieval-augmented generation (RAG) framework systems and methods

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140806

Termination date: 20181230

CF01 Termination of patent right due to non-payment of annual fee