CN113627698A - 威胁情报信息处理方法、装置和存储介质 - Google Patents
威胁情报信息处理方法、装置和存储介质 Download PDFInfo
- Publication number
- CN113627698A CN113627698A CN202010375845.4A CN202010375845A CN113627698A CN 113627698 A CN113627698 A CN 113627698A CN 202010375845 A CN202010375845 A CN 202010375845A CN 113627698 A CN113627698 A CN 113627698A
- Authority
- CN
- China
- Prior art keywords
- intelligence
- data
- threat
- accuracy
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000007123 defense Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 19
- 230000004927 fusion Effects 0.000 description 10
- 238000010219 correlation analysis Methods 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 238000012854 evaluation process Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003679 aging effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Game Theory and Decision Science (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提出一种威胁情报信息处理方法、装置和存储介质，涉及信息安全技术领域。本公开的一种威胁情报信息处理方法，包括：获取威胁情报数据，和威胁情报数据对应的证据数据；确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值；根据准确度评估值，和情报数据库中已有情报的准确度确定待存入数据库的威胁情报数据；根据待存入数据库的威胁情报数据的准确度评估值、全面性评估值和时效性评估值，更新情报数据库。通过这样的方法，从而提高情报数据库中情报的准确性、全面性和实时性，进而提高基于情报数据库的威胁防御的及时性和准确度。
Description
技术领域
本公开涉及信息安全技术领域，特别是一种威胁情报信息处理方法、装置和存储介质。
背景技术
随着信息技术的发展，网络安全形势日益严峻。为快速有效的了解内、外部威胁信息，以便尽早做好安全防范、更快进行攻击检测与响应、更高效地进行事后攻击溯源，需建立威胁情报库，为企业提供威胁情报信息。威胁情报库中除了收集了企业自有情报数据外，还需获取互联网公开情报源及第三方合作伙伴的情报数据。
威胁情报是一种基于证据来描述威胁的知识信息，包括威胁相关的上下文信息、威胁所使用的方法机制、威胁相关指标攻击影响以及应对行动建议等。在新的威胁形势下，威胁情报将过去以漏洞为中心的被动防御思路进化为基于威胁的主动防御思路，利用威胁情报以空间换时间，与传统的安全防御相比可以大幅提高威胁检测和应急响应的效率。
发明内容
本公开的一个目的在于提高威胁防御的及时性和准确度。
根据本公开的一些实施例的一个方面，提出一种威胁情报信息处理方法，包括：获取威胁情报数据，和威胁情报数据对应的证据数据；确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值；根据准确度评估值，和情报数据库中已有情报的准确度确定待存入数据库的威胁情报数据；根据待存入数据库的威胁情报数据的准确度评估值、全面性评估值和时效性评估值，更新情报数据库。
在一些实施例中，威胁情报信息处理方法还包括：对威胁情报数据和证据数据做标准化处理，获取标准化情报；确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值为：处理标准化情报数据，确定标准化情报数据中威胁情报数据的准确度评估值、全面性评估值和时效性评估值。
在一些实施例中，对威胁情报数据和证据数据做标准化处理，获取标准化情报包括：基于语法分析和语义分析进行威胁情报数据的初筛选和分类；确定筛选出的每条威胁情报数据的证据链；对筛选出的每条威胁情报数据和对应的证据链进行格式标准化处理，获取标准化情报。
在一些实施例中，确定威胁情报数据的准确度评估值包括：根据情报源置信度、证据准确度和历史情报确定威胁情报数据的准确度评估值。
在一些实施例中，威胁情报信息处理方法还包括在确定威胁情报数据的准确度评估值后，根据威胁情报数据的准确度评估值更新情报源置信度。
在一些实施例中，威胁情报信息处理方法还包括在确定威胁情报数据的准确度评估值后，对相同威胁情报数据的不同证据进行冲突分析，更新证据准确度。
在一些实施例中，根据待存入数据库的威胁情报数据的全面性评估值和时效性评估值，更新情报数据库包括：在情报数据库中已存储与待存入数据库的威胁情报数据相同类型情报的情况下：将待存入数据库的威胁情报数据与情报数据库中已存储的相同类型的情报融合为一个情报存储；在情报数据库中未存储与待存入数据库的威胁情报数据相同类型情报的情况下，将待存入数据库的威胁情报数据存入情报数据库。
在一些实施例中，融合为一个情报存储包括：在待存入数据库的威胁情报数据与已存储的情报数据未发生冲突的情况下，根据全面性评估值和时效性评估值对待存入数据库的威胁情报数据排序，按照从高到低的顺序更新已存储数据，以及补充已存储数据的缺失字段。
在一些实施例中，融合为一个情报存储包括：在待存入数据库的威胁情报数据与已存储的情报数据发生冲突的情况下，确定发生冲突的数据对应的证据置信度，证据置信度为根据证据准确度、证据连完整性，以及情报源与已存储情报的关联程度确定；根据证据置信度从高到低的顺序选择存入情报数据库的威胁情报数据；根据选择的存入情报数据库的威胁情报数据更新已存储数据。
在一些实施例中，根据准确度评估值，和情报数据库中已有情报的准确度确定待存入数据库的威胁情报数据包括：根据情报数据库中已有情报的准确度确定情报准确性阈值；在威胁情报数据的准确度评估值大于情报准确性阈值的情况下，确定威胁情报数据为待存入数据库的威胁情报数据。
通过这样的方法，能够从情报本身和对应的证据两个方面，对获得的情报进行准确度、全面性和时效性分析，有选择性的自动更新情报数据库，从而提高情报数据库中情报的准确性、全面性和实时性，进而提高基于情报数据库的威胁防御的及时性和准确度。
根据本公开的另一些实施例的一个方面，提出一种威胁情报信息处理装置，包括：数据获取单元，被配置为获取威胁情报数据，和威胁情报数据对应的证据数据；评估值确定单元，被配置为确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值；待存数据确定单元，被配置为根据准确度评估值，和情报数据库中已有情报的准确度确定待存入数据库的威胁情报数据；更新单元，被配置为根据待存入数据库的威胁情报数据的准确度评估值、全面性评估值和时效性评估值，更新情报数据库。
在一些实施例中，威胁情报信息处理装置还包括：标准化处理单元，被配置为对数据获取单元获取的威胁情报数据和证据数据做标准化处理，获取标准化情报；评估值确定单元被配置为处理标准化情报数据，确定标准化情报数据中威胁情报数据的准确度评估值、全面性评估值和时效性评估值。
在一些实施例中，威胁情报信息处理装置还包括情报源置信度更新单元，被配置为在确定威胁情报数据的准确度评估值后，根据威胁情报数据的准确度评估值更新情报源置信度。
在一些实施例中，威胁情报信息处理装置还包括证据准确度更新单元，被配置为在确定威胁情报数据的准确度评估值后，对相同威胁情报数据的不同证据的进行冲突分析，更新证据准确度。
根据本公开的一些实施例的一个方面，提出一种威胁情报信息处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中提到的任意一种威胁情报信息处理方法。
这样的装置能够从情报本身和对应的证据两个方面，对获得的情报进行准确度、全面性和时效性分析，有选择性的自动更新情报数据库，从而提高情报数据库中情报的准确性、全面性和实时性，进而提高基于情报数据库的威胁防御的及时性和准确度。
根据本公开的一些实施例的一个方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中提到的任意一种威胁情报信息处理方法的步骤。
通过执行这样的计算机可读存储介质上的指令，能够从情报本身和对应的证据两个方面，对获得的情报进行准确度、全面性和时效性分析，有选择性的自动更新情报数据库，从而提高情报数据库中情报的准确性、全面性和实时性，进而提高基于情报数据库的威胁防御的及时性和准确度。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1为本公开的威胁情报信息处理方法的一些实施例的流程图。
图2为本公开的威胁情报信息处理方法的另一些实施例的流程图。
图3为本公开的威胁情报信息处理方法的一些实施例的示意图。
图4为本公开的威胁情报信息处理装置的一些实施例的示意图。
图5为本公开的威胁情报信息处理装置的另一些实施例的示意图。
图6为本公开的威胁情报信息处理装置的又一些实施例的示意图。
具体实施方式
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
由于威胁情报具有信息量大、重复率高及来源广等特性，实际应用中，威胁情报在获取、融合和使用的过程中，可能存在误导或混淆的假情报。
本公开的威胁情报信息处理方法的一些实施例的流程图如图1所示。
在步骤101中，获取威胁情报数据，和威胁情报数据对应的证据数据。威胁情报数据以及证据来自多个情报源。在一些实施例中，可以根据情报源对威胁情报数据以及对应的证据进行标识。
在步骤102中，确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值。在一些实施例中，对每条情报从语法和语义两个方面进行分析，将情报进行初步筛选和分类；进行证据整合，形成情报证据链条；对情报的格式进行解析和标准化处理，从而提高数据的可用性。进一步的，对标准化处理后的标准化情报数据进行分析，确定标准化情报数据中威胁情报数据的准确度评估值、全面性评估值和时效性评估值。
在步骤103中，根据准确度评估值，以及情报数据库中已有情报的准确度，确定待存入数据库的威胁情报数据。在一些实施例中，可以根据情报数据库中情报和证据进行关联分析，确定情报准确度阈值，若情报的情报准确性评分高于该情报准确度阈值，则确定将对其进行入库处理。
在步骤104中，根据待存入数据库的威胁情报数据的准确度评估值、全面性评估值和时效性评估值，更新情报数据库。例如，将相同类型的情报更新为时效性更高、准确度更高的情报，以及选出全面性高的情报填补情报数据库的缺失字段等。
通过这样的方法，能够从情报本身和对应的证据两个方面，对获得的情报进行准确度、全面性和时效性分析，有选择性的自动更新情报数据库，从而提高情报数据库中情报的准确性、全面性和实时性，进而提高基于情报数据库的威胁防御的及时性和准确度。
本公开的威胁情报信息处理方法的另一些实施例的流程图如图2所示。
在步骤201中，获取威胁情报数据，和威胁情报数据对应的证据数据。
在步骤202中，对威胁情报数据和证据数据做标准化处理，获取标准化情报。在一些实施例中，可以基于语法分析和语义分析进行威胁情报数据的初筛选和分类；确定筛选出的每条威胁情报数据的证据链；对筛选出的每条威胁情报数据和对应的证据链进行格式标准化处理，获取标准化情报。
在步骤203中，确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值。在一些实施例中，可以根据情报源置信度、证据准确度、历史情报等多个维度，对情报的准确性进行量化评分；从情报类型、字段交叉验证、情报完整性等多个方面对情报的全面性进行量化评估；根据情报源产生的时间对情报的时效性进行量化评估。
a)情报准确度评估：
在一些实施例中，每个情报源经过系统都需要经过评估和交叉验证，评估过程会根据多个维度进行准确性评估，包括：情报源置信评分、情报本身证据、历史情报和历史证据等。评估完成后经过情报可信名单进行深度筛选，最终获得情报的准确性评估值。
例如，可以根据如下公式计算情报准确性评估值：
对于威胁情报数据a的证据集合Y进行准确度分析，找出证据准确性最高的证据准确度：
其中，ri为证据i的准确度，r0为证据集合Y中证据的最高准确度；
威胁情报a的证据平均准确度为
其中，n为威胁情报a对应的证据数量。
情报准确性评估值可以为：
在一些实施例中，系统本身会对情报进行准确性度评估，还会对情报源进行置信评分，并且对证据进行收集、回归、记录。情报源置信评分会反向影响情报的置信度。最终情报的准确性评分也会回溯影响情报源的置信评分。
b)情报全面性评估：
对所有类型情报进行评估，情报中包括了很多种类，其中除了基础情报以外的作战情报、战术情报、战略情报都需要进行评估，评估体系会对这些情报进行逐层校验，从基础情报进行逐层校验，完成对情报链的一个完整检验和校验。最终获得作战情报、战术情报、战略情报的准确性全面性评估。
对情报中的所有所属字段进行交叉评估，评估过程中会使用历史情报，历史证据对情报所属相关属性和字段进行K折交叉验证。保证的情报的完整性被验证，保证情报的整体全面性。
根据情报的证据集获得变异系数：
其中，CV(a)表示情报a对应证据集的变异系数；n表示该证据集包含的证据数量；yi表示第i条证据的完整性评分；
表示第i条证据的完整性历史评分；hi应该为提供该证据的情报源的置信度。
根据同类情报的历史准确数据集且变异系数接近的证据进行训练，然后对现在证据集进行判断，在人工的干预下会越来越精确：
其中，L为该条情报的全面性；n为该条情报出现的次数；xi为该情报第n次出现时，证据集的变异系数；xj为该同类情报历史证据集的变异系数；p为系数，取值ln(n)。
c)时效性评估
情报的最大价值在于其时效性，基于时效性高的情报能够及时发现威胁并对威胁进行预警，这对企业的安全性防护是至关重要的。时效性高的情报可以对企业内测安全给予高级别的防护。一个时效性高的情报源会对企业的安全应急行动起到关键作用。
一个事件在发生时即被捕获并通过事件产生情报，这个情报源时效性是最高的。如果事件发生了很久以后才捕获，这个情报源的时效性会很差。时效性低的情报源会降低威胁预警的及时程度。情报融合的过程中，会对情报源的时效性进行评估。当一个情报源接入的情报不需要融合时，说明该情报第一次被发现，说明情报源的时效性是比较好的，此时对情报源的时效性进行正相评估。当一个情报源接入的一个情报需要融合时，这时说明该情报的时效性比较差，会对情报源进行一个负向评价。在经过多次评价的过程中是一个评分收敛的过程，情报源的时效性评估是准确的。在一些实施例中，可以通过如下方法计算情报源的时效性。
预设收敛系数为α；首次发现情报时间为t0；非首次发现情报时间：tn；
当前单条情报的时效性V评分公式为：
情报源的时效性整体收敛公式为：
其中，E为情报源的时效性；v为该情报源所提供证据的数量；m为该情报源所提供情报的数量；N为该情报源所提供证据为首次发现概率；Re为该情报源所提供情报为首次发现概率。
在步骤204中，在确定威胁情报数据的准确度评估值后，根据威胁情报数据的准确度评估值更新情报源置信度。
在一些实施例中，情报源置信度可以在情报积累和准确性评估过程逐渐形成和修正。基于每一轮的情报评估值，采用如朴素贝叶斯情报源评估算法，对情报源的置信评分进行递进快速收敛，最终进入到一个稳定阶段。情报交叉验证能够快速识别情报源本身提供的情报质量发生变化的情况，进而修改情报源置信度。
在一些实施例中，可以基于公式
确定情报源置信度，其中，Ir为第r个情报源的置信度；v为该情报源所提供证据的数量；m为该情报源所提供情报的数量C为该情报源所提供证据准确性概率；Ra为该情报源所提供情报准确性评估值。
在步骤205中，在确定威胁情报数据的准确度评估值后，对相同威胁情报数据的不同证据的进行冲突分析，更新证据准确度。
在一些实施例中，来自不同情报源的情报可能会出现情报冲突的情况。可以根据基于证据排序融合的局部冲突算法来完成对各个情报源产生情报的融合评估，根据证据准确性筛选发生冲突的情报中证据准确性高的情报，将消除冲突后的情报融合，生成一条情报，并对融合后的情报生成整体的准确性评估值。
在一些实施例中，证据准确性的评估方式可以如下：
确定证据数量为n；
设定预定收敛系数为β，假设为9.98；
计算证据平均准确性，基于公式：
其中，ri指的是n条数据中每一条的准确性；
证据集的准确性评分为：
在步骤206中，将经过质量量化评估的威胁情报进行筛选。根据历史情报库和历史证据库的关联分析，确定情报准确性阈值，筛选出情报准确度评估值高于阈值的，作为待存入数据库的威胁情报数据。
在步骤207中，判断情报数据库中是否已存储有与待存入数据库的一个或多个威胁情报数据相同类型情报。若已存储，则执行步骤208；若未存储，则执行步骤209。
在步骤208中，将待存入数据库的威胁情报数据与情报数据库中已存储的相同类型的情报融合为一个情报存储。
在一些实施例中，可以判断待存入数据库的所述威胁情报数据与已存储的情报数据是否发生冲突。若发生了冲突，则确定发生冲突的数据对应的证据置信度，证据置信度为根据证据准确度、证据连完整性，以及情报源与已存储情报的关联程度确定；根据证据置信度从高到低的顺序选择存入情报数据库的威胁情报数据；根据选择的存入情报数据库的威胁情报数据更新已存储数据。
在一些实施例中，当入库过程中不同的两个或多个情报如果出现冲突时，数据融合引擎通过冲突算法进行情报梳理，其中包含对情报证据准确性评分和情报的置信度评分，评分标准参考情报来源的源头和已入库可信情报，进行白名单比对和关联分析，与已有情报关联程度高的、与已有IOC(Indicators of Compromise，威胁指示器)的基础情报库中情报重合度高的情报获得的评分更高，然后将所有冲突情报进行系统评分，最终获取评估后证据置信度高的情报。最终的评测结果将对所有评估过的情报进行情报源回溯评分来影响情报源本身的置信评分。至此，有冲突的情报融合和评估完成。
在一些实施例中，若并未发生冲突，则根据全面性评估值和时效性评估值对待存入数据库的威胁情报数据排序，按照从高到低的顺序更新已存储数据，以及补充已存储数据的缺失字段。在一些实施例中，对同种情报的两个或多个输入进行融合，融合成为一个情报，融合过程中，根据威胁情报全面性和时效性评分由高到低，对情报库中的已有字段进行更新，缺失字段进行补充。数据融合也是一个多层次递归的算法，它完成的是一个实时的数据处理过程，即时处理各个数据源传来的威胁情报，在平台中反映的是最准确、最及时的情报信息。
在步骤209中，将待存入数据库的威胁情报数据存入情报数据库。
通过这样的方法，能够实现对情报数据的准确性、全面性及时效性的量化评估，并根据历史情报库和历史证据库的关联分析，确定情报准确性阈值，对情报数据进行筛选，有效提升情报准确性；以质量评估结果为依据的多源数据融合装置，实现了对同类型情报的最优融合，通过更新已有字段，补充缺失字段，确保融合后情报的全面性和时效性最佳；对冲突情报进行基于证据的智能交叉验证，留存证据置信度高的情报，有效保证情报数据的准确性和可用性。
本公开的威胁情报信息处理方法的一些实施例的示意图如图3所示。威胁情报信息处理方法可以包括多维度的情报质量评估3100和归并融合3200两个部分。在多维度的情报质量评估3100中，对从多个情报源获得的威胁情报数据进行质量评估；基于评估结果和情报数据库中已有情报的情况，在归并融合3200确定对情报数据库的更新策略。
具体过程如下：
基于多个情报源311～31n(n为正整数)，执行获取情报321、获取情报证据322的操作，并分别获得威胁情报数据和证据数据，标识情报和证据的来源。
执行情报理解330，对收集的情报及其证据做标准化处理，可以包括：多源情报的理解331，从语法和语义两个方面进行分析，将情报进行初步筛选和分类；多源证据的处理332，进行证据整合，形成情报证据链条；异构情报解析333，对情报的格式进行解析和标准化处理。
执行对标准格式的情报进行质量分析和量化评估340，包括对全面性341、准确性342和时效性343的分析。在一些实施例中，由于来自不同情报会发生冲突，可以通过情报冲突验证351对评估结果及证据数据进行冲突分析，根据基于证据排序的局部冲突算法，对证据的准确性进行评估，并更新证据准确的性评分数据。
通过置信度更新361基于前序步骤中生成的评估结果，通过情报源评估算法对情报源的置信评分进行递进快速收敛，并形成一个稳定、准确的情报源置信评分。
通过情报关联筛选371将经过质量量化评估的威胁情报进行筛选。根据历史情报库和历史证据库的关联分析，确定情报准确性阈值，情报准确性评分高于阈值的，通过下文中的操作进行入库处理。
针对筛选出的情报，若发现情报库中已有该类型情报，则需要情报融合处理381，通过最优归并算法，从格式层面和语义符合性两个方面综合判断，对情报进行融合处理，更新情报库中已有字段，补充缺失字段，确保融合后情报的全面性和时效性最佳。
针对筛选出的情报，若发现与已有情报发生冲突，则需要进行交叉验证和对比分析，执行情报冲突处理391。根据基于证据的排序融合局部冲突算法，通过证据链完整性和证据的准确性，分别计算冲突情报的证据置信度，最终留存证据置信度高的情报，确保情报数据的准确性和可用性。
在完成上述操作后，执行将完成处理的威胁情报数据及其证据链存入数据库300。
通过这样的方法，能够基于证据的多维度情报质量指标体系和量化评估，从多个维度对威胁情报质量进行量化评估，提高了评价的准确度，也提高了存储的威胁情报的准确度；以质量评估结果为依据进行多源数据融合装置，并基于情报全面性及时效性评分，对同种情报的两个或多个输入进行融合，基于对情报证据准确性评分和情报的置信度评分，对两个或多个冲突情报进行融合，避免了数据库中存在冗余的情报数据，提高了威胁防控启动的效率，也降低了数据库的负担；另外，在威胁情报处理过程中更新情报源的置信度和证据的准确度，能够进一步提高对威胁情报数据评估的可靠度，从而提高威胁防御的及时性和准确度。
本公开的威胁情报信息处理装置的一些实施例的示意图如图4所示。威胁情报信息处理装置可以包括数据获取单元401、评估值确定单元402、待存数据确定单元403和更新单元404。
数据获取单元401能够获取威胁情报数据，和威胁情报数据对应的证据数据。威胁情报数据以及证据来自多个情报源。在一些实施例中，可以根据情报源对威胁情报数据以及对应的证据进行标识。
评估值确定单元402能够确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值。在一些实施例中，在一些实施例中，可以根据情报源置信度、证据准确度、历史情报等多个维度，对情报的准确性进行量化评分；从情报类型、字段交叉验证、情报完整性等多个方面对情报的全面性进行量化评估；根据情报源产生的时间对情报的时效性进行量化评估。
待存数据确定单元403能够根据准确度评估值，和情报数据库中已有情报的准确度确定待存入数据库的威胁情报数据。在一些实施例中，可以根据历史情报库和历史证据库的关联分析，确定情报准确性阈值，情报准确性评分高于阈值的，对其进行入库处理。
更新单元404能够根据待存入数据库的威胁情报数据的准确度评估值、全面性评估值和时效性评估值，更新情报数据库，例如，将相同类型的情报更新为时效性更高、准确度更高的情报，以及选出全面性高的情报填补情报数据库的缺失字段等。
这样的装置能够从情报本身和对应的证据两个方面，对获得的情报进行准确度、全面性和时效性分析，有选择性的自动更新情报数据库，从而提高情报数据库中情报的准确性、全面性和实时性，进而提高基于情报数据库的威胁防御的及时性和准确度。
在一些实施例中，如图4所示，威胁情报信息处理装置还可以包括标准化处理单元405，能够对威胁情报数据和证据数据做标准化处理，获取标准化情报。在一些实施例中，可以基于语法分析和语义分析进行威胁情报数据的初筛选和分类；确定筛选出的每条威胁情报数据的证据链；对筛选出的每条威胁情报数据和对应的证据链进行格式标准化处理，获取标准化情报。评估值确定单元402能够对标准化处理后的标准化情报数据进行分析，确定标准化情报数据中威胁情报数据的准确度评估值、全面性评估值和时效性评估值。
这样的装置能够从语义、证据链和格式方面对情报和证据进行标准化处理，一方面方便了后续处理过程，提高自动化分析的可行性和准确性，另一方面，基于语义的分析处理和证据链生成实现证据和情报的归并，降低冗余信息量，进一步提高基于情报数据库的威胁防御的及时性和准确度。
在一些实施例中，如图4所示，威胁情报信息处理装置还可以包括情报源置信度更新单元406，能够在确定威胁情报数据的准确度评估值后，根据威胁情报数据的准确度评估值更新情报源置信度。
在一些实施例中，如图4所示，威胁情报信息处理装置还可以包括证据准确度更新单元407，能够在确定威胁情报数据的准确度评估值后，对相同威胁情报数据的不同证据的进行冲突分析，更新证据准确度。
这样的装置能够确保在应用过程中对情报源、证据的评估逐渐收敛，且在情报源状态发生变化的情况下及时反应，从而进一步提高对威胁情报数据评估的客观性和准确性，提高基于情报数据库的威胁防御的准确度。
本公开威胁情报信息处理装置的一个实施例的结构示意图如图5所示。威胁情报信息处理装置包括存储器501和处理器502。其中：存储器501可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中威胁情报信息处理方法的对应实施例中的指令。处理器502耦接至存储器501，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器502用于执行存储器中存储的指令，能够提高情报数据库中情报的准确性、全面性和实时性，进而提高基于情报数据库的威胁防御的及时性和准确度。
在一个实施例中，还可以如图6所示，威胁情报信息处理装置600包括存储器601和处理器602。处理器602通过BUS总线603耦合至存储器601。该威胁情报信息处理装置600还可以通过存储接口604连接至外部存储装置605以便调用外部数据，还可以通过网络接口606连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够提高情报数据库中情报的准确性、全面性和实时性，进而提高基于情报数据库的威胁防御的及时性和准确度。
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现威胁情报信息处理方法对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
最后应当说明的是：以上实施例仅用以说明本公开的技术方案而非对其限制；尽管参照较佳实施例对本公开进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本公开技术方案的精神，其均应涵盖在本公开请求保护的技术方案范围当中。
Claims (14)
1.一种威胁情报信息处理方法，包括：
获取威胁情报数据，和威胁情报数据对应的证据数据；
确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值；
根据所述准确度评估值，和情报数据库中已有情报的准确度确定待存入数据库的威胁情报数据；
根据待存入数据库的威胁情报数据的所述准确度评估值、所述全面性评估值和时效性评估值，更新所述情报数据库。
2.根据权利要求1所述的方法，还包括：对所述威胁情报数据和所述证据数据做标准化处理，获取标准化情报；
所述确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值为：处理所述标准化情报数据，确定所述标准化情报数据中威胁情报数据的准确度评估值、全面性评估值和时效性评估值。
3.根据权利要求2所述的方法，其中，所述对所述威胁情报数据和所述证据数据做标准化处理，获取标准化情报包括：
基于语法分析和语义分析进行威胁情报数据的初筛选和分类；
确定筛选出的每条威胁情报数据的证据链；
对筛选出的每条威胁情报数据和对应的证据链进行格式标准化处理，获取标准化情报。
4.根据权利要求1所述的方法，其中，所述确定威胁情报数据的准确度评估值包括：
根据情报源置信度、证据准确度和历史情报确定威胁情报数据的准确度评估值。
5.根据权利要求4所述的方法，还包括以下至少一项：
在确定威胁情报数据的准确度评估值后，根据所述威胁情报数据的准确度评估值更新所述情报源置信度；或
在确定威胁情报数据的准确度评估值后，对相同威胁情报数据的不同证据进行冲突分析，更新所述证据准确度。
6.根据权利要求1所述的方法，其中，所述根据待存入数据库的威胁情报数据的所述全面性评估值和时效性评估值，更新所述情报数据库包括：
在所述情报数据库中已存储与待存入数据库的所述威胁情报数据相同类型情报的情况下：将待存入数据库的所述威胁情报数据与所述情报数据库中已存储的相同类型的情报融合为一个情报存储；
在所述情报数据库中未存储与待存入数据库的威胁情报数据相同类型情报的情况下，将待存入数据库的所述威胁情报数据存入所述情报数据库。
7.根据权利要求6所述的方法，其中，所述融合为一个情报存储包括：
在待存入数据库的所述威胁情报数据与已存储的情报数据未发生冲突的情况下，
根据所述全面性评估值和所述时效性评估值对所述待存入数据库的所述威胁情报数据排序，按照从高到低的顺序更新已存储数据，以及补充已存储数据的缺失字段。
8.根据权利要求6所述的方法，其中，所述融合为一个情报存储包括：
在待存入数据库的所述威胁情报数据与已存储的情报数据发生冲突的情况下，
确定发生冲突的数据对应的证据置信度，所述证据置信度为根据所述证据准确度、证据连完整性，以及情报源与已存储情报的关联程度确定；
根据所述证据置信度从高到低的顺序选择存入所述情报数据库的威胁情报数据；
根据选择的所述存入所述情报数据库的威胁情报数据更新已存储数据。
9.根据权利要求1所述的方法，其中，所述根据所述准确度评估值，和情报数据库中已有情报的准确度确定待存入数据库的威胁情报数据包括：
根据情报数据库中已有情报的准确度确定情报准确性阈值；
在所述威胁情报数据的所述准确度评估值大于所述情报准确性阈值的情况下，确定所述威胁情报数据为待存入数据库的威胁情报数据。
10.一种威胁情报信息处理装置，包括：
数据获取单元，被配置为获取威胁情报数据，和威胁情报数据对应的证据数据；
评估值确定单元，被配置为确定威胁情报数据的准确度评估值、全面性评估值和时效性评估值；
待存数据确定单元，被配置为根据所述准确度评估值，和情报数据库中已有情报的准确度确定待存入数据库的威胁情报数据；
更新单元，被配置为根据待存入数据库的威胁情报数据的所述准确度评估值、所述全面性评估值和时效性评估值，更新所述情报数据库。
11.根据权利要求10所述的装置，还包括：标准化处理单元，被配置为对所述数据获取单元获取的所述威胁情报数据和所述证据数据做标准化处理，获取标准化情报；
所述评估值确定单元被配置为处理所述标准化情报数据，确定所述标准化情报数据中威胁情报数据的准确度评估值、全面性评估值和时效性评估值。
12.根据权利要求10所述的装置，还包括以下至少一项：
情报源置信度更新单元，被配置为在确定威胁情报数据的准确度评估值后，根据所述威胁情报数据的准确度评估值更新所述情报源置信度；或
证据准确度更新单元，被配置为在确定威胁情报数据的准确度评估值后，对相同威胁情报数据的不同证据的进行冲突分析，更新所述证据准确度。
13.一种威胁情报信息处理装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至9任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至9任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010375845.4A CN113627698A (zh) | 2020-05-07 | 2020-05-07 | 威胁情报信息处理方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010375845.4A CN113627698A (zh) | 2020-05-07 | 2020-05-07 | 威胁情报信息处理方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113627698A true CN113627698A (zh) | 2021-11-09 |
Family
ID=78376748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010375845.4A Withdrawn CN113627698A (zh) | 2020-05-07 | 2020-05-07 | 威胁情报信息处理方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113627698A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925757A (zh) * | 2022-05-09 | 2022-08-19 | 中国电信股份有限公司 | 多源威胁情报融合方法、装置、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271477A (zh) * | 2018-09-05 | 2019-01-25 | 杭州数湾信息科技有限公司 | 一种借助互联网构建分类语料库的方法及系统 |
| CN109688091A (zh) * | 2018-04-25 | 2019-04-26 | 北京微步在线科技有限公司 | 多源的威胁情报的质量评估方法及装置 |
| CN109862003A (zh) * | 2019-01-24 | 2019-06-07 | 深信服科技股份有限公司 | 本地威胁情报库的生成方法、装置、系统及存储介质 |
| US20190334942A1 (en) * | 2018-04-30 | 2019-10-31 | Microsoft Technology Licensing, Llc | Techniques for curating threat intelligence data |
-
2020
- 2020-05-07 CN CN202010375845.4A patent/CN113627698A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688091A (zh) * | 2018-04-25 | 2019-04-26 | 北京微步在线科技有限公司 | 多源的威胁情报的质量评估方法及装置 |
| US20190334942A1 (en) * | 2018-04-30 | 2019-10-31 | Microsoft Technology Licensing, Llc | Techniques for curating threat intelligence data |
| CN109271477A (zh) * | 2018-09-05 | 2019-01-25 | 杭州数湾信息科技有限公司 | 一种借助互联网构建分类语料库的方法及系统 |
| CN109862003A (zh) * | 2019-01-24 | 2019-06-07 | 深信服科技股份有限公司 | 本地威胁情报库的生成方法、装置、系统及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925757A (zh) * | 2022-05-09 | 2022-08-19 | 中国电信股份有限公司 | 多源威胁情报融合方法、装置、设备和存储介质 |
| CN114925757B (zh) * | 2022-05-09 | 2023-10-03 | 中国电信股份有限公司 | 多源威胁情报融合方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11551036B2 (en) | Methods and apparatuses for building data identification models | |
| US8312440B2 (en) | Method, computer program product, and hardware product for providing program individuality analysis for source code programs | |
| KR101751388B1 (ko) | 오픈소스 취약점 분석 대상 검색 및 수집을 위한 빅데이터 분석 기반 웹 크롤링 시스템 및 그 방법 | |
| CN111240982A (zh) | 源代码静态分析方法 | |
| CN111240687A (zh) | 源代码静态分析装置 | |
| US11481707B2 (en) | Risk prediction system and operation method thereof | |
| CN111160749A (zh) | 一种情报质量评估和情报融合方法及装置 | |
| CN111861463A (zh) | 基于区块链和人工智能的信息智能识别方法及大数据平台 | |
| CN113869778B (zh) | 一种基于城市管理的无人机河道巡检方法及系统 | |
| CN113312332A (zh) | 基于区块链和云计算的模型训练方法及系统 | |
| US9600644B2 (en) | Method, a computer program and apparatus for analyzing symbols in a computer | |
| CN114661994B (zh) | 基于人工智能的用户兴趣数据处理方法、系统及云平台 | |
| CN113627698A (zh) | 威胁情报信息处理方法、装置和存储介质 | |
| Ribeiro et al. | Ranking warnings from multiple source code static analyzers via ensemble learning | |
| CN115065545A (zh) | 基于大数据威胁感知的安全防护构建方法及ai防护系统 | |
| Hegedűs et al. | Static code analysis alarms filtering reloaded: A new real-world dataset and its ML-based utilization | |
| CN116541887A (zh) | 一种大数据平台数据安全保护方法 | |
| CN116821903A (zh) | 检测规则确定及恶意二进制文件检测方法、设备及介质 | |
| CN117217515A (zh) | 基于数据安全能力成熟度模型的数据安全风险评估方法 | |
| CN112613072B (zh) | 基于档案大数据的信息管理方法、管理系统及管理云平台 | |
| CN115329347A (zh) | 基于车联网漏洞数据的预测方法、设备和存储介质 | |
| CN111221704B (zh) | 一种确定办公管理应用系统运行状态的方法及系统 | |
| CN113392016A (zh) | 对程序异常情况处理的规约生成方法、装置、设备及介质 | |
| CN113297498A (zh) | 基于互联网的食品属性挖掘方法及系统 | |
| CN111932225A (zh) | 基于区块链和数字货币金融的信息处理方法及云计算平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211109 |
|
| WW01 | Invention patent application withdrawn after publication |