CN118018598A - 基于用户订阅的情报推送方法及装置 - Google Patents
基于用户订阅的情报推送方法及装置 Download PDFInfo
- Publication number
- CN118018598A CN118018598A CN202311443856.1A CN202311443856A CN118018598A CN 118018598 A CN118018598 A CN 118018598A CN 202311443856 A CN202311443856 A CN 202311443856A CN 118018598 A CN118018598 A CN 118018598A
- Authority
- CN
- China
- Prior art keywords
- information
- ioc
- subscription
- content
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 239000013598 vector Substances 0.000 claims abstract description 236
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013441 quality evaluation Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000001303 quality assessment method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 27
- 238000004458 analytical method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000009193 crawling Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于用户订阅的情报推送方法及装置,方法包括:获取目标用户的订阅IOC内容向量;目标用户的订阅IOC内容向量为目标用户期望获得的IOC情报信息的向量表示;确定目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给目标用户;各情报源对应的IOC内容词向量是基于各情报源中的IOC情报信息构建的。通过上述方法,实现了威胁情报的精准推送,使用户可以对威胁情报进行精准订阅、分类整理和质量管理。
Description
技术领域
本发明涉及网络安全技术领域,尤其涉及一种基于用户订阅的情报推送方法及装置。
背景技术
随着互联网的快速发展,网络威胁日益增多,传统的安全防护手段已经无法满足企业安全防御的需求。为了更好地应对网络威胁,威胁情报订阅需求日渐重要。
相关技术中,大量的网络威胁情报定期推送给用户。这些威胁情报来源广泛,类型繁杂,质量参差不齐,用户难以进行有效整理和消化。用户难以根据自身需求精准订阅高价值的威胁情报。
因此,如何精准推送用户需要的威胁情报内容,实现用户对威胁情报的精准订阅,是目前亟待解决的问题。
发明内容
针对现有技术存在的问题,本发明实施例提供一种基于用户订阅的情报推送方法及装置。
本发明提供一种基于用户订阅的情报推送方法,包括:
获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示;
确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
可选地,所述获取目标用户的订阅IOC内容向量,包括:
获取总订阅向量;所述总订阅向量是基于多个用户各自提交的第一情报订阅条件构建的,所述总订阅向量包括词表中各个领域关键词的内嵌信息;
根据所述目标用户提交的第一情报订阅条件,从所述总订阅向量的词表中查找目标领域关键词的内嵌信息;
根据所述目标领域关键词的内嵌信息,获取所述目标用户的订阅IOC内容向量。
可选地,所述第一情报订阅条件包括订阅情报类型及对应的信任权重;
所述总订阅向量,通过以下方式构建:
基于多个用户各自提交的所述订阅情报类型及对应的信任权重,构建所述总订阅向量。
可选地,所述各情报源对应的IOC内容词向量,通过以下方式构建:
按照预设周期从所述各情报源采集情报信息;针对所述各情报源中的每一个情报源,从所述情报源中情报信息的标题和/或内容中提取领域关键词,构建所述情报源对应的IOC内容词向量。
可选地,所述方法还包括:
获取所述目标用户对所述目标情报信息的反馈信息;
根据所述反馈信息,调整所述目标用户的订阅情报类型及对应的信任权重,更新所述目标用户的订阅IOC内容向量。
可选地,所述根据所述目标领域关键词的内嵌信息,获取所述目标用户的订阅IOC内容向量,包括:
根据所述目标领域关键词的内嵌信息,采用公式(1)计算所述目标用户的订阅IOC内容向量:
订阅IOC内容向量=α1*词1+α2*词2+...+αn*词n公式(1);
其中,α1至αn为所述目标用户提交的各个订阅情报类型对应的信任权重;词1至词n为各个订阅情报类型对应的订阅内容在订阅IOC内容向量中的词向量。
可选地,所述确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,包括:
采用公式(2)计算所述目标用户的订阅IOC内容向量与各所述情报源对应的IOC内容词向量的匹配度:
匹配度=IOC内容词向量*订阅IOC内容向量/(||IOC内容词向量||*||订阅IOC内容向量||)公式(2)。
可选地,所述将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户,包括:
首次推送时,将匹配度高于阈值的IOC内容词向量对应的、预设时间周期内全量情报信息,作为目标情报信息推送给所述目标用户;
或者,将匹配度高于阈值的IOC内容词向量对应的情报信息中的增量情报信息,作为目标情报信息推送给所述目标用户。
可选地,所述方法还包括:
获取各所述情报源中所述IOC情报信息的情报质量评估结果;
针对每一个IOC情报信息,根据所述IOC情报信息对应的信任权重及所述情报质量评估结果,确定所述IOC情报信息的信任赋值;所述信任赋值用于表征用户对所述IOC情报信息的可信程度;
根据所述多个用户各自提交的第二情报订阅条件,及每个IOC情报信息的所述信任赋值,向各所述用户分别推送符合所述第二情报订阅条件的IOC情报信息。
可选地,所述方法还包括:
解析各所述情报源中的IOC情报信息,提取各所述情报源中的领域关键词、实体及IOC攻击向量;
根据各所述情报源中的领域关键词、实体及IOC攻击向量,将提取的领域关键词及实体作为节点,将实体之间的关系作为边,构建用于表示IOC内容的当前知识图谱;
将所述当前知识图谱与历史知识图谱进行对比,识别所述当前知识图谱中新增节点和新增边;
根据所述新增节点和新增边,生成IOC内容更新摘要,所述IOC内容更新摘要用于情报信息推送;
将所述当前知识图谱、所述IOC内容更新摘要与对应类别的总知识图谱融合,得到更新后的知识图谱。
本发明还提供一种基于用户订阅的情报推送装置,包括:
第一获取模块,用于获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示;
第一推送模块,用于确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于用户订阅的情报推送方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于用户订阅的情报推送方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于用户订阅的情报推送方法。
本发明提供的基于用户订阅的情报推送方法及装置,通过获取目标用户的订阅IOC内容向量,确定目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给目标用户;通过上述方法,通过深度理解用户细分需求场景与情报内容,可以对大量情报源中的海量情报信息进行高效筛选和分类,针对不同用户的不同订阅内容需求,可以智能、个性化地为用户筛选和推荐高价值的目标情报,实现了威胁情报的精准推送,进而使用户可以对威胁情报进行精准订阅、分类整理和质量管理,显著提高了威胁情报订阅的效率和效果,提升用户体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于用户订阅的情报推送方法的流程示意图;
图2是本发明提供的威胁情报卡片的示意图;
图3是本发明提供的基于用户订阅的情报推送方法的架构组件关系示意图;
图4是本发明提供的基于用户订阅的情报推送方法的逻辑处理流程示意图;
图5是本发明提供的基于用户订阅的情报推送装置的结构示意图;
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于更加清晰地理解本申请各实施例,首先对一些相关的知识进行如下介绍。
目前,大量的网络威胁情报以Feed的形式定期推送给用户。这些情报来源广泛,类型繁杂,质量参差不齐,难以进行有效整理和消化。用户难以根据自身需求精准订阅高价值情报,也难以管理和处理大量订阅的情报Feed。
在相关技术中,向用户推送网络威胁情报的手段主要有:
一、简单的关键词过滤:这种方法无法深层次理解情报内容和用户真正需求,过滤效果差。
二、人工分类和编辑:这种方法分类粒度较粗且效率低,无法实现大规模定制化。
三、简单的推荐系统:这种方法无法区分情报的类型和质量,推荐效果有限。
以上技术手段无法解决以下问题:
1)无法精确捕捉用户的定向场景需求,实现精准订阅。
2)无法对大量异构的情报Feed进行有效处理,实现增量定制和分类。
3)无法对情报进行深层次理解和分析,实现质量评估与过滤。
4)无法提供一站式的情报订阅与管理方案,给用户带来较差体验。
综上所述,针对上述技术问题,本发明提供一种基于用户订阅的情报推送方法及装置,可以通过深度理解用户细分需求场景与情报内容,实现情报的精准订阅、分类整理和质量管理,从而解决当前情报订阅场景下存在的问题,提升用户体验。
下面对本发明涉及的术语进行解释:
1、威胁失陷标示、入侵指标(Indicator of Compromise,IOC)。通常包括文件或数字证书Hash、IP、Domain、URL、邮箱地址、程序运行路径、注册表项和值等。目前IOC是监测现实威胁最有效的方法之一。
2、威胁情报Feed订阅服务:指订阅网络安全领域的各种威胁情报Feed,获得最新发现的网络威胁信息的服务以做分析及研判处置。
下面结合图1至图4对本发明提供的基于用户订阅的情报推送方法进行具体描述。图1是本发明提供的基于用户订阅的情报推送方法的流程示意图,参见图1所示,该方法包括步骤101-步骤102,其中:
步骤101、获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示。
首先需要说明的是,本发明的执行主体可以是能够基于用户订阅实现情报推送的任何网络设备,例如防火墙、入侵检测类软件、终端应用软件或安全运营平台等任何一种。
在本发明实施例中,针对各用户中的任一目标用户,目标用户的订阅IOC内容向量(又称订阅类型向量),表示该目标用户的情报场景需求。
需要说明的是,场景需求包括:网络流量检测场景、DNS日志检测场景、文件样本检测场景、NETFLOW检测场景等。
实际应用中,通过提供针对网络威胁、漏洞、攻击等各类结构化威胁情报Feed订阅,将为用户定义的场景细分为如下类型:Malicious URL Feed、Malicious Domain Feed、Botnet URL Feed、Ransomware URL Feed、APT URL Feed、APT IP Feed、APT Hash Feed、Phishing URL Feed、Mining Feed、Email Reputation Feed、Certificate IndicatorsFeed、Mobile_malware_c&c Feed等,这里的类型可以代表一个用户订阅IOC内容向量。
步骤102、确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
在本发明实施例中,IOC内容词向量又称Feed内容词向量。在确定出目标用户的订阅IOC内容向量与各情报源对应的Feed内容词向量的匹配度之后,选取匹配度高于阈值的Feed内容词向量对应的目标情报信息以Feed的形式推送给目标用户。
本发明提供的基于用户订阅的情报推送方法,通过获取目标用户的订阅IOC内容向量,确定目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给目标用户;通过上述方法,通过深度理解用户细分需求场景与情报内容,可以对大量情报源中的海量情报信息进行高效筛选和分类,针对不同用户的不同订阅内容需求,可以智能、个性化地为用户筛选和推荐高价值的目标情报,实现了威胁情报的精准推送,进而使用户可以对威胁情报进行精准订阅、分类整理和质量管理,显著提高了威胁情报订阅的效率和效果,提升用户体验。
可选地,所述获取目标用户的订阅IOC内容向量,具体可以通过以下步骤实现:
步骤1)、获取总订阅向量;所述总订阅向量是基于多个用户各自提交的第一情报订阅条件构建的,所述总订阅向量包括词表中各个领域关键词的内嵌信息。
具体地,其中,第一情报订阅条件,还包括请求数据周期、订阅范围和订阅数据类型中至少一项。
总订阅向量,通过以下方式构建:
基于多个用户各自提交的所述订阅情报类型及对应的信任权重,构建所述总订阅向量。
在本发明实施例中,首先需要通过多源数据接入、网页爬取、开源信息获取等方式采集各类威胁情报Feed,然后对采集到的各类威胁情报Feed进行清洗、解析和结构化处理,并进行数据去重、去噪等处理。然后,将上述多源的各类威胁情报存储至数据库或云端中。
在实际应用中,执行主体设置有订阅管理模块及情报质量评估模块。各个用户可以在订阅管理模块中分别提交情报订阅类型以及对应的信任权重。相应地,情报质量评估模块会收集所有用户提交的情报订阅类型及对应的信任权重数据。
在收集到所有用户提交的情报订阅类型及对应的信任权重数据之后,需要根据情报订阅类型以及用户数量,计算每个源的威胁情报的影响力权重,并构建总订阅向量。
步骤2)、根据所述目标用户提交的第一情报订阅条件,从所述总订阅向量的词表中查找目标领域关键词的内嵌信息。
步骤3)、根据所述目标领域关键词的内嵌信息,获取所述目标用户的订阅IOC内容向量。
具体地,针对各用户中的任一目标用户,根据目标用户提交的订阅情报类型及对应的信任权重,从总订阅向量中查找目标领域关键词的内嵌信息,例如行业标签、攻击类型等。然后,加权求和得到目标用户的订阅IOC内容向量。
可选地,所述各情报源对应的IOC内容词向量,通过以下方式构建:
按照预设周期从所述各情报源采集情报信息;针对所述各情报源中的每一个情报源,从所述情报源中情报信息的标题和/或内容中提取领域关键词,构建所述情报源对应的IOC内容词向量。
在本发明实施例中,需要定期从多个情报源采集大量的情报信息,从每个情报源的标题和内容中提取领域关键词,构建IOC内容词向量(又称Feed内容词向量)。
可选地,在本发明实施例中,还可以根据用户对推送Feed的消费情况和IOC反馈等,调整用户推送不同情报类型及内容的权重,迭代更新用户的订阅IOC内容向量,提高推送准确率;具体可以通过以下步骤1)-步骤2)实现:
步骤1)、获取所述目标用户对所述目标情报信息的反馈信息;
步骤2)、根据所述反馈信息,调整所述目标用户的订阅情报类型及对应的信任权重,更新所述目标用户的订阅IOC内容向量。
综上所述,本发明提供的基于用户订阅的情报推送方法的具体实现流程如下:
1)、获取多个用户各自提交的情报订阅条件,情报订阅条件包括订阅情报类型及对应的信任权重。
2)、根据用户数量和订阅情报类型,构建总订阅向量,总订阅向量包括词表中各个领域关键词的内嵌信息。
3)、针对多个用户中的任一目标用户,根据目标用户提交的订阅情报类型及对应的信任权重,从总订阅向量中查找目标领域关键词内嵌信息。
4)、根据目标领域关键词内嵌信息,确定目标用户的订阅IOC内容向量。
5)、按照预设周期从多个情报源采集情报信息。
6)、针对多个情报源中的每一个情报源,从情报源中情报信息的标题和/或内容中提取领域关键词,构建情报源对应的IOC内容词向量。
7)、确定目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给目标用户。
8)、获取目标用户对目标情报信息的反馈信息,例如误报、漏报或者类型新增等。
9)、根据反馈信息,调整目标用户的订阅情报类型及对应的信任权重,更新目标用户的订阅IOC内容向量。
返回步骤2),重复推送目标情报信息。
可选地,所述根据所述目标领域关键词内嵌信息,确定所述目标用户的订阅IOC内容向量,具体可以通过以下步骤实现:
根据所述目标领域关键词内嵌信息,采用公式(1)计算所述目标用户的订阅IOC内容向量:
订阅IOC内容向量=α1*词1+α2*词2+...+αn*词n(1);
其中,α1至αn为所述目标用户提交的各个订阅情报类型对应的信任权重;词1至词n为各个订阅情报类型对应的订阅内容在订阅IOC内容向量中的词向量。
需要说明的是,在给目标用户推送目标情报信息的生命周期中,每次向目标用户推送结束后,系统根据目标用户的IOC命中反馈(例如命中率、误报率、热点IOC留存率等)调整目标用户提交的各个订阅情报类型对应的信任权重α,以更新得到更新的订阅IOC内容向量,表达式如下:
更新的订阅IOC内容向量=β1词1+β2词2+...+βn词n
其中,β1到βn为对目标用户提交的各个订阅情报类型对应的信任权重进行调整后的新的信任权重。更新的订阅IOC内容向量可以更好地表示用户的订阅需求,用于后续的Feed匹配和推送。
可选地,所述确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,可以通过以下步骤实现:
采用公式(2)计算所述目标用户的订阅IOC内容向量与各所述情报源对应的Feed内容词向量的匹配度:
匹配度=IOC内容词向量*订阅IOC内容向量/(||IOC内容词向量||*||订阅IOC内容向量||)(2)
在本发明实施例中,匹配度越高,表示IOC内容与用户需求推送相关性越强,可将IOC内容词向量关联的IOC内容词向量集合中的目标情报信息优先推送给用户。
可选地,在将匹配度高于阈值的IOC内容词向量对应的目标情报信息推送给所述目标用户时,在生产端定义推送集合,集合的定义维度包括:情报来源(各情报提供商及开源信息等)、攻击类型、恶意软件、攻击工具、TTP技战术信息等。
推送的方式可以分为全量推送以及增量推送,具体如下:
方式1、首次推送时,将匹配度高于阈值的IOC内容词向量对应的、预设时间周期内全量情报信息,作为目标情报信息推送给所述目标用户。
在本发明实施例中,首次推送近预设时间周期内的全量情报信息,例如,首次推送时,可以推送近3个月内的全量情报信息;其中,全量情报信息可以是机读情报或是人读情报。
在实际应用中,执行主体针对人读情报和机读类型,定义了各类威胁情报卡片,每个威胁情报卡片定义有标签信息,标签信息用于标识威胁情报卡片的类型,例如:金融、医疗、通信、APT情报等标签。图2是本发明提供的威胁情报卡片的示意图。在图2中,威胁情报卡片有金融、医疗、通信、APT情报四种类型,每一种类型的威胁情报卡片中包括有该类型的威胁情报信息。
方式2、将匹配度高于阈值的IOC内容词向量对应的情报信息中的增量情报信息,作为目标情报信息推送给所述目标用户。
在本发明实施例中,当用户终端(即消费端)获取到增量情报信息之后,根据本地数据时间戳判断目标情报信息是否在有效期范围内。若增量情报信息有更新,且目标情报信息在有效期范围内,则消费端根据增量情报信息更新本地的目标情报信息(即本地IOC情报信息)。
目标情报信息包括:情报的上下文字段,增加或更新响应最新内容,包括元数据信息metadata及研判信息等。
在另一种实现方式中,若目标情报信息在时间戳判断范围内失效,则需要重新获取预设时间周期内全量情报信息对目标情报信息进行更新。
在上述实施方式中,支持目标情报信息(情报Feed)的持续定制。用户可以根据需要随时调整订阅范围、订阅类型配置,执行主体可以实时更新推荐并推送新的匹配情报Feed。并且,通过持续分析用户行为与反馈,不断优化情报推送模型,使推送的情报Feed更加准确匹配用户需求。
可选地,本发明实施例还可以基于各用户对情报信息的情报质量评估结果,推送更加符合用户需求的情报信息。具体可以通过以下步骤实现:
步骤1)、获取各所述情报源中所述IOC情报信息的情报质量评估结果;
步骤2)、针对每一个IOC情报信息,根据所述IOC情报信息对应的信任权重及所述情报质量评估结果,确定所述IOC情报信息的信任赋值;所述信任赋值用于表征用户对所述IOC情报信息的可信程度;
步骤3)、根据所述多个用户各自提交的第二情报订阅条件,及每个IOC情报信息的所述信任赋值,向各所述用户分别推送符合所述第二情报订阅条件的IOC情报信息。
在本发明实施例中,第二情报订阅条件包括用户订阅类型、订阅时间戳、推送等级等。根据情报信息的信任权重、情报质量评估结果对情报信息进行信任赋值,通过信任赋值,根据第二情报订阅条件,即用户订阅类型、订阅时间戳、推送等级等,向各用户分别推送符合第二情报订阅条件且信任赋值达到预设阈值的情报信息。
在上述实施方式中,通过情报信息的情报质量评估结果,可以有效过滤低质量与不可信的信息,为用户推荐更高质量的情报内容。
可选地,本发明实施例还可以将各情报源中的情报信息与知识图谱相结合,具体可以通过以下步骤实现:
步骤1)、解析各所述情报源中情报信息,提取各所述情报源中的领域关键词、实体及IOC攻击向量。
在步骤1)中需要进行情报数据解析,具体地:解析各情报源中的原文内容,执行信息标注、实体识别、tag分析等,提取各情报源中的领域关键词、实体、IOC的攻击向量等信息。
步骤2)、根据各所述情报源中的领域关键词、实体及IOC攻击向量,将提取的领域关键词及实体作为节点,将实体之间的关系作为边,构建用于表示IOC内容的当前知识图谱。
在步骤2)中需要构建IOC知识图谱(即Feed知识图谱),具体地,根据步骤1)中提取的各情报源中的关键词、实体、IOC的攻击向量等信息,将抽取的关键词、实体作为节点,实体之间的关系作为边,构建表示Feed内容的知识图谱。节点与边均携带实体类型、关系类型等。
另外,在当前知识图谱中,还需要分析当前知识图谱的密度、节点中心度和网页排名(PageRank),识别当前知识图谱的核心区域(即进行IOC实体及上下文关联提取)。
具体地:分析知识图谱的密度、节点中心度和PageRank等信息,识别知识图谱的核心区域;其中,核心区域对应的关键词和中心实体代表IOC的核心信息及关联关系。
步骤3)、将所述当前知识图谱与历史知识图谱进行对比,识别所述当前知识图谱中新增节点和新增边。
在步骤3)中需要进行新知识富化,具体地:将当前构建的情报知识图谱与该IOC的历史知识图谱进行对比,识别当前知识图谱中的新节点和新边,表示Feed中的新增知识点和语义关系。
步骤4)、根据所述新增节点和新增边,生成IOC内容更新摘要,所述IOC内容更新摘要用于情报信息推送。
在步骤4)中需要生成IOC内容更新摘要(即,生成更新IOC上下文),具体地:IOC内容更新摘要,包括Feed的关键IOC实体、metadata及新增研判结果等,用于后续推送给用户。
步骤5)、将所述当前知识图谱、所述IOC内容更新摘要与对应类别的总知识图谱融合,得到更新后的知识图谱。
在步骤5)中需要进行知识图谱的融合,具体地:当前Feed的知识图谱可与对应类别的总知识图谱融合,不断丰富知识图谱,优化主题聚类和新IOC关联发现。
在上述实施方式中,通过内容分析和知识图谱,可以深入理解情报Feed的主题与要点,根据推送规则生成情报内容的摘要与增量更新推送给用户,提高信息推送效率。
可选地,本发明实施例还可以针对推送的情报进行评估和清理,具体采用如下方法:
1)、用户终端(即消费端)监控订阅Feed的总情报数量和存储使用情况。当超过预设阈值P时,消费端自动清理过期和冷门的情报。针对情报分类及分级的标记,优先筛选过期数据及低优先级数据。
2)、依据订阅所属集合,如恶意软件、域名信息、APT攻击等,配置不同的定期清理策略,周期性进行数据清理长期未更新的低优先级情报。
图3是本发明提供的基于用户订阅的情报推送方法的架构组件关系示意图。
该架构组件应用于某类攻击类情报Feed订阅场景。用户可以在订阅平台上自定义订阅规则,如恶意文件类、失陷主机类、僵尸网络类等,并针对不同类别提交请求参数及鉴权。推送系统会从大量情报源中精准捕捉用户提交订阅需求,对情报数据进行分类加工和质量评级后推送给用户。用户可以在平台上一站式管理不同类别的情报订阅与集成使用。
参见图3所示,通过推送模型构建模块来构建情报推送模型,实现对大量异构情报及多类型多用户需求的Feed的精准订阅和分类;通过情报质量评估模块,实现情报的质量过滤和增量分发;通过图3所示的架构,构建一站式的订阅和管理平台,实现情报的统一订阅、展示和管理。
下面对图3示出的架构组件进行进一步说明:
在图3中,从下至上分别为1、数据构建层;2、数据处理层;3、数据更新层;4、数据分析层;5、数据订阅层。
1、数据构建层,用于为后续层提供海量的结构化情报Feed和用户定向分发数据。
该层通过采集海量异构情报Feed构建情报基础数据集。主要过程包括:
[1]、通过多源数据接入、网页爬取、开源信息获取等方式采集各类情报Feed;
[2]、对采集到的数据进行清洗、解析和结构化处理,并进行数据去重、去噪等处理。
[3]、提取情报数据的标题、发布时间、来源、内容等信息,生成Feed的元数据;
[4]、构建用户订阅分类向量表,计算各类IOC情报的影响力构建总订阅向量。
[5]、存储构建的数据集用于后续处理,此处包括大数据集群及图关系数据库。
2、数据处理层,用于在数据构建层的基础上实现对数据的深入理解和计算,提供语义丰富的结构化数据,为后续层提供海量的结构化情报Feed和用户定向分发数据。
该层实现对构建的数据集的深层次处理和分析,主要过程包括:
[1]、从情报Feed中抽取关键字、实体等构建订阅IOC内容向量。
[2]、计算Feed用户订阅IOC内容向量与各情报源对应的Feed内容词向量的匹配度,用于Feed推荐。
[3]、提取分析多源信息数据中的关键实体,构建Feed知识图谱,实现对Feed的语义理解。
[4]、对情报Feed进行分类、聚类和相关性计算,用于Feed的推荐和关联。
[5]、评估情报信息的来源、tag标记、TTP技战术方法等指标,判断Feed的可信度和质量。
3、数据更新层,用于实现对数据集的持续更新,使产生的分析结果和应用始终基于最新的情报Feed构建。
该层通过定期重新采集多源情报信息,实现对数据集的持续更新和优化。主要过程包括:
[1]、定期重新采集用户订阅的情报源数据,与历史数据比对检测新的更新Feed。
[2]、对检测到的更新情报源重新执行数据处理层的处理流程,获取情报源的最新元数据、知识图谱等。
[3]、对更新Feed中的新内容,生成Feed的更新上下文信息,用于Feed推送。
[4]、更新数据集中相应Feed的信息,并维护数据集的时效信息。
4、数据分析层,用于在数据处理层输出的丰富数据基础上实现各类高级分析与应用,发挥情报Feed的数据价值。
该层提供各类高级数据分析和应用,主要过程包括:
[1]、基于数据集中的情报Feed和元数据,进行趋势分析、关系分析等,产生高级分析报告和分析结论。
[2]、利用语义关联IOC实体知识图谱,进行事件关联分析、新攻击线索发现等。
[3]、对特定行业或组织进行情报关联节点分析,发现关键威胁和攻击线索。
[4]、基于情报推送模型和用户反馈行为数据,进行用户画像分析与个性化推荐。
5、数据订阅层。该层实现用户定制的情报订阅与管理,主要过程包括:
[1]、用户在平台上自定义订阅选项,选择情报种类、来源、关键词等。
[2]、系统根据用户订阅选项,从全部数据集中精确推荐匹配用户需求的情报Feed。
[3]、平台提供统一界面,方便用户查看、管理和配置不同订阅的情报Feed。
[4]、用户根据需要随时增加、删除和修改订阅内容,系统实时更新推送结果。
下面对各层中包括的模块进行进一步说明:
在数据构建层中包括有:推送模型构建模块、数据处理模块。
在数据处理层中包括有:数据加工模块、分类标注模块、标签处理模块。
在数据更新层中包括有:内容理解模块、数据入库模块。
在数据分析层中包括有:情报质量评估模块、数据关联模块、数据富化模块。
在数据订阅层中包括有:情报订阅模块、情报管理模块、情报更新模块、系统鉴权模块。
在上述模块中,核心模块包括:情报推送模型构建模块、情报内容理解模块、情报质量评估模块和情报订阅及管理四大模块。用户通过订阅参数提交订阅内容需求,通过情报推送模型构建模块构建不同用户分发数据和类型。情报内容理解模块和情报质量评估模块实现情报Feed的分类、处理和质量评估。情报订阅及管理模块实现情报的定制化订阅、展示和一站式管理。
下面首先对情报推送模型构建模块、内容理解模块、情报质量评估模块和情报订阅及管理四大模块进行介绍。
1、情报推送模型构建模块:该模块通过构建情报推送模型,实现对各类Feed情报的精准订阅。具体过程为:
[1]、用户在订阅平台提交订阅情报类型及对应的信任权重,系统根据订阅情报类目、订阅数量等构建订阅IOC内容向量;(即用户关注内容向量)。
[2]、系统定期采集多源信息接入,针对关键内容提取情报关键词并构建Feed内容词向量。
[3]、系统通过计算用户订阅IOC内容向量与Feed内容词向量的匹配度,筛选出匹配度高的情报推送给用户。
[4]、系统可以根据用户阅读行为对情报推送模型进行更新,实现模型的持续优化。
2、内容理解模块:该模块通过深度理解情报内容,实现情报的分类和增量处理。具体做法是:
[1]、系统对情报内容进行情报数据处理、提取关键词、实体及语义关系构建情报的知识图谱,形成图谱关系及实体分类。
[2]、系统通过知识图谱对情报进行分类,并标注分类标签。
[3]、系统跟踪新增情报,通过与历史知识图谱的比对,提取情报的新增知识点,生成待推送数据字段,包括不同的情报类型、情报tag标记、情报上下文字段等。
[4]、系统通过对新增知识点的聚合,生成情报的知识更新摘要,推送给用户。
3、情报质量评估模块:该模块通过评估情报内容的准确性、可信度和价值,实现高质量情报的过滤和推荐。具体做法如下:
[1]、根据来源、字段完善度等评估情报的可信度。
[2]、根据安全分析专家或用户评价评估反馈情报的价值和参考度。
[3]、根据上述质量指标过滤或推荐高质量的情报内容。
4、情报订阅及管理模块:该模块实现情报的定制化订阅、统一展示和一站式管理。具体做法为:
[1]、用户在请求处自定义订阅类别和订阅集合,系统推荐匹配的情报源和情报Feed。
[2]、情报处理模块将来自不同订阅源和类别的情报进行整合处理,依据恶意类型、所属行业、热点数据等,为用户提供统一的展示和管理界面。
[3]、用户通过在信息门户(Portal)展示平台上一站式查看、管理和维护自己的各类情报订阅情况,查看并更新订阅内容。
以上四个模块为本架构组件的核心部分,能够有效解决现有情报订阅场景下的痛点,为用户提供更为高质量的情报订阅体验。
下面对其他模块进行介绍:
1)、数据处理模块:完成数据去重、去噪及格式化归一等操作。
2)、数据加工模块:在数据处理单元,对数据进行字段映射存储、数据噪音删除、并进行各类实体分类标记。
3)、分类标注模块:完成数据实体类型的分类、情报场景分类标记、是否对外分发以及公开范围的属性标定。
4)、标签处理模块:针对每个IOC实体、人读情报信息进行标签富化,如影响平台、攻击类型、APT组织信息、是否CVE漏洞、风险等级、影响行业及其他属性标签。
5)、数据入库模块:将处理后各实体的信息进行数据更新入库,存入非关系型数据库或图数据库中
6)、数据关联模块:基于图数据库进行对象实体的关联,自动化关联实体的点和边的关系,形成关联信息。
7)、数据富化模块:基于实体节点进行数据上下文处理,形成研判结论、漏洞信息及TTP技战术信息富化。
8)、情报管理模块:针对数据订阅进行数据分类及分发范围的管理及配置、鉴权控制
9)、情报更新模块:基于情报更新逻辑进行情报数据的更新及推送准备工作
10)、系统鉴权模块:针对消费侧的请求进行身份鉴权,通过后授予数据访问权限并提供情报订阅授权。
图4是本发明提供的基于用户订阅的情报推送方法的逻辑处理流程示意图。参见图4所示:
步骤1、推送模型构建。
具体地,在本发明实施例中,通过构建情报推送模型,可以实现对大量异构情报Feed的精准订阅和推送。具体过程包括:
[1]、用户提交订阅条件,包括订阅情报类型、订阅范围、订阅数据类型等,系统构建用户订阅IOC内容向量。
[2]、数据处理模块采集和解析大量情报源和异构数据处理,提取关键情报字段构建情报源对应的Feed内容词向量。
[3]、根据用户的订阅IOC内容向量和Feed内容词向量的匹配度,精准推送合适条件的情报集合给用户。
[4]、基于用户反馈优化情报推送模型,提高推送准确率。如针对某类情报的误报漏报,以及数据标签完整性的反馈进行优化处理,生成更新情报Feed推送。
步骤2、数据标注。
具体地,在本发明实施例中,通过自动或人工标注的方式,对大量情报Feed进行分类和metadata标注以支持后续处理。具体过程包括:
[1]、系统通过规则或人工读取情报Feed内容,对其进行分类和主题标注。
[2]、系统抽取情报Feed的标题、发布时间、来源等信息,生成情报Feed的metadata。
[3]、系统将标注和metadata与原始情报Feed建立映射,进行数据上下文的富化,进入生产库用于后续检索、过滤和推送。
步骤3、内容理解。
具体地,该步骤通过深度内容分析,实现对情报Feed的语义理解和知识抽取。具体过程包括:
[1]、该模块利用分类聚类对数据进行属性研判并从情报Feed中抽取关键词、实体关系等,构建情报Feed的知识图谱。
[2]、该模块利用分析知识图谱中的实体之间的关系,针对情报Feed的上下文和研判信息进行关联。
[3]、通过知识图谱针对IOC的比对,跟踪情报Feed中新增的及更新的标记、上下文、攻击手法、文件路径、技战术信息等,生成更新的订阅IOC内容向量(又称IOC攻击向量信息),提供情报增量更新的摘要。
步骤4、情报质量评估。
具体地,该步骤通过评估情报Feed的可信度、准确性和价值,实现高质量情报的过滤和推荐。具体过程包括:
[1]、评估情报Feed的来源、数据完整性、数据类型、数据占比等,判断其可信度和客观性。
[2]、集用户或专家对情报的评价,判断其价值和参考度。
[3]、综合上述指标为不同的情报源进行打分处理,并基于分数进行过滤和推送。
步骤5、情报订阅管理。
具体地,该步骤实现用户定制化的情报Feed订阅与统一管理。
具体过程包括:
[1]、用户在终端配置定制的订阅条件,选择情报种类、请求数据周期等。
[2]、根据用户订阅条件,从众多情报源中精准推荐匹配的情报Feed。
[3]、平台提供统一界面,方便用户查看、管理和维护不同订阅的情报Feed。
[4]、用户可以根据需求随时增加、删除和修改订阅,系统实时更新推送。
在上述实施方式中,通过构建情报推送模型,可以深度理解用户的个性化订阅需求,从海量情报源中精准推荐匹配用户需求的情报Feed,避免信息过载,实现情报Feed的精准订阅推送;
通过评估情报Feed的来源、上下文信息等各类指标,可以有效过滤低质量与不可信的信息,为用户推荐更高质量的情报内容,提高了情报Feed的可信度与质量;
通过内容分析和知识图谱,可以深入理解情报Feed的主题与要点,根据推送规则生成情报内容的摘要与增量更新推送给用户,富化及增强情报Feed的应用,提高了信息推送效率;
通过统一的订阅与管理平台,用户可以一站式查看、管理和配置各类不同来源与主题的情报订阅,简化信息管理过程,实现情报Feed的一站式管理,提高了工作效率;
同时,用户还可以根据需要随时调整订阅范围、订阅类型配置,可以实时更新推荐并推送新的匹配情报Feed;并且,通过持续分析用户行为与反馈,不断优化情报推送模型,使推送的情报Feed更加准确匹配用户需求;
通过与企业内外的其他系统和组织共享情报Feed和元数据,可以在更大范围内发现新的攻击模式与事件,构建更加广泛的情报共享与防御体系;
通过订阅和处理高质量的威胁情报Feed,企业安全团队可以更早发现新出现的网络攻击、恶意软件变种和针对自身的目标攻击,有效提高安全防护与应急响应能力,提高了企业安全态势感知能力。
下面对本发明提供的基于用户订阅的情报推送装置进行描述,下文描述的基于用户订阅的情报推送装置与上文描述的基于用户订阅的情报推送方法可相互对应参照。图5是本发明提供的基于用户订阅的情报推送装置的结构示意图,如图5所示,该基于用户订阅的情报推送装置500包括:第一获取模块501及第一推送模块502,其中:
第一获取模块501,用于获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示;
第一推送模块502,用于确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
本发明提供的基于用户订阅的情报推送装置,通过获取目标用户的订阅IOC内容向量,确定目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给目标用户;通过上述方法,通过深度理解用户细分需求场景与情报内容,可以对大量情报源中的海量情报信息进行高效筛选和分类,针对不同用户的不同订阅内容需求,可以智能、个性化地为用户筛选和推荐高价值的目标情报,实现了威胁情报的精准推送,进而使用户可以对威胁情报进行精准订阅、分类整理和质量管理,显著提高了威胁情报订阅的效率和效果,提升用户体验。
可选地,所述获取模块501,进一步用于:
获取总订阅向量;所述总订阅向量是基于多个用户各自提交的第一情报订阅条件构建的,所述总订阅向量包括词表中各个领域关键词的内嵌信息;
根据所述目标用户提交的第一情报订阅条件,从所述总订阅向量的词表中查找目标领域关键词的内嵌信息;
根据所述目标领域关键词的内嵌信息,获取所述目标用户的订阅IOC内容向量。
可选地,所述第一情报订阅条件包括订阅情报类型及对应的信任权重;
所述总订阅向量,通过以下方式构建:
基于多个用户各自提交的所述订阅情报类型及对应的信任权重,构建所述总订阅向量。
可选地,所述各情报源对应的IOC内容词向量,通过以下方式构建:
按照预设周期从所述各情报源采集情报信息;针对所述各情报源中的每一个情报源,从所述情报源中情报信息的标题和/或内容中提取领域关键词,构建所述情报源对应的IOC内容词向量。
可选地,所述装置还包括:
第二获取模块,用于获取所述目标用户对所述目标情报信息的反馈信息;
更新模块,用于根据所述反馈信息,调整所述目标用户的订阅情报类型及对应的信任权重,更新所述目标用户的订阅IOC内容向量。
可选地,所述获取模块501,进一步用于:
根据所述目标领域关键词的内嵌信息,采用公式(1)计算所述目标用户的订阅IOC内容向量:
订阅IOC内容向量=α1*词1+α2*词2+...+αn*词n公式(1);
其中,α1至αn为所述目标用户提交的各个订阅情报类型对应的信任权重;词1至词n为各个订阅情报类型对应的订阅内容在订阅IOC内容向量中的词向量。
可选地,所述推送模块502,进一步用于:
采用公式(2)计算所述目标用户的订阅IOC内容向量与各所述情报源对应的IOC内容词向量的匹配度:
匹配度=IOC内容词向量*订阅IOC内容向量/(||IOC内容词向量||*||订阅IOC内容向量||)公式(2)。
可选地,所述推送模块502,进一步用于:
首次推送时,将匹配度高于阈值的IOC内容词向量对应的、预设时间周期内全量情报信息,作为目标情报信息推送给所述目标用户;
或者,将匹配度高于阈值的IOC内容词向量对应的情报信息中的增量情报信息,作为目标情报信息推送给所述目标用户。
可选地,所述装置还包括:
第三获取模块,用于获取各所述情报源中所述IOC情报信息的情报质量评估结果;
确定模块,用于针对每一个IOC情报信息,根据所述IOC情报信息对应的信任权重及所述情报质量评估结果,确定所述IOC情报信息的信任赋值;所述信任赋值用于表征用户对所述IOC情报信息的可信程度;
第二推送模块,用于根据所述多个用户各自提交的第二情报订阅条件,及每个IOC情报信息的所述信任赋值,向各所述用户分别推送符合所述第二情报订阅条件的IOC情报信息。
可选地,所述装置还包括:
解析模块,用于解析各所述情报源中的IOC情报信息,提取各所述情报源中的领域关键词、实体及IOC攻击向量;
构建模块,用于根据各所述情报源中的领域关键词、实体及IOC攻击向量,将提取的领域关键词及实体作为节点,将实体之间的关系作为边,构建用于表示IOC内容的当前知识图谱;
识别模块,用于将所述当前知识图谱与历史知识图谱进行对比,识别所述当前知识图谱中新增节点和新增边;
生成模块,用于根据所述新增节点和新增边,生成IOC内容更新摘要,所述IOC内容更新摘要用于情报信息推送;
融合模块,用于将所述当前知识图谱、所述IOC内容更新摘要与对应类别的总知识图谱融合,得到更新后的知识图谱。
图6是本发明提供的电子设备的结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行基于用户订阅的情报推送方法,该方法包括:获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示;确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于用户订阅的情报推送方法,该方法包括:获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示;确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于用户订阅的情报推送方法,该方法包括:获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示;确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (14)
1.一种基于用户订阅的情报推送方法,其特征在于,包括:
获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示;
确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
2.根据权利要求1所述的基于用户订阅的情报推送方法,其特征在于,所述获取目标用户的订阅IOC内容向量,包括:
获取总订阅向量;所述总订阅向量是基于多个用户各自提交的第一情报订阅条件构建的,所述总订阅向量包括词表中各个领域关键词的内嵌信息;
根据所述目标用户提交的第一情报订阅条件,从所述总订阅向量的词表中查找目标领域关键词的内嵌信息;
根据所述目标领域关键词的内嵌信息,获取所述目标用户的订阅IOC内容向量。
3.根据权利要求2所述的基于用户订阅的情报推送方法,其特征在于,所述第一情报订阅条件包括订阅情报类型及对应的信任权重;
所述总订阅向量,通过以下方式构建:
基于多个用户各自提交的所述订阅情报类型及对应的信任权重,构建所述总订阅向量。
4.根据权利要求1所述的基于用户订阅的情报推送方法,其特征在于,所述各情报源对应的IOC内容词向量,通过以下方式构建:
按照预设周期从所述各情报源采集情报信息;针对所述各情报源中的每一个情报源,从所述情报源中情报信息的标题和/或内容中提取领域关键词,构建所述情报源对应的IOC内容词向量。
5.根据权利要求1所述的基于用户订阅的情报推送方法,其特征在于,所述方法还包括:
获取所述目标用户对所述目标情报信息的反馈信息;
根据所述反馈信息,调整所述目标用户的订阅情报类型及对应的信任权重,更新所述目标用户的订阅IOC内容向量。
6.根据权利要求2所述的基于用户订阅的情报推送方法,其特征在于,所述根据所述目标领域关键词的内嵌信息,获取所述目标用户的订阅IOC内容向量,包括:
根据所述目标领域关键词的内嵌信息,采用公式(1)计算所述目标用户的订阅IOC内容向量:
订阅IOC内容向量=α1*词1+α2*词2+...+αn*词n公式(1);
其中,α1至αn为所述目标用户提交的各个订阅情报类型对应的信任权重;词1至词n为各个订阅情报类型对应的订阅内容在订阅IOC内容向量中的词向量。
7.根据权利要求1所述的基于用户订阅的情报推送方法,其特征在于,所述确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,包括:
采用公式(2)计算所述目标用户的订阅IOC内容向量与各所述情报源对应的IOC内容词向量的匹配度:
匹配度=IOC内容词向量*订阅IOC内容向量/(||IOC内容词向量||*||订阅IOC内容向量||)公式(2)。
8.根据权利要求1所述的基于用户订阅的情报推送方法,其特征在于,所述将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户,包括:
首次推送时,将匹配度高于阈值的IOC内容词向量对应的、预设时间周期内全量情报信息,作为目标情报信息推送给所述目标用户;
或者,将匹配度高于阈值的IOC内容词向量对应的情报信息中的增量情报信息,作为目标情报信息推送给所述目标用户。
9.根据权利要求1所述的基于用户订阅的情报推送方法,其特征在于,所述方法还包括:
获取各所述情报源中所述IOC情报信息的情报质量评估结果;
针对每一个IOC情报信息,根据所述IOC情报信息对应的信任权重及所述情报质量评估结果,确定所述IOC情报信息的信任赋值;所述信任赋值用于表征用户对所述IOC情报信息的可信程度;
根据多个用户各自提交的第二情报订阅条件,及每个IOC情报信息的所述信任赋值,向各所述用户分别推送符合所述第二情报订阅条件的IOC情报信息。
10.根据权利要求1所述的基于用户订阅的情报推送方法,其特征在于,所述方法还包括:
解析各所述情报源中的IOC情报信息,提取各所述情报源中的领域关键词、实体及IOC攻击向量;
根据各所述情报源中的领域关键词、实体及IOC攻击向量,将提取的领域关键词及实体作为节点,将实体之间的关系作为边,构建用于表示IOC内容的当前知识图谱;
将所述当前知识图谱与历史知识图谱进行对比,识别所述当前知识图谱中新增节点和新增边;
根据所述新增节点和新增边,生成IOC内容更新摘要,所述IOC内容更新摘要用于情报信息推送;
将所述当前知识图谱、所述IOC内容更新摘要与对应类别的总知识图谱融合,得到更新后的知识图谱。
11.一种基于用户订阅的情报推送装置,其特征在于,包括:
第一获取模块,用于获取目标用户的订阅IOC内容向量;所述目标用户的订阅IOC内容向量为所述目标用户期望获得的IOC情报信息的向量表示;
第一推送模块,用于确定所述目标用户的订阅IOC内容向量与各情报源对应的IOC内容词向量的匹配度,将匹配度高于阈值的IOC内容词向量对应的目标情报信息,推送给所述目标用户;所述各情报源对应的IOC内容词向量是基于所述各情报源中的IOC情报信息构建的。
12.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至10任一项所述基于用户订阅的情报推送方法。
13.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述基于用户订阅的情报推送方法。
14.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述基于用户订阅的情报推送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311443856.1A CN118018598A (zh) | 2023-11-01 | 2023-11-01 | 基于用户订阅的情报推送方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311443856.1A CN118018598A (zh) | 2023-11-01 | 2023-11-01 | 基于用户订阅的情报推送方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118018598A true CN118018598A (zh) | 2024-05-10 |
Family
ID=90949199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311443856.1A Pending CN118018598A (zh) | 2023-11-01 | 2023-11-01 | 基于用户订阅的情报推送方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118018598A (zh) |
-
2023
- 2023-11-01 CN CN202311443856.1A patent/CN118018598A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11848760B2 (en) | Malware data clustering | |
Fire et al. | Organization mining using online social networks | |
Oentaryo et al. | On profiling bots in social media | |
EP3731166B1 (en) | Data clustering | |
CN102667761B (zh) | 可扩展的集群数据库 | |
US9300755B2 (en) | System and method for determining information reliability | |
US10404731B2 (en) | Method and device for detecting website attack | |
Javanmardi et al. | Modeling user reputation in wikis | |
Sureka et al. | Mining youtube to discover extremist videos, users and hidden communities | |
WO2014180130A1 (en) | Method and system for recommending contents | |
US20140331142A1 (en) | Method and system for recommending contents | |
Lande et al. | OSINT as a part of cyber defense system | |
Sharma et al. | Going beyond content richness: Verified information aware summarization of crisis-related microblogs | |
US20160286420A1 (en) | Technique for data traffic analysis | |
WO2016173327A1 (zh) | 用于检测网站攻击的方法和设备 | |
Chen et al. | PSEISMIC: A personalized self-exciting point process model for predicting tweet popularity | |
WO2016031034A1 (ja) | 不正アクセスの検知方法および検知装置 | |
CN118018598A (zh) | 基于用户订阅的情报推送方法及装置 | |
JP3547339B2 (ja) | 嗜好情報収集システム | |
Zhang et al. | A model for estimating the out‐degree of nodes in associated semantic network from semantic feature view | |
Edmonds et al. | Exploiting social media to provide humanitarian users with event search and recommendations. | |
CN107391597B (zh) | 一种多元数据采集方法及系统 | |
Chen et al. | A Study on Security Trend based on News Analysis | |
Dunaiski | Using test data to evaluate rankings of entities in large scholarly citation networks | |
Le Page | Understanding the phishing ecosystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |