CN111339398A - 一种多元化大数据情报分析系统及其分析方法 - Google Patents

Abstract

本发明涉及一种多元化大数据情报分析系统及其分析方法，通过数据中心定时从数据源获取最新数据并归档，情报分析中心通过策略选择器获得数据分析模型策略中心的规则模型，基于规则模型，从数据中心获得规则模型需要的数据，基于规则模型及其需要的数据，得到情报分析结果，对情报分析结果进行处理，视情节重要程度，由策略选择器选择模型并将信息通过联动服务单元同步至相应人员。本发明采用多数据源，将情报分析数据模型化，对于重要情报自动分析得到应对措施，自动化分析出情报结果，无需人工干预，由于以大量的数据得出精确情报分析结果、用于网络安全预测、预警通知，保障数据安全，提供有关网络安全的有价值的情报。

Description

一种多元化大数据情报分析系统及其分析方法

技术领域

本发明涉及数字信息的传输，例如电报通信的技术领域，特别涉及一种多元化大数据情报分析系统及其分析方法。

背景技术

根据国家《网络安全法》，没有网络安全就没有国家安全，要加强关键信息基础设施安全保护，强化国家关键数据资源保护能力，增强数据安全预警和溯源能力；要加强政策、监管、法律的统筹协调，加快法规制度建设；要制定数据资源确权、开放、流通、交易相关制度，完善数据产权保护制度；要加大对技术专利、数字版权、数字内容产品及个人隐私等的保护力度，维护广大人民群众利益、社会稳定、国家安全；要加强国际数据治理政策储备和治理规则研究，提出中国方案。网络安全刻不容缓。

专利号公开号为CN110083641A的中国专利公开了一种基于目标行为的情报分析方法及装置，根据当前行为数据对历史行为数据进行分类后，通过Aprior算法和典型相关分析获取两者之间的强关联信息和弱关联信息，从而在碎片化的数据之间建立内在关联，使后续推荐的情报数据不再是简单的数据组合，进而优化情报分析结果，提高情报分析的准确性、完整性和有效性。此专利公开的技术存在的缺陷是数据不够多元化、数据源覆盖不全面，仅仅是根据目标行为手段分析情报。

专利号公开号为CN110135711A的中国专利公开了一种情报管理方法及装置，涉及安全技术领域，能够根据多个维度的情报的相关数据计算情报的价值，从而更加准确客观的评价情报的有效性；该方法包括：获取情报的参数、情报的操作数据以及用户的信誉等级；情报的参数至少包括情报的完备度等级、情报的类型等级、情报内预设核心部分的占比值等级以及情报的评价等级；情报的操作数据至少包括情报的价值反馈值等级、情报的交易量行为值等级、情报的完善度值等级、情报的断言均值等级；根据情报的参数以及用户的信誉等级计算生成初始价值向量；根据情报的操作数据用户的信誉等级计算生成评估价值向量；根据初始价值向量以及评估价值向量计算情报的价值。本发明实施例应用于网络系统。此专利公开的技术虽然覆盖了较为全面的数据源，但是数据量、多维度的特征并没有被体现，并且情报分析的结果比较少。

总结来说，现有技术存在着信息单一的问题，通常只能根据目标行为进行情报分析，往往错误率较高、多元化判断不够，很多情报信息存在空白；或是由于没有顾忌到多维度的需求，使得数据片面，得到的结果量比较少，虽然很注重情报等级，但忽略了其他方向的其他情报信息，比如黑客区域分布、黑客组织活动、作案手法、攻击告警轨迹等，不能全面反馈情报信息。

发明内容

本发明解决了现有技术中存在的问题，提供了一种优化的多元化大数据情报分析系统及其分析方法，基于大数据，多元化、精准分析出网络安全相关情报信息。

本发明所采用的技术方案是，一种多元化大数据情报分析系统，所述系统包括：

一数据中心，用于从外部数据源接入数据；

一数据分析模型策略中心，用于制定规则及选用规则模型、并作用于数据中心的数据；

一情报分析中心，用于基于模型和数据分析得到重要情报信息、作出相应的情报处理并归档情报管理；

一策略选择器，用于选择任一模型应对处理外来黑客攻击并作出相应的反击策略，或判断情报分析中心将要获取的数据并输出一份分析策略模型给情报分析中心；

一联动服务单元，用于将重要情报及时通知到相应的人员并作出相应处理。

优选地，所述数据中心包括单位画像库、系统画像库、IP画像库、隐患画像库、重大漏洞画像库、僵尸网站库、攻击画像库、事件画像库、非常规端口画像库、失陷主机画像库、黑客画像库。

优选地，所述模型规则为可配置化的文本；所述模型规则包括情报专家设计模型及通过机器学习得到策略规则。

优选地，所述模型包括统计模型、比对模型、轨迹模型、预测模型和安全评估模型；任一模型包括一一映射的模型本身及请求参数表，所述请求参数表用于使用传值。

优选地，所述统计模型用于统计数据中心中的数据并发现统计规律；统计模型统计的内容包括攻击者区域分布、攻击次数、攻击类型、自身网站的漏洞。

优选地，所述安全评估模型以统计模型中对系统隐患的统计数据评估网站网络安全分数，得到网站安全指数；所述评估包括漏洞个数与等级、事件个数与等级、攻击成功个数与等级；

所述安全评估模型以单位网络安全基础设施和单位中所有网站系统安全指数综合得到单位网络安全指数。

优选地，所述比对模型用于对已入库数据对比校验、选择出正确的数据，及用于通过实时数据对比历史数据得出攻击者的行为习惯及攻击变化方式。

优选地，所述轨迹模型用于将时间作为维度、获得数据的轨迹，将轨迹划分为多条轨迹段并进行密度聚类，得到轨迹聚类、轨迹分类、离群点检测、兴趣区域、隐私保护、位置推荐的结果。

优选地，所述预测模型用于综合所有模型得出预测情报分析结果，并触发联动服务单元通知相应人员进行应急处置。

一种采用所述的多元化大数据情报分析系统的分析方法，所述方法包括以下步骤：

步骤1：数据中心定时从数据源获取最新数据，归档；

步骤2：情报分析中心通过策略选择器，获得数据分析模型策略中心的规则模型；

步骤3：基于所述规则模型，从数据中心获得规则模型需要的数据；

步骤4：基于规则模型及其需要的数据，得到情报分析结果；

步骤5：对情报分析结果进行处理，若情节重要，则通过策略选择器选择模型并进行下一步，否则直接进行下一步；

步骤6：将步骤5的信息通过联动服务单元同步至相应人员。

本发明提供了一种优化的多元化大数据情报分析系统及其分析方法，通过数据中心定时从数据源获取最新数据并归档，情报分析中心通过策略选择器获得数据分析模型策略中心的规则模型，基于规则模型，从数据中心获得规则模型需要的数据，基于规则模型及其需要的数据，得到情报分析结果，对情报分析结果进行处理，视情节重要程度，由策略选择器选择模型并将信息通过联动服务单元同步至相应人员。

本发明以周期性增量拉取并存储各自最新相关信息以及沉淀归档存储历史数据，根据大量数据综合进行分析，产生重要的情报信息，最终根据历史数据和最新数据进行分析得出各种有价值的情报信息，例如攻击告警画像轨迹图、失陷主机画像分布图、黑客画像分布点。

本发明采用多数据源，将情报分析数据模型化，对于重要情报自动分析得到应对措施，自动化分析出情报结果，无需人工干预，由于以大量的数据得出精确情报分析结果、用于网络安全预测、预警通知，保障数据安全，提供有关网络安全的有价值的情报。

附图说明

图1为本发明的系统结构示意图，其中，箭头表示数据传输的方向；

图2为本发明的方法流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种多元化大数据情报分析系统，所述系统包括数据中心、数据分析模型策略中心、策略选择器、情报分析中心和联动服务单元五个部分。

数据中心，用于从外部数据源接入数据。

所述数据中心包括单位画像库、系统画像库、IP画像库、隐患画像库、重大漏洞画像库、僵尸网站库、攻击画像库、事件画像库、非常规端口画像库、失陷主机画像库、黑客画像库。

本发明中，数据中心是数据的集合体，也是大数据平台，融合大量各行各业的资产、漏洞、攻击、黑客信息，至少包含单位画像库、系统画像库、IP画像库、隐患画像库、重大漏洞画像库、僵尸网站库、攻击画像库、事件画像库、非常规端口画像库、失陷主机画像库、黑客画像库这11种数据。

本发明中，画像库是指数据多元化属性信息，以单位画像库为例，有单位名称、备案、系统等信息。

本发明中，数据来源非常广泛，不限于公安数据、网信数据、行业数据、安恒数据大脑、阿里云、360、腾讯云、绿盟、烽火、天融信以及更多互联网书等。

数据分析模型策略中心，用于制定规则及选用规则模型、并作用于数据中心的数据。

所述模型规则为可配置化的文本；所述模型规则包括情报专家设计模型及通过机器学习得到策略规则。

所述模型包括统计模型、比对模型、轨迹模型、预测模型和安全评估模型；任一模型包括一一映射的模型本身及请求参数表，所述请求参数表用于使用传值。

所述统计模型用于统计数据中心中的数据并发现统计规律；统计模型统计的内容包括攻击者区域分布、攻击次数、攻击类型、自身网站的漏洞。

所述安全评估模型以统计模型中对系统隐患的统计数据评估网站网络安全分数，得到网站安全指数；所述评估包括漏洞个数与等级、事件个数与等级、攻击成功个数与等级；

所述安全评估模型以单位网络安全基础设施和单位中所有网站系统安全指数综合得到单位网络安全指数。

所述比对模型用于对已入库数据对比校验、选择出正确的数据，及用于通过实时数据对比历史数据得出攻击者的行为习惯及攻击变化方式。

所述轨迹模型用于将时间作为维度、获得数据的轨迹，将轨迹划分为多条轨迹段并进行密度聚类，得到轨迹聚类、轨迹分类、离群点检测、兴趣区域、隐私保护、位置推荐的结果。

所述预测模型用于综合所有模型得出预测情报分析结果，并触发联动服务单元通知相应人员进行应急处置。

本发明中，数据分析模型策略中心制定规则、决定模型如何以数据中心的数据得到重要有价值的情报信息。

本发明中，每一种规则模型将分析一类重要情报数据，其存储在数据库中。

本发明中，统计模型用于统计所有画像相关信息、发现统计规律，例如如下统计：

（1）统计攻击者区域分布：可以根据攻击画像库统计攻击者的区域分布；

（2）统计攻击次数：可以根据攻击画像库统计同一个时间内一个网站或IP被攻击的次数；

（3）统计攻击类型：可以根据攻击画像库攻击者IP、攻击者端口、被攻击者IP、被攻击者端口域名、区域、攻击等级、攻击方向等进行统计；

（4）统计自身网站存在的漏洞：可以根据隐患画像库、重大漏洞库、单位画像库、系统画像库及IP画像库进行自身漏洞分析统计，例如漏洞类型统计将统计某个单位某个网站漏洞列表、近一年漏洞趋势统计等。

本发明中，比对模型事实上用于得到数据的差异与共性，对已入库数据进行对比校验、选择出正确的数据。因为数据源众多，不是所有的数据都正确，需要综合对比并过滤一部分数据、选择一批高质量数据，其次通过实时数据对比历史数据，得出攻击者的行为习惯及攻击变化方式，例如攻击的作息时间、频率、攻击手段等。

本发明中，根据画像库的数据为轨迹模型提供数据支持点，轨迹模型探索的热点集中于轨迹聚类、轨迹分类、离群点检测、兴趣区域、隐私保护、位置推荐等方面；将时间看做一维数据，则大多数传统高维数据聚类算法可以很好的适应于当前的轨迹聚类，将轨迹数据看做为有序点序列，并应用统计学方法进行研究得到一定结果。

本发明中，进一步来说，这些轨迹聚类方法都是以轨迹作为整体进行的，并没有对子轨迹聚类给及足够重视，故轨迹模型首先将轨迹划分为多条轨迹段，之后对这些轨迹段进行密度聚类，聚类结果中，除去聚类簇以外，还获得大量的离群点，一般来讲，这些离群点都远离任意一个聚类簇中心。在根据时间序列分类的关联区域分析中，基于区域和轨迹聚类的分类方法，将区域和聚类结果作为轨迹的特征进行分类分析，可以得到更为有效的结果，比如攻击告警画像轨迹、黑客攻击习惯轨迹等。

本发明中，给出一种轨迹模型的应用实施例；

当用户需要知道黑客攻击的各个时间点的攻击次数时，轨迹模型提供以X轴为时间，Y轴为攻击次数形成时间次数轨迹图，跟据轨迹图得知某个时间段攻击峰值；

当系统接受到时间攻击次数轨迹图请求时，数据中心发送请求至情报分析中心，策略选择器跟据请求参数值匹配生成模型映射表，找到对应的模型，即时间攻击次数轨迹模型；

进一步地，时间攻击次数轨迹模型生成轨迹图需要攻击画像库的数据，重要数据属性包括攻击时间，经统计分析得出某个时间的攻击次数，以此类推得出各个时间的攻击次数、形成时间次数轨迹图；

通过联动服务单元，以邮件等信息传递方式发送给相应人员。

本发明中，当用户需要知道黑客攻击各个区域次数时，轨迹模型提供以X轴为区域经纬度、Y轴为攻击次数形成区域次数的轨迹图，跟据轨迹图得知某个区域攻击峰值；此轨迹模型与上述时间攻击次数相似，为类推得到的轨迹图。

本发明中，安全评估模型针对系统画像里的系统和单位网络安全基础设施进行安全评估，得出网站安全指数和单位安全指数。根据统计模型中对系统隐患统计数据来评估网站网络安全分数，评估内容不限漏洞个数与等级、事件个数与等级、攻击成功个数与等级等，得出网站安全指数；根据单位网络安全基础设施和单位中所有网站系统安全指数综合，得出的单位网络安全指数。

本发明中，预测模型则是根据现有的轨迹模型、对比模型等模型得出预测情报分析结果，并通过联通信息通知相应的人员做好应急处置措施，比如黑客将要在明天什么时间点、以什么攻击手段、在什么地区采取攻击活动，或是预测明天将会发生的重大安全事件。

本发明中，给出一种预测模型的应用实施例，其一般基于安全事件预警，即重大攻击事件，当用户需要知道下次安全事件发生的时间的时候，需要使用预测模型进行处理；

首先需要请求预测下次安全事件发生的时间点；

其次根据请求类型获取对应的分析模型；

再次获取需要的数据：安全事件数据主要来源于数据中心，在事件库中，选择所有安全事件、排除物理攻击、偷窃、内部攻击行为以及目标不明的事件记录；

随后进行预处理，其主要将各个库的数据和安全事件数据结合，即映射关联与聚合；由于各个库的数据是基于系统画像库的域名或IP层次进行映射关联的，并可知所属单位企业，而安全事件数据则是IP层次的，故可利用基于IP的数据来预测基于单位企业的安全事件预测，即通过确定一个样本IP作为代表IP来确定本次攻击目标的实际所有者（单位企业），再通过查询安全事件库获得与攻击目标相关的所有IP地址块，然后这些IP地址块作为聚合单元与其他各个库的数据进行映射结合。此为本领域技术人员容易理解的内容，本领域技术人员可以依据基于态势感知的网络安全事件预测方法进行处理；

完成后将得到的预测结果通知相应的人员。

本发明中，模型还包括预警模型、黑客排查模型等。

情报分析中心，用于基于模型和数据分析得到重要情报信息、作出相应的情报处理并归档情报管理。

本发明中，情报分析中心是情报分析的大脑中枢神经系统，作出判断，指挥命令下一步进行的事务。

本发明中，预测出重大情报的和分析出预警的可通过联动服务单元通知相应的人员并通过策略选择器及时应对将要发生的预测问题。

策略选择器，用于选择任一模型应对处理外来黑客攻击并作出相应的反击策略，或判断情报分析中心将要获取的数据并输出一份分析策略模型给情报分析中心。

联动服务单元，用于将重要情报及时通知到相应的人员并作出相应处理。

本发明中，联动服务单元提供一种多功能信息传递的管理平台。

本发明中，联动服务单元可以提供的服务包括但不限于短信服务、钉钉提醒、传真服务、预警提醒、人员管理等。

本发明还涉及一种采用所述的多元化大数据情报分析系统的分析方法，所述方法包括以下步骤：

步骤1：数据中心定时从数据源获取最新数据，归档；

步骤2：情报分析中心通过策略选择器，获得数据分析模型策略中心的规则模型；

步骤3：基于所述规则模型，从数据中心获得规则模型需要的数据；

步骤4：基于规则模型及其需要的数据，得到情报分析结果；

步骤5：对情报分析结果进行处理，若情节重要，则通过策略选择器选择模型并进行下一步，否则直接进行下一步；

步骤6：将步骤5的信息通过联动服务单元同步至相应人员。

本发明通过数据中心定时从数据源获取最新数据并归档，情报分析中心通过策略选择器获得数据分析模型策略中心的规则模型，基于规则模型，从数据中心获得规则模型需要的数据，基于规则模型及其需要的数据，得到情报分析结果，对情报分析结果进行处理，视情节重要程度，由策略选择器选择模型并将信息通过联动服务单元同步至相应人员。

本发明以周期性增量拉取并存储各自最新相关信息以及沉淀归档存储历史数据，根据大量数据综合进行分析，产生重要的情报信息，最终根据历史数据和最新数据进行分析得出各种有价值的情报信息，例如攻击告警画像轨迹图、失陷主机画像分布图、黑客画像分布点。

本发明采用多数据源，将情报分析数据模型化，对于重要情报自动分析得到应对措施，自动化分析出情报结果，无需人工干预，由于以大量的数据得出精确情报分析结果、用于网络安全预测、预警通知，保障数据安全，提供有关网络安全的有价值的情报。

Claims (10)

1.一种多元化大数据情报分析系统，其特征在于：所述系统包括：

一数据中心，用于从外部数据源接入数据；

一数据分析模型策略中心，用于制定规则及选用规则模型、并作用于数据中心的数据；

一情报分析中心，用于基于模型和数据分析得到重要情报信息、作出相应的情报处理并归档情报管理；

一策略选择器，用于选择任一模型应对处理外来黑客攻击并作出相应的反击策略，或判断情报分析中心将要获取的数据并输出一份分析策略模型给情报分析中心；

一联动服务单元，用于将重要情报及时通知到相应的人员并作出相应处理。

2.根据权利要求1所述的一种多元化大数据情报分析系统，其特征在于：所述数据中心包括单位画像库、系统画像库、IP画像库、隐患画像库、重大漏洞画像库、僵尸网站库、攻击画像库、事件画像库、非常规端口画像库、失陷主机画像库、黑客画像库。

3.根据权利要求1所述的一种多元化大数据情报分析系统，其特征在于：所述模型规则为可配置化的文本；所述模型规则包括情报专家设计模型及通过机器学习得到策略规则。

4.根据权利要求1所述的一种多元化大数据情报分析系统，其特征在于：所述模型包括统计模型、比对模型、轨迹模型、预测模型和安全评估模型；任一模型包括一一映射的模型本身及请求参数表，所述请求参数表用于使用传值。

5.根据权利要求4所述的一种多元化大数据情报分析系统，其特征在于：所述统计模型用于统计数据中心中的数据并发现统计规律；统计模型统计的内容包括攻击者区域分布、攻击次数、攻击类型、自身网站的漏洞。

6.根据权利要求5所述的一种多元化大数据情报分析系统，其特征在于：所述安全评估模型以统计模型中对系统隐患的统计数据评估网站网络安全分数，得到网站安全指数；所述评估包括漏洞个数与等级、事件个数与等级、攻击成功个数与等级；

所述安全评估模型以单位网络安全基础设施和单位中所有网站系统安全指数综合得到单位网络安全指数。

7.根据权利要求4所述的一种多元化大数据情报分析系统，其特征在于：所述比对模型用于对已入库数据对比校验、选择出正确的数据，及用于通过实时数据对比历史数据得出攻击者的行为习惯及攻击变化方式。

8.根据权利要求4所述的一种多元化大数据情报分析系统，其特征在于：所述轨迹模型用于将时间作为维度、获得数据的轨迹，将轨迹划分为多条轨迹段并进行密度聚类，得到轨迹聚类、轨迹分类、离群点检测、兴趣区域、隐私保护、位置推荐的结果。

9.根据权利要求4所述的一种多元化大数据情报分析系统，其特征在于：所述预测模型用于综合所有模型得出预测情报分析结果，并触发联动服务单元通知相应人员进行应急处置。

10.一种采用权利要求1~9之一所述的多元化大数据情报分析系统的分析方法，其特征在于：所述方法包括以下步骤：

步骤1：数据中心定时从数据源获取最新数据，归档；

步骤2：情报分析中心通过策略选择器，获得数据分析模型策略中心的规则模型；

步骤3：基于所述规则模型，从数据中心获得规则模型需要的数据；

步骤4：基于规则模型及其需要的数据，得到情报分析结果；

步骤5：对情报分析结果进行处理，若情节重要，则通过策略选择器选择模型并进行下一步，否则直接进行下一步；

步骤6：将步骤5的信息通过联动服务单元同步至相应人员。

Images