CN114118563A - 一种基于数据中台的自迭代态势预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于数据中台的自迭代态势预测方法及系统，该自迭代态势预测方法，包括以下步骤：S1，数据预处理；S2，态势评估；S3，态势预测；S4，自迭代优化；S5，态势呈现组件绑定。本发明解决了现有技术存在的以下问题：针对来源广泛、种类繁杂和格式异构的原始安全数据，单种固定的态势评估和预测算法很难准确的在海量多元异构网络安全数据中分析出态势发展趋势，网络安全态势评估和预测的效能和效率较低。

Description

一种基于数据中台的自迭代态势预测方法及系统

技术领域

本发明涉及网络安全态势评估与预测技术领域，具体是一种基于数据中台的自迭代态势预测方法及系统。

背景技术

随着互联网理论与技术的发展与进步，安全已经成为网络空间研究中极端重要的因素。网络安全态势评估与预测可以整合不同层次的安全因素，通过数值、图表等形式，直观全面的反映网络历史、当前和即将可能发生的安全状况，为增强网络安全提供参照依据。对网络安全态势评估与预测主要通过收集网络的安全数据作为基础支撑，从常用的流量分析，再到终端、服务器的服务状态监控，漏洞分布、病毒查杀、防火墙策略等一系列的安全数据，网络安全因子分析的数据越全面，一般反应出的网络态势状况越真实有效。而这些安全数据都以多源异构的形式存在于各种服务器或设备上，能够对这些安全数据的收集、处理和服务化的合理使用，都会为企业的网络环境良好发展提供有力保障。

2020年，阿里巴巴基于Dataphin、品牌数据银行，Quick Audience、Quick Stock数据中台产品的全域营销推出，通过自有的数据体系赋能商家，实现了数据中台从纯技术推广到业务价值体现。同时随着大数据技术和云上服务的普及，基于云端服务，简单的部署，近乎无限的可扩展性和轻松的数据中台也为大型企业的数据仓储和数据建模运算提供了良好环境。

针对网络态势，基于网络收集的安全数据，以数据建模的形式对网络态势进行评估和预测。预测模型从经典的弹性系数法、统计分析法到当前常用的灰色预测、时间序列预测等，以及将来可能提出更加有效的新预测模型，这些模型有着自身的优缺点和适用范围，同时也是一个不断迭代升级的过程。支撑这些模型算法的安全因子从根本来说还是底层收集的安全数据，只是为满足各种模型的迭代，需要按模型要求对原始数据进行抽取、去重、聚合等预处理，最终通过模型得出当前网络态势和预测结果。

为满足不断采集的多源异构网络安全数据，对各种安全数据进行有效的转化。适应不断迭代升级的态势预测模型，吸取多种模型在适用环境的优点并不断调优。基于当前情况发明了一种基于数据中台的自迭代态势预测，为网络安全态势评估和预测提供解决方法。

发明内容

为克服现有技术的不足，本发明提供了一种基于数据中台的自迭代态势预测方法及系统，解决现有技术存在的以下问题：针对来源广泛、种类繁杂和格式异构的原始安全数据，单种固定的态势评估和预测算法很难准确的在海量多元异构网络安全数据中分析出态势发展趋势，网络安全态势评估和预测的效能和效率较低。

本发明解决上述问题所采用的技术方案是：

一种基于数据中台的自迭代态势预测方法，包括以下步骤：

S1，数据预处理：将多源异构原始安全数据进行处理，为后续态势评估和/或态势预测提供数据支撑；

S2，态势评估：设置态势评估模型仓库，对原始安全数据进行态势评估，生成态势评估结果集；

S3，态势预测：建立网络态势预测模型，对原始安全数据进行态势评估，生成态势预测结果集；

S4，自迭代优化：结合态势评估结果集和态势预测结果集，完成态势评估模型仓库和/或网络态势预测模型的参数进行优化调整，完成态势评估结果和/或态势预测结果自迭代更新，生成态势预测最终结果集；

S5，态势呈现组件绑定：将态势评估结果集和经过自迭代优化的态势预测最终结果集数据上报至界面呈现组件，展示态势评估结果和态势预测结果。

作为一种优选的技术方案，步骤S1包括以下步骤：

S11，对原始安全数据进行数据中台公用预处理；

S12，对安全数据进行定向预处理；

S13，将安全数据存入态势评估数据目录。

作为一种优选的技术方案，步骤S2包括以下步骤：

S21，从态势评估数据目录中抽取态势原始数据；

S22，设置态势评估模型仓库对态势原始数据进行评估；

S23，将通过评估模型处理后的安全数据进行综合分析，生成态势评估结果集，为态势预测提供参考。

作为一种优选的技术方案，步骤S22中，对态势原始数据进行基础资产态势评估、安全防护态势评估、安全威胁态势评估和/或综合安全态势评估。

作为一种优选的技术方案，步骤S3包括以下步骤：

S31，从态势评估数据目录中抽取态势原始数据；

S32，根据网络能力设置态势预测算法，建立网络态势预测模型，生成态势预测结果集。

作为一种优选的技术方案，步骤S32中，网络态势预测模型包括时间序列预测模型、灰色预测模型和/或针对态势数据特点建立的安全综合预测模型。

作为一种优选的技术方案，安全综合预测模型集成病毒蔓延趋势预测模型、网络攻击路径预测模型和/或多样本预测模型。

作为一种优选的技术方案，步骤S5中，对态势评估模型仓库和/或态势预测模型的权重进行调整。

作为一种优选的技术方案，步骤S12中，定向预处理包括归一化、标记、归类和/或时空匹配。

一种基于数据中台的自迭代态势预测系统，包括以下模块：

数据预处理模块：用以将多源异构原始安全数据进行处理，为后续态势评估和/或态势预测提供数据支撑；

态势评估模块：用以设置态势评估模型仓库，对原始安全数据进行态势评估，生成态势评估结果集；

态势预测模块：用以建立网络态势预测模型，对原始安全数据进行态势评估，生成态势预测结果集；

自迭代优化模块：用以结合态势评估结果集和态势预测结果集，完成态势评估模型仓库和/或网络态势预测模型的参数进行优化调整，完成态势评估结果和/或态势预测结果自迭代更新，生成态势预测最终结果集；

态势呈现组件绑定模块：用以将态势评估结果集和经过自迭代优化的态势预测最终结果集数据上报至界面呈现组件，展示态势评估结果和态势预测结果。

本发明相比于现有技术，具有以下有益效果：

(1)本发明采用数据中台架构体系进行态势预测分析，通过数据中台实现对海量多源异构数据的采集、融合、治理、组织管理和智能分析，将数据以服务的形式提供给前台界面组件，提升了业务系统的运行效率；

(2)本发明提出的态势评估模型和态势预测模型，充分考虑了单一模型难以对不同数量级数据和不同类型数据进行准确评估预测的问题，采用多种单项评估预测模型进行组合的方式，能够有效的利用数据，充分发挥各模型的优势，得到更加准确的评估预测结果，有效的规避单一模型导致的误差；

(3)本发明采用自迭代优化机制，采用动态态势预测模型对安全数据进行预测分析，并根据预测结果和评估结果的偏离对比完成预测模型仓库的调整和预测模型权重的分配，实现预测模型的自动调优，使预测结果更加贴近网络安全态势真实值。

附图说明

图1为本发明所述一种基于数据中台的自迭代态势预测方法的步骤图；

图2为本发明实施例的总体架构图；

图3为本发明所述一种基于数据中台的自迭代态势预测方法的总体工作流程图；

图4为本发明的数据调度流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例

如图1至图4所示，本发明主要解决的技术问题是：针对来源广泛、种类繁杂和格式异构的原始安全数据，单种固定的态势评估和预测算法很难准确的在海量多元异构网络安全数据中分析出态势发展趋势，所以需要制定符合态势数据特点的态势评估和预测算法，实时分析态势评估和预测结果，对态势预测算法仓库和模型参数进行调整，实现态势预测算法的自迭代优化，提高网络安全态势评估和预测的效能和效率。

具体如下：

1)采用数据中台架构体系，能够设置数据采集标准和技术方式对海量多源异构原始态势数据进行采集、存储、处理和智能分析，实现对数据的高效统一管控。提供符合态势数据标准的评估和预测分析模型，以服务的形式把分析后的安全数据提供给前台使用，提升了数据处理和分析效率。

2)建立模型自迭代优化机制，实现态势预测模型参数自动调优。将态势评估结果集和态势预测结果集进行综合分析对比，通过自迭代模块实现态势预测算法仓库和模型参数的调整和优化，并为下一次态势预测分析提供参考依据，实现态势预测模型的自迭代优化。

(一)总体工作流程如下：

基于数据中台的自迭代态势预测过程如附图1所示，由态势评估数据预处理、态势评估、态势预测、自迭代优化和态势呈现组件绑定几个步骤组成：

步骤一：态势评估数据预处理。在进行态势评估分析之前，首先对海量原始安全数据进行数据中台公用预处理，完成安全数据的清洗、过滤、增强、汇总等，再针对态势评估数据特点设置态势评估预处理模型，对安全数据进行归一化、标记、归类和时空匹配等定向预处理，将预处理后的数据存入态势评估数据目录，实现多源异构数据的统一化、规范化和标准化，为态势数据评估提供高质量的数据支撑。

步骤二：态势评估。从态势评估数据目录中抽取态势原始数据，基于资产、网络、漏洞和病毒等态势评估目标对象设置态势评估模型仓库，将通过评估模型处理后的安全数据进行综合分析，生成态势评估结果集，为态势预测提供参考。

步骤三：态势预测。从态势评估数据目录中抽取态势原始数据，根据网络能力设置态势预测算法，建立网络态势预测模型，生成态势预测结果集。

步骤四：自迭代优化。结合态势评估结果集和态势预测结果集对态势预测模型效能进行评估，并根据态势评估结果对态势预测结果的准确性进行综合评价，实现态势预测模型算法仓库的调整和权重的分配，完成模型参数的优化调整和评估预测结果的自迭代更新，生成态势预测最终结果集。

步骤五：态势呈现组件绑定。将态势评估结果集和经过自迭代优化的态势预测最终结果集数据按照规定的服务方式和数据格式上报至界面呈现组件，展示态势评估和预测结果。

(二)具体方案如下：

一种基于数据中台的自迭代态势预测，其核心是在数据中台架构体系中采用多种成熟的态势评估和预测方法，通过态势评估模型和态势预测模型的自迭代优化实现对原始安全数据的自动化分析评估，预测态势发展趋势，提升网络安全态势感知能力。为实现这一目的，本方法通过数据中台实现多源异构数据的统一存储管理；通过态势评估数据预处理对多源数据进行统一化、规范化和标准化处理，为态势预测和评估提供高质量数据基础；通过态势评估实现评估模型的管理和态势数据的分析评估；通过态势预测实现预测算法仓库的管理和态势数据的预测分析；通过态势评估结果和态势预测结果的动态对比，调整模型算法和模型计算参数，实现预测模型的自迭代调优；通过数据中台规定的服务接口对态势数据进行发布，实现与界面组件的绑定。整体架构如附图2所示，数据调度流程如附图3所示。

1.态势数据管理

态势数据管理模块提供对海量多源异构数据的统一管理功能。由于不同业务系统的安全数据来源不同、数据特征不同，并且数据量庞大，为实现不同来源数据的统一管理调度，本方法采用数据中台架构体系，定义统一的数据采集标准和技术方式，用简单配置的方式实现多源异构数据的自动接入。同时构建通用的数据语义描述模型，实现数据的存储和表达，使数据更容易被使用。

2.态势数据预处理

态势数据预处理模块负责将多源异构数据进行归一化、去重、清洗、归类和时空匹配处理，为后续自动化、快速高效的安全态势评估预测提供数据支撑。

态势数据预处理分为数据中台公用预处理和评估数据定向预处理。数据中台公用预处理用于对原始接入数据进行缺失数据处理、格式转换、去噪和标记等。本方法针对态势数据来源广泛、种类繁杂、格式异构的特点，建立了数据定向预处理模型仓库，包括态势数据归一模型、态势预测标签处理模型和时空配准适配器等，能够综合应用多种预处理模型对数据进行数据清洗、数据过滤、数据规约、数据变换、数据增强、数据汇总等处理。

3.态势评估

态势评估模块负责建立态势评估指标体系，完成基础资产态势、安全防护态势、安全威胁态势和综合安全态势等网络空间态势的评估分析。

态势评估模型包括资产防护评估模型、网络状态评估模型、边界防护评估模型、漏洞评估模型和病毒评估模型等。单一的评估模型难以对全网安全态势进行全面综合分析，本方法建立了态势评估模型仓库，能够结合实际网络环境和防护力量情况对评估模型仓库进行管理，采用多种态势评估模型进行分析，根据经验值设置各评估模型的权重，适应不同网络环境进行网络安全评估量化，实现对全局、单位、区域(战区或行政区域)、行业或作战任务进行评估。

4.态势预测

态势预测模块负责完成安全态势在未来短期、中期和长期的发展趋势分析，安全防护能力改进、资产脆弱性改进后对综合安全态势发展趋势的影响分析。态势预测模型算法仓库包括时间序列预测模型、灰色预测模型等经典预测模型和针对态势数据特点建立的安全综合预测模型，安全综合预测模型集成了病毒蔓延趋势预测模型、网络攻击路径预测模型和多样本预测模型等单项预测模型，弥补了单项预测的局限性，使预测结果更加系统全面。

由于各种预测模型的准确度和可信度不同，同时安全态势预测的结果也受到多方面不确定因素的影响，单一的预测模型都不能保证在任何条件下都可以得到准确的预测结果。本方法从预测模型选取和预测方案实施两方面综合考虑，建立了符合态势数据特点的预测模型算法仓库，仓库集成了多种态势预测模型，综合考虑各种模型的优缺点，根据先验知识为各预测模型设置初始权重，再根据分析预测结果对权重实现自动调整，运用多种方法进行预测，再对多种预测方法产生的结果进行数据融合，得到更加准确的态势预测结果。

5.自迭代优化

自迭代优化模块用于实时分析态势评估和态势预测结果，对态势模型算法仓库和各类态势预测模型的权重进行调整，在模型和权重自动调优迭代过程中生成态势预测最终结果集。

(1)态势预测模型评估

针对不同态势数据数量和来源对预测算法仓库中的单项预测模型进行组合，对态势评估和态势预测结果的偏离进行持续评估，保留预测结果较为准确的模型，对预测结果偏离较大的模型进行替换，并为下一次预测提供参考。

(2)态势预测模型权重调整

经过态势模型算法仓库的组合预测，对预测结果较为准确的预测模型赋予较大的权重，预测精度较低的模型赋予较小的权重，在反复迭代的过程中分析评估结果集和预测结果集的误差，实现最优权重配比，使预测结果更加贴近网络安全态势真实值。

6.态势呈现

态势呈现模块能够把评估和预测后的态势数据通过可视化的方式进行展示，形成全网的安全态势。数据中台的数据开放服务能够按照界面组件所需要的数据格式，将固化的数据访问需求封装为服务的形式发布，通过可视化方式实现数据API的创建、注册、发布、管理与运维，提供安全、高效、稳定的数据通道。

如上所述，可较好地实现本发明。

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种基于数据中台的自迭代态势预测方法，其特征在于，包括以下步骤：

S1，数据预处理：将多源异构原始安全数据进行处理，为后续态势评估和/或态势预测提供数据支撑；

S2，态势评估：设置态势评估模型仓库，对原始安全数据进行态势评估，生成态势评估结果集；

S3，态势预测：建立网络态势预测模型，对原始安全数据进行态势评估，生成态势预测结果集；

S4，自迭代优化：结合态势评估结果集和态势预测结果集，完成态势评估模型仓库和/或网络态势预测模型的参数进行优化调整，完成态势评估结果和/或态势预测结果自迭代更新，生成态势预测最终结果集；

S5，态势呈现组件绑定：将态势评估结果集和经过自迭代优化的态势预测最终结果集数据上报至界面呈现组件，展示态势评估结果和态势预测结果。

2.根据权利要求1所述的一种基于数据中台的自迭代态势预测方法，其特征在于，步骤S1包括以下步骤：

S11，对原始安全数据进行数据中台公用预处理；

S12，对安全数据进行定向预处理；

S13，将安全数据存入态势评估数据目录。

3.根据权利要求2所述的一种基于数据中台的自迭代态势预测方法，其特征在于，步骤S2包括以下步骤：

S21，从态势评估数据目录中抽取态势原始数据；

S22，设置态势评估模型仓库对态势原始数据进行评估；

S23，将通过评估模型处理后的安全数据进行综合分析，生成态势评估结果集，为态势预测提供参考。

4.根据权利要求3所述的一种基于数据中台的自迭代态势预测方法，其特征在于，步骤S22中，对态势原始数据进行基础资产态势评估、安全防护态势评估、安全威胁态势评估和/或综合安全态势评估。

5.根据权利要求4所述的一种基于数据中台的自迭代态势预测方法，其特征在于，步骤S3包括以下步骤：

S31，从态势评估数据目录中抽取态势原始数据；

S32，根据网络能力设置态势预测算法，建立网络态势预测模型，生成态势预测结果集。

6.根据权利要求5所述的一种基于数据中台的自迭代态势预测方法，其特征在于，步骤S32中，网络态势预测模型包括时间序列预测模型、灰色预测模型和/或针对态势数据特点建立的安全综合预测模型。

7.根据权利要求6所述的一种基于数据中台的自迭代态势预测方法，其特征在于，安全综合预测模型集成病毒蔓延趋势预测模型、网络攻击路径预测模型和/或多样本预测模型。

8.根据权利要求7所述的一种基于数据中台的自迭代态势预测方法，其特征在于，步骤S5中，对态势评估模型仓库和/或态势预测模型的权重进行调整。

9.根据权利要求2至8任一项所述的一种基于数据中台的自迭代态势预测方法，其特征在于，步骤S12中，定向预处理包括归一化、标记、归类和/或时空匹配。

10.一种基于数据中台的自迭代态势预测系统，其特征在于，包括以下模块：

数据预处理模块：用以将多源异构原始安全数据进行处理，为后续态势评估和/或态势预测提供数据支撑；

态势评估模块：用以设置态势评估模型仓库，对原始安全数据进行态势评估，生成态势评估结果集；

态势预测模块：用以建立网络态势预测模型，对原始安全数据进行态势评估，生成态势预测结果集；

自迭代优化模块：用以结合态势评估结果集和态势预测结果集，完成态势评估模型仓库和/或网络态势预测模型的参数进行优化调整，完成态势评估结果和/或态势预测结果自迭代更新，生成态势预测最终结果集；

态势呈现组件绑定模块：用以将态势评估结果集和经过自迭代优化的态势预测最终结果集数据上报至界面呈现组件，展示态势评估结果和态势预测结果。

Images