CN115514581B

CN115514581B - 一种用于工业互联网数据安全平台的数据分析方法及设备

Info

Publication number: CN115514581B
Application number: CN202211430205.4A
Authority: CN
Inventors: 孙岩; 柳彩云; 李俊; 王墨; 曲海阔; 赵千
Original assignee: China Industrial Control Systems Cyber Emergency Response Team
Current assignee: China Industrial Control Systems Cyber Emergency Response Team
Priority date: 2022-11-16
Filing date: 2022-11-16
Publication date: 2023-04-07
Anticipated expiration: 2042-11-16
Also published as: CN115514581A

Abstract

本申请公开了一种用于工业互联网数据安全平台的数据分析方法及设备，包括：从工业互联网数据安全可信交换共享综合服务平台获取数据，并进行预处理，以在预处理之后，其中所获取的数据包括多种属性特征；基于特征选择算法，从预处理之后的数据中，选取目标特征，其中所述目标特征为重要性高的特征；基于选中的目标特征，利用PSO‑LightGBM算法，并通过改进的PSO算法确定LightGBM的参数，以建立数据分析模型；基于建立的数据分析模型，执行数据监测。本申请的方法解决由于当前工业互联网环境复杂、海量的网络数据高维、非线性、传统的网络数据分析方法准确率低的问题，实现高效处理海量工控网络数据。

Description

一种用于工业互联网数据安全平台的数据分析方法及设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种用于工业互联网数据安全平台的数据分析方法及设备。

背景技术

工业不仅支撑着国民经济的发展，也是体现一个国家的经济能力和综合竞争力的重要因素。随着工业互联网和数字经济的快速发展，智能生产、协同制造、个性定制等新模式新业态加速涌现，跨企业、跨行业的数据交换共享需求愈发迫切，数据安全可信共享已成为提高生产经营效率和加快行业发展的重要基础。

相比传统互联网数据，工业互联网数据的种类更为丰富多样，且更具价值属性和产权属性，但如何针对工业互联网数据进行确权定价、开展数据安全交换共享等，目前还缺乏成熟的服务方式和商业模式，专门面向工业互联网数据提供安全可信交换共享服务的公共服务平台尚属空白。

工业互联网是传统工业控制系统和互联网技术的结合，互联网技术在为工控系统提供便利的同时，也打破了传统的工业信息安全防护模式，不可避免地会将互联网自身固有的网络安全风险引入到工业互联网中。与传统互联网相比，工业互联网的特征更加复杂，涉及设备种类繁多，网点更加密集，协议相对脆弱，导致安全风险也就更多。近年来，工业互联网安全事件频发，工业互联网数据安全可信交换共享综合服务平台一旦受到异常攻击，不仅会对工业生产的正常运作产生极大的影响，还会造成重大的安全事故，给整个工业行业造成了严重的经济损失，造成了极其恶劣的社会影响。加强工业互联网安全防护，及时发现和处理网络中的异常行为，对于保障工业互联网的健康运行至关重要。

为了缓解安全风险，保障设备和信息安全，目前工业互联网的防护工作主要利用系统的流量和设备监控数据来分析系统是否出现异常。专家系统根据专家的经验和知识，对每种异常攻击进行分析并建立具体的描述规则，然后将其集成到一个知识库中。在知识库中对所有的网络活动进行匹配，以识别是否存在异常攻击。基于统计方法的网络异常行为发现方法假设正常行为有着自己独有的规律，通过统计方法先统计出正常行为的阈值，一旦发现系统中出现某项行为超过了该阈值，则认为该行为为异常攻击行为，常用的统计方法又有PCA、马尔科夫模型等。

CN114374528A公开了一种数据安全检测方法、装置、电子设备及介质，适用于工业互联网；包括构建物联网攻击特征库，物联网攻击特征库中包括多种类型的工业特征库和多种类型的互联网特征库；抓取所述工业互联网中的数据流，并将所抓取的数据流与物联网攻击特征库进行匹配，得到匹配结果；根据所述匹配结果，判断抓取的数据流中是否存在与所述物联网攻击特征库匹配的数据；若存在，则判定所述工业互联网被攻击，并针对存在工业攻击特征或互联网攻击特征的数据生成攻击警告信息。

传统的网络异常行为发现技术难以适应工业互联网海量、高维、非线性网络数据的特征提取需要，导致异常行为发现的准确率低、误报率和漏报率高等问题。传统基于规则的检测方法难以发挥作用，其需要专业安全人员对数据进行分析，提取特征，且难以应对未知的安全风险，专家系统知识库主要依赖于专家认知的变化来不断进行完善，所以该方法还将会受到专家的知识水平的限制，难以适应当前的工业互联网环境。基于统计方法的异常行为发现方法虽然不需要不断更新和维护，但其不能进行实时的异常行为发现，而且在数据量较大的情况下，计算较为复杂，所以耗时较多。

发明内容

本申请实施例提供一种用于工业互联网数据安全平台的数据分析方法及设备，用以解决由于当前工业互联网环境复杂、海量的网络数据高维、非线性、传统的网络数据分析方法准确率低的问题，以高效处理海量工控网络数据。

本申请实施例提供一种用于工业互联网数据安全平台的数据分析方法，包括：

从工业互联网数据安全可信交换共享综合服务平台获取数据，并进行预处理，以在预处理之后，其中所获取的数据包括多种属性特征；

基于特征选择算法，从预处理之后的数据中，选取目标特征，其中所述目标特征为重要性高的特征；

基于选中的目标特征，利用PSO-LightGBM算法，并通过改进的PSO算法确定LightGBM的参数，以建立数据分析模型；

基于建立的数据分析模型，执行数据监测。

可选的，对获取的数据采用如下方式进行预处理：对获取的数据中的字符数据数值化、标准化和归一化。

可选的，基于特征选择算法，从预处理之后的数据中，选取目标特征包括：

计算各特征的信息权重，其中所述信息权重被定义为由于已知特征A的信息对B信息的重要程度，满足：

其中，表示特征A对训练数据集B的信息权重，为集合B的熵，满足：

为特征A在给定条件下的条件熵，满足：

其中，|B|为样本大小，特征A的取值有n个；

计算各特征的概率权重，其中所述概率权重被定义为特征A对训练数据集D的信息权重，满足：

其中，，越大则该特征越重要；

通过改进的PSO算法确定LightGBM的参数包括：

基于PSO算法，对解空间内搜索时粒子群内的全部粒子进行多方向性均匀搜索，按照如下改进方式进行更新：

其中，表示惯性常数，表示第t次迭代时粒子的速度，为第t次迭代时粒子的位置，、代表随机数，代表学习因子，适应值大小与全部粒子中粒子个体极值对应，按照适应值大小对粒子进行排序，并取排序完成后的前n个粒子。

可选的，建立数据分析模型包括：

基于PSO-LightGBM算法，设定迭代次数n_estimators的值，初始化lightGBM的参数，初始化粒子，随机生成每个粒子的位置和速度；

从已有特征中选取 k个数据，进行粒子群初始化，确定当前粒子个体最优值和群体最优值；

基于所述改进方式进行更新个体粒子的与，评估最优的适应度函数值，求解出搜索范围内最小的适应度函数值对应的最优参数；

基于最优参数建立所述数据分析模型。

可选的，基于建立的数据分析模型，执行数据监测包括：

获取待测数据，并将所述待测数据输入所建立的数据分析模型，以判断是否存在异常数据；

在存在异常数据的情况下，进行反馈，并进行权限的处理及管控。

可选的，所述异常数据包括：攻击行为、数据越权操作、数据高频访问、敏感数据未脱敏；

在监控到攻击行为的情况下，进行告警以及权限设置，并记录攻击行为；

在监控到数据越权操作的情况下，若账号权限为低权，且操作表为敏感信息表，则对异常行为进行累加，建立告警与异常操作明细记录的关系，并持久化。

本申请实施例还提出一种计算机设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现前述的用于工业互联网数据安全平台的数据分析方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的用于工业互联网数据安全平台的数据分析方法的步骤。

本申请实施例的方法能够解决由于当前工业互联网环境复杂、海量的网络数据高维、非线性、传统的网络数据分析方法准确率低的问题，实现高效处理海量工控网络数据。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例的数据分析方法的整体流程示例。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本申请实施例提供一种用于工业互联网数据安全平台的数据分析方法，如图1所示，包括：

在步骤S1中，从工业互联网数据安全可信交换共享综合服务平台获取数据，并进行预处理，以在预处理之后，其中所获取的数据包括多种属性特征。在一些实施例中，对获取的数据采用如下方式进行预处理：对获取的数据中的字符数据数值化、标准化和归一化。具体的，工业互联网的网络数据非常复杂，数据包含了很多的属性特征，其中包括很多的字符型特征，为方便数据处理和建模，在进行数据预处理时，将字符型的数据转换成数值型的数据，转换后的数据为二进制的向量。数值型的数据又分为离散型和连续型，还会包括一些离群值，本示例中对数值化的数据进行标准化处理，之间量纲不同，而且工业互联网的网络数据中还会出现一些离群值，一些示例中还对数据实施标准化和归一化处理。

在步骤S2中，基于特征选择算法，从预处理之后的数据中，选取目标特征，其中所述目标特征为重要性高的特征。

在步骤S3中，基于选中的目标特征，利用PSO-LightGBM算法，并通过改进的PSO算法确定LightGBM的参数，以建立数据分析模型。

在步骤S4中，基于建立的数据分析模型，执行数据监测。

在一些实施例中，基于特征选择算法，从预处理之后的数据中，选取目标特征包括：

为特征A在给定条件下的条件熵，满足：

其中，|B|为样本大小，特征A的取值有n个。

其中，，越大则该特征越重要，可以根据具体情况决定，设置阈值th，由此将大于阈值的特征筛选出来。

在步骤S103中，基于选中的目标特征，利用PSO-LightGBM算法，来建立数据分析模型。

具体的，LightGBM算法的优点如下：

单机运行时，能够面临在数据量更多的情况下保证速度；

多机并行时，通信的代价低，计算在一定程度上可以线性加速。LightGBM选择的基于histogram的决策树算法有减少分割增益的计算量、通过直方图相减来进一步的加速模型的训练、减少内存的使用、减少并行学习的通信代价等优点。并且LightGBM使用带有深度限制的按叶子生长(leaf-wise)算法取代了传统的按层生长(level-wise)的决策树生长策略。在分裂次数相同的情况下，LightGBM可以降低更多的误差，得到更好的精度。

LightGBM在训练大量的消费数据及消费特征时，在训练速度、减少内存、准确度、不易产生过拟合等方面都有优势。

在数据分析模型中，算法的参数的选择直接影响模型性能的优劣，为提高数据分析的精度，作为一种具体的示例，采用改进的PSO对表1中的参数进行寻优，算法确定LightGBM的参数，具体参数如下所示：

表1LightGBM模型主要参数

本申请实施例采用改进的PSO算法对LightGBM进行调参，建立PSO-LightGBM数据分析模型。

PSO算法的基本思想是模拟鸟群随机搜寻食物的捕食行为，鸟群通过自身经验和种群之间的交流调整自己的搜寻路径，从而找到食物最多的地点。其中每只鸟的位置则为自变量组合，每次到达的地点的食物密度即函数值。每次搜寻都会根据自身经验（自身历史搜寻的最优地点）和种群交流（种群历史搜寻的最优地点）调整自身搜寻方向和速度，这个称为跟踪极值，从而找到最优解。由于LightGBM建立数据分析模型需要调节的参数比较多，而传统PSO算法中，各个粒子不会对除自身以外的粒子活动情况加以考虑，更新自身距离与位置时只会考虑各粒子自己的个体极值与全局极值，粒子的搜索空间呈现单向性。本申请实施例采用改进PSO算法对参数进行调优，使用调优后的参数建立LightGBM模型。在一些实施例中，通过改进的PSO算法确定LightGBM的参数包括：

其中，表示惯性常数，表示第 t次迭代时粒子的速度，为第 t次迭代时粒子的位置，、代表随机数，代表学习因子，适应值大小与全部粒子中粒子个体极值对应，按照适应值大小对粒子进行排序，并取排序完成后的前 k个粒子。这些粒子在整个解空间内所处的位置即为全局最优，由此本申请提出的改进的PSO算法能平衡局部搜索能力与全局搜索能力。

在一些实施例中，建立数据分析模型包括：

从已有特征中选取 k个数据，进行粒子群初始化，确定当前粒子个体最优值和群体最优值。

基于所述改进方式进行更新个体粒子的与，评估最优的适应度函数值，求解出搜索范围内最小的适应度函数值对应的最优参数。

基于最优参数建立所述数据分析模型。

在一些实施例中，基于建立的数据分析模型，执行数据监测包括：

在存在异常数据的情况下，在步骤S5中，进行反馈，并进行权限的处理及管控。

在一些实施例中，所述异常数据包括：攻击行为、数据越权操作、数据高频访问、敏感数据未脱敏；

具体的，通过数据分析模型，实现实时数据监测，发现异常数据，包括：攻击行为、数据越权操作、数据高频访问、敏感数据未脱敏。其中，支持攻击行为的监控，当数据分析模型监控到攻击行为时，马上进行告警以及权限设置，并将攻击行为进行记录。数据越权操作：支持数据处理过程越权操作行为监测，当发现低权的帐号访问敏感数据时进行告警，监测到越权访问行为，生成告警信息并生成事件单，推送到数据安全事件管理进行处理，如未处理则隔天再次发送事件单。数据处理过程越权访问预警包括：数据处理过程越权访问预警阈值设置、数据处理过程越权访问预警推送。越权访问发现：对相关重点业务的授权访问接口和菜单进行梳理，对接口信息流进行解析，对没有授权行为直接访问的行为进行监测。若账号权限为低权，且操作表为敏感信息表，则为产生异常操作，异常行为进行计数器累加，每次异常操作都需要进行记录保存，（先内存存储，构建完与告警信息的关系后，进行持久化存储），建立告警与异常操作明细记录的关系，告警数据进行持久化存储，异常操作明细记录进行持久化存储。进一步的，当发现此帐号进行批量导敏感数据时进行告警，监测到敏感数据批量导出，生成告警信息同时生成事件单，推送到数据安全事件管理进行处理，如未处理则隔天再次发事件单。

数据高频访问预警包括：访问敏感数据预警阈值设置、访问敏感数据预警查询。建立告警与异常操作明细记录的关系，告警数据进行持久化存储，异常操作明细记录进行持久化存储。敏感数据未脱敏：支持数据处理过程敏感数据未脱敏监测，通过数据处理过程监测结合应用系统日志提取接口方法体名称，响应内容，通过接口方法体名称和响应内容跟数据资源管理-敏感数据特征库进行比对，当发现匹配某个敏感特征时，监测到敏感数据未脱敏传输，生成告警信息同时生成事件单，推送到数据安全事件管理进行处理，如未处理则隔天再次发事件单。对外接口敏感数据预警包括：对外接口敏感数据预警阈值设置、对外接口敏感数据预警推送。

本申请所提出的特征选择方法，既可以有效选取重要特征，又可以避免引入过多特征而造成的结果不准确，准确提取对数据分析影响力高的特征，减少数据训练时间。本申请通过改进PSO算法确定最优超参数，大大提高了数据分析模型的精度和准确度。

在使用本申请提出的PSO-LightGBM模型进行数据分析，在遍历数据时，采用直方图累积统计值，然后根据离散的特征统计值确定最佳的特征分割点，因此模型特征只需统计一次，避免了传统机器学习算法特征计算时会重复工作的问题。该算法对原始连续特征值进行分箱，并使用这些分箱来构建模型，大大减少了分割点选择的时间消耗和内存消耗，提高了模型的训练和预测效率，特别适用于数据量大、数据维数高的问题。

需要说明的是，在本申各实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。

Claims

1.一种用于工业互联网数据安全平台的数据分析方法，其特征在于，包括：

基于建立的数据分析模型，执行数据监测；

基于特征选择算法，从预处理之后的数据中，选取目标特征包括：

其中，表示特征A对训练数据集B的重要程度，为集合B的熵，满足：

，为特征A在给定条件下的条件熵，满足：，其中，|B|为样本大小，特征A的取值有n个；

计算各特征的概率权重，其中所述概率权重被定义为特征A对训练数据集B的信息权重，满足：

其中，越大则该特征越重要；

通过改进的PSO算法确定LightGBM的参数包括：

2.如权利要求1所述的用于工业互联网数据安全平台的数据分析方法，其特征在于，对获取的数据采用如下方式进行预处理：对获取的数据中的字符数据数值化、标准化和归一化处理。

3.如权利要求1所述的用于工业互联网数据安全平台的数据分析方法，其特征在于，建立数据分析模型包括：

从已有特征中选取k个数据，进行粒子群初始化，确定当前粒子个体最优值和群体最优值；

基于最优参数建立所述数据分析模型。

4.如权利要求3所述的用于工业互联网数据安全平台的数据分析方法，其特征在于，基于建立的数据分析模型，执行数据监测包括：

5.如权利要求4所述的用于工业互联网数据安全平台的数据分析方法，其特征在于，所述异常数据包括：攻击行为、数据越权操作、数据高频访问、敏感数据未脱敏；

6.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的用于工业互联网数据安全平台的数据分析方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的用于工业互联网数据安全平台的数据分析方法的步骤。