CN114546519B - 一种工控安全数据采集系统与方法 - Google Patents

一种工控安全数据采集系统与方法 Download PDF

Info

Publication number
CN114546519B
CN114546519B CN202210091069.4A CN202210091069A CN114546519B CN 114546519 B CN114546519 B CN 114546519B CN 202210091069 A CN202210091069 A CN 202210091069A CN 114546519 B CN114546519 B CN 114546519B
Authority
CN
China
Prior art keywords
acquisition
data
reporting
configuration
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210091069.4A
Other languages
English (en)
Other versions
CN114546519A (zh
Inventor
张晓良
苏钰玲
姜媛
崔文超
李为
苏林萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202210091069.4A priority Critical patent/CN114546519B/zh
Publication of CN114546519A publication Critical patent/CN114546519A/zh
Application granted granted Critical
Publication of CN114546519B publication Critical patent/CN114546519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种工控安全数据采集系统与方，工控安全数据采集系统，包括：采集策略配置模块、八个数据采集模块、上报配置模块和数据上报模块；工控安全数据采集方法，包括：工控安全数据的采集和工控安全数据的上报。本发明能够使用户在客户端选择要使用的采集协议，配置相应的采集策略配置项、并保存至数据库中，从而使用户仅需在客户端就可以进行选择采集配置，极大提高用户体验度；按照八个数据采集协议分为八个数据采集模块，有效提高了数据的采集效率；本发明将采集的数据进行去噪和归一化处理后，再上传给工控安全态势感知平台，保证了数据的一致性和有序性，为后续的数据分析和处理提供了便利。

Description

一种工控安全数据采集系统与方法
技术领域
本发明涉及一种工控安全数据采集系统与方法，属于工控数据采集技术领域。
背景技术
随着互联网、物联网、5G技术的飞速发展，以及人工智能、云计算等新一代信息技术的广泛应用，承载着大量国家基础数据、重要政务数据以及公民个人数据的重要行业及领域基础信息，逐步渗透到当今数字经济生活的各个环节，是网络空间安全的命脉所在，其安全防护问题直接影响我国数字经济发展和网络强国建设。能源、电力、通信、金融、交通等领域的关键信息基础设施是经济社会运行的神经中枢，是网络安全的重中之重，也是可能遭到重点攻击的目标，必须深入研究，采取有效措施，切实做好关键信息基础设施安全防护。
工业控制系统(industrial control system,工业控制系统)是一类用于工业生产的控制系统的统称，它包含监视控制与数据采集系统(Supervisory Control and DataAcquisition,SCADA)、集散控制系统(Distributed Control System,DCS)和其他一些常见于工业部门与关键基础设施的小型控制系统(如可编程逻辑控制器PLC)。
现有的工控网络数据采集系统有两点不足：
1)目前的工控数据采集系统大多采用单一的协议进行采集，采集的数据源类型有限，数据类型单一；
2)没有将采集的数据进行去噪和数据归一化处理，给后续的数据处理带来不便。
发明内容
为了克服上述现有技术的不足，本发明专利提供了一种工控安全数据采集系统与方法。
为解决上述技术问题，本发明所采用的技术方案如下：
一种工控安全数据采集系统，包括：
1)采集策略配置模块，包括生成采集策略配置界面、连接测试、下发采集指令和停止采集指令；
生成采集策略配置界面：接收用户通过采集策略配置界面输入的采集配置项，根据采集配置项更新采集策略配置表中的对应数据；
连接测试：根据采集配置项中的采集协议配置，使用gRPC与相应的工控数据采集模块通信，将采集策略ID传给工控数据采集模块，接收采集模块对连接测试的反馈结果，并将反馈结果显示给用户；
下发采集指令：根据所述的采集配置中的采集协议配置项，使用gRPC与相应的工控数据采集模块通信，将所述采集策略ID传给工控数据采集模块。接收采集模块对所述开始采集指令执行的结果，并将结果显示给用户；
停止采集指令：根据所述的采集配置项中的采集协议配置，使用gRPC与相应的工控数据采集模块通信，将所述采集策略ID传给工控数据采集模块。接收采集模块对所述停止采集指令执行的结果，并将结果显示给用户；
2)八个数据采集模块，包括netflow采集模块、syslog采集模块、snmp采集模块、ftp采集模块、jdbc采集模块、wmi采集模块、ssh采集模块和telnet采集模块；
每个数据采集模块均包括：
a、接收采集策略配置模块发送的开始采集指令，根据采集策略ID在数据库中查找对应采集策略配置，按照采集周期对目标设备中指定的采集数据类型进行周期性采集，并将采集线程的状态和采集的数据保存至数据库中；
b、接收采集策略配置模块发送的停止采集指令，根据采集策略ID查找对应的采集线程，并将线程停止运行；
3)上报配置模块，将数据上传至工业互联网态势感知平台，上报配置模块包括：
a、生成上报配置界面；
b、接收用户通过所述上报配置界面输入的上报配置项；
c、根据所述上报配置项更新上报配置表中的对应数据；
d、下发上报指令，根据所述的上报配置项中的上报配置，使用gRPC与工控数据上报模块通信，将所述上报配置ID传给工控数据上报模块。接收上报模块对所述开始上报数据指令执行的结果，并将结果显示给用户；
e、停止上报指令，根据所述的上报配置项中的上报配置，使用gRPC与工控数据上报模块通信，将所述上报配置ID传给工控数据上报模块。接收上报模块对所述停止上报数据指令执行的结果，并将结果显示给用户。
4)数据上报模块，包括接收上报配置模块发送的开始上报数据指令，根据上报配置ID在数据库中查找对应上报配置中的采集策略名称项，根据采集策略名称查找此项配置采集的数据，将数据进行去噪和归一化处理。
其中，数据去噪的为：
1)首先，根据领域专家的知识选择干净的数据，将其转换为一系列滑动窗口，然后计算每个滑动窗口的均值wmi和标准差wsi；通过计算两个转换后的数据集之间的马氏距离，选择靠近数据集中心的滑动窗口来表示背景正态数据的统计特性，第i个窗口的背景模型定义为：
其中，μm是所有样本wmi的均值向量，是其协方差矩阵，μs是所有样本wsi的均值向量，/>是其协方差矩阵，/>是样本向量wmi到μm的马氏距离，/>是样本向量wsi到μs的马氏距离；
2)将样本数据按从小到大排序，y轴的值表示分位数，x轴的值表示指定分布下分位数的理论值，x轴和y轴的表达式定义如下：
其中，Φ-1是标准正态分布的逆累积分布函数，n表示数据点个数，S(i)为噪声评分；
3)当窗口噪声得分满足以下条件时，将滑动窗口内的数据视为噪声点，
Sk∈{Si|f-Sk＞θ·max{Si}}
式中，θ为偏差系数，可根据需要进行动态调整；f为理论值的线性分布函数；Si为噪声评分的集合；Sk为第k个噪声评分。
数据归一化处理的流程为：
设网络输入节点数为N个，在相同条件下选取N个不同的特征参量(Y0,Y1,...,YN-1)作为网络的输入，每个特征参量选取L个特征值其中i＝0,1,…,N-1这就构成了样本空间，联合归一化方法分两步：
(1)列向量归一化：归一化后为：
其中，i＝0,1,...,N-1；j＝0,1,...,N-1；是特征向量Yi第j列向量归一化后的估计值,/>是特征向量Yi的第j个特征值，/>是特征向量Yi最大特征值，/>是特征向量Yi最小特征值；
(2)行向量归一化：归一化后为：
其中：i＝0,1,...,N-1，是特征向量Yi行向量归一化后的均值，/>是特征向量Yi列向量归一化后的估计值，/>是特征向量Yi列向量归一化后的最大特征值，/>是特征向量Yi列向量归一化后的最小特征值。
接收采集策略配置模块发送的停止采集指令，根据ID查找对应的采集线程，并将线程停止运行。
接收上报模块发送的停止上报指令，根据上报配置ID查找对应的上报线程，并将线程停止运行。
上述方法为扩展采集数据源的类型，解决了目前采集系统使用的采集协议单一导致的数据源类型不足和数据缺失，通过实现netflow、syslog、snmp、ftp、jdbc、wmi、ssh、telnet八种协议来采集数据。
优选的，采集策略配置界面，具体为：WEB配置页面形式；其中，netflow配置项包括：策略名称和目标设备IP；syslog配置项包括：策略名称；snmp配置项包括：策略名称、采集周期、目标设备IP、目标设备端口和snmp版本号；ftp配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和日志文件路径；jdbc配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、目标数据库类型、目标数据库名称、目标数据库表名称、本地数据库用户名和本地数据库密码；wmi配置项包括：策略名称、采集周期、目标设备IP、用户名、密码和采集内容；ssh配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和采集类型；telnet配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和命令。
优选的，上报配置界面，具体为：WEB配置页面形式。
优选的，上报配置表包括：上报策略名称、采集策略名称和上报周期。
一种工控安全数据采集方法，包括：工控安全数据的采集和工控安全数据的上报；
工控安全数据的采集，包括如下步骤：
步骤101：生成采集策略配置界面；
步骤102：接收用户通过采集策略配置界面输入的采集策略配置项；
用户通过采集策略配置界面输入采集策略配置项，即选择要使用的采集协议及填写相应的协议配置项；
步骤103：根据采集策略配置项更新采集策路配置表中的对应数据；
步骤104：下发采集指令通过gRPC通知相应协议的数据采集模块；
步骤105：数据采集模块收到所述采集指令，并根据采集策略ID去数据库查找采集策略配置，若成功连接目标设备，则向采集配置模块发送连接成功码，并开始周期性采集目标设备数据；否则，向采集配置模块发送连接失败码；
步骤106：采集策略配置模块接收数据采集模块返回的信息码，并将信息显示给用户；
工控安全数据的上报，包括如下步骤：
步骤201：生成上报配置界面：用户可以通过上报配置界面输入上报配置项，上报配置项包括上报策略名称、采集策略名称和上报周期；
步骤202：接收用户上报配置界面输入的上报配置项；
步骤203：根据上报配置项更新上报配置表中的对应数据；
步骤204：下发上报指令通过gRPC通知上报模块：用户选择一条上报配置，使用gRPC与上报模块通信，将上报配置ID传给工控数据上报模块；
步骤205：数据上报模块接收上报配置模块发送的开始上报数据指令，根据上报配置ID去数据库查找上报配置中的采集策略，并根据采集策略查找需此策略采集的所有数据；
步骤206：对数据进行去噪和归一化处理后再进行上报；
步骤207：若数据上报成功，则向上报配置模块发送上报成功码；否则，向上报配置模块发送上报失败码。
步骤208：上报配置模块接收数据上报模块返回的信息码，并将信息显示给用户。
上述步骤101中，用户可以通过采集策略配置界面输入采集策略配置项，不同的协议有不同的配置项；其中，netflow配置项包括：策略名称和目标设备IP；syslog配置项包括：策略名称；snmp配置项包括：策略名称、采集周期、目标设备IP、目标设备端口和snmp版本号；ftp配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和日志文件路径；jdbc配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、目标数据库类型、目标数据库名称、目标数据库表名称、本地数据库用户名和本地数据库密码；wmi配置项包括：策略名称、采集周期、目标设备IP、用户名、密码和采集内容；ssh配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和采集类型；telnet配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和命令。
上述步骤103中，采集策略配置表包括策略名称、采集方式、目标设备IP、目标设备端口、用户名、密码、日志文件路径、snmp版本号、目标数据库类型、目标数据库名称、目标数据库表名称、本地数据库用户名、本地数据库密码、采集周期、采集类型和命令；采集策略配置表具体存储在系统内置数据库中，系统内置数据库具体为MySQL。
上述步骤104中，用户选择一条采集策略，并根据所述的采集策略中的采集协议配置项，使用gRPC与相应协议的工控数据采集模块通信，将所述采集策略ID传给工控数据采集模块。
上述步骤202中，用户通过上报配置界面输入上报配置项，即上报策略名称、采集策略名称和上报周期；步骤203中，上报配置表包括上报策略名称、采集策略名称和上报周期，上报配置表具体存储在系统内置数据库中，系统内置数据库具体为MySQL；
上述步骤206中，数据去噪处理为：1)首先，根据领域专家的知识选择干净的数据，将其转换为一系列滑动窗口，然后计算每个滑动窗口的均值wmi和标准差wsi。通过计算两个转换后的数据集之间的马氏距离，选择靠近数据集中心的滑动窗口来表示背景正态数据的统计特性。第i个窗口的背景模型定义为：
其中，μm是所有样本wmi的均值向量，是其协方差矩阵；μs是所有样本wsi的均值向量，/>是其协方差矩阵。/>是样本向量wmi到μm的马氏距离，/>是样本向量wsi到μs的马氏距离。
2)将样本数据按从小到大排序，y轴的值表示分位数，x轴的值表示指定分布下分位数的理论值。x轴和y轴的表达式定义如下：
其中，Φ-1是标准正态分布的逆累积分布函数，n表示数据点个数，S(i)为噪声评分。
3)当窗口噪声得分满足以下条件时，将滑动窗口内的数据视为噪声点。
Sk∈{Si|f-Sk＞θ·max{Si}}
式中，θ为偏差系数，可根据需要进行动态调整；f为理论值的线性分布函数；Si为噪声评分的集合；Sk为第k个噪声评分。
数据归一化处理的流程为：
设网络输入节点数为N个，在相同条件下选取N个不同的特征参量(Y0,Y1,...,YN-1)作为网络的输入，每个特征参量选取L个特征值其中i＝0,1,…,N-1这就构成了样本空间，联合归一化方法分两步：
(1)列向量归一化：归一化后为：
其中，i＝0,1,...,N-1；j＝0,1,...,N-1；是特征向量Yi第j列向量归一化后的估计值,/>是特征向量Yi的第j个特征值，/>是特征向量Yi最大特征值，/>是特征向量Yi最小特征值。
(2)行向量归一化：归一化后为：
其中：i＝0,1,...,N-1，是特征向量Yi行向量归一化后的均值，/>是特征向量Yi列向量归一化后的估计值，/>是特征向量Yi列向量归一化后的最大特征值，/>是特征向量Yi列向量归一化后的最小特征值。
本发明未提及的技术均参照现有技术。
本发明相比现有技术，具有以下有益效果：
1)本发明提供的工控安全数据采集系统与方法，能够使用户在客户端选择要使用的采集协议，配置相应的采集策略配置项、并保存至数据库中，从而使用户仅需在客户端就可以进行选择采集配置，极大提高用户体验度。
2)本发明按照八个数据采集协议分为八个数据采集模块，每个数据采集模块可以按照上述的采集策略项进行周期性数据采集，扩展可采集的设备种类，有效提高了数据的采集效率。
3)本发明将采集的数据进行去噪和归一化处理后，再上传给工控安全态势感知平台，保证了数据的一致性和有序性，为后续的数据分析和处理提供了便利。
附图说明
图1为本发明工控安全数据采集的流程图；
图2为本发明工控安全数据上报的流程图；
图3为本发明工控安全数据采集系统的架构图。
具体实施方式
为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明的内容不仅仅局限于下面的实施例。
一种工控安全数据采集系统，包括：采集策略配置模块、八个数据采集模块、上报配置模块和数据上报模块；
采集策略配置模块，包括生成采集策略配置界面、连接测试、下发采集指令和停止采集指令；
生成采集策略配置界面：接收用户通过采集策略配置界面输入的采集配置项，根据采集配置项更新采集策略配置表中的对应数据；采集策略配置界面为：WEB配置页面形式；
连接测试：根据采集配置项中的采集协议配置，使用gRPC与相应的工控数据采集模块通信，将采集策略ID传给工控数据采集模块，接收采集模块对连接测试的反馈结果，并将反馈结果显示给用户；
下发采集指令：根据所述的采集配置中的采集协议配置项，使用gRPC与相应的工控数据采集模块通信，将所述采集策略ID传给工控数据采集模块。接收采集模块对所述开始采集指令执行的结果，并将结果显示给用户；
停止采集指令：根据所述的采集配置项中的采集协议配置，使用gRPC与相应的工控数据采集模块通信，将所述采集策略ID传给工控数据采集模块。接收采集模块对所述停止采集指令执行的结果，并将结果显示给用户；
八个数据采集模块，包括netflow采集模块、syslog采集模块、snmp采集模块、ftp采集模块、jdbc采集模块、wmi采集模块、ssh采集模块和telnet采集模块；
每个数据采集模块均包括：
a、接收采集策略配置模块发送的开始采集指令，根据采集策略ID在数据库中查找对应采集策略配置，按照采集周期对目标设备中指定的采集数据类型进行周期性采集，并将采集线程的状态和采集的数据保存至数据库中；
b、接收采集策略配置模块发送的停止采集指令，根据采集策略ID查找对应的采集线程，并将线程停止运行；
上报配置模块，将数据上传至工业互联网态势感知平台，上报配置模块包括：
a、生成WEB配置页面形式的上报配置界面；
b、接收用户通过所述上报配置界面输入的上报配置项；
c、根据所述上报配置项更新上报配置表中的对应数据；上报配置表包括：上报策略名称、采集策略名称和上报周期；
d、下发上报指令，根据所述的上报配置项中的上报配置，使用gRPC与工控数据上报模块通信，将所述上报配置ID传给工控数据上报模块。接收上报模块对所述开始上报数据指令执行的结果，并将结果显示给用户；
e、停止上报指令，根据所述的上报配置项中的上报配置，使用gRPC与工控数据上报模块通信，将所述上报配置ID传给工控数据上报模块。接收上报模块对所述停止上报数据指令执行的结果，并将结果显示给用户。
数据上报模块，包括接收上报配置模块发送的开始上报数据指令，根据上报配置ID在数据库中查找对应上报配置中的采集策略名称项，根据采集策略名称查找此项配置采集的数据，将数据进行去噪和归一化处理。
利用上述系统工控安全数据采集方法，包括：工控安全数据的采集和工控安全数据的上报；
工控安全数据采集流程图，如图1所示，具体包括以下步骤：
步骤101：生成采集策略配置界面。
用户可以通过采集策略配置界面输入采集策略配置项，不同的协议有不同的配置项。其中，netflow配置项包括：策略名称、目标设备IP；syslog配置项包括：策略名称；snmp配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、snmp版本号；ftp配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码、日志文件路径；jdbc配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、目标数据库类型、目标数据库名称、目标数据库表名称、本地数据库用户名、本地数据库密码；wmi配置项包括：策略名称、采集周期、目标设备IP、用户名、密码、采集内容；ssh配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码、采集类型；telnet配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码、命令。
步骤102：接收用户通过采集策略配置界面输入的采集策略配置项。
用户通过采集策略配置界面输入采集策略配置项，即选择要使用的采集协议及填写相应的协议配置项。
步骤103：根据采集策略配置项更新采集策路配置表中的对应数据。
采集策略配置表包括策略名称、采集方式、目标设备IP、目标设备端口、用户名、密码、日志文件路径、snmp版本号、目标数据库类型、目标数据库名称、目标数据库表名称、本地数据库用户名、本地数据库密码、采集周期、采集类型、命令。执行步骤S103根据用户输入的采集策略配置项更新采集策略表中的对应数据。采集策略配置表具体存储在系统内置数据库中，系统内置数据库具体为MySQL。
步骤104：下发采集指令通过gRPC通知相应协议的数据采集模块。
用户选择一条采集策略，并根据所述的采集策略中的采集协议配置项，使用gRPC与相应协议的工控数据采集模块通信，将所述采集策略ID传给工控数据采集模块。
步骤105：数据采集模块收到所述采集指令，并根据采集策略ID去数据库查找采集策略配置，若成功成功连接目标设备，则向采集配置模块发送连接成功码，并开始周期性采集目标设备数据；否则，向采集配置模块发送连接失败码；
步骤106：采集策略配置模块接收数据采集模块返回的信息码，并将信息显示给用户。
工控安全数据上报流程图，如图2所示，具体包括以下步骤：
步骤201：生成上报配置界面。
用户可以通过上报配置界面输入上报配置项，上报配置项包括上报策略名称、采集策略名称和上报周期。
步骤202：接收用户上报配置界面输入的上报配置项。
用户通过上报配置界面输入上报配置项，即上报策略名称、采集策略名称和上报周期。
步骤203：根据上报配置项更新上报配置表中的对应数据。
上报配置表包括上报策略名称、采集策略名称和上报周期。执行步骤203根据用户输入的上报配置项更新上报配置表中的对应数据。上报配置表具体存储在系统内置数据库中，系统内置数据库具体为MySQL。
步骤204：下发上报指令通过gRPC通知上报模块。
用户选择一条上报配置，使用gRPC与上报模块通信，将所述上报配置ID传给工控数据上报模块。
步骤205：数据上报模块接收上报配置模块发送的开始上报数据指令，根据上报配置ID去数据库查找上报配置中的采集策略，并根据采集策略查找需此策略采集的所有数据。
步骤206：对数据进行去噪和归一化处理后，再上报给工控安全态势感知平台。
其中，步骤206中，数据去噪处理为：1)首先，根据领域专家的知识选择干净的数据，将其转换为一系列滑动窗口，然后计算每个滑动窗口的均值wmi和标准差wsi。通过计算两个转换后的数据集之间的马氏距离，选择靠近数据集中心的滑动窗口来表示背景正态数据的统计特性。第i个窗口的背景模型定义为：
其中，μm是所有样本wmi的均值向量，是其协方差矩阵；μs是所有样本wsi的均值向量，/>是其协方差矩阵。/>是样本向量wmi到μm的马氏距离，/>是样本向量wsi到μs的马氏距离。
2)将样本数据按从小到大排序，y轴的值表示分位数，x轴的值表示指定分布下分位数的理论值。x轴和y轴的表达式定义如下：
其中，Φ-1是标准正态分布的逆累积分布函数，n表示数据点个数，S(i)为噪声评分。
3)当窗口噪声得分满足以下条件时，将滑动窗口内的数据视为噪声点。
Sk∈{Si|f-Sk＞θ·max{Si}}
式中，θ为偏差系数，可根据需要进行动态调整；f为理论值的线性分布函数；Si为噪声评分的集合；Sk为第k个噪声评分。
数据归一化处理的流程为：
设网络输入节点数为N个，在相同条件下选取N个不同的特征参量(Y0,Y1,...,YN-1)作为网络的输入，每个特征参量选取L个特征值其中i＝0,1,…,N-1这就构成了样本空间，联合归一化方法分两步：
(1)列向量归一化：归一化后为：
其中，i＝0,1,...,N-1；j＝0,1,...,N-1；是特征向量Yi第j列向量归一化后的估计值,/>是特征向量Yi的第j个特征值，/>是特征向量Yi最大特征值，/>是特征向量Yi最小特征值。
(2)行向量归一化：归一化后为：
其中：i＝0,1,...,N-1，是特征向量Yi行向量归一化后的均值，/>是特征向量Yi列向量归一化后的估计值，/>是特征向量Yi列向量归一化后的最大特征值，/>是特征向量Yi列向量归一化后的最小特征值。
步骤207：若数据上报成功，则向上报配置模块发送上报成功码；否则，向上报配置模块发送上报失败码。
步骤208：上报配置模块接收数据上报模块返回的信息码，并将信息显示给用户。
上述方法，能够使用户在客户端选择要使用的采集协议，配置相应的采集策略配置项、并保存至数据库中，从而使用户仅需在客户端就可以进行选择采集配置，极大提高用户体验度；按照八个数据采集协议分为八个数据采集模块，每个数据采集模块可以按照上述的采集策略项进行周期性数据采集，扩展可采集的设备种类，有效提高了数据的采集效率；将采集的数据进行去噪和归一化处理后，再上传给工控安全态势感知平台，保证了数据的一致性和有序性，为后续的数据分析和处理提供了便利。

Claims (9)

1.一种工控安全数据采集系统，其特征在于：包括：
1)采集策略配置模块，包括生成采集策略配置界面、连接测试、下发采集指令和停止采集指令；
生成采集策略配置界面：接收用户通过采集策略配置界面输入的采集配置项，根据采集配置项更新采集策略配置表中的对应数据；
连接测试：根据采集配置项中的采集协议配置，使用gRPC与相应的工控数据采集模块通信，将采集策略ID传给工控数据采集模块，接收采集模块对连接测试的反馈结果，并将反馈结果显示给用户；
下发采集指令：根据采集配置中的采集协议配置项，使用gRPC与相应的工控数据采集模块通信，将采集策略ID传给工控数据采集模块，接收采集模块对开始采集指令执行的结果，并将结果显示给用户；
停止采集指令：根据采集配置项中的采集协议配置，使用gRPC与相应的工控数据采集模块通信，将采集策略ID传给工控数据采集模块，接收采集模块对停止采集指令执行的结果，并将结果显示给用户；
2)八个数据采集模块，包括netflow采集模块、syslog采集模块、snmp采集模块、ftp采集模块、jdbc采集模块、wmi采集模块、ssh采集模块和telnet采集模块；
每个数据采集模块均包括：
a、接收采集策略配置模块发送的开始采集指令，根据采集策略ID在数据库中查找对应采集策略配置，按照采集周期对目标设备中指定的采集数据类型进行周期性采集，并将采集线程的状态和采集的数据保存至数据库中；
b、接收采集策略配置模块发送的停止采集指令，根据采集策略ID查找对应的采集线程，并将线程停止运行；
3)上报配置模块，将数据上传至工业互联网态势感知平台，上报配置模块包括：
a、生成上报配置界面；
b、接收用户通过上报配置界面输入的上报配置项；
c、根据上报配置项更新上报配置表中的对应数据；
d、下发上报指令，根据上报配置项中的上报配置，使用gRPC与工控数据上报模块通信，将上报配置ID传给工控数据上报模块，接收上报模块对开始上报数据指令执行的结果，并将结果显示给用户；
e、停止上报指令，根据上报配置项中的上报配置，使用gRPC与工控数据上报模块通信，将上报配置ID传给工控数据上报模块，接收上报模块对停止上报数据指令执行的结果，并将结果显示给用户；
4)数据上报模块，包括接收上报配置模块发送的开始上报数据指令，根据上报配置ID在数据库中查找对应上报配置中的采集策略名称项，根据采集策略名称查找此项配置采集的数据，将数据进行去噪和归一化处理。
2.如权利要求1所述的工控安全数据采集系统，其特征在于：采集策略配置界面为WEB配置页面形式。
3.如权利要求1或2所述的工控安全数据采集系统，其特征在于：上报配置界面为：WEB配置页面形式。
4.如权利要求1或2所述的工控安全数据采集系统，其特征在于：上报配置表包括：上报策略名称、采集策略名称和上报周期。
5.一种工控安全数据采集方法，其特征在于：包括：工控安全数据的采集和工控安全数据的上报；
工控安全数据的采集，包括如下步骤：
步骤101：生成采集策略配置界面；
步骤102：接收用户通过采集策略配置界面输入的采集策略配置项；
步骤103：根据采集策略配置项更新采集策路配置表中的对应数据；
步骤104：下发采集指令通过gRPC通知相应协议的数据采集模块；
步骤105：数据采集模块收到所述采集指令，并根据采集策略ID去数据库查找采集策略配置，若成功连接目标设备，则向采集配置模块发送连接成功码，并开始周期性采集目标设备数据；否则，向采集配置模块发送连接失败码；
步骤106：采集策略配置模块接收数据采集模块返回的信息码，并将信息显示给用户；
工控安全数据的上报，包括如下步骤：
步骤201：生成上报配置界面；
步骤202：接收用户上报配置界面输入的上报配置项；
步骤203：根据上报配置项更新上报配置表中的对应数据；
步骤204：下发上报指令通过gRPC通知上报模块：用户选择一条上报配置，使用gRPC与上报模块通信，将上报配置ID传给工控数据上报模块；
步骤205：数据上报模块接收上报配置模块发送的开始上报数据指令，根据上报配置ID去数据库查找上报配置中的采集策略，并根据采集策略查找需此策略采集的所有数据；
步骤206：对数据进行去噪和归一化处理后再进行上报；
步骤207：若数据上报成功，则向上报配置模块发送上报成功码；否则，向上报配置模块发送上报失败码；
步骤208：上报配置模块接收数据上报模块返回的信息码，并将信息显示给用户；
步骤101中，用户通过采集策略配置界面输入采集策略配置项；其中，netflow配置项包括：策略名称和目标设备IP；syslog配置项包括：策略名称；snmp配置项包括：策略名称、采集周期、目标设备IP、目标设备端口和snmp版本号；ftp配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和日志文件路径；jdbc配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、目标数据库类型、目标数据库名称、目标数据库表名称、本地数据库用户名和本地数据库密码；wmi配置项包括：策略名称、采集周期、目标设备IP、用户名、密码和采集内容；ssh配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和采集类型；telnet配置项包括：策略名称、采集周期、目标设备IP、目标设备端口、用户名、密码和命令。
6.如权利要求5所述的工控安全数据采集方法，其特征在于：步骤103中，采集策略配置表包括策略名称、采集方式、目标设备IP、目标设备端口、用户名、密码、日志文件路径、snmp版本号、目标数据库类型、目标数据库名称、目标数据库表名称、本地数据库用户名、本地数据库密码、采集周期、采集类型和命令。
7.如权利要求5或6所述的工控安全数据采集方法，其特征在于：步骤104中，用户选择一条采集策略，并根据所述的采集策略中的采集协议配置项，使用gRPC与相应协议的工控数据采集模块通信，将所述采集策略ID传给工控数据采集模块。
8.如权利要求5或6所述的工控安全数据采集方法，其特征在于：步骤202中，用户通过上报配置界面输入上报配置项，即上报策略名称、采集策略名称和上报周期；步骤203中，上报配置表包括上报策略名称、采集策略名称和上报周期，上报配置表具体存储在系统内置数据库中，系统内置数据库具体为MySQL。
9.如权利要求8所述的工控安全数据采集方法，其特征在于：步骤206中，数据去噪处理为：
1)首先，根据领域专家的知识选择干净的数据，将其转换为一系列滑动窗口，然后计算每个滑动窗口的均值wmi和标准差wsi；通过计算两个转换后的数据集之间的马氏距离，选择靠近数据集中心的滑动窗口来表示背景正态数据的统计特性，第i个窗口的背景模型定义为：
其中，μm是所有样本wmi的均值向量，是其协方差矩阵，μs是所有样本wsi的均值向量，是其协方差矩阵，/>是样本向量wmi到μm的马氏距离，/>是样本向量wsi到μs的马氏距离；
2)将样本数据按从小到大排序，y轴的值表示分位数，x轴的值表示指定分布下分位数的理论值，x轴和y轴的表达式定义如下：
其中，Φ-1是标准正态分布的逆累积分布函数，n表示数据点个数，S(i)为噪声评分；
3)当窗口噪声得分满足以下条件时，将滑动窗口内的数据视为噪声点，
Sk∈{Si|f-Sk＞θ·max{Si}}
式中，θ为偏差系数，可根据需要进行动态调整；f为理论值的线性分布函数；Si为噪声评分的集合；Sk为第k个噪声评分；
数据归一化处理的流程为：
设网络输入节点数为N个，在相同条件下选取N个不同的特征参量(Y0,Y1,...,YN-1)作为网络的输入，每个特征参量选取L个特征值其中i＝0,1,…,N-1这就构成了样本空间(KL×N)，联合归一化方法分两步：
(1)列向量归一化：归一化后为：
其中，i＝0,1,...,N-1；j＝0,1,...,N-1；是特征向量Yi第j列向量归一化后的估计值,/>是特征向量Yi的第j个特征值，/>是特征向量Yi最大特征值，/>是特征向量Yi最小特征值；
(2)行向量归一化：归一化后为：
其中：i＝0,1,...,N-1，是特征向量Yi行向量归一化后的均值，/>是特征向量Yi列向量归一化后的估计值，/>是特征向量Yi列向量归一化后的最大特征值，/>是特征向量Yi列向量归一化后的最小特征值；
经过联合归一化后的数据作为网络的输入。
CN202210091069.4A 2022-01-26 2022-01-26 一种工控安全数据采集系统与方法 Active CN114546519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210091069.4A CN114546519B (zh) 2022-01-26 2022-01-26 一种工控安全数据采集系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210091069.4A CN114546519B (zh) 2022-01-26 2022-01-26 一种工控安全数据采集系统与方法

Publications (2)

Publication Number Publication Date
CN114546519A CN114546519A (zh) 2022-05-27
CN114546519B true CN114546519B (zh) 2023-10-03

Family

ID=81673669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210091069.4A Active CN114546519B (zh) 2022-01-26 2022-01-26 一种工控安全数据采集系统与方法

Country Status (1)

Country Link
CN (1) CN114546519B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685180A (zh) * 2011-10-18 2012-09-19 国网电力科学研究院 一种面向云计算的网络安全预警方法
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN105959144A (zh) * 2016-06-02 2016-09-21 中国科学院信息工程研究所 面向工业控制网络的安全数据采集与异常检测方法与系统
CN108241528A (zh) * 2017-01-19 2018-07-03 上海直真君智科技有限公司 一种用户自定义海量网络安全数据动态采集方法
CN109088870A (zh) * 2018-08-14 2018-12-25 国网甘肃省电力公司电力科学研究院 一种新能源厂站发电单元采集终端安全接入平台的方法
CN109542011A (zh) * 2018-12-05 2019-03-29 国网江西省电力有限公司信息通信分公司 一种多源异构监测数据的标准化采集系统
CN109995796A (zh) * 2019-04-29 2019-07-09 北京京航计算通讯研究所 工控系统终端安全防护方法
CN110336818A (zh) * 2019-07-08 2019-10-15 郑州黑猫数字科技有限公司 一种基于数据感知的安全数据采集方法及系统
CN111025970A (zh) * 2019-12-09 2020-04-17 安徽科杰粮保仓储设备有限公司 基于5g技术粮库粮食安全大数据采集方法
CN111935189A (zh) * 2020-10-12 2020-11-13 中国航空油料集团有限公司 工控终端策略控制系统及工控终端策略控制方法
CN112327777A (zh) * 2020-11-13 2021-02-05 上海能誉科技股份有限公司 一种数据采集系统及方法
CN113436029A (zh) * 2021-05-20 2021-09-24 河北建投新能源有限公司 风电数据采集系统与方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090077623A1 (en) * 2005-03-16 2009-03-19 Marc Baum Security Network Integrating Security System and Network Devices

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685180A (zh) * 2011-10-18 2012-09-19 国网电力科学研究院 一种面向云计算的网络安全预警方法
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN105959144A (zh) * 2016-06-02 2016-09-21 中国科学院信息工程研究所 面向工业控制网络的安全数据采集与异常检测方法与系统
CN108241528A (zh) * 2017-01-19 2018-07-03 上海直真君智科技有限公司 一种用户自定义海量网络安全数据动态采集方法
CN109088870A (zh) * 2018-08-14 2018-12-25 国网甘肃省电力公司电力科学研究院 一种新能源厂站发电单元采集终端安全接入平台的方法
CN109542011A (zh) * 2018-12-05 2019-03-29 国网江西省电力有限公司信息通信分公司 一种多源异构监测数据的标准化采集系统
CN109995796A (zh) * 2019-04-29 2019-07-09 北京京航计算通讯研究所 工控系统终端安全防护方法
CN110336818A (zh) * 2019-07-08 2019-10-15 郑州黑猫数字科技有限公司 一种基于数据感知的安全数据采集方法及系统
CN111025970A (zh) * 2019-12-09 2020-04-17 安徽科杰粮保仓储设备有限公司 基于5g技术粮库粮食安全大数据采集方法
CN111935189A (zh) * 2020-10-12 2020-11-13 中国航空油料集团有限公司 工控终端策略控制系统及工控终端策略控制方法
CN112327777A (zh) * 2020-11-13 2021-02-05 上海能誉科技股份有限公司 一种数据采集系统及方法
CN113436029A (zh) * 2021-05-20 2021-09-24 河北建投新能源有限公司 风电数据采集系统与方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Data collection for information security system";B.A. Fessi等;《2010 Second International Conference on Engineering System Management and Applications》;全文 *
"TELNET通用数据采集系统的研究与实现";张晓谦;《中国优秀硕士学位论文全文数据库 信息科技辑》;I140-429 *

Also Published As

Publication number Publication date
CN114546519A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Huang et al. Cloud-edge collaborative method for industrial process monitoring based on error-triggered dictionary learning
CN106228270B (zh) 一种大数据驱动的挤压设备的能耗预测方法及其系统
CN111209934B (zh) 风机故障预报警方法及系统
CN116797267A (zh) 用于股权投资的分布式市场数据采集管理系统
Chen et al. Industrial edge intelligence: Federated-meta learning framework for few-shot fault diagnosis
CN112231306A (zh) 基于大数据的能源数据分析系统及方法
CN117411810A (zh) 一种基于边缘计算的电气物联网安全预警方法
CN115129030B (zh) 一种基于模型与神经网络组合的无人机故障诊断系统
CN118276499B (zh) 一种基于数据识别的电气自动化控制系统及方法
CN112911530A (zh) 一种小微智能传感器网络拥塞辨识模型的建立方法
CN114546519B (zh) 一种工控安全数据采集系统与方法
CN111510489A (zh) 一种基于人工智能的物联网数据的采集分析系统
CN118377268A (zh) 一种基于物联网的数控机床控制方法及系统
CN114817178A (zh) 工业互联网数据存储方法、系统、存储介质及电子设备
CN117932358A (zh) 一种智能远程电场故障诊断方法及系统
CN109981594A (zh) 基于大数据的网络安全态势感知方法
CN116991743A (zh) 一种基于协议逆向的工控设备黑盒模糊测试方法
CN104881436A (zh) 一种基于大数据的电力通信设备性能分析方法及装置
CN113946483A (zh) 一种计算机硬件状态信息实时监测系统
CN110794799A (zh) 应用于工业生产的具有故障诊断功能的大数据系统
CN115640980A (zh) 基于目标控制的电网工程造价动态管理系统
CN115604082A (zh) 一种基于AIOps的故障诊断系统
Zhaojun et al. Statistic and analysis for host-based syslog
Zhuo et al. Network situation assessment based on RST
Yang Research on Network Security Situation Awareness Technology Based on Security Intelligent Monitoring Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant