CN110650137A - 煤矿网络异常行为预警方法、系统、设备及可读存储介质 - Google Patents

煤矿网络异常行为预警方法、系统、设备及可读存储介质 Download PDF

Info

Publication number
CN110650137A
CN110650137A CN201910901294.8A CN201910901294A CN110650137A CN 110650137 A CN110650137 A CN 110650137A CN 201910901294 A CN201910901294 A CN 201910901294A CN 110650137 A CN110650137 A CN 110650137A
Authority
CN
China
Prior art keywords
data
early warning
abnormal behavior
coal mine
cluster analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910901294.8A
Other languages
English (en)
Inventor
顾闯
孟庆勇
陈亚科
连龙飞
张立亚
李起伟
杨国伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Coal Research Institute CCRI
Original Assignee
China Coal Research Institute CCRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Coal Research Institute CCRI filed Critical China Coal Research Institute CCRI
Priority to CN201910901294.8A priority Critical patent/CN110650137A/zh
Publication of CN110650137A publication Critical patent/CN110650137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于聚类分析的煤矿网络异常行为预警方法，包括以下步骤：创建并部署Python脚本程序集，获取各位置安全数据信息；建立分布式数据库与各安全数据集合的逻辑映射文件；对文件内数据基于数据位进行规范化处理形成样本库；依据样本库特征情况通过K‑均值聚类分析用样本库反复迭代分析，最终形成预期的K个聚类样本库；判断不同样本库中的关键行为是否出现异常，若出现异常则发出提示；还公开了相对应的基于聚类分析的煤矿网络异常行为预警系统、设备及可读存储介质；可以采集多点多类型的工业互联网体系中安全数据的信息，并据此生成聚类集合实现是否安全的判断依据，提高对安全预警的能力，以及降低防护系统运维成本。

Description

煤矿网络异常行为预警方法、系统、设备及可读存储介质
技术领域
本发明涉及煤矿网络安全防护技术领域，尤其涉及一种基于聚类分析的煤矿网络异常行为预警方法、系统、设备及可读存储介质。
背景技术
目前，煤矿工业互联网信息安全预警方法，多以在核心位置或关键网络区域前端部署安全防护设备进行预制规则预警为主。而在煤矿工业互联网中存在多类型异构的生产、经营、管理类信息系统，对于单点局部区域或者核心区域的信息安全监控和异常行为预警存在着易遗漏、片面等问题。例如：
场景1：煤矿工业互联网中各类系统在井上和井下现场运行，系统类型差异较大，如基于云计算技术的ERP系统，基于物联网技术的人员定位系统，基于工控协议控制的井下综采系统等，各个系统通过煤矿企业环网实现互联互通，各子系统运行会受到直接的行为入侵或是从其他异构系统渗透而遭受攻击等问题。常见的预警方法：选择专业安全防护设备针对当前类型的系统进行重点安全防护，通过编写对应的防护实现程序脚本，由现场工程人员将安全防护设备部署在工业互联网体系核心或者边界处运行，将每个防护设备的脚本流量保存本地缓存后提取关键安全信息与预制数据库进行分析比对，实现预警提醒。这种方式存在以下缺陷：首先，工业互联网体系中各类业务系统技术架构、实现方式不同，不同功能性安全设备不会运行全部的安全防护脚本，并且多脚本运行也会造成通用软件或工业控制协议之间的混淆和影响，导致部分系统的异常运行或者预警信息误报等情况。其次煤矿工业互联网体系中互联网、局域办公网、调度监控网、工控生产网互联互动，各类业务系统交叉运行，很难有明确的网络关键位置或者出入口位置，因此也会存在安全防护遗漏或者预警级别混淆等情况。
场景2：煤矿工业互联网体系中异常安全行为多是依据相关系统的技术类型或者影响结果作为判断，常见的异常类型如攻击入侵、病毒渗透、数据窃取，系统中断等方式。由于大多部署的安全防护设备功能单一，可获得脚本数据少，安全数据来源单一，只能对单一系统的异常行为或影响进行预警。采用这种预警方式存在难以考虑到关联系统的安全异常问题，也有可能造成对异常行为的预警遗漏或者预警级别过低等问题。
发明内容
鉴于目前存在的上述不足，本发明提供一种基于聚类分析的煤矿网络异常行为预警方法，减少了单一设备或人为分析遗漏带来的潜在威胁，实现早期感知网络安全异常行为数据关联变化，提高对安全预警的能力，以及降低防护系统运维成本。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于聚类分析的煤矿网络异常行为预警方法，所述方法包括以下步骤：
创建并部署Python脚本程序集，获取各位置安全数据信息；
建立分布式数据库与各安全数据集合的逻辑映射文件；
基于K-均值聚类分析建立聚类分析平台；
将逻辑映射文件输入聚类分析平台获得K个聚类样本库；
判断不同样本库中的关键行为是否出现异常，若出现异常则发出提示。
依照本发明的一个方面，所述基于聚类分析的煤矿网络异常行为预警方法包括以下步骤：
针对体系中各系统安全数据位置探针获取数据包，确定不同安全数据抓取任务项形成python脚本程序集合；
根据安全数据抓取任务项编写建立相应的分布式数据库，提供规范化数据库接口；
获取各类安全数据文件形成安全数据集文件；
对安全数据集文件进行数据处理后存到建立的分布式数据库中并形成逻辑映射文件。
依照本发明的一个方面，所述python脚本的内容必须与数据库接口对应。
依照本发明的一个方面，所述获取各类安全数据文件形成安全数据集文件包括：将脚本集放置于工业互联网体系中核心或者业务系统的运行位置，根据不同安全数据的特征通过配置数据抓取任务参数，形成安全数据集文件。
依照本发明的一个方面，所述对安全数据集文件进行数据处理包括：数据清洗转换和数据过滤。
依照本发明的一个方面，所述基于聚类分析的煤矿网络异常行为预警方法包括以下步骤：
读取逻辑映射文件，在内存中执行对文件的规范化处理，建立不同来源的安全数据多维度信息和聚类分析计算范式的映射关系集合，再转存到管理客户端数据库中；
呈现可执行的规范化分析数据情况；
设置基于python开发的K-均值聚类分析程序参数；
根据程序参数设定进行聚类计算，并记录显示不同参数的聚类结果，根据同类数据位情况判断是否存在异常行为；
使用中断线程，中断提醒人工判断当前提醒是否作为异常行为样本模型。
依照本发明的一个方面，所述在内存中执行对文件的规范化处理包括以下步骤：
提取安全数据范式的个体征变量：来源地址、来源IP、起止时间、发生时段、登录信息、动作行为作为数据位,汇总形成聚类分析样本库；体系安全数据体征集合Loginf如下：
Loginf＝{[DSeri],[DSchi],[DFiri],[DProi],[DSqli]}i＝1,2,3...
其中D代表不同类型的安全数据集合，i是每一类安全数据源的数量，ser代表来源服务器，Sch代表来源交换机，Fir代表来源安全设备，Pro代表来源工控协议审计设备，Sql代表各业务的服务操作系统；
每一个D数据集合中包含[Smac，Dmac，Sip，Dip，T1，T2，TL，Lin，AC]9个数据位，分别代表[源mac地址，目的mac地址源IP地址，目的IP地址，起时间，结束时间，发生时长，登录信息，发生动作]。
依照本发明的一个方面，所述基于聚类分析的煤矿网络异常行为预警方法包括以下步骤：
在体系中部署并启动python脚本，在核心或者关键位置找到各业务系统的安全数据，解析获取数据信息，并执行规范化任务后形成逻辑映射文件集合；
加载聚类分析模型程序，将逻辑映射文件数据逐行输入，进行结果情况分析；
若无异常，为否；丢弃本次逻辑映射文件，并将分析模型程序初始化，程序进入等待采集状态；继续执行Python脚本，获取体系中探针采集的安全数据，完成下一次逻辑映射文件的生产；
若有异常，为是；启动预警模块，关联的网络、服务、安全等系统进行信息推送。
依照本发明的一个方面，所述基于聚类分析的煤矿网络异常行为预警方法包括：保存每个异常行为体系的结果，形成阶段性的当前安全防护预警异常行为记录集。
依照本发明的一个方面，所述逻辑映射文件保存为分布式HDFS数据文件；在执行聚类分析后，K个样本库出现多个提示时，可以对应调整K的数值，并多次执行python探针程序和K-均值聚类分析执行。
一种基于聚类分析的煤矿网络异常行为预警系统，所述基于聚类分析的煤矿网络异常行为预警系统包括：
Python脚本程序集，放置于体系中不同系统的采集位置，获取各系统的安全数据集合；
分布式数据库，提供规范化数据库接口可结构化存储来自python脚本的数据；
逻辑映射模块，用于对安全数据集文件进行数据处理后存到建立的分布式数据库中并形成逻辑映射文件；
聚类分析平台，用于读取逻辑映射文件进行聚类分析最终形成预期的K个聚类样本库；
异常预警模块，用于判断不同样本库中的关键行为是否出现异常，并在出现异常时发出提示。
一种基于聚类分析的煤矿网络异常行为预警设备，所述设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至10任一项所述的基于聚类分析的煤矿网络异常行为预警方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至10任一项所述的基于聚类分析的煤矿网络异常行为预警方法的步骤。
本发明实施的优点：本发明所述的基于聚类分析的煤矿网络异常行为预警方法，包括以下步骤：创建并部署Python脚本程序集，获取各位置安全数据信息；建立分布式数据库与各安全数据集合的逻辑映射文件；对文件内数据基于数据位进行规范化处理形成样本库；依据样本库特征情况通过K-均值聚类分析用样本库反复迭代分析，最终形成预期的K个聚类样本库；判断不同样本库中的关键行为是否出现异常，若出现异常则发出提示；可以通过执行python脚本集合，采集多点多类型的工业互联网体系中安全数据的信息，并据此生成聚类集合实现是否安全的判断依据，采用本发明可以实现针对煤矿工业互联网体系进行安全预警功能，减少了单一设备或人为分析遗漏带来的潜在威胁，实现早期感知网络安全异常行为数据关联变化，提高对安全预警的能力，以及降低防护系统运维成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的一种基于聚类分析的煤矿网络异常行为预警方法示意图；
图2为本发明所述的基于python语言探针程序获取安全数据阶段的配置流程示意图；
图3为本发明所述的基于K-均值聚类方法建立聚类分析平台模型阶段的配置流程示意图；
图4为本发明所述的基于K-均值聚类分析模型对煤矿工业互联网安全进行异常行为预警提醒阶段的配置流程示意图；
图5为本发明所述的基于聚类分析的煤矿网络异常行为预警系统示意图；
图6为本发明所述的基于聚类分析的煤矿网络异常行为预警设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1、图2、图3和图4所示，一种基于聚类分析的煤矿网络异常行为预警方法，所述方法包括以下步骤：
步骤S1：创建并部署Python脚本程序集，获取各位置安全数据信息；
所述步骤S1创建并部署Python脚本程序集，获取各位置安全数据信息具体可包括：
针对煤矿工业互联网体系中的防护设备和系统运行信息特征编写对应的python探针程序，形成获取探针集；将不同类型脚本集放置于体系中不同系统的采集位置，获取各系统的安全数据集合。
将脚本集放置于工业互联网体系中核心或者业务系统的运行位置，根据不同安全数据的特征通过配置数据抓取任务参数，如脚本获取网络流量参数、脚本获取系统日志参数、脚本获取工控协议等，配置方式可采用最简单的命令行配置方式，或者定制相应的图形化界面配置方式；形成安全数据集文件。
步骤S2：建立分布式数据库与各安全数据集合的逻辑映射文件；
所述步骤S2建立分布式数据库与各安全数据集合的逻辑映射文件的具体实施可包括：根据安全数据抓取任务项编写建立相应的分布式数据库，提供规范化数据库接口，确保来自python脚本数据可被结构化存储；
其中，python脚本内容必须与数据库接口对应，包含可执行的SQL语句若干，同时可使用注释等方式对SQL语句进行特征描述，表明其执行目的。例如，某SQL语句的类型(例如，insert)，可描述其插入字段意图以及用途做相应注释，为后面的执行结果保存及查看提供便利。
根据步骤S1获得的安全数据集文件，将其放置于数据清洗转换可访问到的位置，例如放置方式可以涉及网络传输方式进行放置。通过执行数据转换脚本进一步过滤掉无用数据，最后将安全数据存入步骤S2中建立的分布式数据库中并形成逻辑映射文件。
步骤S3：基于K-均值聚类分析建立聚类分析平台；
读取逻辑映射文件，在内存中执行对文件的规范化处理，建立不同来源的安全数据多维度信息和聚类分析计算范式的映射关系集合。对文件内数据进行基于数据来源、IP地址、认证信息、动作信息、起止时间、发生时段等数据位进行规范化处理形成样本库；依据样本库特征情况，选择距离计算公式、初始聚类中心点位置、计划聚类数量K值等参数；用样本库反复迭代分析，最终形成预期的K个聚类样本库；构建成聚类分析平台。
步骤S4：将逻辑映射文件输入聚类分析平台获得K个聚类样本库；
脚本实时获取探针采集的安全数据集，转存为逻辑映射文件，输入聚类分析平台，输入数据经过聚类形成K个样本库。
步骤S5：判断不同样本库中的关键行为是否出现异常，若出现异常则发出提示。
如不同样本库中的关键行为(源地址、发生时段、动作信息)一致，则提出报警提示，实现异常行为预警；
无异常则继续对执行所述python脚本获取数据。
其中，逻辑映射文件保存为分布式HDFS数据文件；
在执行聚类分析后，K个样本库出现多个预警提示时，可以对应调整K的数值，并多次执行python探针程序和K-均值聚类分析执行，提高预警精度；
执行完所有步骤后，保存每个异常行为体系的结果，形成阶段性的当前煤矿工业互联网体系安全防护预警异常行为记录集。
在实际应用中，本发明所述的基于聚类分析的煤矿网络异常行为预警方法具体可通过以下三个过程实现：
(1)基于python语言探针程序获取安全数据阶段；
(2)基于K-均值聚类方法建立聚类分析平台模型阶段；
(3)基于K-均值聚类分析模型对煤矿工业互联网安全进行异常行为预警提醒阶段；
其中，如图2所示，为基于python语言探针程序获取安全数据阶段配置流程，从而(1)基于python语言探针程序获取安全数据阶段具体可包括：
步骤101，针对体系中各系统安全数据位置探针获取数据包，确定不同安全数据抓取任务项形成python脚本程序集合。
步骤102，根据安全数据抓取任务项编写建立相应的分布式数据库，提供规范化数据库接口，确保来自python脚本数据可被结构化存储。
其中，python脚本内容必须与数据库接口对应，包含可执行的SQL语句若干，同时可使用注释等方式对SQL语句进行特征描述，表明其执行目的。例如，某SQL语句的类型(例如，insert)，可描述其插入字段意图以及用途做相应注释，为后面的执行结果保存及查看提供便利。
步骤103获取各类安全数据文件。将脚本集放置于工业互联网体系中核心或者业务系统的运行位置，根据不同安全数据的特征通过配置数据抓取任务参数，如脚本获取网络流量参数、脚本获取系统日志参数、脚本获取工控协议等，配置方式可采用最简单的命令行配置方式，或者定制相应的图形化界面配置方式。形成安全数据集文件
步骤104根据103输出的安全数据集文件，将其放置于数据清洗转换可访问到的位置，例如放置方式可以涉及网络传输方式进行放置。通过执行数据转换脚本进一步过滤掉无用数据，最后将安全数据存入102步骤中建立的分布式数据库中并形成逻辑映射文件。
如图3所示，为基于K-均值聚类方法建立聚类分析平台模型阶段配置流程，从而(2)基于K-均值聚类方法建立聚类分析平台模型阶段可具体包括以下步骤：
步骤201，聚类分析平台读取逻辑映射文件，在内存中执行对文件的规范化处理，建立不同来源的安全数据多维度信息和聚类分析计算范式的映射关系集合，再转存到管理客户端数据库中。例如下表一为获取到的原始数据形式，如下表二所示，为逻辑映射文件数据形式。：
Figure BDA0002211900370000091
表一
Figure BDA0002211900370000092
表二
规范化工作：
提取安全数据范式的个体征变量：来源地址、来源IP、起止时间、发生时段、登录信息、动作行为作为数据位，汇总形成聚类分析样本库。体系安全数据体征集合Loginf：
Loginf＝{[DSeri]，[DSchi]，[DFiri]，[DProi]，[DSqli]}i＝1，2，3...
其中D代表不同类型的安全数据集合，i是每一类安全数据源的数量，ser代表来源服务器，Sch代表来源交换机，Fir代表来源安全设备，Pro代表来源工控协议审计设备，Sql代表各业务的服务操作系统。
每一个D数据集合中包含[Smac，Dmac，Sip，Dip，T1，T2，TL，Lin，AC]9个数据位，分别代表[源mac地址，目的mac地址源IP地址，目的IP地址，起时间，结束时间，发生时长，登录信息，发生动作]。
步骤202，通过人机交互方式，呈现可执行的规范化分析数据情况。
步骤203，通过人机交互方式，设置基于python开发的K-均值聚类分析程序，分析过程程序参数设置包括距离计算方法eucl或者pearson，预制聚类数量K在5-10个之间整数，初始中心点位置信息等；执行动作参数包括执行过程的中心点均值计算函数，执行聚类次数，最终聚类集合等。
步骤204，聚类分析平台根据程序参数设定进行聚类计算，并记录显示不同参数的聚类结果，自动提示同类数据位情况，如数据位的源地址、发生时段、发生动作数值相同时，既定为异常行为，并自动保存到行异常集合。
步骤205，使用中断线程，中断提醒人工判断当前提醒是否作为异常行为样本模型。
如图4所示，为基于K-均值聚类分析模型对煤矿工业互联网安全进行异常行为预警提醒阶段配置流程，从而(3)基于K-均值聚类分析模型对煤矿工业互联网安全进行异常行为预警提醒阶段具体可包括以下步骤：
步骤301，在体系中部署并启动python脚本，在核心或者关机位置找到各业务系统的安全数据，解析获取数据信息，并执行规范化任务、并形成逻辑映射文件集合。
步骤302，加载聚类分析模型程序，将逻辑映射文件数据逐行输入，进行结果情况分析。
步骤303，若无异常，为否。分析平台丢弃本次逻辑映射文件，并将分析模型程序初始化，程序进入等待采集状态。系统继续执行Python脚本，获取体系中探针采集的安全数据，完成下一次逻辑映射文件的生产。
步骤304，若有异常，为是。聚类分析平台启动预警模块，关联的网络、服务、安全等系统进行信息推送。聚类分析平台记录报警信息：本次异常数据来源信息、发生时间信息、异常数据情况等。
本发明的目的在于利用大数据分析的思想，提供一种基于K-均值聚类分析的异常行为预警模型方法，其可以通过执行python脚本集合，采集多点多类型的工业互联网体系中安全数据的信息，并据此生成聚类集合实现是否安全的判断依据，采用本发明可以实现针对煤矿工业互联网体系进行安全预警功能，减少了单一设备或人为分析遗漏带来的潜在威胁，实现早期感知网络安全异常行为数据关联变化，提高对安全预警的能力，以及降低防护系统运维成本。
实施例二
如图5所示，一种基于聚类分析的煤矿网络异常行为预警系统，所述基于聚类分析的煤矿网络异常行为预警系统包括：
Python脚本程序集1，放置于体系中不同系统的采集位置，获取各系统的安全数据集合；
分布式数据库2，提供规范化数据库接口可结构化存储来自python脚本的数据；
逻辑映射模块3，用于对安全数据集文件进行数据处理后存到建立的分布式数据库中并形成逻辑映射文件；
聚类分析平台4，用于依据样本库特征情况通过K-均值聚类分析用样本库反复迭代分析，最终形成预期的K个聚类样本库；
异常预警模块5，用于判断不同样本库中的关键行为是否出现异常，并在出现异常时发出提示。
所述基于聚类分析的煤矿网络异常行为预警系统的工作过程可如下：
创建并部署Python脚本程序集，获取各位置安全数据信息；
建立分布式数据库与各安全数据集合的逻辑映射文件；
基于K-均值聚类分析建立聚类分析平台；
将逻辑映射文件输入聚类分析平台获得K个聚类样本库；
判断不同样本库中的关键行为是否出现异常，若出现异常则发出提示。
实施例三
如图6所示，一种基于聚类分析的煤矿网络异常行为预警设备，所述设备包括：
存储器100，用于存储计算机程序；
处理器200，用于执行所述计算机程序时实现如实施例一所述的基于聚类分析的煤矿网络异常行为预警方法的步骤。
实施例四
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被执行时实现如实施例一所述的基于聚类分析的煤矿网络异常行为预警方法的步骤。
本发明实施的优点：本发明所述的基于聚类分析的煤矿网络异常行为预警方法，包括以下步骤：创建并部署Python脚本程序集，获取各位置安全数据信息；建立分布式数据库与各安全数据集合的逻辑映射文件；对文件内数据基于数据位进行规范化处理形成样本库；依据样本库特征情况通过K-均值聚类分析用样本库反复迭代分析，最终形成预期的K个聚类样本库；判断不同样本库中的关键行为是否出现异常，若出现异常则发出提示；可以通过执行python脚本集合，采集多点多类型的工业互联网体系中安全数据的信息，并据此生成聚类集合实现是否安全的判断依据，采用本发明可以实现针对煤矿工业互联网体系进行安全预警功能，减少了单一设备或人为分析遗漏带来的潜在威胁，实现早期感知网络安全异常行为数据关联变化，提高对安全预警的能力，以及降低防护系统运维成本。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述方法包括以下步骤：
创建并部署Python脚本程序集，获取各位置安全数据信息；
建立分布式数据库与各安全数据集合的逻辑映射文件；
基于K-均值聚类分析建立聚类分析平台；
将逻辑映射文件输入聚类分析平台获得K个聚类样本库；
判断不同样本库中的关键行为是否出现异常，若出现异常则发出提示。
2.根据权利要求1所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述基于聚类分析的煤矿网络异常行为预警方法包括以下步骤：
针对体系中各系统安全数据位置探针获取数据包，确定不同安全数据抓取任务项形成python脚本程序集合；
根据安全数据抓取任务项编写建立相应的分布式数据库，提供规范化数据库接口；
获取各类安全数据文件形成安全数据集文件；
对安全数据集文件进行数据处理后存到建立的分布式数据库中并形成逻辑映射文件。
3.根据权利要求2所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述python脚本的内容必须与数据库接口对应。
4.根据权利要求2所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述获取各类安全数据文件形成安全数据集文件包括：将脚本集放置于工业互联网体系中核心或者业务系统的运行位置，根据不同安全数据的特征通过配置数据抓取任务参数，形成安全数据集文件。
5.根据权利要求4所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述对安全数据集文件进行数据处理包括：数据清洗转换和数据过滤。
6.根据权利要求1所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述基于聚类分析的煤矿网络异常行为预警方法包括以下步骤：
读取逻辑映射文件，在内存中执行对文件的规范化处理，建立不同来源的安全数据多维度信息和聚类分析计算范式的映射关系集合，再转存到管理客户端数据库中；
呈现可执行的规范化分析数据情况；
设置基于python开发的K-均值聚类分析程序参数；
根据程序参数设定进行聚类计算，并记录显示不同参数的聚类结果，根据同类数据位情况判断是否存在异常行为；
使用中断线程，中断提醒人工判断当前提醒是否作为异常行为样本模型。
7.根据权利要求6所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述在内存中执行对文件的规范化处理包括以下步骤：
提取安全数据范式的个体征变量：来源地址、来源IP、起止时间、发生时段、登录信息、动作行为作为数据位,汇总形成聚类分析样本库；体系安全数据体征集合Loginf如下：
Loginf＝{[DSeri],[DSchi],[DFiri],[DProi],[DSqli]}i＝1,2,3...
其中D代表不同类型的安全数据集合，i是每一类安全数据源的数量，ser代表来源服务器，Sch代表来源交换机，Fir代表来源安全设备，Pro代表来源工控协议审计设备，Sql代表各业务的服务操作系统；
每一个D数据集合中包含[Smac，Dmac，Sip，Dip，T1，T2，TL，Lin，AC]9个数据位，分别代表[源mac地址，目的mac地址源IP地址，目的IP地址，起时间，结束时间，发生时长，登录信息，发生动作]。
8.根据权利要求1所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述基于聚类分析的煤矿网络异常行为预警方法包括以下步骤：
在体系中部署并启动python脚本，在核心或者关键位置找到各业务系统的安全数据，解析获取数据信息，并执行规范化任务后形成逻辑映射文件集合；
加载聚类分析模型程序，将逻辑映射文件数据逐行输入，进行结果情况分析；
若无异常，为否；丢弃本次逻辑映射文件，并将分析模型程序初始化，程序进入等待采集状态；继续执行Python脚本，获取体系中探针采集的安全数据，完成下一次逻辑映射文件的生产；
若有异常，为是；启动预警模块，关联的网络、服务、安全等系统进行信息推送。
9.根据权利要求1至8之一所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述基于聚类分析的煤矿网络异常行为预警方法包括：保存每个异常行为体系的结果，形成阶段性的当前安全防护预警异常行为记录集。
10.根据权利要求9所述的基于聚类分析的煤矿网络异常行为预警方法，其特征在于，所述逻辑映射文件保存为分布式HDFS数据文件；在执行聚类分析后，K个样本库出现多个提示时，可以对应调整K的数值，并多次执行python探针程序和K-均值聚类分析执行。
11.一种基于聚类分析的煤矿网络异常行为预警系统，其特征在于，所述基于聚类分析的煤矿网络异常行为预警系统包括：
Python脚本程序集，放置于体系中不同系统的采集位置，获取各系统的安全数据集合；
分布式数据库，提供规范化数据库接口可结构化存储来自python脚本的数据；
逻辑映射模块，用于对安全数据集文件进行数据处理后存到建立的分布式数据库中并形成逻辑映射文件；
聚类分析平台，用于读取逻辑映射文件进行聚类分析最终形成预期的K个聚类样本库；
异常预警模块，用于判断不同样本库中的关键行为是否出现异常，并在出现异常时发出提示。
12.一种基于聚类分析的煤矿网络异常行为预警设备，其特征在于，所述设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至10任一项所述的基于聚类分析的煤矿网络异常行为预警方法的步骤。
13.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至10任一项所述的基于聚类分析的煤矿网络异常行为预警方法的步骤。
CN201910901294.8A 2019-09-23 2019-09-23 煤矿网络异常行为预警方法、系统、设备及可读存储介质 Pending CN110650137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910901294.8A CN110650137A (zh) 2019-09-23 2019-09-23 煤矿网络异常行为预警方法、系统、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910901294.8A CN110650137A (zh) 2019-09-23 2019-09-23 煤矿网络异常行为预警方法、系统、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110650137A true CN110650137A (zh) 2020-01-03

Family

ID=68992386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910901294.8A Pending CN110650137A (zh) 2019-09-23 2019-09-23 煤矿网络异常行为预警方法、系统、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110650137A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128862A (zh) * 2021-04-16 2021-07-16 唐山不锈钢有限责任公司 一种转炉煤气智能调度系统
CN113590449A (zh) * 2021-08-11 2021-11-02 云智慧（北京）科技有限公司 一种基于Python的应用性能数据采集技术
CN115174233A (zh) * 2022-07-08 2022-10-11 广东瑞普科技股份有限公司 基于大数据的网络安全分析方法、设备、系统及介质
CN116466940A (zh) * 2023-04-24 2023-07-21 中煤科工集团重庆研究院有限公司 一种煤矿灾害特征数据融合处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559414A (zh) * 2016-10-31 2017-04-05 华中科技大学 基于区域态势信息的网络攻击后果动态定量评估方法
CN106998326A (zh) * 2017-03-22 2017-08-01 北京匡恩网络科技有限责任公司 工业控制网络行为监测方法、装置、以及系统
US9787704B2 (en) * 2015-03-06 2017-10-10 Ca, Inc. Anomaly detection based on cluster transitions
CN107528823A (zh) * 2017-07-03 2017-12-29 中山大学 一种基于改进的K‑Means聚类算法的网络异常检测方法
CN107995162A (zh) * 2017-10-27 2018-05-04 深信服科技股份有限公司 网络安全感知系统、方法及可读存储介质
CN109660526A (zh) * 2018-12-05 2019-04-19 国网江西省电力有限公司信息通信分公司 一种应用于信息安全领域的大数据分析方法
US20190138716A1 (en) * 2017-11-03 2019-05-09 International Business Machines Corporation Identifying Internet of Things Network Anomalies Using Group Attestation
CN109861383A (zh) * 2018-11-30 2019-06-07 国网江苏省电力有限公司南京供电分公司 一种融合电网信息物理异常的事件预处理方法
CN109885562A (zh) * 2019-01-17 2019-06-14 安徽谛听信息科技有限公司 一种基于网络空间安全的大数据智能分析系统
CN110113347A (zh) * 2019-05-14 2019-08-09 北京天地和兴科技有限公司 一种检测工控网络应用层协议报文长度异常的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9787704B2 (en) * 2015-03-06 2017-10-10 Ca, Inc. Anomaly detection based on cluster transitions
CN106559414A (zh) * 2016-10-31 2017-04-05 华中科技大学 基于区域态势信息的网络攻击后果动态定量评估方法
CN106998326A (zh) * 2017-03-22 2017-08-01 北京匡恩网络科技有限责任公司 工业控制网络行为监测方法、装置、以及系统
CN107528823A (zh) * 2017-07-03 2017-12-29 中山大学 一种基于改进的K‑Means聚类算法的网络异常检测方法
CN107995162A (zh) * 2017-10-27 2018-05-04 深信服科技股份有限公司 网络安全感知系统、方法及可读存储介质
US20190138716A1 (en) * 2017-11-03 2019-05-09 International Business Machines Corporation Identifying Internet of Things Network Anomalies Using Group Attestation
CN109861383A (zh) * 2018-11-30 2019-06-07 国网江苏省电力有限公司南京供电分公司 一种融合电网信息物理异常的事件预处理方法
CN109660526A (zh) * 2018-12-05 2019-04-19 国网江西省电力有限公司信息通信分公司 一种应用于信息安全领域的大数据分析方法
CN109885562A (zh) * 2019-01-17 2019-06-14 安徽谛听信息科技有限公司 一种基于网络空间安全的大数据智能分析系统
CN110113347A (zh) * 2019-05-14 2019-08-09 北京天地和兴科技有限公司 一种检测工控网络应用层协议报文长度异常的方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SIMON DUQUE ANTON: ""Evaluation of Machine Learning-based Anomaly Detection Algorithms on an Industrial Modbus/TCP Data Set"", 《SRES》 *
SIMON DUQUE ANTON: ""Evaluation of Machine Learning-based Anomaly Detection Algorithms on an Industrial Modbus/TCP Data Set"", 《SRES》, 30 August 2018 (2018-08-30) *
庄怡雯: ""基于Python的聚类分析及其应用"", 《万方》 *
庄怡雯: ""基于Python的聚类分析及其应用"", 《万方》, 21 June 2010 (2010-06-21) *
陈伟: ""一种基于Python 的K-means 聚类算法分析"", 《万方》 *
陈伟: ""一种基于Python 的K-means 聚类算法分析"", 《万方》, 25 December 2017 (2017-12-25) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128862A (zh) * 2021-04-16 2021-07-16 唐山不锈钢有限责任公司 一种转炉煤气智能调度系统
CN113590449A (zh) * 2021-08-11 2021-11-02 云智慧（北京）科技有限公司 一种基于Python的应用性能数据采集技术
CN113590449B (zh) * 2021-08-11 2022-03-04 云智慧（北京）科技有限公司 一种基于Python的应用性能数据采集方法
CN115174233A (zh) * 2022-07-08 2022-10-11 广东瑞普科技股份有限公司 基于大数据的网络安全分析方法、设备、系统及介质
CN115174233B (zh) * 2022-07-08 2024-03-26 广东瑞普科技股份有限公司 基于大数据的网络安全分析方法、设备、系统及介质
CN116466940A (zh) * 2023-04-24 2023-07-21 中煤科工集团重庆研究院有限公司 一种煤矿灾害特征数据融合处理方法
CN116466940B (zh) * 2023-04-24 2024-05-31 中煤科工集团重庆研究院有限公司 一种煤矿灾害特征数据融合处理方法

Similar Documents

Publication Publication Date Title
CN110650137A (zh) 煤矿网络异常行为预警方法、系统、设备及可读存储介质
US10083210B2 (en) Executing continuous event processing (CEP) queries in parallel
US9262258B2 (en) Handling faults in a continuous event processing (CEP) system
CN103793284B (zh) 基于共同序列模式的、用于智能客户服务的分析系统和方法
US20180357214A1 (en) Log analysis system, log analysis method, and storage medium
CN112564988B (zh) 告警处理方法、装置及电子设备
CN111694718A (zh) 内网用户异常行为识别方法、装置、计算机设备及可读存储介质
US10528456B2 (en) Determining idle testing periods
CN107003931B (zh) 将测试验证从测试执行分离
CN113949652B (zh) 基于人工智能的用户异常行为检测方法、装置及相关设备
CN110971464A (zh) 一种适合灾备中心的运维自动化系统
US10929258B1 (en) Method and system for model-based event-driven anomalous behavior detection
CN113347170A (zh) 一种基于大数据框架的智能分析平台设计方法
US10262133B1 (en) System and method for contextually analyzing potential cyber security threats
WO2017023299A1 (en) Composing future tests
CN117422434A (zh) 一种智慧运维调度平台
WO2022115419A1 (en) Method of detecting an anomaly in a system
CN117220957A (zh) 一种基于威胁情报的攻击行为响应方法及系统
Li et al. Converting unstructured system logs into structured event list for anomaly detection
CN116467202A (zh) 自动化测试方法和自动化测试系统、电子设备、存储介质
EP3343372A1 (en) Distributed cache cleanup for analytic instance runs processing operating data from industrial assets
CN115408236A (zh) 一种日志数据审计系统、方法、设备及介质
Li et al. Event block identification and analysis for effective anomaly detection to build reliable HPC systems
CN110891039B (zh) 一种基于lm神经网络的煤矿监控系统安全预警方法
CN115062144A (zh) 一种基于知识库和集成学习的日志异常检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103

RJ01 Rejection of invention patent application after publication