CN108718303B - 安全运维管理方法及系统 - Google Patents

安全运维管理方法及系统 Download PDF

Info

Publication number
CN108718303B
CN108718303B CN201810439158.7A CN201810439158A CN108718303B CN 108718303 B CN108718303 B CN 108718303B CN 201810439158 A CN201810439158 A CN 201810439158A CN 108718303 B CN108718303 B CN 108718303B
Authority
CN
China
Prior art keywords
baseline
time point
data
time
confidence interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810439158.7A
Other languages
English (en)
Other versions
CN108718303A (zh
Inventor
欧阳云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Renhe Credit Technology Co ltd
Original Assignee
Beijing Renhe Credit Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Renhe Credit Technology Co ltd filed Critical Beijing Renhe Credit Technology Co ltd
Priority to CN201810439158.7A priority Critical patent/CN108718303B/zh
Publication of CN108718303A publication Critical patent/CN108718303A/zh
Application granted granted Critical
Publication of CN108718303B publication Critical patent/CN108718303B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种安全运维管理方法及系统，包括：采集网络安全事件；建立基线模型；选取设定时间周期网络安全事件的数据量为训练集；将时间周期分成多个子时间周期，每子时间周期包括多个时间点，将每个子时间周期的每个时间点的数据量为样本点分别代入基线模型进行训练，得到每个时间点的基线值及其置信区间；监测设定时间周期后每个时间点的数据量是否在对应基线置信区间内；根据监测结果发出决策，包括：若在置信区间内，将所述时间点数据量纳入训练集，重新计算时间点基线值及其置信区间；若不在置信区间内，产生基线预警，或将时间点数据量纳入训练集，重新计算时间点基线值及其置信区间，或清除历史数据，将时间点数据量作为基线值。

Description

安全运维管理方法及系统
技术领域
本发明涉及网络安全技术领域，更为具体地，涉及一种安全运维管理方法及系统。
背景技术
网络安全事件预警分析中可以利用异常检测，异常检测用于处理之前未知的事件。基线技术的使用是异常检测的一种手段，为网络安全事件提供标准度量，例如，有人试图使用拒绝服务攻击的手段攻击企业内的IT资产，使其无法对外提供服务，此时可以使用统计基线技术，分析IT资产的连接何时增加，并且能够在拒绝服务攻击成为安全问题前检测出来。
通常采用阈值用于确定何时某些指标超过了基线的值。在此过程中阈值需要自动化创建，例如是查看每小时内的日志数据，执行下面的操作：
1、收集最近10分钟内的日志数据/事件计数
2、收集1小时内的日志数据/事件计数
3、收集1天内的日志数据/事件计数
根据收集到的计数信息，可以从中分析出异常情况，这样提供可用的基本阈值，特别是分析说明这些事件来源是未知的情况。
为了建立基线，需要有许多规范化形式的数据以及专家知识库积累。通过专家知识库的积累辨别正常情况或不正常情况，不进行训练数据。
上述基线方法具有以下问题：
(1)没有自定义采集周期，无法通过统计方法来计算出实际情况的基线；
(2)没有考虑到每个周期样本点的变化情况，从而无法生成动态基线；
(3)无法取出样本点中的异样数据，从而重新计算基线；
(4)没有忙时和闲时概念，没有考虑到运维实际环境的忙闲时变化问题。
发明内容
鉴于上述问题，本发明的目的是提供一种生成实际动态基线的安全运维管理方法及系统。
根据本发明的一个方面，提供一种安全运维管理系统，包括：采集模块，采集网络安全事件；基线构建模块，建立基线模型，选取设定时间周期采集模块采集的网络安全事件的数据量作为训练集，将所述时间周期分成多个子时间周期，每个子时间周期包括多个时间点，将每个子时间周期的每个时间点的所述数据量作为样本点分别代入基线模型进行训练，得到每个时间点的基线值及其对应的置信区间，各时间点的基线值的集合为基线数据；预警监测模块，监测所述设定时间周期后每个时间点的数据量是否在对应的基线构建模块构建的所述时间点的置信区间内，将监测结果发送给决策模块；决策模块，根据预警监测模块的监测结果发出决策，所述决策包括：当时间点的数据量在其基线的置信区间内时，将所述时间点的数据量纳入训练集，重新计算所述时间点的基线值及其置信区间；当时间点的数据量不在其基线的置信区间内时，产生基线预警或将所述时间点的数据量纳入训练集或清除历史数据，将所述时间点的数据量作为基线值。
根据本发明的另一个方面，提供一种安全运维管理方法，包括：步骤S1，采集网络安全事件；步骤S2，建立基线模型；步骤S3，选取设定时间周期采集模块采集的网络安全事件的数据量作为训练集；步骤S4，将所述时间周期分成多个子时间周期，每个子时间周期包括多个时间点，将每个子时间周期的每个时间点的所述数据量作为样本点分别代入基线模型进行训练，得到每个时间点的基线值及其对应的置信区间，各时间点的基线值的集合为基线数据；步骤S5，监测所述设定时间周期后每个时间点的数据量是否在对应所述时间点基线的置信区间内；步骤S6，根据监测结果发出决策，其中，所述决策包括：当时间点的数据量在其基线的置信区间内时，将所述时间点的数据量纳入训练集，重新计算所述时间点的基线值及其置信区间；当时间点的数据量不在其基线的置信区间内时，产生基线预警，或将所述时间点的数据量纳入训练集，重新计算所述时间点的基线值及其置信区间，或清除历史数据，将所述时间点的数据量作为基线值。
本发明所述安全运维管理方法及系统选取设定时间周期网络安全事件的数据量作为训练集对基线模型及其置信区间进行训练，通过统计方法来计算出实际情况的基线；考虑到每个周期样本点的变化情况，能够生成动态基线；能够取出样本点中的异样数据，从而重新计算基线；可以利用设定时间周期区分忙时和闲时概念，考虑到运维实际环境的忙闲时变化问题。
附图说明
通过参考以下结合附图的说明，随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1是本发明所述安全运维管理系统的构成框图；
图2是本发明所述安全运维管理方法的流程图；
图3是本发明所述采用时间点的各样本点的数据量的均值作为基线值的方法的流程图；
图4是本发明所述采用基线进行预警监测的流程图；
图5是本发明所述对基线进行数据校正的流程图；
图6是本发明所述安全运维管理方法的一个优选实施例的流程图；
图7是24小时的基线图的示意图；
图8是采用现有技术基线预警方法得到的24小时基线变化的曲线示意图；
图9是采用本发明安全运维管理方法得到的24小时基线变化的曲线示意图。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。以下将结合附图对本发明的具体实施例进行详细描述。
以下将结合附图对本发明的具体实施例进行详细描述。
图1是本发明所述安全运维管理系统的构成框图，如图1所示，本发明所述安全运维管理系统包括：
采集模块1，采集网络安全事件，例如，所述网络安全事件包括：用户登录和注销数量，入站和出站网络流量，特定端口/服务/协议的网络流量，管理帐号的使用/访问，运行在服务器上的进程，发送和接收日志数据总数，按照协议和端口统计日志消息类型，每个来源独特报警计数，每个来源独特端口计数，IT资产日志量计数等；
基线构建模块2，建立基线模型(例如利用多元状态估计技术建立基线模型)，选取设定时间周期采集模块采集的网络安全事件的数据量作为训练集，将所述时间周期分成多个子时间周期，每个子时间周期包括多个时间点，将每个子时间周期的每个时间点的所述数据量作为样本点分别代入基线模型进行训练，得到每个时间点的基线值及其对应的置信区间，各时间点的基线值的集合为基线数据；
预警监测模块3，监测所述设定时间周期后每个时间点的数据量是否在对应的基线构建模块构建的所述时间点的置信区间内，将监测结果发送给决策模块；
决策模块4，根据预警监测模块的监测结果发出决策，所述决策包括：当时间点的数据量在其基线的置信区间内时，将所述时间点的数据量纳入训练集，基线构建模块2重新计算所述时间点的基线值及其置信区间；当时间点的数据量不在其基线的置信区间内时，产生基线预警或将所述时间点的数据量纳入训练集或清除历史数据，将所述时间点的数据量作为基线值。
上述设定时间周期可以是一个随着时间点的数量逐渐递增的时间周期，也可以是一个固定的时间周期，当采用固定的时间周期时，新的时间点纳入训练集时，可以将最早的时间点删除或者将于该时间点的基线值误差最大的时间点删除。
优选地，上述安全运维管理系统还包括：
重置基线模块5，根据训练集增加的样本点更新基线及其置信区间，包括计算策略设定单元51、历史加载单元52、样本点更新单元53、新基线生成单元54，其中：
计算策略设定单元51，设定样本点的计算策略，所述计算策略包括距离最短策略、时间最长策略和指定时间策略中的一种或多种；
历史加载单元52，加载基线的历史数据；
样本点更新单元53，根据设定的计算策略重新生成各时间点的样本点；
新基线生成单元54，将更新后的样本点代入基线模型进行训练，更新各时间点的基线值及其对应的置信区间。
在本发明的一个实施例中，基线构建模块2包括：
第一加载单元21，加载训练参数，所述训练参数包括时间周期、子时间周期、时间点、资产范围和训练系数中的一种或多种，所述训练系数为资产对应的权重；
选取单元22，从采集模块选取符合训练参数的训练集；
聚类单元23，对各时间点的训练集内的样本点进行聚类；
正常样本点生成单元24，将各时间点的聚类结果中的样本点作为正常样本点；
基线构建单元25，构建基线模型；
训练单元26，将各时间点的正常样本点代入基线构建单元构建的基线模型，得到各时间点的基线值及其置信区间。
在本发明的一个实施例中，预警监测模块3包括：
启动单元31，在启动时间，发送指令给第二加载单元和查询单元，所述启动时间为所述设定时间周期后时间点和延时时间之和；
第二加载单元32，接收到启动单元指令后，从基线构建模块加载基线数据；
查询单元33，接收到启动单元指令后，从采集模块调用启动时间前的时间点的数据量；
第三判断单元34，判断查询单元调用的所述时间点的数据量是否在第二加载单元加载的所述时间点的基线值的置信区间内，将判断结果发送给决策模块4。
在本发明的一个实施例中，决策模块4包括：
第一判断单元41，判断时间点的数据量是否为报警数据，所述报警数据为超过置信区间的数据点的数据量，将报警数据发送给第二判断单元42，将非报警数据发送给第一更新单元43；
第二判断单元42，判断是否清除历史基线数据，如果清楚历史基线数据，将报警数据发送给第二更新单元44，如果不清楚历史基线数据，将报警数据发送给第一更新单元43；
第一更新单元43，将第一判断单元发送的非报警数据或第二判断单元发送的报警数据，纳入训练集，重新计算所述时间点的基线值及其置信区间；
第二更新单元44，将报警数据作为对应的时间点的基线值。
图2是本发明所述安全运维管理方法的流程图，如图2所示，所述安全运维管理方法包括：
步骤S1，采集网络安全事件；
步骤S2，建立基线模型；
步骤S3，选取设定时间周期采集模块采集的网络安全事件的数据量作为训练集；
步骤S4，将所述时间周期分成多个子时间周期，每个子时间周期包括多个时间点，将每个子时间周期的每个时间点的所述数据量作为样本点分别代入基线模型进行训练，得到每个时间点的基线值及其对应的置信区间，各时间点的基线值的集合为基线数据，
d＝a±b*c
其中，a为时间点的基线值；d为时间点的置信区间；b为时间点的各样本点的标准偏差，c为置信系数，优选地，c＝1.96；
步骤S5，监测所述设定时间周期后每个时间点的数据量是否在对应的所述时间点基线的置信区间内；
步骤S6，根据监测结果发出决策，具体地：当时间点的数据量在其基线的置信区间内时，将所述时间点的数据量纳入训练集，重新计算所述时间点的基线值及其置信区间；当时间点的数据量不在其基线的置信区间内时，产生基线预警，或将所述时间点的数据量纳入训练集，重新计算所述时间点的基线值及其置信区间，或清除历史数据，将所述时间点的数据量作为基线值。
在步骤S4中，可以采用时间点的各样本点的数据量的均值作为基线值。
在步骤S6中，所述重新计算所述时间点的基线值及其置信区间的方法包括：
设定样本点的计算策略，所述计算策略包括距离最短策略、时间最长策略和指定时间策略中的一种或多种；
加载基线的历史数据；
根据设定的计算策略重新生成各时间点的样本点；
将更新后的样本点代入基线模型进行训练，更新各时间点的基线值及其对应的置信区间。
在本发明的一个实施例中，如图3所示，步骤S4包括：
步骤S41，加载训练参数，所述训练参数包括时间周期、子时间周期、时间点、资产范围和训练系数中的一种或多种，所述训练系数为资产对应的权重；
步骤S42，对各时间点的训练集内的样本点进行聚类；
步骤S43，将各时间点的聚类结果中的样本点作为正常样本点；
步骤S44，将各时间点的正常样本点代入基线模型，得到各时间点的基线值及其置信区间。
在本发明的一个实施例中，如图4所示，步骤S5包括：
步骤S51，在启动时间启动监测，所述启动时间为所述设定时间周期后时间点和延时时间之和；
步骤S52，加载基线数据；
步骤S53，调用采集的启动时间前的时间点的数据量；
步骤S54，判断所述时间点的数据量是否在加载的基线数据中所述时间点的基线值的置信区间内。
在本发明的一个实施例中，如图5所示，步骤S6包括：
当时间点的数据量不在加载的基线数据中所述时间点的基线值的置信区间内时，在步骤S61，生成报警，对报警数据进行存储，也可以将执行步骤S64；
当时间点的数据量在加载的基线数据中所述时间点的基线值的置信区间内时，在步骤S62，不生成报警，所述时间点的数据量为非报警数据，执行步骤S64，将所述非报警数据纳入训练集，重新计算所述时间点的基线值及其置信区间。
步骤S63，当所述时间点的数据量为报警数据时，判断是否清除历史基线数据；
如果不清除历史基线数据，步骤S64，将所述报警数据纳入训练集，重新计算所述时间点的基线值及其置信区间；
如果清除历史基线数据，步骤S65，将报警数据作为基线得到报警数据对应的时间点的基线值。
在本发明的一个优选实施例中，如图6所示，安全运维管理方法包括：
步骤SS1，采集网络安全事件。
步骤SS2，基线生成步骤，包括：启动训练任务；加载训练参数，所述时间周期在4-6周范围内，所述子时间周期为天，所述时间点为小时；选取不同子时间间周期的各相同时间点的数据量组成各时间点的训练集；根据聚类算法对各时间点的训练集进行聚类，选取百分比最高的为正常样本点，例如采用采用斯皮尔曼等级相关系数进行聚类分析，将等级最高的聚类结果中的样本点作为正常样本点，具体地：等级0.8-1.0为极强相关，等级0.6-0.8为强相关，等级0.4-0.6为中等程度相关，等级0.2-0.4为弱相关，等级0.0-0.2为极弱相关或不相关，将聚类结果等级0.8-1.0中的样本点作为正常样本点；将各时间点的正常样本点代入基线模型得到各样本点的基线值及其置信区间，采用时间点的各样本点的数据量的均值作为基线值，
Figure BDA0001655456860000081
Figure BDA0001655456860000082
Figure BDA0001655456860000083
其中，xk为一个时间点的第k个样本点的数据量；n为一个时间点的样本点的总数。
步骤SS3，预警监测步骤，使用时间点的置信区间比较未来的相同时间点的数据量，如果未来的数据量落入了置信区间，那么所述未来时间点和基线不一定有太大的差异，不产生预警，将所述未来的相同时间点的数据量加入到基线生成的步骤中，采用固定的时间周期时，例如，新的时间点纳入训练集时，将最早的时间点删除，因为老数据往往会是结果产生偏差，还需要新的数据发现行为的变化，如果在置信区间之外，可能在统计学上与基线有差异，可以产生基线预警或者设置该时间点为“重置基线”，如果设置为“重置基线”可以清楚以前的历史基线记录，按照今天产生的预警为基线，重新累计计算基线。
步骤SS4，将基线生成、基线更新、预警过程中产生的数据存入数据库。
在步骤SS2中，可以采用工作日、非工作日划分基线日期，可以默认周一至周五为工作日，周六、周日为非工作日，也可以设定工作日、非工作日日期，例如，选定为4周(28天)，工作日9点的数据集合为这28天所有工作日9点的样本点，计算每天工作日上午9点的数据量，样例结果如下表:
表1
第1天 第2天 第3天 第4天 第5天 第8天 … 第25天 第26天
周一 周二 周三 周四 周五 周一 … 周四 周五
100 110 112 113 99 115 … 101 99
采用平均值作为基线值，得到一天24小时，每个时间点的基线值，最终形成基线页面，如图7所示。
图8是采用现有技术基线预警方法得到的24小时基线变化的曲线示意图，如图8所示，现有基线预警方法，基线值数据及其置信区间的上限数据和下限数据很不稳定，会产生误告警，图9是采用本发明安全运维管理方法得到的24小时基线变化的曲线示意图，如图9所示，采用本发明所述安全运维管理方法得到的线值数据及其置信区间的上限数据和下限数据稳定，基本不会产生误告警。
在步骤SS3中，启动预警监测的启动时间可以是样本点后延迟设定时间，例如，计算8:00-9:00的数据，会在9:05进行启动，启动延迟时间为5分钟；在检测预警的过程中，首先会加载该时间点对应的基线数据以及置信范围，例如基线点为100，上限为120，下限为80；计算当前单个时间点的数据量，例如计算周一上午9点的数据量。
本发明安全运维管理系统还可以包括显示模块，显示预警监测结果；还可以包括输入模块，对训练参数、是否报警等进行选择，当然显示模块和输入模块也可以由一个模块实现(例如触摸屏)，例如：1.选取工作日、非工作日周期；2.基线点采集范围(30天)，包括：a)最小天数，开始计算；b)最大天数，控制点数；c)重置基线，可以从1天开始；3.启动时间，包括启动训练任务和启动预警监测；4.启动停用标示，包括基线启用和基线停用，基线24点，可以勾选，控制该处是否进行计算；5.基线类型，包括静态基线和移动窗口基线。
综上所述，参照附图以示例的方式描述了根据本发明提出的安全运维管理方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的系统及方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种安全运维管理系统，其特征在于，包括：
采集模块，采集网络安全事件；
基线构建模块，建立基线模型，选取设定时间周期采集模块采集的网络安全事件的数据量作为训练集，将所述设定时间周期分成多个子时间周期，每个子时间周期包括多个时间点，将每个子时间周期的每个时间点的所述数据量作为样本点分别代入基线模型进行训练，得到每个时间点的基线值及其对应的置信区间，各时间点的基线值的集合为基线数据，
Figure 329447DEST_PATH_IMAGE001
Figure 113601DEST_PATH_IMAGE002
Figure 86105DEST_PATH_IMAGE003
其中，
Figure 558806DEST_PATH_IMAGE004
为时间点的基线值；
Figure 517534DEST_PATH_IMAGE005
为时间点的置信区间；
Figure 375769DEST_PATH_IMAGE006
为时间点的各样本点的标准偏差，
Figure 768442DEST_PATH_IMAGE007
为置信系数，
Figure 243285DEST_PATH_IMAGE008
，
Figure 818754DEST_PATH_IMAGE009
为一个时间点的第
Figure 734758DEST_PATH_IMAGE010
个样本点的数据量;
Figure 986748DEST_PATH_IMAGE011
为一个时间点的样本点的总数；
预警监测模块，监测所述设定时间周期后每个时间点的数据量是否在对应的基线构建模块构建的所述时间点的置信区间内，将监测结果发送给决策模块；
决策模块，根据预警监测模块的监测结果发出决策，所述决策包括：当时间点的数据量在其基线的置信区间内时，将所述时间点的数据量纳入训练集，重新计算所述时间点的基线值及其置信区间；当时间点的数据量不在其基线的置信区间内时，产生基线预警或清除历史数据，将所述时间点的数据量作为基线值，
其中，所述基线构建模块包括：
第一加载单元，加载训练参数，所述训练参数包括时间周期、子时间周期、时间点、资产范围和训练系数中的一种或多种，所述训练系数为资产对应的权重；
选取单元，从采集模块选取符合训练参数的训练集；
聚类单元，对各时间点的训练集内的样本点进行聚类；
正常样本点生成单元，将各时间点的聚类结果中的样本点作为正常样本点；
基线构建单元，构建基线模型；
训练单元，将各时间点的正常样本点代入基线构建单元构建的基线模型，得到各时间点的基线值及其置信区间。
2.根据权利要求1所述的安全运维管理系统，其特征在于，还包括：
重置基线模块，根据训练集增加的样本点更新基线及其置信区间，包括计算策略设定单元、历史加载单元、样本点更新单元、新基线生成单元，其中：
所述计算策略设定单元设定样本点的计算策略，所述计算策略包括距离最短策略、时间最长策略和指定时间策略中的一种或多种；
历史加载单元，加载基线的历史数据；
样本点更新单元，根据设定的计算策略重新生成各时间点的样本点；
新基线生成单元，将更新后的样本点代入基线模型进行训练，更新各时间点的基线值及其对应的置信区间。
3.根据权利要求1所述的安全运维管理系统，其特征在于，所述决策模块包括：
第一判断单元，判断时间点的数据量是否为报警数据，所述报警数据为超过置信区间的数据点的数据量，将报警数据发送给第二判断单元，将非报警数据发送给第一更新单元；
第二判断单元，判断是否清除历史基线数据，如果清除历史基线数据，将报警数据发送给第二更新单元，如果不清除历史基线数据，将报警数据发送给第一更新单元；
第一更新单元，将第一判断单元发送的非报警数据或第二判断单元发送的报警数据，纳入训练集，重新计算所述时间点的基线值及其置信区间；
第二更新单元，将报警数据作为对应的时间点的基线值。
4.根据权利要求1所述的安全运维管理系统，其特征在于，所述预警监测模块包括：
启动单元，在启动时间，发送指令给第二加载单元和查询单元，所述启动时间为所述设定时间周期后时间点和延时时间之和；
第二加载单元，接收到启动单元指令后，从基线构建模块加载基线数据；
查询单元，接收到启动单元指令后，从采集模块调用启动时间前的时间点的数据量；
第三判断单元，判断查询单元调用的所述时间点的数据量是否在第二加载单元加载的所述时间点的基线值的置信区间内，将判断结果发送给决策模块。
5.一种安全运维管理方法，其特征在于，包括：
步骤S1，采集网络安全事件；
步骤S2，建立基线模型；
步骤S3，选取设定时间周期采集模块采集的网络安全事件的数据量作为训练集；
步骤S4，将所述设定时间周期分成多个子时间周期，每个子时间周期包括多个时间点，将每个子时间周期的每个时间点的所述数据量作为样本点分别代入基线模型进行训练，得到每个时间点的基线值及其对应的置信区间，各时间点的基线值的集合为基线数据，
Figure 950154DEST_PATH_IMAGE001
Figure 375319DEST_PATH_IMAGE002
Figure 224457DEST_PATH_IMAGE003
其中，
Figure 647349DEST_PATH_IMAGE004
为时间点的基线值；为时间点的置信区间；
Figure 768888DEST_PATH_IMAGE006
为时间点的各样本点的标准偏差，
Figure 184695DEST_PATH_IMAGE007
为置信系数，
Figure 137608DEST_PATH_IMAGE008
，
Figure 544449DEST_PATH_IMAGE009
为一个时间点的第
Figure 950023DEST_PATH_IMAGE010
个样本点的数据量;
Figure 857936DEST_PATH_IMAGE011
为一个时间点的样本点的总数；
步骤S5，监测所述设定时间周期后每个时间点的数据量是否在对应的每个时间点的基线的置信区间内；
步骤S6，根据监测结果发出决策，其中，所述决策包括：当时间点的数据量在其基线的置信区间内时，将所述时间点的数据量纳入训练集，重新计算所述时间点的基线值及其置信区间；当时间点的数据量不在其基线的置信区间内时，产生基线预警，或清除历史数据，将所述时间点的数据量作为基线值，
其中，所述步骤S4包括：
加载训练参数，所述训练参数包括时间周期、子时间周期、时间点、资产范围和训练系数中的一种或多种，所述训练系数为资产对应的权重；
对各时间点的训练集内的样本点进行聚类；
将各时间点的聚类结果中的样本点作为正常样本点；
将各时间点的正常样本点代入基线模型，得到各时间点的基线值及其置信区间。
6.根据权利要求5所述的安全运维管理方法，其特征在于，所述重新计算所述时间点的基线值及其置信区间的方法包括：
设定样本点的计算策略，所述计算策略包括距离最短策略、时间最长策略和指定时间策略中的一种或多种；
加载基线的历史数据；
根据设定的计算策略重新生成各时间点的样本点；
将更新后的样本点代入基线模型进行训练，更新各时间点的基线值及其对应的置信区间。
7.根据权利要求5所述的安全运维管理方法，其特征在于，所述对各时间点的训练集内的样本点进行聚类的方法包括采用斯皮尔曼等级相关系数进行聚类分析，将等级最高的聚类结果中的样本点作为正常样本点。
8.根据权利要求5所述的安全运维管理方法，其特征在于，所述步骤S5包括：
在启动时间启动监测，所述启动时间为所述设定时间周期后时间点和延时时间之和；
加载基线数据；
调用采集的启动时间前的时间点的数据量；
判断所述时间点的数据量是否在加载的基线数据中所述时间点的基线值的置信区间内。
9.根据权利要求5所述的安全运维管理方法，其特征在于，所述步骤S6包括：
判断时间点的数据量是否为报警数据，所述报警数据为超过置信区间的数据点的数据量；
当所述时间点的数据量为非报警数据时，将所述非报警数据纳入训练集，重新计算所述时间点的基线值及其置信区间；
当所述时间点的数据量为报警数据时，判断是否清除历史基线数据；
如果不清除历史基线数据，将所述报警数据纳入训练集，重新计算所述时间点的基线值及其置信区间；
如果清除历史基线数据，将报警数据作为基线得到报警数据对应的时间点的基线值。
10.根据权利要求5所述的安全运维管理方法，其特征在于，所述设定时间周期在4-6周范围内，所述子时间周期为天，所述时间点为小时。
CN201810439158.7A 2018-05-09 2018-05-09 安全运维管理方法及系统 Expired - Fee Related CN108718303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810439158.7A CN108718303B (zh) 2018-05-09 2018-05-09 安全运维管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810439158.7A CN108718303B (zh) 2018-05-09 2018-05-09 安全运维管理方法及系统

Publications (2)

Publication Number Publication Date
CN108718303A CN108718303A (zh) 2018-10-30
CN108718303B true CN108718303B (zh) 2021-03-23

Family

ID=63899617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810439158.7A Expired - Fee Related CN108718303B (zh) 2018-05-09 2018-05-09 安全运维管理方法及系统

Country Status (1)

Country Link
CN (1) CN108718303B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413642B (zh) * 2018-11-22 2022-02-18 中邮科通信技术股份有限公司 终端安全检测与监测体系化方法
CN109743339B (zh) * 2019-03-22 2020-06-02 中国南方电网有限责任公司 电力厂站的网络安全监测方法和装置、计算机设备
CN111427748B (zh) * 2020-03-31 2023-06-23 携程计算机技术（上海）有限公司 任务告警方法、系统、设备及存储介质
CN111696682A (zh) * 2020-05-26 2020-09-22 平安科技（深圳）有限公司 数据处理方法、装置、电子设备及可读存储介质
CN111817909B (zh) * 2020-06-12 2022-01-21 中国船舶重工集团公司第七二四研究所 一种基于行为集合模板监测的设备健康管理方法
CN112085103B (zh) * 2020-09-10 2023-06-27 北京百度网讯科技有限公司 基于历史行为的数据增强方法、装置、设备以及存储介质
CN112287390B (zh) * 2020-10-23 2024-05-10 杭州数梦工场科技有限公司 基线的自适应调整方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267362A (zh) * 2008-05-16 2008-09-17 亿阳信通股份有限公司 一种性能指标值正常波动范围的动态确定方法及其装置
CN101771758A (zh) * 2008-12-31 2010-07-07 北京亿阳信通软件研究院有限公司 一种性能指标值正常波动范围的动态确定方法及其装置
CN103412911A (zh) * 2013-08-02 2013-11-27 中国工商银行股份有限公司 数据库系统的性能监控方法以及装置
CN103442059A (zh) * 2013-08-27 2013-12-11 华为终端有限公司 一种文件共享方法及装置
CN105515820A (zh) * 2015-09-25 2016-04-20 上海北塔软件股份有限公司 一种用于运维管理的健康分析方法
CN105678388A (zh) * 2016-01-08 2016-06-15 上海北塔软件股份有限公司 一种基于基线的运维管理健康分析方法
CN106991145A (zh) * 2017-03-23 2017-07-28 中国银联股份有限公司 一种监测数据的方法及装置
EP3276913A1 (en) * 2016-07-29 2018-01-31 Accenture Global Services Limited Network security analysis system using natural language processing techniques
CN107918579A (zh) * 2016-10-09 2018-04-17 北京神州泰岳软件股份有限公司 一种批量生成基线数据的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037425B2 (en) * 2015-08-26 2018-07-31 Symantec Corporation Detecting suspicious file prospecting activity from patterns of user activity

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267362A (zh) * 2008-05-16 2008-09-17 亿阳信通股份有限公司 一种性能指标值正常波动范围的动态确定方法及其装置
CN101771758A (zh) * 2008-12-31 2010-07-07 北京亿阳信通软件研究院有限公司 一种性能指标值正常波动范围的动态确定方法及其装置
CN103412911A (zh) * 2013-08-02 2013-11-27 中国工商银行股份有限公司 数据库系统的性能监控方法以及装置
CN103442059A (zh) * 2013-08-27 2013-12-11 华为终端有限公司 一种文件共享方法及装置
CN105515820A (zh) * 2015-09-25 2016-04-20 上海北塔软件股份有限公司 一种用于运维管理的健康分析方法
CN105678388A (zh) * 2016-01-08 2016-06-15 上海北塔软件股份有限公司 一种基于基线的运维管理健康分析方法
EP3276913A1 (en) * 2016-07-29 2018-01-31 Accenture Global Services Limited Network security analysis system using natural language processing techniques
CN107918579A (zh) * 2016-10-09 2018-04-17 北京神州泰岳软件股份有限公司 一种批量生成基线数据的方法和装置
CN106991145A (zh) * 2017-03-23 2017-07-28 中国银联股份有限公司 一种监测数据的方法及装置

Also Published As

Publication number Publication date
CN108718303A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
CN108718303B (zh) 安全运维管理方法及系统
US8572736B2 (en) System and method for detecting behavior anomaly in information access
US6327677B1 (en) Method and apparatus for monitoring a network environment
US8606913B2 (en) Method for adaptively building a baseline behavior model
US7081823B2 (en) System and method of predicting future behavior of a battery of end-to-end probes to anticipate and prevent computer network performance degradation
JP4667412B2 (ja) 電子機器集中管理プログラム、電子機器集中管理装置および電子機器集中管理方法
US7936260B2 (en) Identifying redundant alarms by determining coefficients of correlation between alarm categories
CN110874674B (zh) 一种异常检测方法、装置及设备
CN109918279B (zh) 电子装置、基于日志数据识别用户异常操作的方法及存储介质
KR20190075861A (ko) DoS/DDoS 공격의 탐지 방법, 장치, 서버 및 저장 매체
JP2004348740A (ja) 異常検出のための自己学習方法及びシステム
US20050222806A1 (en) Detection of outliers in communication networks
CN114978568A (zh) 使用机器学习进行数据中心管理
JP5387779B2 (ja) 運用管理装置、運用管理方法、及びプログラム
CN103856344B (zh) 一种告警事件信息处理方法及装置
CN114201201A (zh) 一种对业务系统异常检测方法、装置及设备
CN116109116B (zh) 一种基于云计算的应用程序综合监管控制系统及方法
US20100036762A1 (en) System and Method for Tracking a Billing Cycle
JPH11177549A (ja) トラフィック監視装置及びトラフィック監視方法
US7783509B1 (en) Determining that a change has occured in response to detecting a burst of activity
CN110855484A (zh) 自动检测业务量变化的方法、系统、电子设备和存储介质
CN115801307A (zh) 一种利用服务器日志进行端口扫描检测的方法和系统
WO2009090944A1 (ja) ルールベース管理システム、ルールベース管理方法およびルールベース管理用プログラム
CN111190796B (zh) 一种数据调整方法及装置
CN103310282A (zh) 安全控制模型选择系统及方法以及安全控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210323

CF01 Termination of patent right due to non-payment of annual fee