CN106951776A - 一种主机异常检测方法和系统 - Google Patents

一种主机异常检测方法和系统 Download PDF

Info

Publication number
CN106951776A
CN106951776A CN201710033419.0A CN201710033419A CN106951776A CN 106951776 A CN106951776 A CN 106951776A CN 201710033419 A CN201710033419 A CN 201710033419A CN 106951776 A CN106951776 A CN 106951776A
Authority
CN
China
Prior art keywords
main frame
host
sensitive
abnormal
abnormity point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710033419.0A
Other languages
English (en)
Inventor
童言
吴琪
陈伟
张剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
709th Research Institute of CSIC
Original Assignee
709th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 709th Research Institute of CSIC filed Critical 709th Research Institute of CSIC
Priority to CN201710033419.0A priority Critical patent/CN106951776A/zh
Publication of CN106951776A publication Critical patent/CN106951776A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开一种主机异常检测方法和系统，其方法具体如下：构建敏感主机列表，并采集敏感主机的主机运行资源特征；采用PCA算法提取主机运行资源特征的主要特征；接着采用DBSCAN算法对主要特征进行聚类分析，确定是否存在异常点；最后采用滑动窗口算法统计窗口内异常点个数，并根据异常点个数确定敏感主机是否为异常主机。该方法能够有效检测持续时间的已知和未知的主机异常行为，且检测效率显著加快，可降低资源利用率，提高检测的实时性。此外，该方法无需训练，而且高效简单，系统开销小，可以实时监测主机异常。

Description

一种主机异常检测方法和系统
技术领域
本发明涉及联网主机系统安全领域，具体涉及一种主机异常检测方法和系统。
背景技术
随着网络技术的快速发展，计算机网络成为关系国计民生的重大行业。例如，我国互联网应用从信息内容获取、休闲娱乐逐渐转向电子商务、社交网络以及网络金融类等与个人信息和人身财产安全相关的高风险类型。因此，各种场景下的各种类型设备的网络安全也变得越来越重要和突出。
随着计算机技术的快速发展，针对主机行为的攻击越来越多，根据ICSA(International Computer Security Association)的统计，每天都有数10种新病毒对计算机造成威胁，而计算机病毒可以通过各种方式传播，包括可移动设备、局域网与Internet。而各种各样的攻击行为，如DDoS、蠕虫、病毒、滥用、非法授权访问等，往往会引起主机资源的行为模式改变。例如，非法授权访问由于访问者的操作习惯与授权用户的使用习惯不同，往往会导致不同的主机资源的使用模式；震荡波蠕虫病毒利用Windows操作系统的LSASS缓冲区溢出漏洞进行攻击，会导致系统资源被大量占用，甚至使CPU使用率达到100％；红色代码III(Red Code III)病毒能够建立数百个进程来寻找易被攻击的服务器进行传播，该病毒会增加大量的网络数据包，导致网络访问量的增加和网络速度的下降。
目前，网络主机系统安全检测方法包括基于主机的入侵检测和基于行为的安全检测。基于主机的入侵检测根据主机系统的系统日志和审计记录进行检测分析，通常在要受保护的主机上设置专门的检测代理，通过对系统日志和审计记录不间断地监视和分析来发现攻击。基于行为的安全检测根据使用者的行为或资源使用状况来判断是否存在入侵。具体的，将攻击视为不同于正常的行为，通过识别任何违反正常的行为检测入侵。但是，这两种方法对主机入侵检测的实时性、准确性低，且无法检测未知主机的入侵。
发明内容
有鉴于此，有必要提供一种无监督、实时性和准确性高的主机异常检测方法和系统。
一种主机异常检测方法，包括如下步骤：
步骤1：根据网络安全监控系统检测出的具有潜在危险的主机，构建敏感主机列表；
步骤2：从敏感主机列表中选择一个敏感主机，并采集所述敏感主机的主机运行资源特征；
步骤3：采用PCA算法提取主机运行资源特征的主要特征；
步骤4：采用DBSCAN算法对所述主要特征进行聚类分析，并根据聚类分析结果判断主机运行资源特征是否存在异常点；如果是，转入步骤5；如果否，转入步骤7；
步骤5：采用滑动窗口算法统计窗口内所述异常点的个数，并根据异常点个数与异常点阈值的大小关系判断所述敏感主机是否为异常主机，如果是，转入步骤6；如果否，转入步骤7；
步骤6：将所述敏感主机加入异常主机列表；转入步骤8；
步骤:7：将所述敏感主机从敏感主机列表中删除；转入步骤8；
步骤8：从敏感主机列表中选择另一个敏感主机，并采集所述下一个敏感主机的主机运行资源特征，转入步骤3，直到遍历所述敏感主机列表中所有的敏感主机。
以及一种主机异常检测系统，包括：第一构建单元，根据网络安全监控系统检测出的具有潜在危险的主机，构建敏感主机列表；特征采集单元，采集所述敏感主机列表中的敏感主机的主机运行资源特征；特征提取单元，采用PCA算法提取主机运行资源特征的主要特征；异常点检测单元，采用DBSCAN算法对特征提取单元提取的主要特征进行聚类分析，并根据聚类分析结果判断主机运行资源特征是否存在异常点；异常主机确定单元，采用滑动窗口算法统计窗口内所述异常点检测单元检测到的所述异常点的个数，并根据异常点个数与异常点阈值的大小关系判断所述敏感主机是否为异常主机；第二构建单元，将异常主机确定单元确定为异常主机的敏感主机加入异常直接列表；所述第一构建单元将异常主机确定单元确定为不是异常主机的敏感主机从所述敏感主机列表中删除。
本发明的一种主机异常检测方法和系统，具有以下优点：
1、根据网络安全监控系统的检测结果，构建敏感主机列表，仅需采集和分析主机运行资源特征。相对于传统的主机数据收集方法，大大的降低了数据采集的工作量，可以实现实时在线应用。
2、采用PCA算法进行降维，提取主要特征，这大大降低了后面异常检测的计算复杂度，可以达到实时监测的效果。
3、采用DBSCAN算法检测主机运行资源的异常点，然后利用滑动窗口算法去除单点异常导致的主机异常，这样，一方面这种无监督的方法可有效检测未知和已知异常；另一方面滑动窗口能有效过滤噪声干扰。
4、根据滑动窗口算法的异常检测结果，对不同主机采取不同的管理策略，即对于存在异常事件的主机，在管理员对其实施详细的安全检查以前，采用动态隔离思想间断隔离其网络访问，降低对网络中其他主机的危害，同时也尽量的不影响主机正常的网络通信；对于不确定是否存在异常事件的敏感主机，将其从敏感主机列表删除。
附图说明
图1为本发明一种主机异常检测方法的流程图；
图2A为CPU利用率的采集流程图；
图2B为内存信息的采集流程图；
图2C为磁盘IO读写的采集流程图；
图2D为数据包收发的采集流程图；
图3为滑动窗口算法中的时间窗口示意图；
图4为本发明一种主机异常检测系统的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的一种主机异常检测方法的流程，如图1所示，具体过程如下：
步骤1：根据网络安全监控系统检测出的具有潜在危险的主机，构建敏感主机列表。
具体的，首先网络安全监控系统检测出具有潜在危险的主机，接着将具有潜在危险的主机加入敏感主机列表。其中，网络安全监控系统可采用常规的IDS安全监测系统。从而将网络中所有主机中具备潜在危险的主机筛选出来。
步骤2：从敏感主机列表中选择一个敏感主机，并采集所述敏感主机的主机运行资源特征。
其中，主机运行资源是指主机对对操作系统、应用程序以及各种服务所提供的信息资源的支持程度，也就是各种程序利用主机系统信息资源完成任务的有效程度。主机运行资源特征指标体系是指能定性或定量的多维度反映主机运行资源运行状态的一组特征值组成的指标体系。比如CPU属于主机资源，那么CPU利用率属于指标体系。
在本发明中，主机运行资源特征包括CPU利用率、内存利用率、交换内存利用率、磁盘IO读写、数据包收发，共七维特征。每隔一定时间如5分钟，对主机运行资源特征进行采样，并存储。主机运行资源特征的采集可以采用Master-Slave模式，也可以采用其它方式获得。应当理解的，主机运行资源特征的采集是并行处理的。以下分别描述主机运行资源特征的获取流程。
如图2A所示，CPU利用率的采集过程如下：
步骤2.1.1：采用Master-Slave模式，创建CPU信息Master代理模块和CPU信息Slave代理模块，并将CPU信息Slave代理模块发送到所述敏感主机；
步骤2.1.2：CPU信息Slave代理模块获取所述敏感主机的系统占用率、用户占用率、总占用率和空闲率信息；
步骤2.1.3：将CPU信息Slave代理模块获取的信息进行存储。
如图2B所示，内存信息的采集过程如下：
步骤2.2.1：采用Master-Slave模式，创建内存信息Master代理模块和内存信息Slave代理模块，并将内存信息Slave代理模块发送到所述敏感主机；
步骤2.2.2：内存信息Slave代理模块获取所述敏感主机的系统内存、交换内存、内存占用率和交换空间占用率信息；
步骤2.2.3：将内存信息Slave代理模块获取的信息进行存储。
如图2C所示，磁盘IO读写的采集过程如下：
步骤2.3.1：采用Master-Slave模式，创建磁盘IO信息Master代理模块和磁盘IO信息Slave代理模块，并将磁盘IO信息Slave代理模块发送到所述敏感主机；
步骤2.3.2：磁盘IO信息Slave代理模块获取所述敏感主机的磁盘读写信息；
步骤2.3.3：将磁盘IO信息Slave代理模块获取的信息进行存储。
如图2D所示，数据包收发的采集过程如下：
步骤2.4.1：采用Master-Slave模式，创建数据包信息Master代理模块和数据包信息Slave代理模块，并将数据包信息Slave代理模块发送到所述敏感主机；
步骤2.4.2：数据包信息Slave代理模块获取所述敏感主机的发送接收数据包、字节信息，形成网络流；
步骤2.4.3：将数据包信息Slave代理模块获取的信息进行存储。
步骤3：采用PCA算法对主机运行资源特征进行降维，并提取主机运行资源特征的主要特征。
具体的，首先，采取多源信息融合的思想，根据各个信息Slave代理模块所采集到的信息，分别按照时间片构建敏感主机数据特征向量，并采用数据集标准化方法对向量中的数据进行标准化。将所有经标准化处理后的向量构成表示主机运行资源特征的矩阵。其中，七维特征值包括：CPU利用率一个维度、磁盘IO读写两个维度、内存占用率一个维度、交换内存利用率一个维度、主机数据包出入数据量两个维度，并将其分别表示为X1,X2…X7，每个纬度的时间点个数为n，那么可以用一个n×7的矩阵即Xn×7来表示主机运行资源特征，即
其中，xij表示第j个主机运行资源特征属性在第i条样本上的观察值，1≤i≤n,1≤j≤7。为提取主要属性并降低后续识别算法的复杂度，本发明采用主成分分析算法(Principal Component Analysis,PCA)实现主要特征的提取。将矩阵X的协方差矩阵定义为：
其中，μ为均值向量，且(λ1,μ1),(λ2,μ2)…(λ7,μ7)是协方差矩阵的特征值和对应的特征向量对。其中，特征值满足λ1＞λ2＞…λ7。通过方差贡献率α来衡量不同特征值和特征向量在重构原始空间时的重要性：
通常选取α≥80％。满足式(3)的m值对应的特征向量构成一个特征子空间，即为PCA算法最终获得的主要特征，其继承了原始数据集的主要特征，而余下的7-m维特征属性主要包含着噪声。
步骤4：采用DBSCAN算法对步骤3提取的主要特征进行聚类分析，并根据聚类分析结果判断主机运行资源特征是否存在异常点；如果是，转入步骤5；如果否，转入步骤7。
具体的，DBSCAN算法是基于密度的聚类算法，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的数据中发现任意形状的聚类。基于以上优点，本发明采用DBSCAN算法，该算法有两个重要的参数，即半径Eps和以固定点为中心的邻域内最少点的数量MinPoints，根据实际情况对这两个参数进行取值。
设U＝{p1,p2…pn}为测试数据集，其中，pi为在第i时刻的采用PCA算法最终获得的主要特征的观测值，1≤i≤n。在选择合适参数的基础上，经过DBSCAN算法进行聚类，得到若干个簇C1,C2…Cl和离群点m1,m2…mn。将每个离群点作为一个单独的簇，按照簇中元素数量进行降序排序，使得所得到的簇满足式(4)：
|C1|≥|C2|≥…|Cl|≥|{m1}|≥|{m2}|≥…|{mn}| (4)
根据网络管理经验，必有大多数数据点集中于几个较大的簇，且正常簇和异常簇的点数有很大差别。其中较大的簇为正常数据点，即主机在大多数情况下都在正常运行。上述网络管理经验可以用式(5)表示：
其中，1≤j≤l-1，|Cj|、|Cj+1|表示相邻的两个簇，β1表示正常点数在所有簇的元素总数目中所占的比值，β2表示相邻两个元素数量显著衰减的簇的比值，即由异常点所构成的簇显著小于正常簇中点的数量。β1和β2的值可以根据实验结果和网络管理需要进行选取。式(5)意在表明：(1)大多数对象都集中于几个较大的簇；(2)正常对象和异常对象的数目有显著性差别。基于以上两个条件，对聚类得到的结果进行分析，将显著衰减的簇和离群点确定为主机运行资源特征的异常点。
步骤5：采用滑动窗口算法统计窗口内所述异常点的个数，并根据异常点个数判断所述敏感主机是否为异常主机，如果是，转入步骤6；如果否，转入步骤7。
当主机受到入侵、非法访问等攻击，比如R2L(Remote to Local)、病毒等，会产生一个时间窗口以上的持续性异常，而不只是单点异常。因而采用滑动窗口算法检测持续时间的主机运行异常。
具体的，如图3所示，ti、tj表示两个不同的时间点，t时刻时间窗口内包含了多个时间点，其中，时间窗口长度为：Δt＝tj-ti+1。用A表示在t时刻采用DBSCAN算法获取的主机运行资源特征异常点的集合。如式(6)所示。当t时刻时间窗口内异常点的数量ω(t)超过异常点阈值θ时，则判定为该时间窗口内产生了主机异常，即该主机为异常主机；否则，则判定为该时间窗口内没有主机异常，即该主机正常主机，去除了单点异常导致的主机异常。其中，异常点阈值θ可根据实际情况设置。
由于用户在正常使用计算机或操作系统进行资源调度时，能导致CPU、内存等数据特征偶尔发生异常变化，单个时间点的异常不能判定主机是否感染了病毒或者受到了攻击。而主机受到入侵、病毒时都会产生一个时间窗口以上的持续性异常，因而通过本发明的滑动窗口算法，其根据时间窗口内的异常点数量判断该时间窗口是否产生主机异常，能去除单点异常导致主机异常的偶然性，从而提高了未知和已知主机异常检测的准确性。
步骤6：将所述敏感主机加入异常主机列表；转入步骤8。
所述步骤6还包括如下步骤：
步骤6.1：通知管理员进行检查，在管理员进行检查之前，采用动态隔离方法管理所述敏感主机的网络连接，并根据管理员的检查结果更新敏感主机列表；转入步骤8。
具体的，当判定为异常主机时，将所述敏感主机加入异常主机列表，并通知管理员进行检查。在管理员进行检查之前，采用动态隔离方法管理所述敏感主机的网络访问连接。隔离策略为以一定的时间段，如60秒，间断隔离其网络接入，降低其对网络中其他主机的危害，同时也尽量的不影响其自身的正常网络通信。直至管理员对其进行了全面的安全检查。
步骤7：将所述敏感主机从所述敏感主机列表中删除；转入步骤8。
步骤8：从所述敏感主机列表中选择下一个敏感主机，并采集所述下一个敏感主机的主机运行资源特征，转入步骤3，直到遍历所述敏感主机列表中所有的敏感主机。
本发明的一种主机异常检测方法通过基于主机运行资源特征指标体系数据，利用PCA算法进行降维，接着采用DBSCAN算法对主要特征进行聚类分析确定异常点，最后采用滑动窗口算法根据异常点个数确定是否为异常主机，能够有效检测持续时间的已知和未知的主机异常行为，且检测效率显著加快，可降低资源利用率，提高检测的实时性。此外，该方法无需训练，而且高效简单，系统开销小，可以实时监测主机异常。
本发明还公开一种与该方法相对应的主机异常检测系统，如图4所示，包括第一构建单元、特征采集单元、特征提取单元、异常点检测单元、异常主机确定单元、第二构建单元。
第一构建单元根据网络安全监控系统检测出的具有潜在危险的主机，构建敏感主机列表。
特征采集单元采集所述敏感主机列表中的敏感主机的主机运行资源特征。具体的，特征采集单元采用Master-Slave模式采集所述敏感主机的主机运行资源特征。其中，主机运行资源特征包括CPU利用率、内存利用率、交换内存利用率、磁盘IO读写、数据包收发。特征采集单元并行采集主机运行资源特征，且采集过程如图2A-2D所示。
特征提取单元采用PCA算法对主机运行资源特征进行降维，并提取主机运行资源特征的主要特征。
其中，特征提取单元包含矩阵构建模块、矩阵分析模块。矩阵构建模块用于根据采集的主机运行资源特征分别构建敏感主机数据特征向量，并对向量中的数据进行标准化处理；将所有经标准化处理后的向量构成主机运行资源特征的矩阵，如式(1)所示。接着，矩阵分析模块用于计算所述矩阵的协方差矩阵的特征值和特征向量，根据协方差矩阵的方差贡献率确定的若干个特征向量构成的子空间即为所述主要特征，其过程如式(2)-(3)所示。
异常点检测单元采用DBSCAN算法对特征提取单元提取的主要特征进行聚类分析，并根据聚类分析结果判断主机运行资源特征是否存在异常点。
其中，异常点检测单元包括聚类分析模块、排序模块、异常点确定模块。聚类分析模块用于采用DBSCAN算法对所述主要特征进行聚类，得到若干个簇和离群点。接着，排序模块用于将离群点作为一个单独的簇，按照簇中元素数量进行降序排序，如式(4)所示。接着，异常点确定模块用于根据正常簇的元素数目在所有簇的元素总数量中的比值和相邻两个元素数量显著衰减的簇的比值，如式(5)所示，确定主机运行资源特征的异常点。
异常主机确定单元采用滑动窗口算法，统计窗口内所述异常点检测单元检测到的所述异常点的个数，并根据异常点个数判断所述敏感主机是否为异常主机。具体的，异常主机确定单元采用滑动窗口算法，统计窗口内所述异常点检测单元检测到的所述异常点的个数，如式(6)所示。当异常点个数超过异常点阈值时，异常主机确定单元判定所述窗口内产生了主机异常，即所述敏感主机判定为异常主机。否则，异常主机确定单元判定所述窗口内没有主机异常，即所述敏感主机判定为为正常主机。
第二构建单元将异常主机确定单元确定为异常主机的敏感主机加入异常直接列表。
所述第一构建单元将异常主机确定单元确定为不是异常主机的敏感主机从所述敏感主机列表中删除。
此外，该系统还包括异常通知管理单元，异常通知管理单元在异常主机确定单元将所述敏感主机确定为异常主机时，通知管理管理员进行检查，并在管理员进行检查之前，采用动态隔离方法管理所述敏感主机的网络连接，同时，根据管理员的检查结果更新敏感主机列表。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种主机异常检测方法，其特征在于，包括如下步骤：
步骤1：根据网络安全监控系统检测出的具有潜在危险的主机，构建敏感主机列表；
步骤2：从敏感主机列表中选择一个敏感主机，并采集所述敏感主机的主机运行资源特征；
步骤3：采用PCA算法提取主机运行资源特征的主要特征；
步骤4：采用DBSCAN算法对所述主要特征进行聚类分析，并根据聚类分析结果判断主机运行资源特征是否存在异常点；如果是，转入步骤5；如果否，转入步骤7；
步骤5：采用滑动窗口算法统计窗口内所述异常点的个数，并根据异常点个数与异常点阈值的大小关系判断所述敏感主机是否为异常主机，如果是，转入步骤6；如果否，转入步骤7；
步骤6：将所述敏感主机加入异常主机列表；转入步骤8；
步骤:7：将所述敏感主机从敏感主机列表中删除；转入步骤8；
步骤8：从敏感主机列表中选择另一个敏感主机，并采集所述下一个敏感主机的主机运行资源特征，转入步骤3，直到遍历所述敏感主机列表中所有的敏感主机。
2.根据权利要求1所述的一种主机异常检测方法，其特征在于，在步骤2中，所述主机运行资源特征包括CPU利用率、内存利用率、交换内存利用率、磁盘IO读写、数据包收发；并采用Master-Slave模式采集所述敏感主机的主机运行资源特征。
3.根据权利要求1所述的一种主机异常检测方法，其特征在于，所述步骤3的具体过程如下：
步骤3.1：根据采集的主机运行资源特征分别构建敏感主机数据特征向量，并对向量中的数据进行标准化处理；将所有经标准化处理后的向量构成主机运行资源特征的矩阵；
步骤3.2：计算所述矩阵的协方差矩阵的特征值和特征向量，根据协方差矩阵的方差贡献率确定的若干个特征向量构成的子空间即为所述主要特征。
4.根据权利要求1所述的一种主机异常检测方法，其特征在于，所述步骤4的具体过程如下：
步骤4.1：DBSCAN算法对所述主要特征进行聚类，得到若干个簇和离群点；
步骤4.2：将离群点作为一个单独的簇，按照簇中元素数量进行降序排序；
步骤4.3：根据正常簇的元素数目在所有簇的元素总数量中的比值和相邻两个元素数量显著衰减的簇的比值，确定主机运行资源特征的异常点。
5.根据权利要求1所述的一种主机异常检测方法，其特征在于，所述步骤5中根据异常点个数与异常点阈值的大小关系判断所述敏感主机是否为异常主机的具体过程为：当异常点个数超过异常点阈值时，则判定为所述窗口内产生了主机异常，即所述敏感主机为异常主机；否则，判定为所述窗口内没有主机异常，即所述敏感主机为正常主机。
6.根据权利要求1所述的一种主机异常检测方法，其特征在于，步骤6还包括如下步骤：
步骤6.1：通知管理员进行检查，在管理员进行检查之前，采用动态隔离方法管理所述敏感主机的网络连接，并根据管理员的检查结果更新敏感主机列表；转入步骤8。
7.一种主机异常检测系统，其特征在于，包括：
第一构建单元，根据网络安全监控系统检测出的具有潜在危险的主机，构建敏感主机列表；
特征采集单元，采集所述敏感主机列表中的敏感主机的主机运行资源特征；
特征提取单元，采用PCA算法提取主机运行资源特征的主要特征；
异常点检测单元，采用DBSCAN算法对特征提取单元提取的主要特征进行聚类分析，并根据聚类分析结果判断主机运行资源特征是否存在异常点；
异常主机确定单元，采用滑动窗口算法统计窗口内所述异常点检测单元检测到的所述异常点的个数，并根据异常点个数与异常点阈值的大小关系判断所述敏感主机是否为异常主机；
第二构建单元，将异常主机确定单元确定为异常主机的敏感主机加入异常直接列表；
所述第一构建单元将异常主机确定单元确定为不是异常主机的敏感主机从所述敏感主机列表中删除。
8.根据权利要求7所述的一种主机异常检测系统，其特征在于，所述特征提取单元包含矩阵构建模块、矩阵分析模块；
矩阵构建模块用于根据采集的主机运行资源特征分别构建敏感主机数据特征向量，并对向量中的数据进行标准化处理；将所有经标准化处理后的向量构成主机运行资源特征的矩阵；
矩阵分析模块用于计算所述矩阵的协方差矩阵的特征值和特征向量，根据协方差矩阵的方差贡献率确定的若干个特征向量构成的子空间即为所述主要特征。
9.根据权利要求7所述的一种主机异常检测系统，其特征在于，所述异常点检测单元包括聚类分析模块、排序模块、异常点确定模块；
聚类分析模块用于采用DBSCAN算法对所述主要特征进行聚类，得到若干个簇和离群点；
排序模块用于将离群点作为一个单独的簇，按照簇中元素数量进行降序排序；
异常点确定模块用于根据正常簇的元素数目在所有簇的元素总数量中的比值和相邻两个元素数量显著衰减的簇的比值，确定主机运行资源特征的异常点。
10.根据权利要求7所述的一种主机异常检测系统，其特征在于，所述异常主机确定单元还用于当异常点个数超过异常点阈值时，判定所述窗口内产生了主机异常，即所述敏感主机判定为异常主机；否则，判定所述窗口内没有主机异常，即所述敏感主机判定为为正常主机。
CN201710033419.0A 2017-01-18 2017-01-18 一种主机异常检测方法和系统 Pending CN106951776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710033419.0A CN106951776A (zh) 2017-01-18 2017-01-18 一种主机异常检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710033419.0A CN106951776A (zh) 2017-01-18 2017-01-18 一种主机异常检测方法和系统

Publications (1)

Publication Number Publication Date
CN106951776A true CN106951776A (zh) 2017-07-14

Family

ID=59465358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710033419.0A Pending CN106951776A (zh) 2017-01-18 2017-01-18 一种主机异常检测方法和系统

Country Status (1)

Country Link
CN (1) CN106951776A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107508831A (zh) * 2017-09-21 2017-12-22 华东师范大学 一种基于总线的入侵检测方法
CN108197647A (zh) * 2017-12-28 2018-06-22 中南大学 一种汽车起动机耐久测试数据的快速聚类方法
CN110826648A (zh) * 2020-01-09 2020-02-21 浙江鹏信信息科技股份有限公司 一种利用时序聚类算法实现故障检测的方法
CN110825545A (zh) * 2019-08-31 2020-02-21 武汉理工大学 一种云服务平台异常检测方法与系统
CN111338897A (zh) * 2020-02-24 2020-06-26 京东数字科技控股有限公司 应用主机中异常节点的识别方法、监测设备和电子设备
CN114726570A (zh) * 2021-12-31 2022-07-08 中国电信股份有限公司 一种基于图模型的主机流量异常检测方法及装置
CN117110975A (zh) * 2023-10-23 2023-11-24 石家庄科林电力设计院有限公司 一种多路电能计量装置的失准检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567812A (zh) * 2009-03-13 2009-10-28 华为技术有限公司 对网络攻击进行检测的方法和装置
CN104836702A (zh) * 2015-05-06 2015-08-12 华中科技大学 一种大流量环境下主机网络异常行为检测及分类方法
CN105491055A (zh) * 2015-12-24 2016-04-13 中国船舶重工集团公司第七〇九研究所 一种基于移动代理的网络主机异常事件检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567812A (zh) * 2009-03-13 2009-10-28 华为技术有限公司 对网络攻击进行检测的方法和装置
CN104836702A (zh) * 2015-05-06 2015-08-12 华中科技大学 一种大流量环境下主机网络异常行为检测及分类方法
CN105491055A (zh) * 2015-12-24 2016-04-13 中国船舶重工集团公司第七〇九研究所 一种基于移动代理的网络主机异常事件检测方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107508831A (zh) * 2017-09-21 2017-12-22 华东师范大学 一种基于总线的入侵检测方法
CN108197647A (zh) * 2017-12-28 2018-06-22 中南大学 一种汽车起动机耐久测试数据的快速聚类方法
CN108197647B (zh) * 2017-12-28 2021-08-31 中南大学 一种汽车起动机耐久测试数据的快速聚类方法
CN110825545A (zh) * 2019-08-31 2020-02-21 武汉理工大学 一种云服务平台异常检测方法与系统
CN110826648A (zh) * 2020-01-09 2020-02-21 浙江鹏信信息科技股份有限公司 一种利用时序聚类算法实现故障检测的方法
CN110826648B (zh) * 2020-01-09 2020-04-21 浙江鹏信信息科技股份有限公司 一种利用时序聚类算法实现故障检测的方法
CN111338897A (zh) * 2020-02-24 2020-06-26 京东数字科技控股有限公司 应用主机中异常节点的识别方法、监测设备和电子设备
CN111338897B (zh) * 2020-02-24 2024-07-19 京东科技控股股份有限公司 应用主机中异常节点的识别方法、监测设备和电子设备
CN114726570A (zh) * 2021-12-31 2022-07-08 中国电信股份有限公司 一种基于图模型的主机流量异常检测方法及装置
CN117110975A (zh) * 2023-10-23 2023-11-24 石家庄科林电力设计院有限公司 一种多路电能计量装置的失准检测方法及装置
CN117110975B (zh) * 2023-10-23 2024-02-09 石家庄科林电力设计院有限公司 一种多路电能计量装置的失准检测方法及装置

Similar Documents

Publication Publication Date Title
CN106951776A (zh) 一种主机异常检测方法和系统
US10686829B2 (en) Identifying changes in use of user credentials
CN108566364B (zh) 一种基于神经网络的入侵检测方法
Ye et al. Multivariate statistical analysis of audit trails for host-based intrusion detection
CN107493277B (zh) 基于最大信息系数的大数据平台在线异常检测方法
Malek et al. User behavior pattern-signature based intrusion detection
CN105009132A (zh) 基于置信因子的事件关联
CN112491779B (zh) 一种异常行为检测方法及装置、电子设备
Avalappampatty Sivasamy et al. A dynamic intrusion detection system based on multivariate Hotelling’s T2 statistics approach for network environments
Wu et al. Factor-analysis based anomaly detection and clustering
CN115150206B (zh) 一种信息安全用的入侵检测安全预警系统及其方法
CN111600905A (zh) 一种基于物联网异常检测方法
Liu et al. Mltracer: Malicious logins detection system via graph neural network
Veena et al. C SVM classification and KNN techniques for cyber crime detection
Angelini et al. An attack graph-based on-line multi-step attack detector
CN113901441A (zh) 一种用户异常请求检测方法、装置、设备及存储介质
Mihailescu et al. Unveiling Threats: Leveraging User Behavior Analysis for Enhanced Cybersecurity
Dau et al. A survey of tools and techniques for web attack detection
Ren et al. Application of network intrusion detection based on fuzzy c-means clustering algorithm
CN115567241A (zh) 一种多站点网络感知检测系统
Phutane et al. A survey of intrusion detection system using different data mining techniques
Wang et al. Bot-like Behavior Detection in Online Banking
Barbhuiya et al. Linear Regression Based DDoS Attack Detection
Zhou et al. Characterizing Network Anomaly Traffic with Euclidean Distance‐Based Multiscale Fuzzy Entropy
Abbas IDS feature reduction using two algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170714

RJ01 Rejection of invention patent application after publication