CN111708678A - 一种异常监测方法及装置 - Google Patents

Abstract

本发明公开了一种异常监测方法及装置，本发明是通过综合获取全面的日志数据，并基于获取的全面的日志数据来对在预设时间段内各个群体内、群体内部不同组内以及各个个体的异常行为进行监测，也就是说，本发明是获取全面的日志数据，并基于不同异常监测的时间段的不同来设置异常监测的时间段，通过全面的日志数据以及异常监测的时间段实现对异常的准确监测，从而有效解决了现有通过固定规则或者白名单进行异常监测的准确度低的问题。

Description

一种异常监测方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种异常监测方法及装置。

背景技术

随着互联网技术的不断发展，对于大规模分布式终端集群的信息安全以及网络异常监测显得尤为重要。传统的异常监测主要是通过对已有的历史行为数据总结出规则，建立规则库或者正常行为白名单，当行为比如访问443端口次数超过规则的设定的阈值，则触发报警，又或者用户使用的软件不在白名单库里，则判定用户行为异常。

也就是说，现有的安全监控或异常监测以固定的规则或者白名单为准，不能适应规则以外的其他场景，对外界响应不敏感。

发明内容

本发明提供了一种异常监测方法及装置，以解决现有通过固定规则或者白名单进行异常监测的监控范围有限的问题。

第一方面，本发明提供了一种异常监测方法，该方法包括：获取日志数据；根据所获取的预设时间段内的日志数据，通过预设监测模型对各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为进行监测，得到监测结果；其中，所述日志数据包括以下中的一种或多种：文件操作日志、网络连接日志、进程日志和人机交互状态日志。

可选地，所述预设监测模型的获取方式，包括：提炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值缩放至预设置信区间内，并对缺省的共性行为特征的数值进行赋值，基于缩放以及赋值后的共性行为特征，通过XGboost算法训练生成所述预设监测模型。

可选地，所述将提炼出来的共性行为特征的数值缩放至预设置信区间内，包括：将提炼出来的共性行为特征的数值转换到均值为0且标准差为1的范围内。

可选地，所述预设时间段为根据各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为的共性行为特征的数据量以及所要求监测结果的准确度进行设置。

可选地，所述得到监测结果之后，该方法还包括：设定异常行为的共性行为特征的数据监测阈值；根据监测结果中异常行为的共性行为特征的数值与所述数据监测阈值的差异程度，对监测结果中的异常行为的异常程度进行量化显示。

第二方面，本发明提供了一种异常监测装置，包括：获取单元，用于获取日志数据；监测单元，用于根据所获取的预设时间段内的日志数据，通过预设监测模型对各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为进行监测，得到监测结果；其中，所述日志数据包括以下中的一种或多种：文件操作日志、网络连接日志、进程日志和人机交互状态日志。

可选地，所述装置还包括：生成单元，用于提炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值缩放至预设置信区间内，并对缺省的共性行为特征的数值进行赋值，基于缩放以及赋值后的共性行为特征，通过XGboost算法训练生成所述预设监测模型。

可选地，所述生成单元还用于，提炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值转换到均值为0且标准差为1的范围内，并对缺省的共性行为特征的数值进行赋值，基于缩放以及赋值后的共性行为特征，通过XGboost算法训练生成所述预设监测模型。

可选地，所述监测单元还用于，设定异常行为的共性行为特征的数据监测阈值；根据监测结果中异常行为的共性行为特征的数值与所述数据监测阈值的差异程度，对监测结果中的异常行为的异常程度进行量化显示。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现上述任一种所述的异常监测方法。

本发明有益效果如下：

本发明是综合获取全面的日志数据，并基于预设时间段内的日志数据，通过预设监测模型来进行异常行为的监测，使得本发明可以适应各种监测场景，从而扩大了异常监控的范围，继而有效解决了现有通过固定规则或者白名单进行异常监测的监控范围有限的问题。

附图说明

图1是本发明第一实施例提供的一种异常监测方法的流程示意图；

图2是本发明第一实施例提供的一种异常监测装置的结构示意图；

图3是本发明第二实施例提供的另一种异常监测装置的结构示意图。

具体实施方式

本发明实施例针对现有通过固定规则或者白名单进行异常监测的监控范围有限的问题，通过综合获取全面的日志数据，并基于预设时间段内的日志数据，通过预设监测模型来进行异常行为的监测，使得本发明可以适应各种监测场景，从而扩大了异常监控的范围。以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

本发明第一实施例提供了一种异常监测方法，参见图1，该方法包括：

S101、获取日志数据；

本发明实施例获取的日志数据包括文件操作日志、网络连接日志、进程日志和人机交互状态日志等等。

即，本发明实施例是对用户的行为进行实时且全面的采集，具体采集的数据包括网络日志行为日志、文件行为日志、开关机行为日志、进程应用日志等。

S102、根据所获取的预设时间段内的日志数据，通过预设监测模型对各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为进行监测，得到监测结果；

本发明实施例中，所述预设时间段为根据各个群体内、群体内部不同组内以及各个个体的异常行为特征进行设置。即，本发明实施例可以根据需要来选择具体监测的时间维度，从而实现更为准确且更广泛的监测异常的作用。

也就是说，本发明实施例是通过预设监测模型对整个集群在多个日志维度和时间维度上对各个群体内、群体内部不同组内以及各个个体的异常行为进行监测，使得本发明的方法可以适应各种监测场景，从而扩大了异常监控的范围。

本发明实施例中，所述获取日志数据之前，该方法还包括：提炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值缩放至预设置信区间内，并对缺省的共性行为特征的数值进行赋值，基于缩放以及赋值后的共性行为特征，通过XGboost算法训练生成所述预设监测模型。

具体来说，本发明实施例是将提炼出来的共性行为特征的数值缩放至某一区间，从而使得所有特征都是等同重要的，例如，将特征的数值转换到均值为0，标准差为1的范围内，并对缺省特征采用单独表示，如通过众数，平均值等方式进行赋值，以从整体上防止某个特征对算法产生的影响过大或者过小。

其中，所述根据所获取的日志数据，对在预设时间段内各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为进行监测，包括：基于所述监测模型，根据所获取的日志数据，对在预设时间段内各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为进行监测。

具体实施时，本发明是对采集的日志数据经由kafka流处理，存储到搜索分析引擎ElasticSearch。采集网络流量包、对文件的操作行为、鼠标键盘等操作。数据的采集和存储十分重要，是后续模型应用的基础，数据采集的可靠性可以避免重复数据，并保证数据质量，这些都决定了算法模型的应用效果。

如图2所示，本发明实施例的日志采集模块由搜索分析引擎ElasticSearch、插件管理Logstash、图形处理插件Kibana这三个组件完成，搜索分析引擎ElasticSearch负责数据的存储和索引，插件管理Logstash负责数据采集和过滤转换，图形处理组件Kibana则负责图形界面处理。其中，Logstash的具有以下的功能：获取插件Shipper，负责日志收集。职责是监控本地日志文件的变化，并输出到数据库redis 缓存起来；协调插件Broker可以看作是日志集线器，由多个数据库redis构成，可以连接多个获取模块Shipper和多个索引插件Indexer；索引模块Indexer负责日志存储。即，整个获取的过程会从数据库Redis接收日志，并写入到本地文件。

即，本发明实施例是基于现有的安全监控或异常监测以固定的规则白名单为主，不能适应规则以外的其他场景，缺乏在时间维度和全局维度的综合监测，以及对外界响应不敏感的问题，通过提炼出众多安全及异常场景的共性行为特征，可以解决现有监测系统对规则、白名单等不能覆盖的未知场景，并在时间维度上对历史数据进行延展分析，以适应在时间维度上的异常变化；综合群体全局的行为数据，以适应不同群体间的异常监测。

本发明实施例中，是通过特征工程处理模块对共性行为特征的数据进行处理，具体包括：对数据进行标准化：将训练集中某一列数值特征的值缩放成均值为0，方差为1的状态，使得不同度量之间的特征具有可比性，同时不改变原始数据的分布。

对数据进行缺失值填充：对于缺失值较多的特征直接舍弃，否则可能会有较大的噪声，对实际预测时造成很大干扰。

具体阈值可以根据业务实际需要及可用特征数量决定。对于缺失值较少的特征可以采用以下方法填充：

1、0值、最小值、最大值填充 根据特征的意义来判断，这类特征缺失时是有实际意义的；

2、均值、中值、分位数、众数、随机值等填充，因为等于人为增加了噪声。一般中值效果好于均值，因为均值填充适用于正态分布的特征，对异常值敏感；

3、用其他变量做预测模型算出缺失值。缺点是如果其他变量与确实变量无关，则预测结果毫无意义；如果其他变量与确实变量高度相关，预测结果相当准确，则说明这个变量是没必要选取的，因为可有其他变量组合代替。一般情况下，介于两者之间；

4、将缺失变量映射到高维空间，类似于one-hot编码。比如性别，男、女、缺失三种情况，则映射成三个变量：是否男、是否女、是否性别缺失。连续变量也可以这样处理。比如谷歌、百度的CTR预估模型，预处理时会把所有变量都这样处理，达到几亿维。好处是保留了原始数据的全部信息，不用考虑缺失值及线性不可分等问题。缺点时维度灾难，计算量增大，要求样本量非常大，否则会因稀疏导致效果很差。

进一步地，本发明实施例中，所述得到监测结果之后，该方法还包括：设定异常行为的共性行为特征的数据监测阈值；根据监测得到的监测结果与该监测结果对应的数据监测阈值的差异程度，对监测到的异常行为的异常程度进行量化显示。

也就是说，本发明实施例是针对各个共性行为特征均设置一个数据监控阈值，通过将监测结果与该数据监控阈值比较，确定监测结果与该监测结果对应的数据监测阈值的差异程度，从而实现对监测到的异常行为的异常程度进行量化显示。

例如，设置某一个共性行为特征设置的数据监控阈值为10，大于该阈值则认为是异常，而监控得到该特征的监控结果为12，计算监控结果与数据监控阈值的差异程度为2/10=20%，最后将该数值20%作为异常程度通过数字或者各种比例图等方式进行显示，以使得操作者可以直观且便捷的知晓具体的异常程度。

当然在具体实施时，本领域技术人员也可以通过设置，以通过图表等方式来将用户选定的多个共性行为特征的异常程度进行显示，具体本领域技术人员可以任意设定，本发明实施例在此不做详细赘述。

需要说明的是，在具体实施时，本发明实施例中的数据监测阈值是可以根据当前的数据情况进行任意调整的，通过调整该数据监测阈值，以使得本发明实施可以调整正常样本误报率和异常样本准确率，从而使得本发明的方法获得更好的用户体验。

本发明实施例中机器学习模块的算法是对处理后的特征处理进行算法分析，给出是否异常，异常分数，异常类别以及其它辅助信息。具体的机器学习算法是采用XGboost算法，对已有的标签数据进行训练测试后，生成模型，以判别是否为异常，及给出异常分数来衡量异常危险程度，评分越高，行为越危险。异常分数可以设定不同的阈值，以便调整正常样本误报率和异常样本准确率。给出异常的种类，如网络端口被扫描、文件违规操作等，并提供辅助信息，如比如IP被扫描，提供回应扫描者的IP，文件批量下载，下载了哪些文件，以便使用者排查问题。由于算法使用的特征既包含个体行为历史行为的对比，可以设置不同的时间粒度窗口，如过去三天，过去一星期等历史特征，在时间维度上监控更全面。算法使用的特征也包含不同组内的横向对比，组内行为异常，以及行业内的安全态势行为参考，在横向领域更细致、更广泛。

具体实施时，本发明实施例中，将机器学习算法的结果和中间过程的特征值进行存储。具体地，本发明实施例是使用Kafka流处理技术，集合elastic search进行存储。Kafka流处理保证要存储的数据不会丢失遗漏；elastic search为非关系型数据库，方便存储日志信息，对于新增字段的存储非常灵活。存储结果便于后续查询时回溯。中间特征值的存储则有利于动态调整机器学习模型，保证模型得到及时反馈信息，进而保证模型的有效性。在具体实施时，可以通过设置，使得定时每5分钟存储一次结果，等等。

由于本发明实施例的特征工程处理部分提炼的是各种行为的共性，所以面对异常场景和行为更具备泛华能力和推广能力，且适应性更强。另外，由于本发明实施例采集的日志覆盖了集群的所有个体的所有行为，数据维度更丰富，监测场景更全面，所以可以实现全局视角下，大集群内部不同组的组内行为异常，并能实现针对个体在时间维度内的异常表现。

本发明实施例中，通过结果展示模块实现对算法结果进行可视化统计展示，以及辅助信息。例如按异常分数从高到低排序以显示异常排名，对排名较高者可以给予高度关注及排查；按每天、每周、每月统计各类异常事件，以展现是否受到外部频繁攻击；对内部的内鬼行为展示，显示异常统计数据，比如频繁浏览机密文件的人员排名，对前N名或所有浏览机密文件的人员的访问历史的监控，至于结论由客户根据自身情况自行判断，比如浏览者权限，是否在提出离职前后等。辅助信息便于使用者排查问题，比如网络分析的角度而言，更关注有哪些主机对扫描者给出了回应，而不仅仅是用来判断究竟有谁在扫描本网络。根据存储模块的数据，可以对历史上所有数据进行展示，并且提供实时查询接口，以实现当前状态的展示。

本发明实施例通过对用户的行为进行采集，然后对采集的信息进行数据处理，将处理结果进行机器学习算法，从而给出异常评分和等级，并将监测结果存储到elasticsearch中的结果存储模块，最后按照查询需求取出elastic search的结果进行展示。

简单来说，本发明实施例是通过获取全面的日志数据，对日志数据进行特征处理，提炼出安全场景及异常场景的共性行为特征，通过XGboost算法，对已有的标签数据训练测试生成模型，通过该模型判断日志数据是否异常，并给出异常分数以便用户衡量异常危险程度，另外，本申请的异常分数可以设定不同的阈值，以便调整正常样本误报率和异常样本准确率。

总体来说，本发明实施例的核心思想就是对整个集群在多个日志维度和时间维度上对各个群体内、群体内部不同组内以及各个个体的异常行为进行监测，并对异常进行量化展示，从而提高异常监测的准确率。

本发明第二实施例提供了一种异常监测装置，如图3所示，该装置包括获取单元，用于获取日志数据；监测单元，用于根据所获取的预设时间段内的日志数据，通过预设监测模型对各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为进行监测，得到监测结果；其中，所述日志数据包括以下中的一种或多种：文件操作日志、网络连接日志、进程日志和人机交互状态日志。

也就是说，本发明实施例通过获取单元来获取全面的日志数据，并通过监测单元基于不同异常监测的时间段的不同来设置异常监测的时间段，即，本发明实施例是通过全面的日志数据以及异常监测的时间段实现对异常的准确监测。

需要说明的是，本发明实施例所示获取单元获取的日志数据包括文件操作日志、网络连接日志、进程日志和人机交互状态日志等等。

即，本发明实施例是对用户的行为进行实时且全面的采集，具体采集的数据包括网络日志行为日志、文件行为日志、开关机行为日志、进程应用日志等。

具体实施时，本发明实施例中，所述装置还包括：生成单元；

本发明实施例是生成单元来提炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值缩放至预设置信区间内，并对缺省的共性行为特征的数值进行赋值，基于缩放以及赋值后的共性行为特征，通过XGboost算法训练生成所述预设监测模型。

具体地，本发明实施例所述生成单元是炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值转换到均值为0，标准差为1的范围内，并对缺省特征进行赋值，基于处理后的特征，通过XGboost算法训练测试生成所述监测模型。

即，本发明实施例是通过生成单元来提炼出安全场景及异常场景下的共性行为特征，通过XGboost算法，对已有的标签数据训练测试生成监测模型。

并通过监测单元基于所述监测模型，根据所获取的日志数据，对在预设时间段内各个群体内、群体内部不同组内以及各个个体的异常行为进行监测，并通过异常分数对监测到的异常行为进行量化显示。

需要说明的是，本发明实施例中获取单元包括上述所述日志采集模块的所有功能，监测单元能够实现上述的机器学习模块、特征工程处理模块、结果存储模块以及结果展示模块的功能。

总体来说，本发明实施例的核心思想就是对整个集群在多个日志维度和时间维度上对各个群体内、群体内部不同组内以及各个个体的异常行为进行监测，并对异常进行量化展示，从而提高异常监测的准确率。

本发明实施例的相关内容可参见本发明第一实施例进行理解，在此不做详细论述。

本发明第三实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现本发明第一实施例中任一种所述的异常监测方法。

本发明实施例的相关内容可参见本发明第一实施例和第二实施例进行理解，在此不做详细论述。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (10)

1.一种异常监测方法，其特征在于，包括：

获取日志数据；

根据所获取的预设时间段内的日志数据，通过预设监测模型对各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为进行监测，得到监测结果；

其中，所述日志数据包括以下中的一种或多种：文件操作日志、网络连接日志、进程日志和人机交互状态日志。

2.根据权利要求1所述的方法，其特征在于，所述预设监测模型的获取方式，包括：

提炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值缩放至预设置信区间内，并对缺省的共性行为特征的数值进行赋值，基于缩放以及赋值后的共性行为特征，通过XGboost算法训练生成所述预设监测模型。

3.根据权利要求2所述的方法，其特征在于，所述将提炼出来的共性行为特征的数值缩放至预设置信区间内，包括：

将提炼出来的共性行为特征的数值转换到均值为0且标准差为1的范围内。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，

所述预设时间段为根据各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为的共性行为特征的数据量以及所要求监测结果的准确度进行设置。

5.根据权利要求1-3中任意一项所述的方法，其特征在于，所述得到监测结果之后，该方法还包括：

设定异常行为的共性行为特征的数据监测阈值；

根据监测结果中异常行为的共性行为特征的数值与所述数据监测阈值的差异程度，对监测结果中的异常行为的异常程度进行量化显示。

6.一种异常监测装置，其特征在于，包括：

获取单元，用于获取日志数据；

监测单元，用于根据所获取的预设时间段内的日志数据，通过预设监测模型对各个群体的异常行为、群体内部不同组的异常行为以及各个个体的异常行为进行监测，得到监测结果；其中，所述日志数据包括以下中的一种或多种：文件操作日志、网络连接日志、进程日志和人机交互状态日志。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

生成单元，用于提炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值缩放至预设置信区间内，并对缺省的共性行为特征的数值进行赋值，基于缩放以及赋值后的共性行为特征，通过XGboost算法训练生成所述预设监测模型。

8.根据权利要求7所述的装置，其特征在于，

所述生成单元还用于，提炼出安全场景及异常场景下的共性行为特征，将提炼出来的共性行为特征的数值转换到均值为0且标准差为1的范围内，并对缺省的共性行为特征的数值进行赋值，基于缩放以及赋值后的共性行为特征，通过XGboost算法训练生成所述预设监测模型。

9.根据权利要求6-8中任意一项所述的装置，其特征在于，

所述监测单元还用于，设定异常行为的共性行为特征的数据监测阈值；根据监测结果中异常行为的共性行为特征的数值与所述数据监测阈值的差异程度，对监测结果中的异常行为的异常程度进行量化显示。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现权利要求1-5中任意一项所述的异常监测方法。

Images