发明内容
针对上述情况,为了克服现有技术之缺陷,本发明之目的提供了一种基于云计算的服务器安全监控系统,告警缓冲单元根据阈值关联单元分析的结果对告警信息进行缓冲,通过对告警信息的传输过程的分析得到缓冲向量,再通过映射函数将告警信息的评估数值映射到速度空间中进行分析,告警分析模块结合速度分析结果通过图谱融合对告警信息进行严重性分析,确定告警信息的优先级,通过对速度的分析将传输过程中对告警信息影响的隐性变量考虑在内,利用告警缓冲单元的缓冲降低告警信息分析的范围,大大提高了告警信息分析的实时性,防止告警风暴的产生,使得告警更加精准,帮助运维人员更快的确定服务器的故障位置。
一种基于云计算的服务器安全监控系统,包括告警收集单元、告警缓冲单元、告警分析模块、告警指向单元、阈值关联单元、监控中心模块、数据存储单元;
所述告警收集单元位于监控中心模块的数据采集端,对发来的不同服务器的告警信息按时序进行收集,并将收集到的告警信息发送至数据存储单元进行数据存储;
所述阈值关联单元对告警信息的阈值分析过程进行评估得到响应评估向量,告警信息的阈值分析过程即监控中心模块对服务器的监控数据的分析判断的过程,再根据响应评估向量对阈值分析过程中响应时间的偏移进行分析得到响应时间误差,并结合响应评估向量分析不同告警信息阈值分析过程的阈值相关关系;
告警缓冲单元对服务器监控系统中产生的告警信息进行缓冲,将服务器网络运行以后的第一条告警信息的接收时间记为缓冲时间段的初始时间,缓冲时间段的长度根据第一条告警信息的响应时间误差和阈值相关关系确定,告警缓冲单元将缓冲的告警信息暂存在告警信息缓冲池内;
告警缓冲单元根据告警信息缓冲池内的告警信息的传输过程进行分析得到缓冲向量,告警缓冲单元再根据缓冲向量和响应评估向量建立与速度的映射函数,并对缓冲时间段内告警信息对应速度的分布图进行分析得到速度分析结果,最后将速度分析结果发送至告警分析模块;
所述告警分析模块对告警信息缓冲池内的告警信息进行图谱分析,告警分析模块包括告警根因分析单元、告警关联单元、图谱分析单元,所述告警根因分析单元对告警信息之间的因果关系进行根因分析,并由图谱分析单元对根因分析分析结果进行图谱展示,图谱分析单元将告警信息的分布图谱与告警缓冲单元得到速度的图谱进行融合得到融合图谱,将告警信息的速度分析结果与告警信息的分析结果进行融合展示,最后由所述告警关联单元对告警信息的融合图谱进行分析,确定告警信息的发送级别数;
所述告警指向单元根据告警分析模块分析的结果将告警信息按照不同的级别进行告警信息推送。
所述告警缓冲单元对告警信息缓冲池内缓冲告警信息的过程进行分析,告警缓冲单元是对告警信息的部分传输过程的分析,告警信息缓冲池内接收的是一个时间单位内接收的告警信息,告警信息的数量上限与第一条告警信息有关,告警缓冲单元的速度分析过程如下:
步骤1、将告警缓冲池记为一个整体,缓冲速度与进入缓冲池的告警信息的缓冲速度有关,在速度空间内,将每一个告警信息记为速度空间内的一个分子,将速度空间中一元体记为dvxdvydvz,设分子的个数为N,则分子出现在体元内的概率为
f(vx,vy,vz)为告警信息缓冲进入的概率密度函数;
步骤2、根据速度空间内的不同告警信息的概率密度函数进行分析得到速度分布函数F(v),将不同告警信息从发送到缓冲池的传输速度记为速度图谱中离散的点;
步骤3、告警缓冲单元对速度分析图谱中告警信息形成的离散的点的分布进行分析得到速度分析结果,速度分析结果中包括点的聚合中心的确定;
步骤4、告警缓冲单元将速度分析图谱的分析结果发送至告警分析模块。
所述告警分析模块对告警缓冲池内的告警信息进行告警分析,并结合告警缓冲池内告警信息的速度图谱进行分析告警信息级别划分,具体分析过程如下:
步骤一、告警分析模块对告警信息缓冲池内的告警信息按照发生时间,利用对应的指标、日志与调用链数据与告警进行关联,并利用正则化方法提取告警信息内的数据特征;
步骤二、根据告警信息的数据特征对告警信息进行告警合并和告警关联性分析,通过相似性和关联性分析生成告警事件,所述告警根因分析单元对不同告警事件的因果关系和对应的空间场景进行分析;
步骤三、图谱分析单元对告警根因分析单元的分析结果进行图谱分析得到告警缓冲池内告警信息的分布图谱,再根据不同告警信息的标识信息对分布图谱与速度图谱中离散的点进行对应,利用速度点的分布对告警信息的分布图谱进行矫正,得到融合图谱;
步骤四、告警关联单元通过对融合图谱中离散点的分析得到告警事件之间的关联关系,确定告警信息发送的级别数。
告警信息的产生位置与发送过程不同,对应的响应时间不同,利用对速度的分析将告警信息的响应时间和空间场景中故障位置的隐性变量进行量化,利用告警缓冲池对告警信息进行缓存。
图谱分析单元将同一告警信息在分布图和速度图中点对应的指标分别记为rx和ry,将告警信息速度融合后对应值记为rxy,pxy代表融合后是分布图偏移的概率,融合以后的目标点的对应值为速度加权以后的值,记为Rxy,
Rxy=min∑rxyw-(rxy)+(1-rxy)w+(rxy),
其中,w+(rxy)=pxy和w-(rxy)=1-pxy。
服务器安全监控系统对服务器的监控数据分析判定的阈值包括固定阈值和动态阈值,所述阈值关联单元是固定阈值分析过程的关联分析,服务器周期采集的监控数据触发固定阈值后产生告警信息,对固定阈值的触发过程产生的数据进行特征提取,再对数据特征进行归一化处理,并进行评估得到响应评估向量,根据响应评估向量对固定阈值判定带来的响应时间误差进行计算,当告警缓冲单元对缓冲时间段内的告警信息缓冲接收时,通过阈值关联单元确定与接收的第一条告警信息相关的告警信息的响应时间误差,计算得到所有响应时间误差之和,并以响应时间误差之和为缓冲时间段。
由于以上技术方案的采用,本发明与现有技术相比具有以下优点:
本发明的告警缓冲单元根据阈值关联单元的分析结果确定缓冲时间段,以第一条告警信息的接收时间为初始时刻,对缓冲时间段内产生的告警信息进行缓冲,并对告警信息缓冲池内告警信息的传输过程进行评估得到对应的缓冲向量,再将缓冲向量和响应评估向量映射到速度空间,并通过对告警信息为一元体对应的速度进行分析,来对告警信息传输和分析过程中隐性变量对告警信息的影响,通过告警缓冲单元的缓冲作用,减少了告警信息分析合并的主体数量,提高了数据分析和告警信息合并程度的准确性。
具体实施方式
有关本发明的前述及其他技术内容、特点与功效,在以下配合参考附图1到3对实施例的详细说明中,将可清楚的呈现。本申请的实施方式及实施方式中的特征可以相互组合,说明书中所使用的术语为本发明的技术领域技术人员通常理解的含义。
随着计算机技术的不断发展,云计算技术在人工智能、混合云、边缘计算、机器学习的应用方面也取得了新的成果,用户通过云平台选择所需要的云服务,云服务是通过虚拟技术将多个服务器虚拟化形成一个资源池,虚拟计算机根据客户的需求进行云计算;当云平台服务器被检测出异常情况,系统会立刻启动告警机制,通知运维人员进行管理,例如,CPU利用率超出预设的阈值,或者服务器内存使用过多;但是当服务器监控指标和告警的数量不断增加时,运维人员会浪费很多精力去识别告警信息,运维人员通过告警信息进行故障定位的效率降低,服务器发生故障运行后,对应的告警事件中的告警信息的发送存在事件时间上的关联;
根据提供不同服务的服务器异常的警报规则不同,海量的告警信息增加了运维人员的工作量,严重影响了服务器异常的定位与修复过程,需要花费大量的时间和精力来处理这些告警,当按照固定的规则进行告警时,监控系统对告警信息分析会产生波动误差,对一些隐性变量的影响无法进行动态的分析和监测,并且固定阈值的判断还容易造成告警风暴,所以通过告警信息分析得到的告警决策在服务器的异常检测中有着至关重要的作用,告警收敛、降噪等方面的规则和算法可以帮助运维人员接收到有效信息,减少告警风暴的干扰,而进一步故障定位分析,一种基于云计算的服务器安全监控系统,包括告警收集单元、告警缓冲单元、告警分析模块、告警指向单元、阈值关联单元、监控中心模块、数据存储单元;
所述告警收集单元位于监控中心模块的数据采集端,对发来的不同服务器的告警信息按时序进行收集,并将收集到的告警信息发送至数据存储单元进行数据存储,告警收集单元按照告警事件的发生时间,将相同时间段内的指标,日志与调用链数据与告警进行关联,在告警信息处理过程中从告警信息内部提取特征,例如正则化与命名实体识别,其中比较简单是正则化方法,即预先人为设定一些匹配规则,当文本中的信息满足匹配要求时,对应的信息会被取出;
所述阈值关联单元对告警信息的阈值分析过程进行评估得到响应评估向量,告警信息的阈值分析过程即监控中心模块对服务器的监控数据的分析判断的过程,再根据响应评估向量对阈值分析过程中响应时间的偏移进行分析得到响应时间误差,并结合响应评估向量分析不同告警信息阈值分析过程的阈值相关关系,所述阈值关联单元对不同的告警信息之间的关联分析是对服务器的监控数据触发告警规则的过程,在服务器的安全监测系统的监测过程中,告警信息触发的规则和分析过程是固定的,阈值关联单元是对告警信息触发的过程进行的分析,阈值分析单元是根据历史告警信息的触发过程分析得到阈值之间的相关关系的,也可以是根据对阈值之间的关系人为固定的规则;
告警信息的传输速度除了受到传输过程中传输响应时间和服务器故障位置的影响,还与告警信息的信息量、传输网络等隐性变量的影响,服务器出现异常情况时,产生的告警信息之间相关性,所以必须要进行告警信息合并,告警缓冲单元对服务器监控系统中产生的告警信息进行缓冲,将服务器网络运行以后的第一条告警信息的接收时间记为缓冲时间段的初始时间,缓冲时间段的长度根据第一条告警信息的响应时间误差和阈值相关关系确定,告警缓冲单元将缓冲的告警信息暂存在告警信息缓冲池内,处理不同的告警信息时,通过不同告警信息之间的数据分布关联进行分析,即告警信息按照时间分布进行关联,将经常一起出现的警报关联为一个事件,这种方法可以有效处理分批次网络入侵中产生的警报消息,告警缓冲单元根据相似的数据分析的告警信息之间的关联确定缓冲时间段,告警缓冲单元根据与第一条告警信息相关的告警信息的响应时间误差无额定缓冲时间段,一个缓冲时间段记为一个时间单位;
告警缓冲单元根据告警信息缓冲池内的告警信息的传输过程进行分析得到缓冲向量,告警缓冲单元再根据缓冲向量和响应评估向量建立与速度的映射函数,并对缓冲时间段内告警信息对应速度的分布图进行分析得到速度分析结果,最后将速度分析结果发送至告警分析模块;告警信息的收集速度与告警信息的发送速度有关,将告警信息的内容处理、信息熵、故障程度、网络传输、传输距离等于响应时间的关系,映射到速度分布上,再通过对速度的分析得到聚合程度,对速度的分布进行分级处理,分析不同的告警信息,
所述告警分析模块对告警信息缓冲池内的告警信息进行图谱分析,告警分析模块包括告警根因分析单元、告警关联单元、图谱分析单元,所述告警根因分析单元对告警信息之间的因果关系进行根因分析,并由图谱分析单元对根因分析分析结果进行图谱展示,图谱分析单元将告警信息的分布图谱与告警缓冲单元得到速度的图谱进行融合得到融合图谱,将告警信息的速度分析结果与告警信息的分析结果进行融合展示,最后由所述告警关联单元对告警信息的融合图谱进行分析,确定告警信息的发送级别数,告警信息的根因分析算法具体过程;
步骤一、首先利用告警信息缓冲池内的告警信息的数据来训练决策树,从决策树中得到引发高检索响应时间的条件,不同时刻采集的告警信息数据量不同,训练得到的决策树不同;
步骤二、在多棵决策树中挖掘处相似的引发搞搜索相应时间的条件,将条件用于判断引起搞搜索响应时间的可能条件;
步骤三、评估挖掘出的引发搞搜索响应时间条件中每一个属性的影响;
所述告警指向单元根据告警分析模块分析的结果将告警信息按照不同的级别进行告警信息推送。
所述告警缓冲单元对告警信息缓冲池内缓冲告警信息的过程进行分析,告警缓冲单元是对告警信息的部分传输过程的分析,告警信息缓冲池内接收的是一个时间单位内接收的告警信息,告警信息的数量上限与第一条告警信息有关,告警信息的缓冲过程中,告警信息缓冲池覆盖告警信息传输的部分过程,将告警信息缓冲池记为一个速度分析分析空间,不同的告警信息同时传输至监控中心模块的接收端时,将不同告警信息记为速度流中的一个流动单位,而告警信息的传输速度与网络、信息量、响应时间等因素有关,通过对告警信息收集速度的分析来对响应时间和隐性变量的影响进行分析,利用速度对告警信息的收集过程进行度量,告警缓冲单元的速度分析过程如下:
步骤1、将告警缓冲池记为一个整体,缓冲速度与进入缓冲池的告警信息的缓冲速度有关,在速度空间内,将每一个告警信息记为速度空间内的一个分子,将速度空间中一元体记为dvxdvydvz,设分子的个数为N,则分子出现在体元内的概率为
f(vx,vy,vz)为告警信息缓冲进入的概率密度函数;
步骤2、根据速度空间内的不同告警信息的概率密度函数进行分析得到速度分布函数F(v),将不同告警信息从发送到缓冲池的传输速度记为速度图谱中离散的点;
步骤3、告警缓冲单元对速度分析图谱中告警信息形成的离散的点的分布进行分析得到速度分析结果,速度分析结果中包括点的聚合中心的确定;
步骤4、告警缓冲单元将速度分析图谱的分析结果发送至告警分析模块。
告警收集单元是根据告警信息的产生的时间序列进行收集的,但是告警信息之间的间隔又是不确定的,分析时间段时间过程时,不相关的告警信息数量增多,即使告警信息合并后,告警信息的数量仍然很多,为了提高告警信息分析的准确性,告警缓冲单元根据接收的第一条告警信息确定缓冲时间段长度,进一步地,再由警告分析模块在告警信息缓冲池内缓冲的告警信息中进行数据分析,提高了告警信息分析的准确性,所述告警分析模块对告警缓冲池内的告警信息进行告警分析,并结合告警缓冲池内告警信息的速度图谱进行分析告警信息级别划分,根据响应时间误差确定了确定最小时间单位,在最小时间段内的,对告警信息进行根因分析,具体分析过程如下:
步骤一、告警分析模块对告警信息缓冲池内的告警信息按照发生时间,利用对应的指标、日志与调用链数据与告警进行关联,并利用正则化方法提取告警信息内的数据特征,根据告警信息的特征向量进行去重,计算不同告警信息之间的相关性;
步骤二、根据告警信息的数据特征对告警信息进行告警合并和告警关联性分析,通过相似性和关联性分析生成告警事件,所述告警根因分析单元对不同告警事件的因果关系和对应的空间场景进行分析,不同告警信息之间的因果关系通过转移熵来确定,不同告警信息之间转移熵公式如下:
CE(Xt→Yt)=H(Yt|Yt-ΔW)-H(Yt|Yt-ΔW,Xt-Δτ);
步骤三、图谱分析单元对告警根因分析单元的分析结果进行图谱分析得到告警缓冲池内告警信息的分布图谱,再根据不同告警信息的标识信息对分布图谱与速度图谱中离散的点进行对应,利用速度点的分布对告警信息的分布图谱进行矫正,得到融合图谱,根据告警信息的分析结果数据建立离散点图谱,根据图谱进行分析,计算告警信息离散点的重合度;
步骤四、告警关联单元通过对融合图谱中离散点的分析得到告警事件之间的关联关系,确定告警信息发送的级别数,测试不同告警事件的独立性,建立对应的法则。
告警信息的产生位置与发送过程不同,对应的响应时间不同,利用对速度的分析将告警信息的响应时间和空间场景中故障位置的隐性变量进行量化,利用告警缓冲池对告警信息进行缓存,并且不同服务器的空间场景也存在关联关系,例如,基于警报的host来源/服务器拓扑关系等数据进行关联,将同一个host的警报放入一个事件内,以方便运维人员查看。
图谱分析单元将同一告警信息在分布图和速度图中点对应的指标分别记为rx和ry,将告警信息速度融合后对应值记为rxy,pxy代表融合后是分布图偏移的概率,融合以后的目标点的对应值为速度加权以后的值,记为Rxy,
Rxy=min∑rxyw-(rxy)+(1-rxy)w+(rxy),
其中,w+(rxy)=pxy和w-(rxy)=1-pxy。
服务器安全监控系统对服务器的监控数据分析判定的阈值包括固定阈值和动态阈值,所述阈值关联单元是固定阈值分析过程的关联分析,服务器周期采集的监控数据触发固定阈值后产生告警信息,对固定阈值的触发过程产生的数据进行特征提取,再对数据特征进行归一化处理,并进行评估得到响应评估向量,根据响应评估向量对固定阈值判定带来的响应时间误差进行计算,当告警缓冲单元对缓冲时间段内的告警信息缓冲接收时,通过阈值关联单元确定与接收的第一条告警信息相关的告警信息的响应时间误差,计算得到所有响应时间误差之和,并以响应时间误差之和为缓冲时间段,归一化公式:
其中X是数据值,μ是数据集的平均值,σ是标准差。
在缓冲时间段内,告警采集单元对监控系统产生的所有告警信息进行采集,告警信息中包括标识、名称、时间、来源、级别、摘要、描述、持续时间、服务器、IP地址、告警生命周期、告警分配记录、负责的运维人员,不同告警信息中之间存在相似性,相似性包括告警信息格式相似性和告警信息内容相似性,利用相似性计算公式对不同告警信息之间的相似性进行计算。告警分析模块通过调用链和拓扑关系指标调取短时间内产生的告警信息,并对告警信息缓冲池内告警信息进行数据清洗、合并、关联分析,确定告警信息的告警严重性,再由由告警指向单元将告警信息发送至对应的运维人员的接收端,告警信息的分析管理过程分为三个过程,第一个过程是告警信息的收集过程,告警收集单元对指从外部获取告警信息,按照发生时间,将相同时间段内的指标,日志与调用链数据与告警进行关联,第二个过程是告警信息的合并过程,合并过程多采用,基于不同告警消息所含的告警描述等文本信息进行分类,将语句相似的告警信息进行合并,并在一定程度上结合已有规则生成告警事件的警报,第三个过程是告警信息的关联,例如,基于警报类型的关联方法,则侧重于对同一类型的警报进行关联,类型可以分为系统告警事件、应用告警事件、数据库告警事件、网络告警事件、其他事件等,除此之外还包含语义关联方法。
本实施例的阈值分析单元对告警信息的阈值分析过程进行分析,服务器安全监控系统中,不同服务器的安全告警阈值不同,且多为固定的规则,服务器安全触发的条件不灵活,阈值分析单元对固定阈值的分析过程之间的相关关系进行分析,将不同告警信息进行动态关联,并通过对响应时间误差确定告警缓存池对应的缓存时间段,缩小了告警分析模块分析告警信息的范围。
本实施例的告警分析模块对告警信息进行数据清洗、合并以及数据分析在告警信息的根因分析过程中,告警分析模块根据告警信息建立对应的图谱,通过对图谱内点的分析对告警信息之间的关系进行分析,在图谱分析过程中,通过图谱的融合将速度的分析过程融合到根因分析的过程中,大大提高了告警信息分析的效率,有效的帮助运维人员快速处理大量的告警信息,降低了服务器运行的异常定位。
本发明具体实用时,系统包括告警收集单元、告警缓冲单元、告警分析模块、告警指向单元、阈值关联单元、监控中心模块、数据存储单元,告警收集单元位于监控中心模块的数据采集端,对发来的不同服务器的告警信息按时序进行收集,并将收集到的告警信息发送至数据存储单元进行数据存储,告警缓冲单元根据阈值关联单元分析的结果中确定的告警信息的相关关系对告警信息进行缓冲,通过对告警信息的传输过程的分析得到缓冲向量,再通过映射函数将告警信息的评估数值映射到速度空间中进行分析,告警分析模块结合速度分析结果通过图谱融合对告警信息进行严重性分析,确定告警信息的优先级,通过对速度的分析将传输过程中对告警信息影响的隐性变量考虑在内,利用告警缓冲单元的缓冲降低告警信息分析的范围,大大提高了告警信息分析的实时性,防止告警风暴的产生,使得告警更加精准,帮助运维人员更快的确定服务器的故障位置。
以上所述是结合具体实施方式对本发明所作的进一步详细说明,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。