CN107085544B - 一种系统错误定位方法及装置 - Google Patents

一种系统错误定位方法及装置 Download PDF

Info

Publication number
CN107085544B
CN107085544B CN201710257286.5A CN201710257286A CN107085544B CN 107085544 B CN107085544 B CN 107085544B CN 201710257286 A CN201710257286 A CN 201710257286A CN 107085544 B CN107085544 B CN 107085544B
Authority
CN
China
Prior art keywords
data
log
abnormal
matrix
abnormal data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710257286.5A
Other languages
English (en)
Other versions
CN107085544A (zh
Inventor
张明明
刘俊恺
周静
王毅
张立强
余伟
吴立斌
夏飞
李鹏
季晓凯
蒋铮
王艳青
彭轼
魏桂臣
丁一新
张利
李萌
黄高攀
汤雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
State Grid E Commerce Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
State Grid E Commerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd, State Grid E Commerce Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201710257286.5A priority Critical patent/CN107085544B/zh
Publication of CN107085544A publication Critical patent/CN107085544A/zh
Application granted granted Critical
Publication of CN107085544B publication Critical patent/CN107085544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Complex Calculations (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种系统错误定位方法及装置，该方法包括:设置日志数据中异常数据的提取规则，并储存所述异常数据；构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率；根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵；建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断。解决了如何在大数据环境下进行网络与系统异常判别和维护信息安全的问题。

Description

一种系统错误定位方法及装置
技术领域
本发明涉及大数据技术领域，特别是涉及基于离散随机过程分析的虚拟采样与系统错误根源定位警戒机制的一种系统错误定位方法及装置。
背景技术
信息系统硬件、网络设备与相关软件程序等在日常运行时会产生日志数据，每一行日志都记载着日期、时间、用户及变更等相关操作的描述。因此，对信息系统各类硬件的日志数据异常监测可有效的排查危害系统正常运行的因素。
日志监测系统的作用在于定位海量日志数据中能够引起系统异常的部分，系统的异常出现之前，日志数据往往以一定概率出现数据异常现象，所以这些小概率的数据异常是日志监测系统所重点关注的。日志检测系统中最常用的技术手段是检查日志，通过检查日志，可以描述系统发生错位的具体情况，排查是物理损坏还是人为入侵。可以通过检查日志，得到物理损坏的硬件位置，人为入侵的攻击途径，信息系统在物理损坏或人为入侵过程中分别遭受何种影响，信息系统发生了哪些改变，本次入侵是否只是下一轮攻击的中间过程等等这些信息。统的日志检查的方法包括：一是基于规则查找，通过已知攻击的特征进行分析，并从中提取数据异常的固定规则，将这类规则收集起来形成一个规则集合，信息系统在运行过程可以通过检索这些规则集合中的信息从而判定发生的数据不一致现象是否对系统正常运行构成威胁；二是统计学方法，此方法通过对信息收发量、系统资源占用率等相关数据设置一个正常标准阈值，当系统实际运行超过这个标准阈值就认为是运行异常。
虽然通过检查日志可以帮助日志检测系统定位能够引起系统异常的部分，但是在现实中，即使正常运行的系统也会以一定概率出现各类日志数据的随机异常，这类数据错误现象往往是随机产生且难以避免的，但并不会对系统正常运行产生影响，这样就造成了那些能够引起系统错误的异常数据被淹没在随机异常中。并且在大数据时代，需要处理的数据量更大并且数据种类也随之增加，数据产生和变化的速度也越来越快，这就需要日志检测系统的数据处理要求与大数据的特点相一致。这也就使得在大数据环境下的信息系统中，日志监测需要处理的日志信息量较为庞大，也对异常数据处理提出了较高的实时性要求，显然传统的日志检测方法已经不能作为在大数据环境下，进行网络与系统的异常判别了的方法了。
发明内容
针对于上述问题，本发明提供一种系统错误定位方法及装置，解决了如何在大数据环境下进行网络与系统异常判别和维护信息安全的问题。
为了实现上述目的，根据本发明的第一方面，提供了一种异常判别方法，该方法包括：
设置日志数据中异常数据的提取规则，并储存所述异常数据；
构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率；
根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵；
建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断。
优选的，所述设置日志数据中异常数据的提取规则，并储存所述异常数据，包括：
根据预设原则，设置所述异常数据的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
根据所述异常数据的提取规则，提取所述日志数据中的异常数据；
建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据，其中，所述记录模式为存储异常数据的同时并存储与所述异常数据对应的提取规则的标签。
优选的，所述构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率，包括：
计算获得所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
构造所述日志数据的静态模式，其中，所述静态模式为所述单位模式周期内，所述日志数据的各个标签属性的数据值的集合；
对所述静态模式进行频率统计，获得所述日志数据的状态转移概率。
优选的，所述根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵，包括：
构建日志数据采样的随机过程，并获得所述日志采样的异常数据的转移概率的转移矩阵；
根据所述转移概率矩阵与所述日志数据的状态转移概率进行对比，获得所述异常模式的异常数据的状态转移概率，并生成相应的矩阵，其中，所述异常模式为排除所述系统自身随机产生的异常数据的异常模式的集合；
将所述矩阵中的元素分别与预设的阈值进行比较，并根据
Figure GDA0001333285500000031
进行判断，其中，Rij为矩阵中的元素，λ为预设的阈值，将判断结果生成0和1的矩阵。
优选的，所述建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断，包括：
根据所述日志在子系统中的优先级，设置各个子系统的动态采样频率F，其中，F＝ωh(f)，式中，F表示动态频率，h(f)表示基础频率f的动态调和函数，ω表示频率动态调节参数；
根据所述动态采样频率，构造齐区间函数h(F)，其中，h＝h(F)＝h[ωh(f)]，式中，h(F)为一个关于动态采样频率的时齐区间长度函数；
根据式
Figure GDA0001333285500000041
判断所述系统异常的根源，式中，gij为特征矩阵中的元素，α为矩阵元素之和的最大阈值，rk,rl分别第k时齐区间和第l时齐区间示虚拟采样后的m步转移矩阵第对应位置的行向量，δ为相似性阈值；
当多次虚拟采样后的特征矩阵满足
Figure GDA0001333285500000042
时，则系统无异常；
当高频虚拟采样后的特征矩阵满足
Figure GDA0001333285500000043
时，则系统存在物理损坏，当满足
Figure GDA0001333285500000044
时，则系统存在人为入侵损坏。
根据本发明的第二方面，提供了一种系统错误定位装置，该装置包括：
提取模块，用于设置日志数据中异常数据的提取规则，并储存所述异常数据；
概率获取模块，用于构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率；
特征矩阵获取模块，用于根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵；
判断模块，用于建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断。
优选的，所述提取模块包括：
设置单元，用于根据预设原则，设置所述异常数据的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
提取单元，用于根据所述异常数据的提取规则，提取所述日志数据中的异常数据；
记录单元，用于建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据，其中，所述记录模式为存储异常数据的同时并存储与所述异常数据对应的提取规则的标签。
优选的，所述概率获取模块包括：
计算单元，用于计算获得所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
构造单元，用于构造所述日志数据的静态模式，其中，所述静态模式为所述单位模式周期内，所述日志数据的各个标签属性的数据值的集合；
统计单元，用于对所述静态模式进行频率统计，获得所述日志数据的状态转移概率。
优选的，所述特征矩阵获取模块包括：
构建单元，用于构建日志数据采样的随机过程，并获得所述日志采样的异常数据的转移概率的转移矩阵；
生成单元，用于根据所述转移概率矩阵与所述日志数据的状态转移概率进行对比，获得所述异常模式的异常数据的状态转移概率，并生成相应的矩阵，其中，所述异常模式为排除所述系统自身随机产生的异常数据的异常模式的集合；
矩阵生成单元，用于将所述矩阵中的元素分别与预设的阈值进行比较，并根据
Figure GDA0001333285500000061
进行判断，其中，Rij为矩阵中的元素，λ为预设的阈值，将判断结果生成0和1的矩阵。
优选的，所述判断模块包括：
采样设置单元，用于根据所述日志在子系统中的优先级，设置各个子系统的动态采样频率F，其中，F＝ωh(f)，式中，F表示动态频率，h(f)表示基础频率f的动态调和函数，ω表示频率动态调节参数；
构造子单元，用于根据所述动态采样频率，构造齐区间函数h(F)，其中，h＝h(F)＝h[ωh(f)]，式中，h(F)为一个关于动态采样频率的时齐区间长度函数；
判断单元，用于根据式
Figure GDA0001333285500000062
判断所述系统异常的根源，式中，gij为特征矩阵中的元素，α为矩阵元素之和的最大阈值，rk,rl分别第k时齐区间和第l时齐区间示虚拟采样后的m步转移矩阵第对应位置的行向量，δ为相似性阈值；
当多次虚拟采样后的特征矩阵满足
Figure GDA0001333285500000063
时，则系统无异常；
当高频虚拟采样后的特征矩阵满足
Figure GDA0001333285500000064
时，则系统存在物理损坏，当满足
Figure GDA0001333285500000065
时，则系统存在人为入侵损坏。
相较于现有技术，本发明通过对日志数据的分析提取了日志中的异常数据,然后构建日志数据的数据状态转移表，获得状态转移概率，这样可以估计日志数据中各类异常模式，并且通过异常数据的转移概率进行C-K方程(切普曼-柯尔莫戈洛夫方程)高频采样，解析出异常数据的特征矩阵，最后通过建立异常判别函数，对引起系统异常的根源进行定位判断。本发明形成了分析日志数据异常的概率演化模式，从而快速由异常概率演化模式指向系统错误分类，进而解决了如何在大数据环境下进行网络与系统异常判别和维护信息安全的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例一提供的一种系统错误定位方法的流程示意图；
图2为本发明实施例二对应的图1中所示S12步骤中的获取日志数据的状态转移概率的流程示意图；
图3为本发明实施例二对应的图1中所示步骤S13步骤中的获取特征矩阵的流程示意图；
图4为本发明实施例二对应的图1中所示步骤S14步骤中的系统错误定位的流程示意图；
图5为本发明实施例三提供的一种系统错误定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
实施例一
参见图1为本发明实施例一提供的一种系统错误定位方法的流程示意图，该方法包括以下步骤：
S11、设置日志数据中异常数据的提取规则，并储存所述异常数据；
具体的，在日志数据中异常数据也会被称为数据不一致，而异常数据通常表现在很多方面，并且相关的研究工作也相对较为成熟，但是在实际应用中不仅可以采用常规的异常数据发现规则，也可自行根据具体应用环境定义异常数据的标准，从而根据标准形成提取规则，在本发明实施例中设置了一个预设原则，根据所述预设原则形成了异常数据的提取规则，其中所述预设原则包括：
单个数据范围超过数据定义域，或者整体数据集合范围超过数据定义域，即
Figure GDA0001333285500000081
其中，d表示单个数据元素，D表示数据集合，R表示数据定义域；
数据结构不满足预设的数据结构，或者数据格式不满足预设的数据格式；
数据不满足相关函数的依赖关系，或者数据为空集。
根据需要将满足一个或多个上述的预设原则的数据提取出来，此时这些预设原则的集合成为提取规则。
根据所述异常数据的提取规则，提取所述日志数据中的异常数据；
建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据，其中，所述记录模式为存储异常数据的同时并存储与所述异常数据对应的提取规则的标签。
S12、构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率；
具体的，日志数据的状态是指数据在其定义域内所处的位置，例如对于分类标签型数据，状态的形式是离散的数值或标签，对于连续的数据，状态的形式是一定的范围划分。数据在其定义域内必然存在包含全部正常状态的区间，称这个区间状态为正常状态。当数据超出正常状态区间时，称数据处于非正常区间，此时会出现异常数据。
当系统处在正常状态时，每次监测日志的数据是趋于稳定的，即日志某一属性的数据从本单位模式周期所处的状态转移到下一单位模式周期的状态依照较大概率服从已知的变化规律。而当检测到日志数据异常时，说明从上一状态转移到此刻状态时，数据依一个小概率进行转移，所以获取所述转移概率可以得到异常数据的相关信息。
S13、根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵；
具体的，在步骤S12中获得日志数据的状态转移概率时，包含了日志中某一属性的数据跨越一个单位模式周期时，全部的可能状态的转移概率。她们是对历史日志统计得到的统计值，这些转移概率本身并不能全部提现系统异常的特征，即当监测到异常数据时，相应的系统异常类别只是以一个较大的概率已经发生，而不是必然发生。这是因为出现异常数据时，也要区分是系统自身随机产生的还是系统出现异常产生的，所以要进一步获取异常数据的转移概率，并得到异常数据的特征矩阵。
S14、建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断。
通过本发明实施例一公开的技术方案，对日志数据的分析提取了日志中的异常数据,然后构建日志数据的数据状态转移表，获得状态转移概率，这样可以估计日志数据中各类异常模式，并且通过异常数据的转移概率进行C-K方程(切普曼-柯尔莫戈洛夫方程)高频采样，解析出异常数据的特征矩阵，最后通过建立异常判别函数，对引起系统异常的根源进行定位判断。本发明形成了分析日志数据异常的概率演化模式，从而快速由异常概率演化模式指向系统错误分类，进而解决了如何在大数据环境下进行网络与系统异常判别和维护信息安全的问题。
实施例二
参照本发明实施例一和图1中所描述的S11到S14步骤的具体过程，并且参见图2，图2为本发明实施例二对应的图1中所示S12步骤中的获取日志数据的状态转移概率的流程示意图，所述步骤S12构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率，具体包括：
S121、计算获得所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
具体的，单位模式周期指一个采样到系统中所有日志项目的最小周期。
S122、构造所述日志数据的静态模式，其中，所述静态模式为所述单位模式周期内，所述日志数据的各个标签属性的数据值的集合；
可以理解的是，日志中的异常数据有时会单个随机出现，有时会集体并发出现，这两种出现方式皆可作为区分异常数据类型的依据。其中异常数据出现可以看作是在单位模式周期内，多个独立属性的数据发生变化，其变化组合符合了异常数据的提取规则。其发生概率依照下面的式子进行计算
P(d1,d2,...,dn)＝P(d1)P(d2)LP(dn)
其中，P(d1,d2,...,dn)表示随机异常d1,d2,...,dn同时发生的概率。
静态模式就是单位模式周期内日志各属性的数据值的集合，若系统发生异常，引发相应日志数据异常的特定组合也会包含在静态模式中，这些异常数据组合表征了系统异常的特征，而静态模式用来记录此类特征。
S123、对所述静态模式进行频率统计，获得所述日志数据的状态转移概率。
相应的参见图3为本发明实施例二对应的图1中所示步骤S13步骤中的获取特征矩阵的流程示意图，所述步骤S13根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵，具体包括：
S131、构建日志数据采样的随机过程，并获得所述日志采样的异常数据的转移概率的转移矩阵；
具体的，日志采样过程本质上是一个参数(时间)离散与状态(数据所处范围)离散的随机过程。构建日志采样随机过程{Xn，n＝0,1,2…}，其中，Xn为采样后的日志数据状态，n为采样序号(状态参数)，由于各状态是独立的，并且本次采样状态只与上一次采样系统状态相关，那么日志采样的随机过程是一个马尔科夫链，证明过程如下：
由于n是有限可列的，并且
Figure GDA0001333285500000111
及状态i,j,i0,i1,L,in-1，总存在条件概率P(Xn+1＝j|X0＝i0,X1＝i1,L,Xn-1＝in-1,Xn＝i)
使得
P(Xn+1＝j|X0＝i0,X1＝i1,…,Xn-1＝in-1,Xn＝i)＝P(Xn+1＝j|Xn＝i)
即采样过程满足马氏性，{Xn,n＝0,1,2,L}为一个马尔可夫链。
构造异常数据的转移矩阵：
Figure GDA0001333285500000112
其中，pij(i,j＝0,1,2,L)为日志数据从状态i转移到状态j的一步转移概率。数据状态转移矩阵是静态模式的概率特征形式化表达，完整包含了静态模式中，数据处在所有可能状态的概率信息。在现实中，短时期日志数据的转移概率受采样初始时刻的影响较小，日志数据异常转移概率具有时齐性。
S132、根据所述转移概率矩阵与所述日志数据的状态转移概率进行对比，获得所述异常模式的异常数据的状态转移概率，并生成相应的矩阵，其中，所述异常模式为排除所述系统自身随机产生的异常数据的异常模式的集合；
具体的，如果要是获取异常模式下的异常数据的转移矩阵，首先要对整个系统的日志数据经过高频m+n次采样后的演化概率分布，根据切普曼-柯尔莫哥洛夫方程(C-K方程)，
Figure GDA0001333285500000121
其中，为状态i经历m+n次采样后转移到状态j的概率，
Figure GDA0001333285500000122
和
Figure GDA0001333285500000123
分别表示状态i和k经历n和m次采样转移到状态k和j的概率，通过式子可知，只要统计出初次采样时刻为止之前的历史日志数据异常概率分布，就可以估算出n+m次采样后的日志数据异常概率分布。由上式可以发现，切普曼-柯尔莫哥洛夫方程定义的多次采样转移概率公式在形式上恰好等价于状态转移矩阵的点乘，即计算经历n+m次采样后的概率分布本质上获得了如下矩阵：
Figure GDA0001333285500000124
S133、将所述矩阵中的元素分别与预设的阈值进行比较，并根据
Figure GDA0001333285500000125
进行判断，其中，Rij为矩阵中的元素，λ为预设的阈值，将判断结果生成0和1的矩阵。
具体的，根据C-K方程计算出的n+m步转移矩阵包含了所有状态的转移概率分布情况，对其中各个元素设置一个小概率阈值λ，提取n+m步转移矩阵中所有小于λ的元素，这些小于阈值的元素所在矩阵位置标定了所有小概率事件的状态转移分布情况。
根据
Figure GDA0001333285500000126
进行判断生成了0-1矩阵，在0-1特征矩阵中，每一行代表一个数据状态经历多次采样后的异常分布情况，其中，非零元素所在行列标号确定了数据状态经历多次采样后发生小概率事件的位置。
数据状态经历多次采样实际是通过C-K方程模拟出的采样估计而来，而系统不需要真正实施多次采样过程，这种通过转移概率计算估计而来的采样过程成为虚拟高频采样，采用这种方法可有效节约采样环节的系统资源浪费。
相应的，参见图4为本发明实施例二对应的图1中所示步骤S14步骤中的系统错误定位的流程示意图，所述步骤S14建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断，具体包括：
S141、根据所述日志在子系统中的优先级，设置各个子系统的动态采样频率F，其中，F＝ωh(f)，式中，F表示动态频率，h(f)表示基础频率f的动态调和函数，ω表示频率动态调节参数；
具体的，h(f)表示基础频率f的动态调和函数，其中基础频率是指系统中最小的采样频率，动态调和函数是一个关于基础频率的量纲统一调和映射，它的表达式可以根据具体应用环境来定义，其存在目的是保证基础频率与系统其他频率在进行动态调节时的量纲统一。ω表示频率动态调节参数，其作用是对基础采样频率依采样需求进行适时放大，起到调节频率的作用。
S142、根据所述动态采样频率，构造齐区间函数h(F)，其中，h＝h(F)＝h[ωh(f)]，式中，h(F)为一个关于动态采样频率的时齐区间长度函数；
具体的，通过得到的多次采样后的分布的是基于短时间高频次虚拟采样而来，更一般的，对于现实日志监测任务，时间跨度是较长的，此时数据转移矩阵不满足时齐性假设，但由于一个非齐次时间跨度是可以分为不同的多个齐次时间区间的，可以通过下式计算不一致数据分布：
Figure GDA0001333285500000131
其中，
Figure GDA0001333285500000132
表示一个初始数据转移概率分布
Figure GDA0001333285500000133
在0时刻经历一个非齐次的时间跨度x采样后的分布分布估计情况，m表示一个具有时齐性的短暂时间区间，在时齐区间内C-K方程有效，Pi表示第i时齐区间内的数据一步转移矩阵。％表示取余符号，[]表示取整符号。
一个非时齐时间跨度为x的虚拟采样过程，需要统计确定个数据一步转移矩阵，而当时齐区间m设定为较大值时，需要统计确定的数据一步转移矩阵就越少，但是虚拟高频采样估算而得的特征精度也越低。
具体的，时齐区间需依上式构造为关于动态频率的函数，
h＝h(F)＝h[ωh(f)]
其中，h(F)为一个关于动态采样频率的时齐区间长度函数，其具体函数表达式可根据应用场景具体定义，但需保障设置成与F负相关的形式，并根据系统内各子系统的优先级设置不同的采样频率。例如较高频率适合属性记录的更新速度较快的日志。
S143、根据式
Figure GDA0001333285500000141
判断所述系统异常的根源，式中，gij为特征矩阵中的元素，α为矩阵元素之和的最大阈值，rk,rl分别第k时齐区间和第l时齐区间示虚拟采样后的m步转移矩阵第对应位置的行向量，δ为相似性阈值；
当多次虚拟采样后的特征矩阵满足
Figure GDA0001333285500000142
时，则系统无异常；
当高频虚拟采样后的特征矩阵满足
Figure GDA0001333285500000143
时，则系统存在物理损坏，当满足
Figure GDA0001333285500000144
时，则系统存在人为入侵损坏。
根据本发明实施例二公开的技术方案，对日志数据的分析提取了日志中的异常数据,并具体描述了通过静态模式记录了系统异常的特征，获取了日志数据的状态转移概率，并形成了分析日志数据异常的概率演化模式，这样可以估计日志数据中各类异常模式，并且通过异常数据的转移概率进行C-K方程(切普曼-柯尔莫戈洛夫方程)高频采样，解析出异常数据的特征矩阵即0和1矩阵，最后通过建立异常判别函数，对引起系统异常的根源进行定位判断。从而快速由异常概率演化模式指向系统错误分类，进而解决了如何在大数据环境下进行网络与系统异常判别和维护信息安全的问题。
实施例三
与本发明实施例一和实施例二所公开的一种系统错误定位方法相对应，本发明的实施例三还提供了一种系统错误定位装置，参见图5为本发明实施例三提供的一种系统错误定位装置的结构示意图，该装置包括：
提取模块1，用于设置日志数据中异常数据的提取规则，并储存所述异常数据；
概率获取模块2，用于构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率；
特征矩阵获取模块3，用于根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵；
判断模块4，用于建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断。
相应的，所述提取模块1包括：
设置单元11，用于根据预设原则，设置所述异常数据的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
提取单元12，用于根据所述异常数据的提取规则，提取所述日志数据中的异常数据；
记录单元13，用于建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据，其中，所述记录模式为存储异常数据的同时并存储与所述异常数据对应的提取规则的标签。
对应的，所述概率获取模块2包括：
计算单元21，用于计算获得所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
构造单元22，用于构造所述日志数据的静态模式，其中，所述静态模式为所述单位模式周期内，所述日志数据的各个标签属性的数据值的集合；
统计单元23，用于对所述静态模式进行频率统计，获得所述日志数据的状态转移概率。
相应的，所述特征矩阵获取模块3包括：
构建单元31，用于构建日志数据采样的随机过程，并获得所述日志采样的异常数据的转移概率的转移矩阵；
生成单元32，用于根据所述转移概率矩阵与所述日志数据的状态转移概率进行对比，获得所述异常模式的异常数据的状态转移概率，并生成相应的矩阵，其中，所述异常模式为排除所述系统自身随机产生的异常数据的异常模式的集合；
矩阵生成单元33，用于将所述矩阵中的元素分别与预设的阈值进行比较，并根据
Figure GDA0001333285500000161
进行判断，其中，Rij为矩阵中的元素，λ为预设的阈值，将判断结果生成0和1的矩阵。
具体的，所述判断模块4包括：
采样设置单元41，用于根据所述日志在子系统中的优先级，设置各个子系统的动态采样频率F，其中，F＝ωh(f)，式中，F表示动态频率，h(f)表示基础频率f的动态调和函数，ω表示频率动态调节参数；
构造子单元42，用于根据所述动态采样频率，构造齐区间函数h(F)，其中，h＝h(F)＝h[ωh(f)]，式中，h(F)为一个关于动态采样频率的时齐区间长度函数；
判断单元43，用于根据式
Figure GDA0001333285500000171
判断所述系统异常的根源，式中，gij为特征矩阵中的元素，α为矩阵元素之和的最大阈值，rk,rl分别第k时齐区间和第l时齐区间示虚拟采样后的m步转移矩阵第对应位置的行向量，δ为相似性阈值；
当多次虚拟采样后的特征矩阵满足
Figure GDA0001333285500000172
时，则系统无异常；
当高频虚拟采样后的特征矩阵满足
Figure GDA0001333285500000173
时，则系统存在物理损坏，当满足
Figure GDA0001333285500000174
时，则系统存在人为入侵损坏。
在本发明的实施例三中，通过提取模块对日志数据的分析提取了日志中的异常数据,然后在概率获取模块中构建日志数据的数据状态转移表，获得状态转移概率，这样可以估计日志数据中各类异常模式，并且通过特征矩阵获取模块异常数据的转移概率进行C-K方程(切普曼-柯尔莫戈洛夫方程)高频采样，解析出异常数据的特征矩阵，最后通过判断模块建立异常判别函数，对引起系统异常的根源进行定位判断。本发明形成了分析日志数据异常的概率演化模式，从而快速由异常概率演化模式指向系统错误分类，进而解决了如何在大数据环境下进行网络与系统异常判别和维护信息安全的问题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种系统错误定位方法，其特征在于，该方法包括：
设置日志数据中异常数据的提取规则，并储存所述异常数据；
构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率；
根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵，其中，所述根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵，包括：构建日志数据采样的随机过程，并获得所述日志采样的异常数据的转移概率的转移矩阵；根据所述转移概率矩阵与所述日志数据的状态转移概率进行对比，获得所述异常模式的异常数据的状态转移概率，并生成相应的矩阵，其中，所述异常模式为排除所述系统自身随机产生的异常数据的异常模式的集合；将所述矩阵中的元素分别与预设的阈值进行比较，并根据
Figure FDA0002384059570000011
进行判断，其中，Rij为矩阵中的元素，λ为预设的阈值，将判断结果生成0和1的矩阵；
建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断。
2.根据权利要求1所述的方法，其特征在于，所述设置日志数据中异常数据的提取规则，并储存所述异常数据，包括：
根据预设原则，设置所述异常数据的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
根据所述异常数据的提取规则，提取所述日志数据中的异常数据；
建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据，其中，所述记录模式为存储异常数据的同时并存储与所述异常数据对应的提取规则的标签。
3.根据权利要求1所述的方法，其特征在于，所述构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率，包括：
计算获得所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
构造所述日志数据的静态模式，其中，所述静态模式为所述单位模式周期内，所述日志数据的各个标签属性的数据值的集合；
对所述静态模式进行频率统计，获得所述日志数据的状态转移概率。
4.根据权利要求1所述的方法，其特征在于，所述建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断，包括：
根据所述日志在子系统中的优先级，设置各个子系统的动态采样频率F，其中，F＝ωh(f)，式中，F表示动态频率，h(f)表示基础频率f的动态调和函数，ω表示频率动态调节参数；
根据所述动态采样频率，构造齐区间函数h(F)，其中，h＝h(F)＝h[ωh(f)]，式中，h(F)为一个关于动态采样频率的时齐区间长度函数；
根据式
Figure FDA0002384059570000021
判断所述系统异常的根源，式中，gij为特征矩阵中的元素，α为矩阵元素之和的最大阈值，rk,rl分别第k时齐区间和第l时齐区间示虚拟采样后的m步转移矩阵第对应位置的行向量，δ为相似性阈值；
当多次虚拟采样后的特征矩阵满足
Figure FDA0002384059570000022
时，则系统无异常；
当高频虚拟采样后的特征矩阵满足
Figure FDA0002384059570000031
时，则系统存在物理损坏，当满足
Figure FDA0002384059570000032
时，则系统存在人为入侵损坏。
5.一种系统错误定位装置，其特征在于，该装置包括：
提取模块，用于设置日志数据中异常数据的提取规则，并储存所述异常数据；
概率获取模块，用于构建日志数据的数据状态转移表，获得所述日志数据的状态转移概率；
特征矩阵获取模块，用于根据所述日志数据的状态转移概率，对所述日志数据进行高频采样，计算获得所述异常数据的转移概率，并获得所述异常数据的特征矩阵，其中，所述特征矩阵获取模块包括：构建单元，用于构建日志数据采样的随机过程，并获得所述日志采样的异常数据的转移概率的转移矩阵；生成单元，用于根据所述转移概率矩阵与所述日志数据的状态转移概率进行对比，获得所述异常模式的异常数据的状态转移概率，并生成相应的矩阵，其中，所述异常模式为排除所述系统自身随机产生的异常数据的异常模式的集合；矩阵生成单元，用于将所述矩阵中的元素分别与预设的阈值进行比较，并根据
Figure FDA0002384059570000033
进行判断，其中，Rij为矩阵中的元素，λ为预设的阈值，将判断结果生成0和1的矩阵；
判断模块，用于建立异常判别函数，依据所述特征矩阵，对引起系统异常的根源进行定位判断。
6.根据权利要求5所述的装置，其特征在于，所述提取模块包括：
设置单元，用于根据预设原则，设置所述异常数据的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
提取单元，用于根据所述异常数据的提取规则，提取所述日志数据中的异常数据；
记录单元，用于建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据，其中，所述记录模式为存储异常数据的同时并存储与所述异常数据对应的提取规则的标签。
7.根据权利要求5所述的装置，其特征在于，所述概率获取模块包括：
计算单元，用于计算获得所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
构造单元，用于构造所述日志数据的静态模式，其中，所述静态模式为所述单位模式周期内，所述日志数据的各个标签属性的数据值的集合；
统计单元，用于对所述静态模式进行频率统计，获得所述日志数据的状态转移概率。
8.根据权利要求5所述的装置，其特征在于，所述判断模块包括：
采样设置单元，用于根据所述日志在子系统中的优先级，设置各个子系统的动态采样频率F，其中，F＝ωh(f)，式中，F表示动态频率，h(f)表示基础频率f的动态调和函数，ω表示频率动态调节参数；
构造子单元，用于根据所述动态采样频率，构造齐区间函数h(F)，其中，h＝h(F)＝h[ωh(f)]，式中，h(F)为一个关于动态采样频率的时齐区间长度函数；
判断单元，用于根据式
Figure FDA0002384059570000041
判断所述系统异常的根源，式中，gij为特征矩阵中的元素，α为矩阵元素之和的最大阈值，rk,rl分别第k时齐区间和第l时齐区间示虚拟采样后的m步转移矩阵第对应位置的行向量，δ为相似性阈值；
当多次虚拟采样后的特征矩阵满足
Figure FDA0002384059570000051
时，则系统无异常；
当高频虚拟采样后的特征矩阵满足
Figure FDA0002384059570000052
时，则系统存在物理损坏，当满足
Figure FDA0002384059570000053
时，则系统存在人为入侵损坏。
CN201710257286.5A 2017-04-19 2017-04-19 一种系统错误定位方法及装置 Active CN107085544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710257286.5A CN107085544B (zh) 2017-04-19 2017-04-19 一种系统错误定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710257286.5A CN107085544B (zh) 2017-04-19 2017-04-19 一种系统错误定位方法及装置

Publications (2)

Publication Number Publication Date
CN107085544A CN107085544A (zh) 2017-08-22
CN107085544B true CN107085544B (zh) 2020-04-17

Family

ID=59612865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710257286.5A Active CN107085544B (zh) 2017-04-19 2017-04-19 一种系统错误定位方法及装置

Country Status (1)

Country Link
CN (1) CN107085544B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107947972B (zh) * 2017-11-16 2021-01-15 长安大学 一种感知节点异常运行状态检测方法及检测装置
CN111008238B (zh) * 2019-11-15 2023-10-10 武汉楚誉科技股份有限公司 基于关联演化大数据的关键模式自动定位与预警方法
CN113157911A (zh) * 2020-01-07 2021-07-23 北京沃东天骏信息技术有限公司 一种服务验证方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751234A (zh) * 2010-01-21 2010-06-23 浪潮(北京)电子信息产业有限公司 一种磁盘阵列数据分布方法及系统
CN105337985A (zh) * 2015-11-19 2016-02-17 北京师范大学 一种攻击检测方法及系统
CN105893208A (zh) * 2016-03-31 2016-08-24 城云科技（杭州）有限公司 基于隐半马尔可夫模型的云计算平台系统故障预测方法
CN106357434A (zh) * 2016-08-30 2017-01-25 国家电网公司 一种基于熵分析的智能电网通信网络流量异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7529683B2 (en) * 2005-06-29 2009-05-05 Microsoft Corporation Principals and methods for balancing the timeliness of communications and information delivery with the expected cost of interruption via deferral policies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751234A (zh) * 2010-01-21 2010-06-23 浪潮(北京)电子信息产业有限公司 一种磁盘阵列数据分布方法及系统
CN105337985A (zh) * 2015-11-19 2016-02-17 北京师范大学 一种攻击检测方法及系统
CN105893208A (zh) * 2016-03-31 2016-08-24 城云科技（杭州）有限公司 基于隐半马尔可夫模型的云计算平台系统故障预测方法
CN106357434A (zh) * 2016-08-30 2017-01-25 国家电网公司 一种基于熵分析的智能电网通信网络流量异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于隐马尔可夫模型的故障诊断与预报综述;夏丽莎等;《the 25th Chinese Control and Decision Conference(第25届中国控制与决策会议)论文集》;20131203;全文 *
基于马尔可夫链模型的异常入侵检测方法研究;徐小梅;《万方数据》;20150414;全文 *

Also Published As

Publication number Publication date
CN107085544A (zh) 2017-08-22

Similar Documents

Publication Publication Date Title
CN110417721B (zh) 安全风险评估方法、装置、设备及计算机可读存储介质
CN108989150B (zh) 一种登录异常检测方法及装置
CN111177714B (zh) 异常行为检测方法、装置、计算机设备和存储介质
CN107423190B (zh) 一种日志数据异常指向识别方法及装置
US20090167520A1 (en) Communication network failure detection system, and communication network failure detection method and failure detection program
CN110493179B (zh) 基于时间序列的网络安全态势感知系统和方法
CN111444060B (zh) 异常检测模型训练方法、异常检测方法及相关装置
CN107085544B (zh) 一种系统错误定位方法及装置
CN111045894A (zh) 数据库异常检测方法、装置、计算机设备和存储介质
CN114465874B (zh) 故障预测方法、装置、电子设备与存储介质
CN113434859A (zh) 入侵检测方法、装置、设备及存储介质
US11265232B2 (en) IoT stream data quality measurement indicator and profiling method and system therefor
CN112214768A (zh) 一种恶意进程的检测方法及装置
CN108306997B (zh) 域名解析监控方法及装置
CN111064719B (zh) 文件异常下载行为的检测方法及装置
CN105825130A (zh) 一种信息安全预警方法及装置
US7962607B1 (en) Generating an operational definition of baseline for monitoring network traffic data
US11665185B2 (en) Method and apparatus to detect scripted network traffic
CN113282920A (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
CN113465734A (zh) 一种结构振动的实时估计方法
CN116030955B (zh) 基于物联网的医疗设备状态监测方法及相关装置
CN110661818B (zh) 事件异常检测方法、装置、可读存储介质和计算机设备
CN112380073A (zh) 一种故障位置的检测方法、装置及可读存储介质
CN117240522A (zh) 基于攻击事件模型的漏洞智能挖掘方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant