CN107423190A - 一种日志数据异常指向识别方法及装置 - Google Patents
一种日志数据异常指向识别方法及装置 Download PDFInfo
- Publication number
- CN107423190A CN107423190A CN201710256875.1A CN201710256875A CN107423190A CN 107423190 A CN107423190 A CN 107423190A CN 201710256875 A CN201710256875 A CN 201710256875A CN 107423190 A CN107423190 A CN 107423190A
- Authority
- CN
- China
- Prior art keywords
- mrow
- data
- mtd
- abnormal
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002159 abnormal effect Effects 0.000 claims abstract description 209
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 134
- 238000012549 training Methods 0.000 claims description 31
- 238000005457 optimization Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 238000005314 correlation function Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012550 audit Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003455 independent Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 231100000279 safety data Toxicity 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种日志数据异常指向识别方法，该方法包括:设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系；设置异常模式的损失函数，计算获得使所述损失函数的值最小的参数值；根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。通过本发明实现了对海量日志数据分析并根据数据异常快速定位异常所在根源的目的。
Description
技术领域
本发明涉及大数据技术领域，特别是涉及基于隐因子模式学习的异常分类与协同警戒机制的一种日志数据异常指向识别方法及装置。
背景技术
信息系统在日常运行时会产生大量数据，而数据异常现象是广泛存在且不可避免的，通常一套成熟的信息系统可以承受甚至自动纠正单位时间段内一定比例或范围内出现的数据异常现象，即该信息系统具备容错能力。然而，在单位时间内，出现的数据异常比例或者范围超出了信息系统的容错承受能力，就会使得系统出现异常，影响其安全运行。
为了保证信息系统的安全运行，通常会对信息系统机器网络设备与相关软件程序等在日常运行时产生的日志进行异常检测，来排除危害信息系统正常运行的因素。其中，每一行日志都记载着日期、时间、用户及变更等相关操作的描述。通过检查日志，可以描述系统发生错误的具体情况，排查是物理损坏还是人为入侵，如果是物理损害需得到物理损坏的硬件位置，对应的如果是人为入侵，则需查明人为入侵的攻击途径，这样才能保证信息系统的安全运行。
传统的日志检查的方法包括：一是基于规则查找，通过已知攻击的特征进行分析，并从中提取数据异常的固定规则，将这类规则收集起来形成一个规则集合，信息系统在运行过程可以通过检索这些规则集合中的信息从而判定发生的数据不一致现象是否对系统正常运行构成威胁；二是统计学方法，此方法通过对信息收发量、系统资源占用率等相关数据设置一个正常标准阈值，当系统实际运行超过这个标准阈值就认为是运行异常。上述的传统的日志检查方法都是用在判断信息系统是否存在运行异常的现象，如果需要对日志信息进行监控就要启动日志审计系统，它按预先设定的时间间隔采集日志信息，并对采集到的日志数据进行数据格式标准化处理，使得日志数据便于 分析，及时发现对系统具有安全威胁的数据或者异常行为时间产生的数据并发出相应系统异常警告。虽然日志审计系统可以实时的监测信息系统的整体运行与各子设备的运行状况，帮助安全维护管理人员快速定位故障位置和状况。但是，随着大数据时代的来临，接入互联网用户的增加以及物联网的发展，信息系统规模越来越发，网络环境日趋复杂。这样就使得日志审计系统需实时处理与分析的日志数据越来越多，这对日志审计系统的实时处理能力提出了新的要求。如何对海量日志数据进行高速度并行分析，并可以快速的检索日志信息及定位问题所在位置也是目前日志审计系统所面临的主要问题。
发明内容
针对于上述问题，本发明提供一种日志数据异常指向识别方法及装置，实现了对海量日志数据分析并根据数据异常快速定位异常所在根源的目的。
为了实现上述目的，根据本发明的第一方面，提供了一种日志数据异常指向识别方法，该方法包括：
设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；
对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签；
根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；
根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。
优选的，所述方法还包括：
根据所述异常数据的指向，判断是否进行调节优化，如果是，则重新设置日志数据异常的采样与提取规则，如果否，则进行指向异常报警。
优选的，所述设置日志数据异常的采样与提取规则，获得所述日志中的异常数据，包括：
依据所述日志在信息系统中的重要性和优先级，设置日志数据的采样频率；
根据预设原则，设置所述数据异常的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
根据所述采样频率对所述日志进行采样，并根据所述提取规则提取所述日志数据中的异常数据；
建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据。
优选的，所述对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，包括：
计算所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
构造所述异常数据的模式学习函数其中，
其中，Xi,(i＝0,1,2,L)为自变量表示在一个单位模式周期T内第i个属性数据各分量特征出现数据异常现象的次数，wj,(j＝0,1,2,L)为学习参数，<vi,vj>为对向量vi,vj求内积，g(T)为关于单位模式周期T的量纲统一函数，α为T的训练参数；
根据所述学习函数，计算获得所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签。
优选的，所述根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值，包括：
根据所述匹配关系，构造异常模式的训练集Dtrain，其中，
Dtrain＝{(x(1),y(1)),(x(2),y(2)),...,(x(n),y(n))}，式中，y(i)为异常数据x(i)对应的异常标签，i为数据异常的样本数；
根据所述训练集，构造所述异常模式的特征矩阵X，其中，
式中，X表示特征矩阵，表示第i个训练集的第j特征分量；
根据所述特征矩阵，构造损失函数L，其中，
式中，L为损失函数，异常模式标签，y(i)异常标签；
根据所述损失函数，计算获得使所述算是函数的值L最小的参数值
根据本发明的第二方面，提供了一种日志数据异常指向识别装置，该装置包括：
获取模块，用于设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；
处理模块，用于对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签；
计算模块，用于根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；
判断模块，用于根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。
优选的，所述装置还包括：
执行模块，用于根据所述异常数据的指向，判断是否进行调节优化，如果是，则重新设置日志数据异常的采样与提取规则，如果否，则进行指向异常报警。
优选的，所述获取模块包括：
采样设置单元，用于依据所述日志在信息系统中的重要性和优先级，设置日志数据的采样频率；
规则设置单元，用于根据预设原则，设置所述数据异常的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
提取单元，用于根据所述采样频率对所述日志进行采样，并根据所述提取规则提取所述日志数据中的异常数据；
记录单元，用于建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据。
优选的，处理模块包括：
周期计算单元，用于计算所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
学习函数构造单元，用于构造所述异常数据的模式学习函数其中，
其中，Xi,(i＝0,1,2,L)为自变量表示在一个单位模式周期T内第i个属性数据各分量特征出现数据异常现象的次数，wj,(j＝0,1,2,L)为学习参数，<vi,vj>为对向量vi,vj求内积，g(T)为关于单位模式周期T的量纲统一函数，α为T的训练参数；
计算子单元，用于根据所述学习函数，计算获得所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签。
优选的，所述计算模块包括：
训练集构造单元，用于根据所述匹配关系，构造异常模式的训练集Dtrain，其中，
Dtrain＝{(x(1),y(1)),(x(2),y(2)),...,(x(n),y(n))}，式中，y(i)为异常数据x(i)对应的异常标签，i为数据异常的样本数；
特征矩阵构造单元，用于根据所述训练集，构造所述异常模式的特征矩阵X，其中，
式中，X表示特征矩阵，表示第i个训练集的第j特征分量；
损失函数构造单元，用于根据所述特征矩阵，构造损失函数L，其中，
式中，L为损失函数，异常模式标签，y(i)异常标签；
参数值计算单元，用于根据所述损失函数，计算获得使所述算是函数的值L最小的参数值
相较于现有技术，本发明设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；对所述异常数据进行模式化处理，通过构造学习函数即一种基于变频隐因子分解的日志数据特征优化目标函数，得到所述异常数据与其对应的异常标签的匹配关系，根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。通过本发明将网络大数据下的安全预警分类问题转化为隐因子模式学习问题，在此基础上通过变频隐因子分解方法来实现日志数据模式特征识别，最终得到有效的优化参数和判别函数，实现了对海量日志数据分析并根据数据异常快速定位异常所在根源的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例一提供的一种日志数据异常指向识别方法的流程示意图；
图2为本发明实施例二对应的图1中所示S12步骤中的模式化处理的流程示意图；
图3为本发明实施例二对应的图1中所示步骤S13步骤中的设置损失函数的流程示意图；
图4为本发明实施例三提供的一种日志数据异常指向识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
实施例一
参见图1为本发明实施例一提供的一种日志数据异常指向识别方法的流程示意图，该方法包括以下步骤：
S11、设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；
具体的，在此步骤中具体分为以下步骤：
依据所述日志在信息系统中的重要性和优先级，设置日志数据的采样频率；
根据预设原则，设置所述数据异常的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
可以理解的是，在日志数据中异常数据也会被称为数据不一致，而异常数据通常表现在很多方面，并且相关的研究工作也相对较为成熟，但是在实际应用中不仅可以采用常规的异常数据发现规则，也可自行根据具体应用环境定义异常数据的标准，从而根据标准形成提取规则，在本发明实施例中设置了一个预设原则，根据所述预设原则形成了异常数据的提取规则。
根据所述采样频率对所述日志进行采样，并根据所述提取规则提取所述日志数据中的异常数据；
建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据。
S12、对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签；
S13、根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；
可以理解的是，通过对损失函数的求解即求解目标是使得损失函数的值最小，这样可以使得异常模式与异常标签最接近。
S14、根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。
具体的，将生成的参数值带入到判别函数中，能够根据输入的异常模式进行自动判别异常标签实现获得所述异常数据的指向。
另外，在本实施例中，该方法还包括：
S15、根据所述异常数据的指向，判断是否进行调节优化，如果是，则重新设置日志数据异常的采样与提取规则，如果否，则进行指向异常报警。
通过本发明实施例一公开的技术方案，设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系；设置异常模式的损失函数，计算获得使所述损失函数的值最小的参数值；根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。能够根据异常数据进行相应的模式化处理，并设置学习函数和损失函数，实现对异常数据的自动训练与学习，进而实现了对海量日志数据分析并根据数据异常快速定位异常所在根源的目的，并且能够在获得系统异常时发出警告。
实施例二
参照本发明实施例一和图1中所描述的S11到S15步骤的具体过程，并参见图2为本发明实施例二对应的图1中所示S12步骤中的模式化处理的流程示意图，所述模式化处理的步骤具体包括：
S121、计算所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
其中，所述的单位模式周期是指一个采样到系统中所有日志项目的最小周期。
S122、构造所述异常数据的模式学习函数其中，
其中，Xi,(i＝0,1,2,L)为自变量表示在一个单位模式周期T内第i个属性数据各分量特征出现数据异常现象的次数，wj,(j＝0,1,2,L)为学习参数，<vi,vj>为对向量vi,vj求内积，g(T)为关于单位模式周期T的量纲统一函数，α为T的训练参数；
具体的，基于隐因子的机器学习首先需要定义自变量和因变量，及其学习理论中，一个函数型因变量对应一个或多个自变量，自动学习这种映射，在本实施例中采用变频隐因子分解学习函数进行初始参数学习。构造的学习函数为：
对于自变量Xi,(i＝0,1,2,L)，代数形式为向量，代表有一个单位模式周期内第i个属性数据各分量特征出现数据异常现象的次数，特别的，当第i属性在单位模式周期内未出数据异常现象，则该自变量赋值为0，自变量实际刻画了不同属性出现数据异常的所有可能的组合模式。wj,(j＝0,1,2,L)为学习参数，<vi,vj>为对向量vi,vj求内积，g(T)为关于单位模式周期T的量纲统一函数，它的作用根据前面训练参数项的量纲来统一T的量纲，使得各项权重统一，α为 T的训练参数，用来使得程序可以根据参数值微调各个子系统的取样的频率。所以该学习函数也成为变频隐因子分解学习函数，对由于整个学习过程中i≠j，其自相关项的影响被剔除，这样就避免了过拟合现象的发生，同时独立的交叉项参数被构造为双因子分解的形式，这样交叉项参数间的联系可以通过机器学习被自动挖掘出来，此时模型中的交叉项参数由于采用隐因子分解的方式标识，他们的共同项vi作用得以被突出。
S123、根据所述学习函数，计算获得所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签。
具体的，日志中不同的属性产生的异常数据模式最终会对应于一个系统异常点，这个系统异常点成为异常标签，根据上述步骤S122中所得学习函数的值实际衡量的是每种异常数据组合与其对应的异常标签的匹配程度。
相应的参见图3为本发明实施例二对应的图1中所示步骤S13步骤中的设置损失函数的流程示意图，所述根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值，具体包括：
S131、根据所述匹配关系，构造异常模式的训练集Dtrain，其中，
Dtrain＝{(x(1),y(1)),(x(2),y(2)),...,(x(n),y(n))}，式中，y(i)为异常数据x(i)对应的异常标签，i为数据异常的样本数；
具体的，在构造学习函数，获得相应的匹配关系后，在学习的初始阶段，由于参数是按某个初始值随机默认分配，那么异常模式对应的异常标签将毫无意义，匹配程度可能极低，但是随着学习的加深，各个异常模式的值会向着异常标签值收敛，则可构造出不一致模式训练集。
S132、根据所述训练集，构造所述异常模式的特征矩阵X，其中，
式中，X表示特征矩阵，表示第i个训练集的第j特征分量；
S133、根据所述特征矩阵，构造损失函数L，其中，
式中，L为损失函数，异常模式标签，y(i)异常标签；
S134、根据所述损失函数，计算获得使所述算是函数的值L最小的参数值
具体的，由于求解目标是使得损失函数的值最小，其意义是如何确定 中的参数，使得异常模式与异常标签最为接近。放采用回归收敛形式，取均方根误差形式的损失函数：
这里乘以1/2，是为了后续优化过程中求偏导数后的式子形式简洁，可以发现乘以任何正数，均不影响损失函数最小优化过程。
如采取分类形式，损失函数可具体定义为hingeloss型与logitloss型。即
当y＝1时
当y＝-1时
上式表示hingeloss型分类，max{}表示取最大值，该表达式可以通过估计值的正负来预测不同不一致模式对应的异常分类。
该式表示logitloss损失函数，可以其真数部分是一个sigmoid函数。由表达式可知，预测标签与观测标签越接近，损失函数值就越小。
相应的，在获得了损失函数后，需要进一步进行算法的优化过程。隐因子分解学习可采用三种算法加以优化。包括随机梯度下降法(SGD)，交替式最小二乘(ALS)，马尔科夫特卡洛算法(MCMC)在一个典型的优化问题中，求解目标是使得损失函数最小的参数值。
其中Θ表示模型中的参数集，包括单因子项的参数wi与交叉项的参数vi,vj，i,j∈Z+,i＜j。
为了避免过拟合现象，可选择加入合适正则化项：
其中，为正则化项，其中为正则化系数，他们往往是一些较大的实数，通过设定正则化参数来削弱正则化项中包含的损失函数中的参数，避免训练出的参数过表达。
针对具体问题可采取具体优化形式，以SGD为例，对于一个含有n个参数的损失函数，对每个参数求偏导得到梯度的方向，再按梯度方向前进一个预设的步长，如此迭代即可得出局部最优解。其算法思路如下：
当损失函数为回归优化形式时
式(1-1)表示对回归形式的损失函数求梯度，式(1-2)表示参数按梯度方向更新，其中δ表示每一次更新的步长。δ是需要根据具体问题选取的，当步长过大时，算法可能无法收敛，当步长过小时，会导致迭代次数过多，消耗计算时间与资源。
当损失函数为logit loss形式时：
式(1-3)表示对logit loss形式的损失函数求梯度，式(1-4)表示参数按梯度方向更新，其中δ意义与式(1-2)相同。可以发现无论是回归形式的损失函数，还是logitloss形式的损失函数，都归结到的计算上。
将得出的最优的参数值，即使得损失函数最小的参数值，并将优化后的参数值作为定制带入到学习函数：
此时的学习函数为判别函数，输入新的数据异常模式即可得到所对应的准确异常标签。当判别函数出现明显错误时，需要重新调节采样频率与参数，然后再次进行构造学习函数运行机器学习过程，直到系统能正常判别。
根据本发明实施例二公开的技术方案，设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；对所述异常数据进行模式化处理，通过构造学习函数即一种基于变频隐因子分解的日志数据特征优化目标函数，得到所述异常数据与其对应的异常标签的匹配关系，根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。通过本发明将网络大数据下的安全预警分类问题转化为隐因子模式学习问题，在此基础上通过变频隐因子分解方法来实现日志数据模式特征识别，最终得到有效的优化参数和判别函数，实现了对海量日志数据分析并根据数据异常快速定位异常所在根源的目的。
实施例三
与本发明实施例一和实施例二所公开的戈壁滩空地信道建模方法相对应，本发明的实施例三还提供了一种戈壁滩空地信道建模装置，参见图4为本发明实施例三提供的一种日志数据异常指向识别装置的结构示意图，该装置包括：
获取模块1，用于设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；
处理模块2，用于对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签；
计算模块3，用于根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；
判断模块4，用于根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。
相应的，所述装置还包括：
执行模块5，用于根据所述异常数据的指向，判断是否进行调节优化，如果是，则重新设置日志数据异常的采样与提取规则，如果否，则进行指向异常报警。
具体的，所述获取模块1包括：
采样设置单元11，用于依据所述日志在信息系统中的重要性和优先级，设置日志数据的采样频率；
规则设置单元12，用于根据预设原则，设置所述数据异常的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
提取单元13，用于根据所述采样频率对所述日志进行采样，并根据所述提取规则提取所述日志数据中的异常数据；
记录单元14，用于建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据。
同时，处理模块2包括：
周期计算单元21，用于计算所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
学习函数构造单元22，用于构造所述异常数据的模式学习函数其中，
其中，Xi,(i＝0,1,2,L)为自变量表示在一个单位模式周期T内第i个属性数据各分量特征出现数据异常现象的次数，wj,(j＝0,1,2,L)为学习参数，<vi,vj>为对向量vi,vj求内积，g(T)为关于单位模式周期T的量纲统一函数，α为T的训练参数；
计算子单元23，用于根据所述学习函数，计算获得所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签。
对应的，所述计算模块3包括：
训练集构造单元31，用于根据所述匹配关系，构造异常模式的训练集Dtrain，其中，
Dtrain＝{(x(1),y(1)),(x(2),y(2)),...,(x(n),y(n))}，式中，y(i)为异常数据x(i)对应的异常标签，i为数据异常的样本数；
特征矩阵构造单元32，用于根据所述训练集，构造所述异常模式的特征矩阵X，其中，
式中，X表示特征矩阵，表示第i个训练集的第j特征分量；
损失函数构造单元33，用于根据所述特征矩阵，构造损失函数L，其中，
式中，L为损失函数，异常模式标签，y(i)异常标签；
参数值计算单元34，用于根据所述损失函数，计算获得使所述算是函数的值L最小的参数值
在本发明的实施例三中，通过获取模块设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；然后在处理模块中对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系；在计算模块中设置异常模式的损失函数，计算获得使所述损失函数的值最小的参数值；最后在判断模块中根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。能够根据异常数据进行相应的模式化处理，并设置学习函数和损失函数，实现对异常数据的自动训练与学习，进而实现了对海量日志数据分析并根据数据异常快速定位异常所在根源的目的，并且能够在获得系统异常时发出警告。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种日志数据异常指向识别方法，其特征在于，该方法包括：
设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；
对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签；
根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；
根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述异常数据的指向，判断是否进行调节优化，如果是，则重新设置日志数据异常的采样与提取规则，如果否，则进行指向异常报警。
3.根据权利要求1所述的方法，其特征在于，所述设置日志数据异常的采样与提取规则，获得所述日志中的异常数据，包括：
依据所述日志在信息系统中的重要性和优先级，设置日志数据的采样频率；
根据预设原则，设置所述数据异常的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
根据所述采样频率对所述日志进行采样，并根据所述提取规则提取所述日志数据中的异常数据；
建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，包括：
计算所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
构造所述异常数据的模式学习函数其中，
<mrow>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>w</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mo><</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>></mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<mi>&alpha;</mi>
<mi>g</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>T</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，Xi,(i＝0,1,2,L)为自变量表示在一个单位模式周期T内第i个属性数据各分量特征出现数据异常现象的次数，wj,(j＝0,1,2,L)为学习参数，<vi,vj>为对向量vi,vj求内积，g(T)为关于单位模式周期T的量纲统一函数，α为T的训练参数；
根据所述学习函数，计算获得所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签。
5.根据权利要求1所述的方法，其特征在于，所述根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值，包括：
根据所述匹配关系，构造异常模式的训练集Dtrain，其中，
Dtrain＝{(x(1),y(1)),(x(2),y(2)),...,(x(n),y(n))}，式中，y(i)为异常数据x(i)对应的异常标签，i为数据异常的样本数；
根据所述训练集，构造所述异常模式的特征矩阵X，其中，
<mrow>
<mi>X</mi>
<mo>=</mo>
<msub>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>O</mi>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mrow>
<mi>N</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
式中，X表示特征矩阵，表示第i个训练集的第j特征分量；
根据所述特征矩阵，构造损失函数L，其中，
式中，L为损失函数，异常模式标签，y(i)异常标签；
根据所述损失函数，计算获得使所述算是函数的值L最小的参数值
6.一种日志数据异常指向识别装置，其特征在于，该装置包括：
获取模块，用于设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；
处理模块，用于对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签；
计算模块，用于根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；
判断模块，用于根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
执行模块，用于根据所述异常数据的指向，判断是否进行调节优化，如果是，则重新设置日志数据异常的采样与提取规则，如果否，则进行指向异常报警。
8.根据权利要求6所述的装置，其特征在于，所述获取模块包括：
采样设置单元，用于依据所述日志在信息系统中的重要性和优先级，设置日志数据的采样频率；
规则设置单元，用于根据预设原则，设置所述数据异常的提取规则，其中，所述预设原则包括单个数据范围超过数据定义域；或者整体数据集合范围超过数据定义域；或者数据结构不满足预设的数据结构；或者数据格式不满足预设的数据格式；或者数据不满足相关函数的依赖关系；或者数据为空集；
提取单元，用于根据所述采样频率对所述日志进行采样，并根据所述提取规则提取所述日志数据中的异常数据；
记录单元，用于建立所述异常数据与其所对应的提取规则的记录模式，并根据所述记录模式存储所述异常数据。
9.根据权利要求6所述的装置，其特征在于，处理模块包括：
周期计算单元，用于计算所述日志数据的单位模式周期T，其中，
T＝max{min[t(log1)],min[t(log2)],min[t(log3)],K}
式中，T表示单位模式周期，函数t()表示取检测其中日志的最小周期，logi,i＝1,2,3,K表示标号为i的日志；
学习函数构造单元，用于构造所述异常数据的模式学习函数其中，
<mrow>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>w</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mo><</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>></mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<mi>&alpha;</mi>
<mi>g</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>T</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，Xi,(i＝0,1,2,L)为自变量表示在一个单位模式周期T内第i个属性数据各分量特征出现数据异常现象的次数，wj,(j＝0,1,2,L)为学习参数，<vi,vj>为对向量vi,vj求内积，g(T)为关于单位模式周期T的量纲统一函数，α为T的训练参数；
计算子单元，用于根据所述学习函数，计算获得所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签。
10.根据权利要求6所述的装置，其特征在于，所述计算模块包括：
训练集构造单元，用于根据所述匹配关系，构造异常模式的训练集Dtrain，其中，
Dtrain＝{(x(1),y(1)),(x(2),y(2)),...,(x(n),y(n))}，式中，y(i)为异常数据x(i)对应的异常标签，i为数据异常的样本数；
特征矩阵构造单元，用于根据所述训练集，构造所述异常模式的特征矩阵X，其中，
<mrow>
<mi>X</mi>
<mo>=</mo>
<msub>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>O</mi>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
<mtd>
<mi>L</mi>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mrow>
<mi>N</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
式中，X表示特征矩阵，表示第i个训练集的第j特征分量；
损失函数构造单元，用于根据所述特征矩阵，构造损失函数L，其中，
式中，L为损失函数，异常模式标签，y(i)异常标签；
参数值计算单元，用于根据所述损失函数，计算获得使所述算是函数的值L最小的参数值
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710256875.1A CN107423190B (zh) | 2017-04-19 | 2017-04-19 | 一种日志数据异常指向识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710256875.1A CN107423190B (zh) | 2017-04-19 | 2017-04-19 | 一种日志数据异常指向识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107423190A true CN107423190A (zh) | 2017-12-01 |
| CN107423190B CN107423190B (zh) | 2020-09-01 |
Family
ID=60424037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710256875.1A Active CN107423190B (zh) | 2017-04-19 | 2017-04-19 | 一种日志数据异常指向识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107423190B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109213656A (zh) * | 2018-07-23 | 2019-01-15 | 武汉智领云科技有限公司 | 一种交互式大数据智能异常检测系统和方法 |
| CN109614744A (zh) * | 2018-12-28 | 2019-04-12 | 华东交通大学 | 一种基于大数据的降水量检测方法及系统 |
| CN109726186A (zh) * | 2018-12-29 | 2019-05-07 | 咪咕文化科技有限公司 | 一种检索错误日志的方法及装置、计算机可读存储介质 |
| CN110162440A (zh) * | 2019-04-12 | 2019-08-23 | 平安普惠企业管理有限公司 | 故障定位的方法、电子装置及计算机可读存储介质 |
| CN110377479A (zh) * | 2019-05-24 | 2019-10-25 | 平安普惠企业管理有限公司 | 日志文件的敏感字段监测方法、装置和计算机设备 |
| CN110442559A (zh) * | 2019-07-05 | 2019-11-12 | 深圳中兴网信科技有限公司 | 日志检索方法、装置以及服务器 |
| CN110750412A (zh) * | 2019-09-02 | 2020-02-04 | 北京云集智造科技有限公司 | 日志异常检测方法 |
| CN112395180A (zh) * | 2020-12-10 | 2021-02-23 | 南威软件股份有限公司 | 一种业务日志全链路跟踪的实现方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7509537B1 (en) * | 2006-02-02 | 2009-03-24 | Rockwell Collins, Inc. | Prognostic processor system for real-time failure analysis of line replaceable units |
| CN104679999A (zh) * | 2015-02-09 | 2015-06-03 | 广东电网有限责任公司佛山供电局 | 基于支持向量机理论的xlpe电缆局部放电信号特征优化方法 |
| CN105468765A (zh) * | 2015-12-03 | 2016-04-06 | 中国南方电网有限责任公司信息中心 | 一种多节点web服务异常检测方法和系统 |
| CN105654110A (zh) * | 2015-12-04 | 2016-06-08 | 深圳先进技术研究院 | 一种张量模式下的有监督学习优化方法及系统 |
| CN105893208A (zh) * | 2016-03-31 | 2016-08-24 | 城云科技（杭州）有限公司 | 基于隐半马尔可夫模型的云计算平台系统故障预测方法 |
-
2017
- 2017-04-19 CN CN201710256875.1A patent/CN107423190B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7509537B1 (en) * | 2006-02-02 | 2009-03-24 | Rockwell Collins, Inc. | Prognostic processor system for real-time failure analysis of line replaceable units |
| CN104679999A (zh) * | 2015-02-09 | 2015-06-03 | 广东电网有限责任公司佛山供电局 | 基于支持向量机理论的xlpe电缆局部放电信号特征优化方法 |
| CN105468765A (zh) * | 2015-12-03 | 2016-04-06 | 中国南方电网有限责任公司信息中心 | 一种多节点web服务异常检测方法和系统 |
| CN105654110A (zh) * | 2015-12-04 | 2016-06-08 | 深圳先进技术研究院 | 一种张量模式下的有监督学习优化方法及系统 |
| CN105893208A (zh) * | 2016-03-31 | 2016-08-24 | 城云科技（杭州）有限公司 | 基于隐半马尔可夫模型的云计算平台系统故障预测方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109213656A (zh) * | 2018-07-23 | 2019-01-15 | 武汉智领云科技有限公司 | 一种交互式大数据智能异常检测系统和方法 |
| CN109614744A (zh) * | 2018-12-28 | 2019-04-12 | 华东交通大学 | 一种基于大数据的降水量检测方法及系统 |
| CN109614744B (zh) * | 2018-12-28 | 2022-11-22 | 浙江理工大学 | 一种基于大数据的降水量检测方法及系统 |
| CN109726186A (zh) * | 2018-12-29 | 2019-05-07 | 咪咕文化科技有限公司 | 一种检索错误日志的方法及装置、计算机可读存储介质 |
| CN109726186B (zh) * | 2018-12-29 | 2021-08-06 | 咪咕文化科技有限公司 | 一种检索错误日志的方法及装置、计算机可读存储介质 |
| CN110162440A (zh) * | 2019-04-12 | 2019-08-23 | 平安普惠企业管理有限公司 | 故障定位的方法、电子装置及计算机可读存储介质 |
| CN110377479A (zh) * | 2019-05-24 | 2019-10-25 | 平安普惠企业管理有限公司 | 日志文件的敏感字段监测方法、装置和计算机设备 |
| CN110442559A (zh) * | 2019-07-05 | 2019-11-12 | 深圳中兴网信科技有限公司 | 日志检索方法、装置以及服务器 |
| CN110750412A (zh) * | 2019-09-02 | 2020-02-04 | 北京云集智造科技有限公司 | 日志异常检测方法 |
| CN110750412B (zh) * | 2019-09-02 | 2022-10-21 | 北京云集智造科技有限公司 | 日志异常检测方法 |
| CN112395180A (zh) * | 2020-12-10 | 2021-02-23 | 南威软件股份有限公司 | 一种业务日志全链路跟踪的实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107423190B (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423190A (zh) | 一种日志数据异常指向识别方法及装置 | |
| CN107436597B (zh) | 一种基于稀疏过滤和逻辑回归的化工过程故障检测方法 | |
| CN105117602B (zh) | 一种计量装置运行状态预警方法 | |
| Song et al. | Short-term wind speed forecasting with Markov-switching model | |
| CN102647292B (zh) | 一种基于半监督神经网络模型的入侵检测方法 | |
| Wang et al. | Data-driven mode identification and unsupervised fault detection for nonlinear multimode processes | |
| CN111460167A (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| CN109766583A (zh) | 基于无标签、不均衡、初值不确定数据的航空发动机寿命预测方法 | |
| CN106707099A (zh) | 基于异常用电检测模型的监测定位方法 | |
| CN107949812A (zh) | 用于检测配水系统中的异常的组合方法 | |
| CN106779215B (zh) | 一种基于机器学习的电网全局延时态势感知方法 | |
| CN109100142B (zh) | 一种基于图论的轴承半监督故障诊断方法 | |
| CN106796157A (zh) | 检测配送网络、特别是饮用水配送网络中的异常的方法 | |
| CN111583592B (zh) | 一种基于多维卷积神经网络的实验环境安全预警方法 | |
| Zhang et al. | Risk early warning safety model for sports events based on back propagation neural network machine learning | |
| CN107003992A (zh) | 用于神经语言行为识别系统的感知联想记忆 | |
| CN110059052A (zh) | 一种炼化调度案例管理方法及计算机可读存储介质 | |
| CN106030565A (zh) | 使用搜索技术的计算机性能预测 | |
| CN114118524A (zh) | 一种基于知识推理的设备状态综合分析方法 | |
| CN110378358A (zh) | 一种配电网异构数据整合方法及系统 | |
| CN107273262A (zh) | 一种硬件事件的预测方法及系统 | |
| CN106161458A (zh) | 基于双加权在线极限学习机的网络入侵检测方法 | |
| Kachwala et al. | Predicting Rainfall from Historical Data Trends | |
| CN107085544A (zh) | 一种系统错误定位方法及装置 | |
| Chaudhari et al. | Data mining with meteorological data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |