CN111679926B - 内存溢出检测方法及系统 - Google Patents

内存溢出检测方法及系统 Download PDF

Info

Publication number
CN111679926B
CN111679926B CN202010447722.7A CN202010447722A CN111679926B CN 111679926 B CN111679926 B CN 111679926B CN 202010447722 A CN202010447722 A CN 202010447722A CN 111679926 B CN111679926 B CN 111679926B
Authority
CN
China
Prior art keywords
data
historical
memory overflow
characteristic data
overflow detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010447722.7A
Other languages
English (en)
Other versions
CN111679926A (zh
Inventor
贾平楠
罗涛
施佳子
姚欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010447722.7A priority Critical patent/CN111679926B/zh
Publication of CN111679926A publication Critical patent/CN111679926A/zh
Application granted granted Critical
Publication of CN111679926B publication Critical patent/CN111679926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/073—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a memory management context, e.g. virtual memory or cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/815—Virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种内存溢出检测方法及系统。该内存溢出检测方法包括：根据获取的原始数据生成特征数据组合；判断特征数据组合是否异常；将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果。本发明可以保证检测的准确性、系统的时效性和运行的稳定性。

Description

内存溢出检测方法及系统
技术领域
本发明涉及人工智能技术领域，具体地，涉及一种内存溢出检测方法及系统。
背景技术
JAVA虚拟机内存泄露是指JAVA使用完的对象本应该被虚拟机GC机制回收，但是由于程序存在缺陷，导致无用对象无法被回收，出现内存空间浪费的现象。当内存泄露严重时，则会出现内存溢出，系统报出OOM(Out of Memory)异常。在大型工程中，由于基础设施配置较高，最初出现内存泄露的情况时并不易察觉，通常泄露较长时间后，才会报出系统异常的风险，通常此时已经来不及进行排查和常规处理，很容易出现宕机风险或因临时应急处置带来的系统风险。
目前大多用于内存泄露监控技术都通过GC日志进行判断，也有通过统计信息监控工具，虚拟机内存映像工具，内存溢出快照分析工具等方式。但该类技术通常是基于监控日志中与内存泄露相关的指标，通过人工经验设置阀值实现的。即当相关指标超过某个阀值时，系统进行报警。这类传统的监控手段，尽管可以实现内存泄露检测和预警的功能，但是仍然存在以下几个问题：
一、使用传统方法在后台通过固定阈值进行内存泄露监控时，往往带有人为主观性，其判断的准确率缺乏客观依据，阈值太高，漏告警多，风险难以及时发现，阈值太低，告警太多引发告警风暴，干扰运维人员的判断；
二、判断指标都是根据人为经验进行设定，无法发现众多指标数据之间隐藏的关系，可能忽略隐藏在数据中的，更有效监控泄露风险的指标组合；
三、使用传统方法时，出现内存泄露告警时往往已经接近内存溢出甚至是宕机状态，此时运维人员只能进行重启等紧急处理，没有充分时间排查和正常变更，运维风险较大，不利于系统的高效稳定运行。
发明内容
本发明实施例的主要目的在于提供一种内存溢出检测方法及系统，以保证检测的准确性、系统的时效性和运行的稳定性。
为了实现上述目的，本发明实施例提供一种内存溢出检测方法，包括：
根据获取的原始数据生成特征数据组合；
判断特征数据组合是否异常；
将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果。
本发明实施例还提供一种内存溢出检测系统，包括：
特征数据组合单元，用于根据获取的原始数据生成特征数据组合；
判断单元，用于判断特征数据组合是否异常；
检测结果单元，用于将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现所述的内存溢出检测方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述的内存溢出检测方法的步骤。
本发明实施例的内存溢出检测方法及系统先根据获取的原始数据生成特征数据组合，再将异常的特征数据组合输入内存溢出检测模型中，获得内存溢出检测结果，可以保证检测的准确性、系统的时效性和运行的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中内存溢出检测方法的流程图；
图2是本发明实施例中获得内存溢出检测模型的流程图；
图3是标准概率分布示意图；
图4是本发明一实施例中原始数据与当前趋势性数据的示意图；
图5是图4的放大示意图；
图6是本发明一实施例中当前趋势性数据的放大示意图；
图7是本发明一实施例中当前趋势曲线的示意图；
图8是本发明实施例中本发明与现有技术的对比示意图；
图9是本发明实施例中内存溢出检测系统的结构框图；
图10是本发明实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
鉴于现有技术运维风险较大，不利于系统的高效稳定运行，本发明实施例提供一种内存溢出检测方法，以保证检测的准确性、系统的时效性和运行的稳定性。以下结合附图对本发明进行详细说明。
图1是本发明实施例中内存溢出检测方法的流程图。如图1所示，内存溢出检测方法包括：
S101：根据获取的原始数据生成特征数据组合。
S101包括：判断原始数据是否为当前有效训练数据；当原始数据不是当前有效训练数据时，从该原始数据中提取当前趋势性数据，并根据当前趋势性数据生成当前趋势曲线，根据当前趋势曲线和当前有效训练数据生成特征数据组合。
其中，原始数据为JAVA虚拟机内存运行的当前日志数据，特征数据组合为符合机器学习算法格式的表格。
S102：判断特征数据组合是否异常。
S102包括：确定特征数据组合的均值和标准差，根据均值和标准差获取特征数据组合的分布概率。判断分布概率是否大于标准分布概率；当分布概率大于标准分布概率时，特征数据组合异常。
其中，特征数据组合的分布概率可以为P(μ-σ≤X≤μ+σ)，P(μ-2σ≤X≤μ+2σ)或Pr(μ-3σ≤X≤μ+3σ)。σ为特征数据组合的标准差，μ为特征数据组合的均值，X为特征数据组合。
图3是标准概率分布示意图。如图3所示，标准分布概率为：
Pr(μ-σ≤X≤μ+σ)≈0.6827≈68.27％；
Pr(μ-2σ≤X≤μ+2σ)≈0.9545≈95.45％；
Pr(μ-3σ≤X≤μ+3σ)≈0.9973≈99.73％。
例如，以标准分布概率0.9973作为判断标准，当本申请的特征数据组合分布概率Pr(μ-3σ≤X≤μ+3σ)＞0.9973时，本申请的特征数据组合异常。
S102能够过滤大部分正常数据，识别显著异常，因此可以作为本发明的内存溢出检测初筛方式。
一实施例中，在执行S102之后，可以将异常的特征数据组合和正常的特征数据组合打上异常标识，将其作为内存溢出检测模型的升级训练数据。内存溢出检测模型在到达预设时间时会自动触发升级流程。
S103：将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果。
其中，可以将内存溢出检测结果传输给运维端进行展示，并在内存泄露时进行内存泄露异常告警，提示运维人员进行及时的排查和变更。
图1所示的内存溢出检测方法的执行主体可以为计算机。由图1所示的流程可知，本发明实施例的内存溢出检测方法先根据获取的原始数据生成特征数据组合，再将异常的特征数据组合输入内存溢出检测模型中，获得内存溢出检测结果，可以保证检测的准确性、系统的时效性和运行的稳定性。
图2是本发明实施例中获得内存溢出检测模型的流程图。如图2所示，预先创建内存溢出检测模型的步骤包括：
S201：在获取的历史原始数据上标注异常标识。
当历史原始数据正常时异常标识为0，否则为1。
其中，历史原始数据为JAVA虚拟机内存运行的历史日志数据，包括：GC(GabageCollection，垃圾回收)，Overhead(系统开销)，Used Memory(已用内存)，FreeMemory(Before)(垃圾回收前的空闲内存)，Free Memory(After)(垃圾回收后的空闲内存)，Total Memory(Before)(垃圾回收前的总内存)，Total Memory(After)(垃圾回收后的总内存)等指标。
获取历史原始数据后，会先对历史原始数据进行无关数据清除及缺失值填充等预处理。例如，通过python提供的pandas模块读取历史原始数据，并查看数据的整体情况，对存在缺失值的属性列进行0值填充。Python是一种解释型脚本语言，pandas是人工智能的一种开发语言。
S202：根据异常标识与历史原始数据的相关性筛选历史原始数据，得到历史特征数据。
其中，相关性越高的历史原始数据越有效，如Overhead，Used Memory，FreeMemory，Total Memory等。
S203：根据历史特征数据生成历史特征数据组合，并将部分历史特征数据组合作为训练集。
一实施例中，根据历史特征数据生成历史特征数据组合包括：
判断历史特征数据是否为有效训练数据；当历史特征数据不是有效训练数据时，从该历史特征数据中提取趋势性数据。
例如，内存泄露与周期性、季节性无关，因此可以从Used Memory、Free Memory和Total Memory等内存数据中提取趋势性数据。Overhead可以直接作为模型训练数据的有效训练数据。
获取趋势性数据在不同时间段的最大值与最小值的差值，根据差值生成趋势曲线。
例如，获取趋势性数据在第一时间段的最大值与最小值的差值，即可得到第一时间段对应的差值坐标点……获取趋势性数据在第M时间段的最大值与最小值的差值，即可得到第M时间段对应的差值坐标点，按时序连接第一时间段的差值坐标点至第M时间段的差值坐标点，即可得到差值生成趋势曲线。
根据趋势曲线和有效训练数据生成历史特征数据组合。
例如，将趋势曲线和有效训练数据按照机器学习算法要求的格式进行组表，可以得到历史特征数据组合。
其中，将部分历史特征数据组合作为训练集包括：按照预设比例将历史特征数据组合划分为训练集和测试集。
S204：根据训练集对预设的初始检测模型进行训练，得到训练模型内存溢出检测模型。
具体实施时，S204包括：
1、根据训练集对预设的初始模型进行训练，得到训练模型。
一实施例中，本发明可以采用LSTM算法(长短期记忆网络，Long Short-TermMemory)对预设的初始模型进行训练。是LSTM算法是一种时间循环神经网络，内部存在循环，能够用来保持信息的延续性，因而可以根据先前发生的事件来推测之后发生的事件。LSTM算法能够抓住时序的长期以及短期特征，适用于处理与时间序列高度相关的问题，因此适用于内存泄露检测场景，可以保证在不影响系统正常运行的基础上，完成对数据的实时在线计算和预测，保证系统的时效性和运行的稳定性。
2、根据测试集验证训练模型是否达标；当训练模型达标时，将训练模型作为内存溢出检测模型。
例如，可以将测试集中的历史特征数据组合输入训练集训练好的训练模型中，得到内存溢出测试结果。根据测试结果与该历史特征数据组合的异常标识确定测试结果的准确率。当准确率超过预设阈值时，表明训练模型达标。
由图2所示的流程可知，本发明采用机器学习算法对内存运维的原始数据进行特征数据的提取和组合，有效避免了传统检测方法中根据人工经验进行阀值设定所带来的漏判、误判等情况，可以通过数据找到与内存泄露相关的指标，以及人为难以察觉隐藏在数据背后的有效特征组合，在有效减少误报率的同时保证异常预警的准确性。
本发明实施例的具体流程如下：
1、在获取的历史原始数据上标注异常标识，根据异常标识与历史原始数据的相关性筛选历史原始数据，得到历史特征数据。
2、判断历史特征数据是否为有效训练数据；当历史特征数据不是有效训练数据时，从该历史特征数据中提取趋势性数据。
3、获取趋势性数据在不同时间段的最大值与最小值的差值，根据差值生成趋势曲线。
4、根据趋势曲线和有效训练数据生成历史特征数据组合，并将历史特征数据组合划分为训练集和测试集。
5、根据训练集对预设的初始检测模型进行训练，得到训练模型。根据测试集验证训练模型是否达标；当训练模型达标时，将训练模型作为内存溢出检测模型。
6、获取原始数据，判断原始数据是否为当前有效训练数据。当原始数据不是当前有效训练数据时，从该原始数据中提取当前趋势性数据。
图4是本发明一实施例中原始数据与当前趋势性数据的示意图。图5是图4的放大示意图。图6是本发明一实施例中当前趋势性数据的放大示意图。如图4-图6所示，图4中的黑线为原始数据，白线为当前趋势性数据。图5中的实线为原始数据，虚线为当前趋势性数据。图6中的圆圈部分为趋势性数据中的异常趋势。
7、根据当前趋势性数据生成当前趋势曲线，根据当前趋势曲线和当前有效训练数据生成特征数据组合。
图7是本发明一实施例中当前趋势曲线的示意图，从图7中可以看到当前趋势曲线中的异常区域。
8、确定特征数据组合的均值和标准差，根据均值和标准差获取特征数据组合的分布概率。
9、判断分布概率是否大于标准分布概率；当分布概率大于标准分布概率时，特征数据组合异常。
10、将异常的特征数据组合输入内存溢出检测模型中，获得内存溢出检测结果。
11、将内存溢出检测结果传输给运维端进行展示和内存泄露异常告警，提示运维人员进行及时的排查和变更。
图8是本发明实施例中本发明与现有技术的对比示意图。如图8所示，本发明检测提示异常时间点比传统检测提示异常时间点至少提早4小时，可以使得运维工作人员有更充分时间对内存运行情况进行排查和变更，有效减少由于采取应急措施所带来的系统风险，更加可靠和高效。
综上，本发明实施例的内存溢出检测方法先根据获取的原始数据生成特征数据组合，再将异常的特征数据组合输入内存溢出检测模型中，获得内存溢出检测结果，可以保证检测的准确性、系统的时效性和运行的稳定性。
基于同一发明构思，本发明实施例还提供了一种内存溢出检测系统，由于该系统解决问题的原理与内存溢出检测方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。
图9是本发明实施例中内存溢出检测系统的结构框图。如图9所示，内存溢出检测系统包括：
特征数据组合单元，用于根据获取的原始数据生成特征数据组合；
判断单元，用于判断特征数据组合是否异常；
检测结果单元，用于将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果。
在其中一种实施例中，还包括：
标注单元，用于在获取的历史原始数据上标注异常标识；
历史特征数据单元，用于根据异常标识与历史原始数据的相关性筛选历史原始数据，得到历史特征数据；
训练集确定单元，用于根据历史特征数据生成历史特征数据组合，并将部分历史特征数据组合作为训练集；
模型训练单元，用于根据训练集对预设的初始检测模型进行训练，得到内存溢出检测模型。
在其中一种实施例中，特征数据组合单元具体用于：
判断历史特征数据是否为有效训练数据；当历史特征数据不是有效训练数据时，从该历史特征数据中提取趋势性数据；
获取趋势性数据在不同时间段的最大值与最小值的差值，根据差值生成趋势曲线；
根据趋势曲线和有效训练数据生成历史特征数据组合。
在其中一种实施例中，判断单元具体用于：
确定特征数据组合的均值和标准差；
根据均值和标准差获取特征数据组合的分布概率；
判断分布概率是否大于标准分布概率；当分布概率大于标准分布概率时，特征数据组合异常。
综上，本发明实施例的内存溢出检测系统先根据获取的原始数据生成特征数据组合，再将异常的特征数据组合输入内存溢出检测模型中，获得内存溢出检测结果，可以保证检测的准确性、系统的时效性和运行的稳定性。
本发明实施例还提供能够实现上述实施例中的内存溢出检测方法中全部步骤的一种计算机设备的具体实施方式。图10是本发明实施例中计算机设备的结构框图，参见图10，所述计算机设备具体包括如下内容：
处理器(processor)1001和存储器(memory)1002。
所述处理器1001用于调用所述存储器1002中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的内存溢出检测方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
根据获取的原始数据生成特征数据组合；
判断特征数据组合是否异常；
将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果。
综上，本发明实施例的计算机设备先根据获取的原始数据生成特征数据组合，再将异常的特征数据组合输入内存溢出检测模型中，获得内存溢出检测结果，可以保证检测的准确性、系统的时效性和运行的稳定性。
本发明实施例还提供能够实现上述实施例中的内存溢出检测方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的内存溢出检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
根据获取的原始数据生成特征数据组合；
判断特征数据组合是否异常；
将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果。
综上，本发明实施例的计算机可读存储介质先根据获取的原始数据生成特征数据组合，再将异常的特征数据组合输入内存溢出检测模型中，获得内存溢出检测结果，可以保证检测的准确性、系统的时效性和运行的稳定性。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元，或装置都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

Claims (10)

1.一种内存溢出检测方法，其特征在于，包括：
根据获取的原始数据生成特征数据组合；
判断所述特征数据组合是否异常；
将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果；
根据获取的原始数据生成特征数据组合包括：
判断原始数据是否为当前有效训练数据；当原始数据不是当前有效训练数据时，从该原始数据中提取当前趋势性数据，并根据当前趋势性数据生成当前趋势曲线，根据当前趋势曲线和当前有效训练数据生成特征数据组合。
2.根据权利要求1所述的内存溢出检测方法，其特征在于，预先创建所述内存溢出检测模型的步骤包括：
在获取的历史原始数据上标注异常标识；
根据所述异常标识与所述历史原始数据的相关性筛选所述历史原始数据，得到历史特征数据；
根据所述历史特征数据生成历史特征数据组合，并将部分历史特征数据组合作为训练集；
根据所述训练集对预设的初始检测模型进行训练，得到所述内存溢出检测模型。
3.根据权利要求2所述的内存溢出检测方法，其特征在于，根据所述历史特征数据生成历史特征数据组合包括：
判断历史特征数据是否为有效训练数据；当历史特征数据不是有效训练数据时，从该历史特征数据中提取趋势性数据；
获取所述趋势性数据在不同时间段的最大值与最小值的差值，根据所述差值生成趋势曲线；
根据所述趋势曲线和有效训练数据生成历史特征数据组合。
4.根据权利要求1所述的内存溢出检测方法，其特征在于，判断所述特征数据组合是否异常包括：
确定所述特征数据组合的均值和标准差；
根据所述均值和标准差获取所述特征数据组合的分布概率；
判断所述分布概率是否大于标准分布概率；当所述分布概率大于所述标准分布概率时，所述特征数据组合异常。
5.一种内存溢出检测系统，其特征在于，包括：
特征数据组合单元，用于根据获取的原始数据生成特征数据组合；
判断单元，用于判断所述特征数据组合是否异常；
检测结果单元，用于将异常的特征数据组合输入预先创建的内存溢出检测模型中，获得内存溢出检测结果；
所述特征数据组合单元具体用于：
判断原始数据是否为当前有效训练数据；当原始数据不是当前有效训练数据时，从该原始数据中提取当前趋势性数据，并根据当前趋势性数据生成当前趋势曲线，根据当前趋势曲线和当前有效训练数据生成特征数据组合。
6.根据权利要求5所述的内存溢出检测系统，其特征在于，还包括：
标注单元，用于在获取的历史原始数据上标注异常标识；
历史特征数据单元，用于根据所述异常标识与所述历史原始数据的相关性筛选所述历史原始数据，得到历史特征数据；
训练集确定单元，用于根据所述历史特征数据生成历史特征数据组合，并将部分历史特征数据组合作为训练集；
模型训练单元，用于根据所述训练集对预设的初始检测模型进行训练，得到所述内存溢出检测模型。
7.根据权利要求6所述的内存溢出检测系统，其特征在于，所述特征数据组合单元具体用于：
判断历史特征数据是否为有效训练数据；当历史特征数据不是有效训练数据时，从该历史特征数据中提取趋势性数据；
获取所述趋势性数据在不同时间段的最大值与最小值的差值，根据所述差值生成趋势曲线；
根据所述趋势曲线和有效训练数据生成历史特征数据组合。
8.根据权利要求5所述的内存溢出检测系统，其特征在于，所述判断单元具体用于：
确定所述特征数据组合的均值和标准差；
根据所述均值和标准差获取所述特征数据组合的分布概率；
判断所述分布概率是否大于标准分布概率；当所述分布概率大于所述标准分布概率时，所述特征数据组合异常。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的内存溢出检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述的内存溢出检测方法的步骤。
CN202010447722.7A 2020-05-25 2020-05-25 内存溢出检测方法及系统 Active CN111679926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010447722.7A CN111679926B (zh) 2020-05-25 2020-05-25 内存溢出检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010447722.7A CN111679926B (zh) 2020-05-25 2020-05-25 内存溢出检测方法及系统

Publications (2)

Publication Number Publication Date
CN111679926A CN111679926A (zh) 2020-09-18
CN111679926B true CN111679926B (zh) 2023-08-15

Family

ID=72453208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010447722.7A Active CN111679926B (zh) 2020-05-25 2020-05-25 内存溢出检测方法及系统

Country Status (1)

Country Link
CN (1) CN111679926B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463603A (zh) * 2020-11-25 2021-03-09 北京达佳互联信息技术有限公司 内存泄漏的检测方法、装置、终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102083087A (zh) * 2011-01-25 2011-06-01 南京金思科技有限公司 一种主客观模型结合的话务量异常检测方法
CN106354491A (zh) * 2016-08-22 2017-01-25 天脉聚源（北京）教育科技有限公司 一种图片处理方法及装置
CN107066302A (zh) * 2017-04-28 2017-08-18 北京邮电大学 缺陷检测方法、装置及服务终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101940029B1 (ko) * 2018-07-11 2019-01-18 주식회사 마키나락스 어노말리 디텍션

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102083087A (zh) * 2011-01-25 2011-06-01 南京金思科技有限公司 一种主客观模型结合的话务量异常检测方法
CN106354491A (zh) * 2016-08-22 2017-01-25 天脉聚源（北京）教育科技有限公司 一种图片处理方法及装置
CN107066302A (zh) * 2017-04-28 2017-08-18 北京邮电大学 缺陷检测方法、装置及服务终端

Also Published As

Publication number Publication date
CN111679926A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
US10795753B2 (en) Log-based computer failure diagnosis
US20210064518A1 (en) Methods Circuits Devices Systems and Functionally Associated Machine Executable Code For Automatic Failure Cause Identification in Software Code Testing
US20200007381A1 (en) Predicting computer network equipment failure
CN111209131A (zh) 一种基于机器学习确定异构系统的故障的方法和系统
CN112905371B (zh) 基于异构多源数据异常检测的软件变更检查方法和装置
CN111679926B (zh) 内存溢出检测方法及系统
CN108337108A (zh) 一种基于关联分析的云平台故障自动化定位方法
CN113986643A (zh) 分析日志文件的方法、电子设备和计算机程序产品
CN111752833B (zh) 一种软件质量体系准出方法、装置、服务器及存储介质
CN113722134A (zh) 一种集群故障处理方法、装置、设备及可读存储介质
CN113670611A (zh) 一种轴承早期退化评估方法、系统、介质及电子设备
CN110990223A (zh) 一种基于系统日志的监控告警方法及装置
CN117523788A (zh) 燃气泄漏监测方法、装置、设备及介质
CN112131090B (zh) 业务系统性能监控方法及装置、设备及介质
CN114218001A (zh) 故障修复方法、装置、电子设备及可读存储介质
CN115700549A (zh) 模型训练方法、故障确定方法、电子设备和程序产品
CN109427177B (zh) 一种监控报警方法及装置
CN113220585A (zh) 一种故障自动诊断方法及相关装置
CN111176931A (zh) 一种运营监控方法、装置、服务器及存储介质
CN118295864B (zh) 一种Linux操作系统硬件错误识别方法及系统
CN114721861B (zh) 一种基于日志差异化比对的故障定位方法与系统
CN118827331A (zh) 自动化运维方法、装置、设备及存储介质
CN115829098A (zh) 一种预测模型的自学习方法、装置和计算机可读存储介质
CN117575153A (zh) 一种基于物联网的配电终端设备性能监管方法和系统
CN116827426A (zh) 网络故障的诊断方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant