CN110716843A - 系统故障分析处理方法、装置、存储介质及电子设备 - Google Patents

系统故障分析处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110716843A
CN110716843A CN201910848396.8A CN201910848396A CN110716843A CN 110716843 A CN110716843 A CN 110716843A CN 201910848396 A CN201910848396 A CN 201910848396A CN 110716843 A CN110716843 A CN 110716843A
Authority
CN
China
Prior art keywords
data
fault
node
sub
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910848396.8A
Other languages
English (en)
Other versions
CN110716843B (zh
Inventor
梁锦霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910848396.8A priority Critical patent/CN110716843B/zh
Publication of CN110716843A publication Critical patent/CN110716843A/zh
Priority to PCT/CN2020/087462 priority patent/WO2021047184A1/zh
Application granted granted Critical
Publication of CN110716843B publication Critical patent/CN110716843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开是关于一种系统故障分析处理方法、装置、存储介质及电子设备，属于机器学习应用技术领域，该方法包括：在接收到目标系统的故障分析指令时，确定目标系统的故障节点；获取目标系统未出现故障时的单数据流时间内的正常数据，及目标系统出现故障时的单数据流时间内的故障数据；从正常数据中获取故障节点的子正常数据，并从故障数据中获取故障节点的子故障数据；将子正常数据与子故障数据进行故障特征放大处理，得到数据故障特征；将数据故障特征输入预先训练好的机器学习模型，得到故障节点对应的数据处理函数及修复方案。本公开通过数据预处理基于机器学习模型，有效提高故障节点函数推导的效率和准确性。

Description

系统故障分析处理方法、装置、存储介质及电子设备
技术领域
本公开涉及机器学习应用技术领域，具体而言，涉及一种系统故障分析处理方法、装置、存储介质及电子设备。
背景技术
系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。
软件测试与测试用例：软件测试是用人工或自动的手段来运行或测定某个软件系统的过程，其目的在于检验它是否满足规定的需求或弄清预期结果与实际结果之间的差别，在软件测试的过程中，编写测试用例(TestCase)是指为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求。
现有技术中，对于第三方软件服务商提供的业务系统，当该业务系统的某个数据处理节点出现故障时，需要先获取故障节点在业务系统未出现故障时的历史输入数据和输出数据，然后测试和开发人员花费大量的时间进行试错与核对数据以推算出该节点对应的数据处理函数，才能对出现故障的节点进行修复与维护。这种确定故障节点的处理函数的方式效率较低，而且人工成本也较高。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种系统故障分析处理方案，进而至少在一定程度上在实现自动、准确、快速的对目标系统的故障节点的处理函数进行推导及会诊，进而有效提高系统的调整效率。
根据本公开的一个方面，提供一种系统故障分析处理方法，包括：
在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
在本公开的一种示例性实施例中，所述从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据，包括：
从所述数据处理日志中，获取所述目标系统未出现故障时的单数据流时间内的第一输入数据与第一输出数据，作为所述正常数据；
从所述数据处理日志中，获取所述目标系统出现故障时的单数据流时间内的第二输入数据与第二输出数据，作为所述故障数据。
在本公开的一种示例性实施例中，所述从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据，包括：
从所述正常数据中获取第一输入数据与第一输出数据后，从所述第一输入数据与所述第一输出数据中分别获取所述故障节点的第一已输入数据及第二已输出数据，作为所述子正常数据；
从所述故障数据中获取第二输入数据与第二输出数据后，从所述第二输入数据与所述第二输出数据中分别获取所述故障节点的第二已输入数据及第二已输出数据，作为所述子故障数据。
在本公开的一种示例性实施例中，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
获取所述目标系统的预设数据特征放大算法模板；
利用所述预设数据特征放大算法模板，对所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
在本公开的一种示例性实施例中，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
获取所述目标系统的预设数据简化算法模板；
利用所述预设数据简化算法模板，对所述子正常数据与所述子故障数据进行简化处理，得到简化正常数据与简化故障数据；
将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
在本公开的一种示例性实施例中，所述将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
从所述简化正常数据中，获取所述简化故障数据对应的时间段的子简化正常数据；
将所述简化故障数据与所述子简化正常数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
在本公开的一种示例性实施例中，所述机器学习模型的训练方法是：
获取数据故障特征样本集合，其中每个数据故障特征样本事先标定对应的数据处理函数及修复方案；
将每个所述数据故障特征样本的数据分别输入机器学习模型，得到所述机器学习模型输出的数据处理函数及修复方案；
如果存在有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案不一致，则调整所述机器学习模型的系数，直到一致；
当所有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案一致，训练结束。
根据本公开的一个方面，提供一种系统故障分析处理装置，其特征在于，包括：
确定模块，用于在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
第一获取模块，用于从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
第二获取模块，用于从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
放大模块，用于将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
推导模块，用于将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有系统故障分析处理程序，其特征在于，所述系统故障分析处理程序被处理器执行时实现上述任一项所述的方法。
根据本公开的一个方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的系统故障分析处理程序；其中，所述处理器配置为经由执行所述系统故障分析处理程序来执行上述任一项所述的方法。
本公开一种系统故障分析处理方法及装置，首先，通过在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；可以及时的在目标系统出现故障时，标定出故障节点。然后，从所述数据处理日志中获取目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；这样可以在后续步骤中准确的从正常数据及故障数据中分别获取到目标数据。从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；这样可以根据故障节点的子正常数据和子故障数据进行对比，从数据处理的角度准确、高效地对故障节点进行分析。然后，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；这样可以对故障节点的数据进行预处理，得到可以通过简单的数据特征准确反映数据处理过程发生故障时对应的数据处理函数的数据故障特征，在后续步骤中有效保证数据处理函数分析的效率和准确率。最后，将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案；这样通过预先训练好的机器学习模型，可以高效、准确地对数据故障特征进行分析，得到故障节点对应的数据处理函数及修复方案。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出一种系统故障分析处理方法的流程图。
图2示意性示出一种系统故障分析处理方法的应用场景示例图。
图3示意性示出一种故障特征放大方法流程图。
图4示意性示出一种系统故障分析处理装置的方框图。
图5示意性示出一种用于实现上述系统故障分析处理方法的电子设备示例框图。
图6示意性示出一种用于实现上述系统故障分析处理方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了系统故障分析处理方法，该系统故障分析处理方法可以运行于服务器，也可以运行于服务器集群或云服务器等，当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该系统故障分析处理方法可以包括以下步骤：
步骤S110，在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
步骤S120，从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
步骤S130，从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
步骤S140，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
步骤S150，将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
上述系统故障分析处理方法中，首先，通过在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；可以及时的在目标系统出现故障时，标定出故障节点。然后，从所述数据处理日志中获取目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；这样可以在后续步骤中准确的从正常数据及故障数据中分别获取到目标数据。从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；这样可以根据故障节点的子正常数据和子故障数据进行对比，从数据处理的角度准确、高效地对故障节点进行分析。然后，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；这样可以对故障节点的数据进行预处理，得到可以通过简单的数据特征准确反映数据处理过程发生故障时对应的数据处理函数的数据故障特征，在后续步骤中有效保证数据处理函数分析的效率和准确率。最后，将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案；这样通过预先训练好的机器学习模型，可以高效、准确地对数据故障特征进行分析，得到故障节点对应的数据处理函数及修复方案。
下面，将结合附图对本示例实施方式中上述系统故障分析处理方法中的各步骤进行详细的解释以及说明。
在步骤S110中，在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点。
本示例的实施方式中，参考图2所示，服务器201接收到服务器202发出的对目标系统的故障分析指令时，然后服务器201从服务器202中爬取目标系统对应的数据处理日志，然后将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点。这样可以在后续步骤中针对确定出的故障节点进行分析。其中，服务器201可以是任何具有处理能力的设备，例如，电脑、微处理器等，在此不做特殊限定，服务器202可以是任何具有指令发送、数据存储能力的设备，例如手机、电脑等，在此不做特殊限定。
目标系统就是对输入的数据根据内嵌的函数进行分析处理，输出处理后的输出数据的系统。在对数据进行处理的过程中，可以生成数据处理日志，该数据处理日志记录了目标系统每个节点的输入数据和输出数据。数据处理日志中的输入数据标识和输出数据标识与目标系统的各节点相对应。
目标系统在发生数据处理故障时，自动发送故障分析指令到预设的服务器。当目标系统的某个节点出现故障时，该故障节点无法对输入的数据继续进行处理，也即向故障节点输入数据后无法得到对应的输出数据，目标系统对数据处理的进程终止，因此，数据处理日志中记录的最后输入数据所对应的节点即为出现故障的节点。
在接收到目标系统的故障分析指令时，通过将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点，可以准确、高效的标定出进行故障分析的节点，进而在后续步骤中，可以直接针对该节点进行分析。
在步骤S120中，从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据。
本示例的实施方式中，目标系统出现故障时的单数据流时间，即数据处理日志中目标系统出现故障时的时刻点所在的单数据流时间。目标系统未出现故障时的单数据流时间，即数据处理日志中目标系统出现故障时的时刻点所在的单数据流时间之外的其它任意单数据流时间。其中，单数据流时间，可以通过在数据处理日志中搜索为输入、输出数据预先标定的数据标识，其中每个数据流时间内的数据事先标定对应的标识，通过数据标识可以准确地确定出每个单数据流时间及对应的数据。
通过获取单数据流时间内的正常数据及故障数据，可以分别获取到一个完整的最短时间段内的处理流程对应的数据。进而，可以在后续步骤中准确地从正常数据及故障数据中获取到可以有效保证分析准确性及分析效率的目标数据。
在本示例的一种实施方式中，从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据，包括：
从所述数据处理日志中，获取所述目标系统未出现故障时的单数据流时间内的第一输入数据与第一输出数据，作为所述正常数据；
从所述数据处理日志中，获取所述目标系统出现故障时的单数据流时间内的第二输入数据与第二输出数据，作为所述故障数据。
这样可以分别根据正常数据和故障数据中的输入数据和输出数据进行数据处理过程的分析，有效提高分析处理的效率。
在步骤S130中，从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据。
本示例的实施方式中，故障节点对应的子正常数据就是正常数据中，由故障节点进行分析处理的数据。同理，故障节点对应的子故障数据就是故障数据中，由故障节点进行分析处理的数据。根据故障节点的节点标识可以获取到与该节点标识对应的数据，进而准确获取到子正常数据、子故障数据。这样可以有效保证获取到的数据与故障节点的关联性，有效后续步骤中故障节点的故障分析处理的效率，并保证分析准确性。
在本示例的一种实施方式中，从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据，包括：
从所述正常数据中获取第一输入数据与第一输出数据后，从所述第一输入数据与所述第一输出数据中分别获取所述故障节点的第一已输入数据及第二已输出数据，作为所述子正常数据；
从所述故障数据中获取第二输入数据与第二输出数据后，从所述第二输入数据与所述第二输出数据中分别获取所述故障节点的第二已输入数据及第二已输出数据，作为所述子故障数据。
这样通过分别获取故障节点对应的正常数据中的输入、输出数据，同时，分别获取故障节点对应的故障数据中的输入、输出数据，可以分别针对故障节点关联的输入、输出数据，进行后续步骤中故障的高效分析。
在步骤S140中，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
本示例的实施方式中，故障特征放大处理就是通过对与故障节点关联的子正常数据与子故障数据进行数据特征提取，对得到的数据特征进行特征放大，得到故障节点的数据故障特征；数据特征提取就是例如提取数据变化波形或者预定时刻点的几个数据；特征放大就是例如进行波形叠加或者对预定时刻点的几个数据进行求差后，得到差值，将该差值根据差值大小进行放大或者缩小。其中，故障特征放大处理的方法可以是利用预设的数据特征放大算法模板，对子正常数据与子故障数据进行故障特征放大，得到的数据。也可以是，通过将子正常数据与子故障数据分别转化为数据波形，然后将两个波形进行叠加得到故障节点的数据故障特征。
以这种方式，可以得到反映故障的十分精简的数据特征，且进行特征放大，可以有效保证后续步骤中故障分析的效率和准确率。
在本示例的一种实施方式中，参考图3所示，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
步骤310，获取所述目标系统的预设数据特征放大算法模板；
步骤320，利用所述预设数据特征放大算法模板，对所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
目标系统的预设数据特征放大算法模板，即根据目标系统的处理的数据的如数据格式、处理量等设置的算法模板，可以准确地对目标系统的相关数据自动爬取数据特征进行故障特征放大的算法模板。
目标系统用于处理特定的数据，通过与目标系统对应的预设数据特征放大算法模板，可以准确地根据目标系统中故障节点对应的子正常数据与子故障数据进行故障特征放大处理，可以有效保证故障节点的数据故障特征获取的准确性。
在本示例的一种实施方式中，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
获取所述目标系统的预设数据简化算法模板；
利用所述预设数据简化算法模板，对所述子正常数据与所述子故障数据进行简化处理，得到简化正常数据与简化故障数据；
将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
目标系统的预设数据简化算法模板，即根据目标系统的处理的数据的如数据格式、处理量等设置的算法模板，可以准确地对目标系统的相关数据自动爬取关键数据的算法模板，通过爬取数据特征可以对复杂的子正常数据与子故障数据进行简化处理，得到可以精简标识子正常数据与子故障数据的简化正常数据与简化故障数据，进而可以对简化正常数据与简化故障数据，高效地进行故障特征放大处理，得到故障节点的数据故障特征。
在本示例的一种实施方式中，所述将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
从所述简化正常数据中，获取所述简化故障数据对应的时间段的子简化正常数据；
将所述简化故障数据与所述子简化正常数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
简化故障数据对应的时间段就是目标系统出现故障时的单数据流时间内的故障数据对应的从开始到结束的时间段。通过获取简化正常数据中简化故障数据对应的时间段的子简化正常数据后，可以得到相同处理能力范围的时间段的简化故障数据与子简化正常数据，使得简化故障数据与子简化正常数据具有可对比性，同时减少用于故障分析的数据的数据量。进而，可以进一步的通过简化故障数据与子简化正常数据，高效准确地进行故障特征放大处理，得到数据故障特征。
在步骤S150中，将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
本示例的实施方式中，故障节点对应的数据处理函数及修复方案就是导致故障节点出现故障的数据处理函数，及如何调整函数会使得故障修复的方案。
通过预设预先训练好的机器学习模型，可以将数据故障特征的如二进制格式的数据输入预先训练好的机器学习模型，在对数据故障特征进行计算分析后高效、准确地得到故障节点对应的数据处理函数及修复方案。
在本示例的一种实施方式中，所述机器学习模型的训练方法是：
获取数据故障特征样本集合，其中每个数据故障特征样本事先标定对应的数据处理函数及修复方案；
将每个所述数据故障特征样本的数据分别输入机器学习模型，得到所述机器学习模型输出的数据处理函数及修复方案；
如果存在有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案不一致，则调整所述机器学习模型的系数，直到一致；
当所有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案一致，训练结束。
数据故障特征样本就是从目标系统中历史上数据处理中记录的数据中，获取的故障数据特征。每个故障数据特征由专家标定对应的故障函数及修复方案。这样讲每个故障数据特征作为机器学习模型输入，每个故障数据特征由专家标定对应的故障函数及修复方案作为机器学习模型输出，可以准确地训练得到根据数据故障特征输出故障函数及修复方案的机器学习模型。
本公开还提供了一种系统故障分析处理装置。参考图4所示，该系统故障分析处理装置可以包括确定模块410、第一获取模块420、第二获取模块430、放大模块440及推导模块450。其中：
确定模块410可以用于在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
第一获取模块420可以用于从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
第二获取模块430可以用于从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
放大模块440可以用于将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
推导模块450可以用于将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
上述系统故障分析处理装置中各模块的具体细节已经在对应的系统故障分析处理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1中所示的步骤S110：在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；S120：从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；步骤S130：从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；步骤S140：将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；步骤S150：将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得客户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在客户计算设备上执行、部分地在客户设备上执行、作为一个独立的软件包执行、部分在客户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到客户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种系统故障分析处理方法，其特征在于，包括：
在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
2.根据权利要求1所述的方法，其特征在于，所述从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据，包括：
从所述数据处理日志中，获取所述目标系统未出现故障时的单数据流时间内的第一输入数据与第一输出数据，作为所述正常数据；
从所述数据处理日志中，获取所述目标系统出现故障时的单数据流时间内的第二输入数据与第二输出数据，作为所述故障数据。
3.根据权利要求1所述的方法，其特征在于，所述从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据，包括：
从所述正常数据中获取第一输入数据与第一输出数据后，从所述第一输入数据与所述第一输出数据中分别获取所述故障节点的第一已输入数据及第二已输出数据，作为所述子正常数据；
从所述故障数据中获取第二输入数据与第二输出数据后，从所述第二输入数据与所述第二输出数据中分别获取所述故障节点的第二已输入数据及第二已输出数据，作为所述子故障数据。
4.根据权利要求1所述的方法，其特征在于，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
获取所述目标系统的预设数据特征放大算法模板；
利用所述预设数据特征放大算法模板，对所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
5.根据权利要求1所述的方法，其特征在于，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
获取所述目标系统的预设数据简化算法模板；
利用所述预设数据简化算法模板，对所述子正常数据与所述子故障数据进行简化处理，得到简化正常数据与简化故障数据；
将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
6.根据权利要求5所述的方法，其特征在于，所述将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
从所述简化正常数据中，获取所述简化故障数据对应的时间段的子简化正常数据；
将所述简化故障数据与所述子简化正常数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
7.根据权利要求1所述的方法，其特征在于，所述机器学习模型的训练方法是：
获取数据故障特征样本集合，其中每个数据故障特征样本事先标定对应的数据处理函数及修复方案；
将每个所述数据故障特征样本的数据分别输入机器学习模型，得到所述机器学习模型输出的数据处理函数及修复方案；
如果存在有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案不一致，则调整所述机器学习模型的系数，直到一致；
当所有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案一致，训练结束。
8.一种系统故障分析处理装置，其特征在于，包括：
确定模块，用于在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
第一获取模块，用于从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
第二获取模块，用于从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
放大模块，用于将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
推导模块，用于将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
9.一种计算机可读存储介质，其上存储有系统故障分析处理程序，其特征在于，所述系统故障分析处理程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的系统故障分析处理程序；其中，所述处理器配置为经由执行所述系统故障分析处理程序来执行权利要求1-7任一项所述的方法。
CN201910848396.8A 2019-09-09 2019-09-09 系统故障分析处理方法、装置、存储介质及电子设备 Active CN110716843B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910848396.8A CN110716843B (zh) 2019-09-09 2019-09-09 系统故障分析处理方法、装置、存储介质及电子设备
PCT/CN2020/087462 WO2021047184A1 (zh) 2019-09-09 2020-04-28 系统故障分析处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910848396.8A CN110716843B (zh) 2019-09-09 2019-09-09 系统故障分析处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110716843A true CN110716843A (zh) 2020-01-21
CN110716843B CN110716843B (zh) 2022-11-22

Family

ID=69209766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910848396.8A Active CN110716843B (zh) 2019-09-09 2019-09-09 系统故障分析处理方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN110716843B (zh)
WO (1) WO2021047184A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486982A (zh) * 2020-11-17 2021-03-12 中信银行股份有限公司 一种数据获取方法、装置及存储介质
WO2021047184A1 (zh) * 2019-09-09 2021-03-18 深圳壹账通智能科技有限公司 系统故障分析处理方法、装置、存储介质及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550642B (zh) * 2022-11-30 2023-03-14 湖北芯擎科技有限公司 仿真平台的多媒体链路调试方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3879712A (en) * 1972-06-03 1975-04-22 Plessey Handel Investment Ag Data processing system fault diagnostic arrangements
CN107562603A (zh) * 2017-09-25 2018-01-09 郑州云海信息技术有限公司 一种基于linux的故障智能定位系统及方法
CN108519768A (zh) * 2018-03-26 2018-09-11 华中科技大学 一种基于深度学习和信号分析的故障诊断方法
CN108919059A (zh) * 2018-08-23 2018-11-30 广东电网有限责任公司 一种电网故障诊断方法、装置、设备及可读存储介质
CN109582502A (zh) * 2018-12-03 2019-04-05 郑州云海信息技术有限公司 存储系统故障处理方法、装置、设备及可读存储介质
CN110018926A (zh) * 2018-11-22 2019-07-16 阿里巴巴集团控股有限公司 故障恢复方法、装置、电子设备及计算机可读存储介质
CN110020196A (zh) * 2018-08-22 2019-07-16 五维引力（上海）数据服务有限公司 一种基于不同数据源的用户分析方法和装置及计算设备
CN110213788A (zh) * 2019-06-15 2019-09-06 福州大学 基于数据流时空特征的wsn异常检测及类型识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716843B (zh) * 2019-09-09 2022-11-22 深圳壹账通智能科技有限公司 系统故障分析处理方法、装置、存储介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3879712A (en) * 1972-06-03 1975-04-22 Plessey Handel Investment Ag Data processing system fault diagnostic arrangements
CN107562603A (zh) * 2017-09-25 2018-01-09 郑州云海信息技术有限公司 一种基于linux的故障智能定位系统及方法
CN108519768A (zh) * 2018-03-26 2018-09-11 华中科技大学 一种基于深度学习和信号分析的故障诊断方法
CN110020196A (zh) * 2018-08-22 2019-07-16 五维引力（上海）数据服务有限公司 一种基于不同数据源的用户分析方法和装置及计算设备
CN108919059A (zh) * 2018-08-23 2018-11-30 广东电网有限责任公司 一种电网故障诊断方法、装置、设备及可读存储介质
CN110018926A (zh) * 2018-11-22 2019-07-16 阿里巴巴集团控股有限公司 故障恢复方法、装置、电子设备及计算机可读存储介质
CN109582502A (zh) * 2018-12-03 2019-04-05 郑州云海信息技术有限公司 存储系统故障处理方法、装置、设备及可读存储介质
CN110213788A (zh) * 2019-06-15 2019-09-06 福州大学 基于数据流时空特征的wsn异常检测及类型识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021047184A1 (zh) * 2019-09-09 2021-03-18 深圳壹账通智能科技有限公司 系统故障分析处理方法、装置、存储介质及电子设备
CN112486982A (zh) * 2020-11-17 2021-03-12 中信银行股份有限公司 一种数据获取方法、装置及存储介质

Also Published As

Publication number Publication date
WO2021047184A1 (zh) 2021-03-18
CN110716843B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN107341098B (zh) 软件性能测试方法、平台、设备及存储介质
CN110764945B (zh) 一种崩溃日志处理方法、装置、设备和存储介质
CN110716843B (zh) 系统故障分析处理方法、装置、存储介质及电子设备
CN109684847B (zh) 脚本漏洞的自动修复方法、装置、设备及存储介质
CN111274154A (zh) 一种自动化测试的方法、装置、设备及存储介质
CN110673936A (zh) 编排业务的断点续作方法、装置、存储介质及电子设备
US20120054724A1 (en) Incremental static analysis
CN112199277A (zh) 一种基于浏览器的缺陷复现方法、装置、设备及存储介质
CN114201408A (zh) 回归测试方法、装置、计算机设备及存储介质
CN110874364B (zh) 一种查询语句处理方法、装置、设备及存储介质
CN110717315B (zh) 系统数据批量修改方法、装置、存储介质及电子设备
CN107562593A (zh) 一种验证内存ecc功能的自动化测试方法与系统
CN109146096B (zh) 报修事件的处理方法、装置、存储介质及电子设备
US20200334094A1 (en) Self-verification of operating system memory management
CN115964701A (zh) 应用安全检测方法、装置、存储介质及电子设备
CN110716859A (zh) 自动为修改的代码推送测试用例的方法及相关装置
CN113468058B (zh) 软件即服务平台的回归测试方法、装置及电子设备
CN111786991B (zh) 基于区块链的平台认证登录方法及相关装置
US7516048B2 (en) Externalized metric calculation engine
CN114064510A (zh) 功能测试方法、装置、电子设备和存储介质
CN110806981B (zh) 一种应用程序测试方法、装置、设备和存储介质
CN112631929A (zh) 测试用例生成方法、装置、存储介质及电子设备
CN110083807B (zh) 合同的修改影响自动预测方法、装置、介质及电子设备
CN112799957A (zh) 基于用户行为的故障处理方法、系统、设备和介质
CN113760696A (zh) 一种程序问题定位方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant