CN117539674B - 异常处理方法、装置、设备及存储介质 - Google Patents

异常处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117539674B
CN117539674B CN202410028662.3A CN202410028662A CN117539674B CN 117539674 B CN117539674 B CN 117539674B CN 202410028662 A CN202410028662 A CN 202410028662A CN 117539674 B CN117539674 B CN 117539674B
Authority
CN
China
Prior art keywords
abnormal
layering
data
model
abnormal data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410028662.3A
Other languages
English (en)
Other versions
CN117539674A (zh
Inventor
张志强
侯锦坤
郭润增
王少鸣
张晓翼
刘鸿达
吴进发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202410028662.3A priority Critical patent/CN117539674B/zh
Publication of CN117539674A publication Critical patent/CN117539674A/zh
Application granted granted Critical
Publication of CN117539674B publication Critical patent/CN117539674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793Remedial or corrective actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/353Clustering; Classification into predefined classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及运维技术领域,提供了一种异常处理方法、装置、设备及存储介质,以提高异常问题的检测修复时的检测准确率以及修复效率。该方法包括:对目标设备的运行异常数据进行特征提取,获得相应的异常特征;基于异常特征,通过分层模型,对运行异常数据进行分层处理,得到分层结果;其中,分层模型是以历史异常数据作为训练样本,将每个历史异常数据所属的层级作为相应训练样本的标签来训练的,层级是在训练分层模型之前,根据目标设备的各个架构组成部分的异常出现比例划分的;基于分层结果,以及预存的各层级与各解决策略之间的映射关系,得到运行异常数据对应的目标解决策略,并通过目标解决策略对目标设备进行异常修复。

Description

异常处理方法、装置、设备及存储介质
技术领域
本申请涉及运维技术领域,提供了一种异常处理方法、装置、设备及存储介质。
背景技术
在软件开发和运维过程中,异常问题是一个常见的挑战。相关技术中通常采用以下三种方法进行异常问题的检测修复:
1、监控系统和日志分析:通过监控系统来实时监控软件运行状况,通过分析系统性能指标、日志等信息来检测和定位异常问题。然而,这种方法需要人工参与分析和判断,因此对异常问题的检测准确率以及修复效率往往受限于相关工作人员的经验,存在检测准确率以及修复效率较低的问题。
2、基于规则的异常检测修复方法:通过预先设定的规则和条件来识别异常,然后根据相应的处理规则进行修复。然而这种方法对于新出现的异常问题或者复杂多变的异常问题时,存在较大的局限性,无法灵活检测和修复,也就难以适应不断变化的软件开发和运维环境。
3、人工干预的异常检测修复方法:当出现异常问题时,还可以通过相关工作人员进行问题定位、诊断和修复。然而这种方法与第一种方法的缺点相似,由于对异常问题的检测准确率以及修复效率受限于相关工作人员的经验,也存在检测准确率以及修复效率较低的问题。
基于相关技术中进行异常问题的检测修复时存在的上述问题,如何提高检测准确率以及修复效率就亟待解决。
发明内容
本申请实施例提供了一种异常处理方法、装置、设备及存储介质,以解决相关技术中进行异常问题的检测修复时检测准确率低以及修复效率低的问题。
第一方面,本申请实施例提供了一种异常处理方法,包括:
对目标设备的运行异常数据进行特征提取,获得相应的异常特征;
基于所述异常特征,通过分层模型,对所述运行异常数据进行分层处理,得到分层结果;其中,所述分层模型是以历史异常数据作为训练样本,将每个历史异常数据所属的层级作为相应训练样本的标签来训练的,所述层级是在训练所述分层模型之前,根据所述目标设备的各个架构组成部分的异常出现比例划分的,且每个层级对应的一个架构组成部分;
基于所述分层结果,以及预存的各层级与各解决策略之间的映射关系,得到所述运行异常数据对应的目标解决策略,并通过所述目标解决策略对所述目标设备进行异常修复。
第二方面,本申请实施例还提供了一种异常处理装置,包括:
特征提取单元,用于对目标设备的运行异常数据进行特征提取,获得相应的异常特征;
分层单元,用于基于所述异常特征,通过分层模型,对所述运行异常数据进行分层处理,得到分层结果;其中,所述分层模型是以历史异常数据作为训练样本,将每个历史异常数据所属的层级作为相应训练样本的标签来训练的,所述层级是在训练所述分层模型之前,根据所述目标设备的各个架构组成部分的异常出现比例划分的,且每个层级对应的一个架构组成部分;
策略输出单元,用于基于所述分层结果,以及预存的各层级与各解决策略之间的映射关系,得到所述运行异常数据对应的目标解决策略,并通过所述目标解决策略对所述目标设备进行异常修复。
一种可能的实现方式中,模型训练单元训练所述分层模型之前,层级划分单元,还用于:获取所述目标设备的多个历史异常数据,以及所述多个历史异常数据各自对应的异常原因;所述异常原因表征:触发相应历史异常数据的架构组成部分; 根据所述多个历史异常数据各自对应的异常原因,确定所述目标设备的各个架构组成部分的异常出现比例;基于所述目标设备的各个架构组成部分的异常出现比例,通过建立金字塔分层框架,将所述多个历史异常数据划分为多个层级。
一种可能的实现方式中,所述层级划分单元基于所述目标设备的各个架构组成部分的异常出现比例,通过建立金字塔分层框架,将所述多个历史异常数据划分为多个层级时,具体用于:建立包括上层、中间层和下层的金字塔分层框架;确定异常出现比例最高的架构组成部分对应所述下层,异常出现比例最低的架构组成部分对应所述上层,异常出现比例位于中间的架构组成部分对应所述中间层。
一种可能的实现方式中,所述分层模型是所述模型训练单元通过以下方法训练的:获取训练集;所述训练集包括多个训练样本以及每个训练样本的对应层级,每个训练样本均为所述目标设备的历史异常数据;通过对所述多个训练样本,分别执行以下操作,来训练所述分层模型:对一个训练样本进行特征提取,得到所述一个训练样本的异常特征;将所述一个训练样本的异常特征,输入所述分层模型,得到所述一个训练样本的预测分层结果;将所述预测分层结果与一个训练样本的所属层级进行比较,基于比较结果,训练所述分层模型。
一种可能的实现方式中,训练所述分层模型之后,模型测试单元,还用于:获取测试集;所述测试集包括多个测试样本以及每个测试样本在所述金字塔分层框架中的所属层级,每个测试样本均为所述目标设备的一个历史异常数据,所述测试集与所述训练集包括的历史异常数据不完全相同;将所述多个测试样本,分别输入所述分层模型,得到每个测试样本对应的测试分层结果;将所述多个测试样本各自对应的测试分层结果与所述多个测试样本各自的所属层级进行比较,确定所述分层模型进行分层处理的精确率和召回率;基于所述对所述精确率和所述召回率调整所述分层模型的参数,并在所述精确率和所述召回率满足预设条件时,获得训练好的所述分层模型。
一种可能的实现方式中,所述特征提取单元对目标设备的运行异常数据进行特征提取,获得相应的异常特征时,具体用于:对所述运行异常数据包括的异常描述文本,进行分词处理,并在起始位置和结束位置分别添加起始标识和结束标识,得到至少一个分词;基于预设的分词与分词值之间的映射关系,确定所述至少一个分词各自对应的分词值;所述分词值为相应分词唯一对应的数值;将所述至少一个分词各自对应的分词值输入预训练语言模型,对位于所述起始标识和所述结束标识之间的分词值进行特征编码,得到所述运行异常数据对应的异常特征。
一种可能的实现方式中,所述策略输出单元,还用于:在所述分层结果表征无法确定所述运行异常数据对应的目标层级时,通过策略输出模型对所述运行异常数据包括的异常描述文本进行分析,得到所述运行异常数据对应的目标解决策略;所述策略输出模型为利用文本数据训练的自然语言处理模型。
一种可能的实现方式中,所述策略输出单元通过策略输出模型对所述运行异常数据包括的异常描述文本进行分析,得到所述运行异常数据对应的目标解决策略时,具体用于:提取所述运行异常数据中的异常描述文本和所述异常描述文本的上下文信息;通过所述策略输出模型对所述异常描述文本和所述上下文信息进行分析,生成所述运行异常数据的至少一个解决策略;基于预存的解决策略与评估值之间的映射关系,确定所述至少一个解决策略各自对应的评估值,并通过所述评估值对所述至少一个解决策略进行筛选,获得所述运行异常数据对应的目标解决策略。
第三方面,本申请实施例还提供了一种计算机设备,包括处理器和存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行上述任意一种异常处理方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其包括程序代码,当程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行上述任意一种异常处理方法的步骤。
第五方面,本申请实施例还提供了一种计算机程序产品,包括计算机指令,计算机指令被处理器执行上述任意一种异常处理方法的步骤。
本申请有益效果如下:
本申请实施例提供了一种异常处理方法、装置、设备及存储介质,该方法中,通过对运行异常数据进行特征提取,再利用分层模型针对运行异常数据进行分层处理,来得到相应的目标解决策略来对目标设备进行异常修复,整个流程实现了对异常检测修复的自动化,从而避免相关技术中由于受限于相关工作人员经验导致的修复效率低,准确率低的问题,大大提高了异常修复效率。而且,通过预存的各层级与各解决策略之间的映射关系,可以根据分层结果对目标设备出现的异常,提供针对性的解决方案,从而提高了解决方案的准确性。
此外,由于本申请中的分层模型是通过目标设备的历史异常数据训练的,层级也是在训练分层模型之前,根据目标设备的各个架构组成部分的异常出现比例划分的,因此本申请实施例可以适用于不同类型的设备,具有较强的通用性和可扩展性。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中一种应用场景的一个可选示意图;
图2为本申请实施例中一种应用场景的另一个可选示意图;
图3为本申请实施例提供的异常处理方法的示例性流程图;
图4为本申请实施例提供的特征提取流程示意图;
图5为本申请实施例提供的特征提取的过程示意图;
图6为本申请实施例提供的金字塔分层框架示意图;
图7为本申请实施例提供的分层模型训练方法的流程图;
图8为本申请实施例提供的异常处理方法的整体流程示意图;
图9为本申请实施例提供的异常处理方法的整体实施过程示意图;
图10为本申请实施例提供的异常处理方法的又一整体实施过程示意图;
图11为本申请实施例提供的一种异常处理装置的结构示意图;
图12为应用本申请实施例的一种计算机设备的一个硬件组成结构示意图;
图13为应用本申请实施例的另一种计算机设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。
以下对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1)自然语言处理( Natural Language Processing, NLP)大模型:是指在大量文本数据上预训练的深度学习模型,如GPT-3、基于transformer构建的双向语义编码表征模型(Bidirectional Encoder Representations from Transformers,BERT)等。这些模型具有强大的语言理解和生成能力,可以用于各种自然语言处理任务。
2)预训练模型(Pre-training model),也称基石模型、大模型,指具有大参量的深度神经网络(Deep neural network,DNN),在海量未标记的数据上对其进行训练,利用大参量DNN的函数近似能力使PTM在数据上提取共性特征,经微调(fine tune)、参数高效微调(PEFT)、prompt-tuning等技术,适用于下游任务。因此,预训练模型可以在小样本(Few-shot)或零样本(Zero-shot)场景下达到理想效果。PTM按照处理的数据模态可以分为语言模型(ELMO,BERT,GPT)、视觉模型(swin-transformer,ViT,V-MOE)、语音模型(VALL-E)、多模态模型(ViBERT, CLIP,Flamingo,Gato)等,其中多模态模型指建立两种或以上数据模态特征表示的模型。预训练模型是输出人工智能生成内容(AIGC)重要工具,也可以作为连接多个具体任务模型的通用接口。
3)预训练语言模型(Pre-trained Language Model,PLM):是PTM的一种,是在大量文本数据上进行预训练的深度学习模型,如BERT、生成式预训练Transformer模型(Generative Pre-Trained Transformer,GPT)等。这些模型通过预训练学习到丰富的语言知识,可以用于各种自然语言处理任务的微调。
下面对本申请实施例的设计思想进行简要介绍:
在软件开发和运维过程中,异常问题是一个常见的挑战。相关技术中通常采用以下三种方法进行异常问题的检测修复:
1、监控系统和日志分析:通过监控系统来实时监控软件运行状况,通过分析系统性能指标、日志等信息来检测和定位异常问题。然而,这种方法需要人工参与分析和判断,因此对异常问题的检测准确率以及修复效率往往受限于相关工作人员的经验,存在检测准确率以及修复效率较低的问题。
2、基于规则的异常检测修复方法:通过预先设定的规则和条件来识别异常,然后根据相应的处理规则进行修复。然而这种方法对于新出现的异常问题或者复杂多变的异常问题时,存在较大的局限性,无法灵活检测和修复,也就难以适应不断变化的软件开发和运维环境。
3、人工干预的异常检测修复方法:当出现异常问题时,还可以通过相关工作人员进行问题定位、诊断和修复。然而这种方法与第一种方法的缺点相似,由于对异常问题的检测准确率以及修复效率受限于相关工作人员的经验,也存在检测准确率以及修复效率较低的问题。
基于相关技术中进行异常问题的检测修复时存在的上述问题,如何提高检测准确率以及修复效率就亟待解决。
有鉴于此,本申请实施例提供了一种异常处理方法、装置、设备及存储介质。该方法包括:对目标设备的运行异常数据进行特征提取,获得相应的异常特征。基于异常特征,通过以历史异常数据作为训练样本,将每个历史异常数据所属的层级作为相应训练样本的标签来训练的分层模型,对运行异常数据进行分层处理,得到分层结果。基于分层结果,以及预存的各层级与各解决策略之间的映射关系,得到运行异常数据对应的目标解决策略,并通过目标解决策略对目标设备进行异常修复。其中,层级是在训练分层模型之前,根据目标设备的各个架构组成部分的异常出现比例划分的,且每个层级对应的一个架构组成部分。
通过上述方法,通过对运行异常数据进行特征提取,再利用分层模型针对运行异常数据进行分层处理,来得到相应的目标解决策略来对目标设备进行异常修复,整个流程实现了对异常检测修复的自动化,从而大大提高了异常修复效率。而且,通过预存的各层级与各解决策略之间的映射关系,可以根据分层结果对目标设备出现的异常,提供针对性的解决方案,从而提高了解决方案的准确性。
此外,由于本申请中的分层模型是通过目标设备的历史异常数据训练的,层级也是在训练分层模型之前,根据目标设备的各个架构组成部分的异常出现比例划分的,因此本申请实施例可以适用于不同类型的设备,具有较强的通用性和可扩展性。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
图1示出了其中一种应用场景,包括物理终端设备110与服务器120,物理终端设备110通过有线网络或无线网络,与服务器120建立通信连接。
物理终端设备110可以是相关工作人员的终端设备,并在检测到目标设备发生异常时,向服务器120发送目标设备的运行异常数据。服务器120在接收到运行异常数据时,对目标设备的运行异常数据进行特征提取,获得相应的异常特征。然后基于获得的异常特征,通过分层模型,对该运行异常数据进行分层处理。再根据预存的各层级与各解决策略之间的映射关系,得到运行异常数据对应的目标解决策略,并将目标解决策略发送至物理终端设备110,以使相关工作人员通过目标解决策略对所述目标设备进行异常修复。
其中,本申请实施例的物理终端设备110包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。
本申请实施例的服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,本申请在此不做限制。
图2示出了另一种应用场景,包括刷掌设备130、刷脸设备140与服务器120。刷掌设备130和刷脸设备140可以通过有线网络或无线网络,与服务器120建立通信连接。
刷掌设备130和刷脸设备140均可以作为目标设备,并在自身发生异常时,向服务器120发送运行异常数据。服务器120在接收到运行异常数据时,对目标设备的运行异常数据进行特征提取,获得相应的异常特征。然后基于获得的异常特征,通过分层模型,对该运行异常数据进行分层处理。再根据预存的各层级与各解决策略之间的映射关系,得到运行异常数据对应的目标解决策略,并将目标解决策略发送至发送运行异常数据的设备,以通过目标解决策略对所述目标设备进行异常修复。
举例来说,刷掌设备130发生异常时,则可以向服务器120发送刷掌设备130的运行异常数据。服务器120在得到该运行异常数据的目标解决策略时,则将目标解决策略发送至刷掌设备130。
应了解,刷脸设备140发生异常时的异常处理实现方法与刷掌设备130发生异常时异常处理实现方法相同,在此不再赘述。
图1、图2所示的场景仅为示例性的,目标设备还可以为其他电子设备,本发明实施例还可应用于其他各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
参见图3为本申请实施例提供的异常处理方法的示例性流程图。该方法可以应用于图1或图2的服务器120中,包括以下步骤301-步骤303:
步骤301:对目标设备的运行异常数据进行特征提取,获得相应的异常特征。
在一些实施例中,运行异常数据中可以包括以下内容的一种或多种:异常描述文本、软件版本信息、错误码、历史原因分析。其中,异常描述文本可以用于描述:异常发生时,目标设备出现的现象。异常描述文本可以是单词,例如,“黑屏”、“闪退”等。异常描述文本也可以句子,例如“网络异常,请稍后重试”等。软件版本信息表示目标设备当前安装的软件的版本信息。错误码为异常对应的标识,例如网络超时的错误码可以为268498。历史原因分析为描述在历史异常数据中,针对该异常出现原因的分析结果的文本。
应了解,若该异常未在历史异常数据中出现过,则运行异常数据中不包括错误码和历史原因分析。
一种可能的实现方式中,参见图4为本申请实施例提供的特征提取流程示意图。服务器执行步骤301时,可以按照图4所示的步骤3011-步骤3013执行:
步骤3011:对运行异常数据包括的异常描述文本,进行分词处理,并在起始位置和结束位置分别添加起始标识和结束标识,得到至少一个分词。
其中,可以采用分词器对运行异常数据包括的异常描述文本,进行分词处理。本申请对采用的分词器不作限定,例如WordPiece分词器等。
举例来说,假设异常描述文本为“网络异常,请稍后重试”,可以对其进行分词处理得到:“网络”、“异常”、“请”、“稍后”、“重试”。然后可以在“网络”之前添加起始标识[CLS],在“重试”之后添加结束标识[SEP],得到的至少一个分词包括:{[CLS],“网络”,“异常”,“请”,“稍后”,“重试”,[SEP]}。
需要说明的是,在BERT中,[SEP]通常为段落分割标识,在异常描述文本包括多个段落时,可以在每个段落的结束位置添加[SEP],作为每个段落的结束标识。而在异常描述文本包括一个段落时,[SEP]即为异常描述文本的结束标识。
在一些实施例中,在得到至少一个分词之后,还可以根据预配置的最大分词数量(max_length)在至少一个分词的分词数量小于最大分词数量时,采用填充标识进行补全,得到分词集。例如,在上述示例中,分词的数量为7,假设预配置的最大分词数量为10,填充标识为[PAD],则补全后,可以得到分词集:{[CLS],“网络”,“异常”,“请”,“稍后”,“重试”,[SEP],[PAD],[PAD],[PAD]}。
一种可能的实现方式中,在得到分词集后,还可以创建一个长度等于最大分词数量的掩码向量(attention mask),通过将真实分词的位置设置为1,填充标识位置设置为0的方式,对分词集中的真实分词和填充标识进行区分。例如,在上述示例中,通过掩码向量对得到的分词集中的真实分词和填充标识进行区分时,掩码向量={1,1,1,1,1,1,1,0,0,0}。
步骤3012:基于预设的分词与分词值之间的映射关系,确定至少一个分词各自对应的分词值。
其中,分词值为相应分词唯一对应的数值。
由于预训练语言模型无法直接识别单词,仅能识别数字,所以还需要将至少一个分词中包括的各个分词映射为数字。也即,将分词集中,掩码向量中等于1的位置对应的分词映射为数字。预设的分词与分词值之间的映射关系,可以是事先配置在服务器中的词典。在该词典中,每个单词均存在一个唯一对应的数值。
步骤3013:将至少一个分词各自对应的分词值输入预训练语言模型,对位于起始标识和结束标识之间的分词值进行特征编码,得到运行异常数据对应的异常特征。
以预训练语言模型为BERT为例,BERT对位于起始标识和结束标识之间的分词值进行特征编码后,可以得到一个预设长度的向量表示,这个向量表示即为运行异常数据对应的异常特征。这个异常特征中可以捕获运行异常数据在上下文中的语义信息,有助于提高后续分层模型的性能。
需要说明的是,预设长度可以根据分层模型进行设置,例如可以为768,等。预训练语言模型还可以为GPT等模型,本申请对预设长度和预训练语言模型均不作限定。
下面以一个具体的实施例对图4所示的流程进行介绍,参见图5为本申请实施例提供的特征提取的过程示意图。
如图5所示,运行异常数据中包括的异常描述文本为“刷掌失败,网络异常请稍后重试。” 先对异常描述文本进行分词处理得到:“刷掌”、“失败”、“网络”、“异常”、“请”、“稍后”、“重试”。然后添加起始标识和结束标识,得到至少一个分词:{ [CLS],“刷掌”,“失败”,“网络”,“异常”,“请”,“稍后”,“重试”,[SEP]}。假设最大分词数量为10,则对得到的至少一个分词进行补全,可以得到分词集:{ [CLS],“刷掌”,“失败”,“网络”,“异常”,“请”,“稍后”,“重试”,[SEP],[PAD] }。再创建一个长度为10的掩码向量,基于分词集中的各个分词设置掩码向量各个位置的取值,可以得到掩码向量={1,1,1,1,1,1,1,1,1,0}。基于掩码向量和预配置的词典,可以得到至少一个分词各自对应的分词值为:{101, 1045, 2293,1023, 423, 7211, 322, 1989, 102, 0 }。然后通过BERT,可以得到一个长度为768的向量表示,该向量表示即为异常特征。
步骤302:基于异常特征,通过分层模型,对运行异常数据进行分层处理,得到分层结果。
其中,分层模型是以历史异常数据作为训练样本,将每个历史异常数据所属的层级作为相应训练样本的标签来训练的,层级是在训练分层模型之前,根据目标设备的各个架构组成部分的异常出现比例划分的,且每个层级对应的一个架构组成部分。
一种可能的实现方式中,为了提高异常处理效率,在训练分层模型之前,可以先通过以下方法,对历史异常数据进行层级划分:
获取目标设备的多个历史异常数据,以及多个历史异常数据各自对应的异常原因。根据多个历史异常数据各自对应的异常原因,确定目标设备的各个架构组成部分的异常出现比例。基于目标设备的各个架构组成部分的异常出现比例,通过建立金字塔分层框架,将多个历史异常数据划分为多个层级。其中,异常原因表征:触发相应历史异常数据的架构组成部分。
一种可能的实现方式中,服务器基于目标设备的各个架构组成部分的异常出现比例,通过建立金字塔分层框架,将多个历史异常数据划分为多个层级时,可以建立包括上层、中间层和下层的金字塔分层框架。确定异常出现比例最高的架构组成部分对应下层,异常出现比例最低的架构组成部分对应上层,异常出现比例位于中间的架构组成部分对应中间层。
参见图6为本申请实施例提供的金字塔分层框架示意图。假设对多个历史异常数据各自的异常原因进行统计后,可以得到异常出现比例最高的架构组成部分为应用层,异常出现比例位于中间的架构组成部分为操作系统层,异常出现比例最低的架构组成部分为硬件层。则可以确定金字塔分层框架中,上层对应硬件层,中间层对应系统层,下层对应应用层。
具体的,硬件层指的是目标设备的硬件固件部分相关的异常,例如,刷脸设备的摄像头,扫码器等。操作系统层指的是目标设备系统组件部分相关的异常,例如,Android系统、Linux嵌入式系统等。应用层指的是,目标设备软件上层应用相关的异常,例如,刷掌设备的刷掌应用,刷脸设备的刷脸应用等。
基于上述方案,金字塔分层框架有助于更好地理解和处理各类异常问题,从而提高异常定位准确率,以及解决的效率。
可选的,还可以通过基于图的模型或者基于知识图谱的模型的方式对历史异常数据中出现的异常进行层级划分。
在建立了金字塔分层框架之后,可以基于金字塔分层框架包括的各个层级训练分层模型。参见图7为本申请实施例提供的分层模型训练方法的流程图。该流程包括步骤701-步骤702:
步骤701:获取训练集。
训练集包括多个训练样本以及每个训练样本的对应层级,每个训练样本均为目标设备的历史异常数据,每个训练样本的对应层级即为相应训练样本的标签。举例来说,假设一个训练样本的异常原因为摄像头出现异常,则该训练样本对应的层级即为金字塔分层框架的上层,也即硬件层。
可选的,可以将上层、中间层、下层分别作为训练样本的标签,这种情况下,利用训练好的分层模型进行分层处理时,且分层结果不表征无法确定运行异常数据对应的目标层级时,得到的分层结果也为上层、中间层或下层。
可选的,可以将硬件层、操作系统层、应用层分别作为训练样本的标签,这种情况下,利用训练好的分层模型进行分层处理,且分层结果不表征无法确定运行异常数据对应的目标层级时,得到的分层结果也为硬件层、操作系统层或应用层。
需要说明的是,在本申请实施例中,将以各个层级分别为硬件层、操作系统层、应用层为例来介绍本申请提供的异常处理方法。
步骤702:通过对多个训练样本,分别执行步骤7021-步骤7023,来训练分层模型:
步骤7021:对一个训练样本进行特征提取,得到一个训练样本的异常特征。
一种可能的实现方式中,可以对一个训练样本进行数据预处理,例如清洗、格式转换等操作。然后对数据预处理后的一个训练样本提取有助于分层的异常特征,异常特征中可以包括文本特征、统计特征等。
一种可能的实现方式中,特征提取方法还可以参见图4所示的特征提取流程,在此不再赘述。
步骤7022:将一个训练样本的异常特征,输入分层模型,得到一个训练样本的预测分层结果。
步骤7023:将预测分层结果与一个训练样本的所属层级进行比较,基于比较结果,训练分层模型。
例如,预测分层结果为应用层,但一个训练样本的所属层级实际为硬件层,由此可以确定分层模型的准确度较低,需要调整分层模型的相关模型参数。
一种可能的实现方式中,在训练分层模型后,还可以通过以下方法对分层模型进行测试,从而得到训练好的分层模型:获取包括多个测试样本以及每个测试样本在金字塔分层框架中的所属层级的测试集。将多个测试样本,分别输入分层模型,得到每个测试样本对应的测试分层结果。将多个测试样本各自对应的测试分层结果与多个测试样本各自的所属层级进行比较,确定分层模型进行分层处理的精确率和召回率。基于对精确率和召回率调整分层模型的参数,并在精确率和召回率满足预设条件时,获得训练好的分层模型。其中,测试集中的每个测试样本均为目标设备的一个历史异常数据,且测试集中包括的历史异常数据与上述训练集中包括的历史异常数据不完全相同。
需要说明的是,分层模型可以采用支持向量机、决策树等可以用于分类的机器学习算法,本申请对分层模型采用的算法不作限定。
一种可能的实现方式中,在得到训练好的分层模型后,可以将异常特征输入该分层模型,得到分层结果。分层结果可以包括:硬件层、操作系统层、应用层、分层失败。其中,分层失败表征无法确定运行异常数据对应的目标层级。
一种可能的实现方式中,在获得异常特征之后,还可以基于预设的异常特征与分层算法之间的映射关系,确定异常特征对应的分层算法,再利用基于该分层算法的分层模型来对异常特征进行分层处理。分层算法可以包括支持向量机、决策树等算法。
需要说明的是,异常特征与分层算法之间的映射关系可以根据经验或实际情况进行设置,不同异常特征可以对应相同的分层算法,也可以对应不同的分层算法,本申请对此不做限定。
步骤303:基于分层结果,以及预存的各层级与各解决策略之间的映射关系,得到运行异常数据对应的目标解决策略,并通过目标解决策略对目标设备进行异常修复。
在一些实施例中,预存的各层级与各解决策略之间的映射关系可以是结合领域专家经验和金字塔分层框架的处理规范设置的。例如,运行异常数据的分层结果为应用层时,对应的目标解决策略可以为远程重启相应应用。运行异常数据的分层结果为操作系统层时,对应的目标解决策略可以为远程重启相应系统,或者,恢复系统出厂设置。运行异常数据的分层结果为硬件层时,对应的目标解决策略可以为向相关工作人员发送提醒消息,通知相关工作人员对目标设备进行拔电重启。
在一些实施例中,某些运行异常数据表征的异常可能在历史异常数据中并未出现过,这种情况下,分层模型很可能无法准确确定该运行异常数据对应的目标层级,也就无法基于预存的各层级与各解决策略之间的映射关系得到相应的目标解决策略。因此,分层结果表征无法确定运行异常数据对应的目标层级时,可以通过策略输出模型对运行异常数据包括的异常描述文本进行分析,得到运行异常数据对应的目标解决策略。其中,策略输出模型为利用文本数据训练的NLP大模型,例如GPT-3等,本申请对此不作限定。
一种可能的实现方式中,通过策略输出模型对运行异常数据包括的异常描述文本进行分析,得到运行异常数据对应的目标解决策略时,可以提取运行异常数据中的异常描述文本和异常描述文本的上下文信息。再通过策略输出模型对异常描述文本和上下文信息进行分析,生成运行异常数据的至少一个解决策略。然后可以基于预存的解决策略与评估值之间的映射关系,确定至少一个解决策略各自对应的评估值,并通过评估值对至少一个解决策略进行筛选,获得运行异常数据对应的目标解决策略。
在一些实施例中,预存的解决策略与评估值之间的映射关系可以根据经验或目标设备的实际情况进行设置。例如,评估值的满分可以设置为10,为了减少人工参与,提高修复效率,则可以基于实施的难度,策略的普适性以及是否需要人工参与等因素,设置不同策略的评估值。比如,可以将“发送至相关工作人员进行处理”等需要人工参与的解决策略,对应的评估值设置较低,可以为2。将“清楚数据”等较容易实施的解决策略,对应的评估值设置较高,可以为8等。本申请对解决策略与评估值之间的映射关系的设置方法不作限定。
进一步地,通过评估值对至少一个解决策略进行筛选时,可以选取至少一个解决策略中评估值最高的解决策略作为运行异常数据对应的目标解决策略。
可选的,服务器生成运行异常数据的至少一个解决策略后,还可以将至少一个解决策略向相关工作人员的物理终端设备输出,以使相关工作人员选择其中的一个解决策略作为目标解决策略。
基于上述方案,通过策略输出模型确定解决策略可以减少对相关工作人员的依赖,降低人力成本。
参见图8为本申请实施例提供的异常处理方法的整体流程示意图。
步骤801:建立金字塔分层框架。
建立方法可以参见图3所示的方法实施例中的相关描述,在此不再赘述。
步骤802:训练分层模型。
训练方法可以参见图7所示的方法实施例中的相关描述,在此不再赘述。
步骤803:结合预训练语言模型和分层模型,对运行异常数据进行分层处理。
利用预训练语言模型进行特征提取得到异常特征,再将异常特征输入分层模型,得到分层结果。
步骤804:判断分层结果是否表征无法确定运行异常数据对应的目标层级。
若是,则执行步骤806;若否,则执行步骤805。
步骤805:基于预存的各层级与各解决策略之间的映射关系输出目标解决策略。
步骤806:通过策略输出模型输出目标解决策略。
若分层结果是否表征无法确定运行异常数据对应的目标层级,则将运行异常数据包括的异常描述文本输入策略输出模型,得到运行异常数据对应的目标解决策略。
步骤807:通过目标解决策略对目标设备进行异常修复。
基于图8所示的流程,参见图9为本申请实施例提供的异常处理方法的整体实施过程示意图。
如图9所示,假设接收到了一个刷掌设备的运行异常数据,其中包括的异常文本描述为:“刷掌失败,网络异常请稍后重试”。则首先按照图4所示的步骤3011和步骤3012对异常文本描述进行数据预处理,得到{101, 1045, 2293, 1023, 423, 7211, 322, 1989,102, 0 }。再利用BERT对运行异常数据进行特征提取得到长度为768的向量表示作为异常特征。然后将异常特征输入分层模型进行分层处理,得到分层结果。假设得到的分层结果为应用层,则基于预存的各层级与各解决策略之间的映射关系,可以得到对应的目标解决策略为“重启刷掌应用”。服务器可以将该目标解决策略发送值刷掌设备,从而对刷掌设备中的刷掌应用进行重启。
在另一个实施例中,参见图10为本申请实施例提供的异常处理方法的又一整体实施过程示意图。如图10所示,假设接收到了一个刷脸设备的运行异常数据,其中包括的异常文本描述为:“刷脸失败,无法识别人脸”。则首先按照图4所示的步骤3011和步骤3012对异常文本描述进行数据预处理,得到{101,1044,2293,365,458,2564,102,0,0 , 0 }。再利用BERT对运行异常数据进行特征提取得到长度为768的向量表示作为异常特征。然后将异常特征输入分层模型进行分层处理,得到分层结果。假设得到的分层结果表征无法确定该运行异常数据对应的目标层级,则可以将异常描述文本输入策略输出模型,得到目标解决策略:清除刷脸设备数据。服务器可以将该目标解决策略发送值刷脸设备,从而对刷脸设备进行数据清楚。
与上述方法实施例基于同一发明构思,本申请实施例还提供了一种异常处理装置。如图11所示异常处理装置1100可以包括:
特征提取单元1101,用于对目标设备的运行异常数据进行特征提取,获得相应的异常特征;
分层单元1102,用于基于所述异常特征,通过分层模型,对所述运行异常数据进行分层处理,得到分层结果;其中,所述分层模型是以历史异常数据作为训练样本,将每个历史异常数据所属的层级作为相应训练样本的标签来训练的,所述层级是在训练所述分层模型之前,根据所述目标设备的各个架构组成部分的异常出现比例划分的,且每个层级对应的一个架构组成部分;
策略输出单元1103,用于基于所述分层结果,以及预存的各层级与各解决策略之间的映射关系,得到所述运行异常数据对应的目标解决策略,并通过所述目标解决策略对所述目标设备进行异常修复。
一种可能的实现方式中,模型训练单元1104训练所述分层模型之前,层级划分单元1105,还用于:获取所述目标设备的多个历史异常数据,以及所述多个历史异常数据各自对应的异常原因;所述异常原因表征:触发相应历史异常数据的架构组成部分;根据所述多个历史异常数据各自对应的异常原因,确定所述目标设备的各个架构组成部分的异常出现比例;基于所述目标设备的各个架构组成部分的异常出现比例,通过建立金字塔分层框架,将所述多个历史异常数据划分为多个层级。
一种可能的实现方式中,所述层级划分单元1105基于所述目标设备的各个架构组成部分的异常出现比例,通过建立金字塔分层框架,将所述多个历史异常数据划分为多个层级时,具体用于:建立包括上层、中间层和下层的金字塔分层框架;确定异常出现比例最高的架构组成部分对应所述下层,异常出现比例最低的架构组成部分对应所述上层,异常出现比例位于中间的架构组成部分对应所述中间层。
一种可能的实现方式中,所述分层模型是所述模型训练单元1104通过以下方法训练的:获取训练集;所述训练集包括多个训练样本以及每个训练样本的对应层级,每个训练样本均为所述目标设备的历史异常数据;通过对所述多个训练样本,分别执行以下操作,来训练所述分层模型:对一个训练样本进行特征提取,得到所述一个训练样本的异常特征;将所述一个训练样本的异常特征,输入所述分层模型,得到所述一个训练样本的预测分层结果;将所述预测分层结果与一个训练样本的所属层级进行比较,基于比较结果,训练所述分层模型。
一种可能的实现方式中,训练所述分层模型之后,模型测试单元1106,还用于:获取测试集;所述测试集包括多个测试样本以及每个测试样本在所述金字塔分层框架中的所属层级,每个测试样本均为所述目标设备的一个历史异常数据,所述测试集与所述训练集包括的历史异常数据不完全相同;将所述多个测试样本,分别输入所述分层模型,得到每个测试样本对应的测试分层结果;将所述多个测试样本各自对应的测试分层结果与所述多个测试样本各自的所属层级进行比较,确定所述分层模型进行分层处理的精确率和召回率;基于所述对所述精确率和所述召回率调整所述分层模型的参数,并在所述精确率和所述召回率满足预设条件时,获得训练好的所述分层模型。
一种可能的实现方式中,所述特征提取单元1101对目标设备的运行异常数据进行特征提取,获得相应的异常特征时,具体用于:对所述运行异常数据包括的异常描述文本,进行分词处理,并在起始位置和结束位置分别添加起始标识和结束标识,得到至少一个分词; 基于预设的分词与分词值之间的映射关系,确定所述至少一个分词各自对应的分词值;所述分词值为相应分词唯一对应的数值;将所述至少一个分词各自对应的分词值输入预训练语言模型,对位于所述起始标识和所述结束标识之间的分词值进行特征编码,得到所述运行异常数据对应的异常特征。
一种可能的实现方式中,所述策略输出单元1103,还用于:在所述分层结果表征无法确定所述运行异常数据对应的目标层级时,通过策略输出模型对所述运行异常数据包括的异常描述文本进行分析,得到所述运行异常数据对应的目标解决策略;所述策略输出模型为利用文本数据训练的自然语言处理模型。
一种可能的实现方式中,所述策略输出单元1103通过策略输出模型对所述运行异常数据包括的异常描述文本进行分析,得到所述运行异常数据对应的目标解决策略时,具体用于:提取所述运行异常数据中的异常描述文本和所述异常描述文本的上下文信息;通过所述策略输出模型对所述异常描述文本和所述上下文信息进行分析,生成所述运行异常数据的至少一个解决策略;基于预存的解决策略与评估值之间的映射关系,确定所述至少一个解决策略各自对应的评估值,并通过所述评估值对所述至少一个解决策略进行筛选,获得所述运行异常数据对应的目标解决策略。
为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的异常处理方法和装置之后,接下来,介绍根据本申请的另一示例性实施方式的计算机设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思,本申请实施例中还提供了一种计算机设备。在一种实施例中,该计算机设备可以是服务器,如图1所示的服务器120。在该实施例中,计算机设备1200的结构如图12所示,可以至少包括存储器1201、通讯模块1203,以及至少一个处理器1202。
存储器1201,用于存储处理器1202执行的计算机程序。存储器1201可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及运行即时通讯功能所需的程序等;存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1201可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1201也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);或者存储器1201是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质,但不限于此。存储器1201可以是上述存储器的组合。
处理器1202,可以包括一个或多个中央处理单元(central processing unit,CPU)或者为数字处理单元等等。处理器1202,用于调用存储器1201中存储的计算机程序时实现上述异常处理方法。
通讯模块1203用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1201、通讯模块1203和处理器1202之间的具体连接介质。本申请实施例在图12中以存储器1201和处理器1202之间通过总线1204连接,总线1204在图12中以粗线描述,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线1204可以分为地址总线、数据总线、控制总线等。为便于描述,图12中仅用一条粗线描述,但并不描述仅有一根总线或一种类型的总线。
存储器1201中存储有计算机存储介质,计算机存储介质中存储有计算机可执行指令,计算机可执行指令用于实现本申请实施例的异常处理方法。处理器1202用于执行上述的异常处理方法,如图3所示。
在另一种实施例中,计算机设备也可以是其他计算机设备,如图1所示的物理终端设备110。在该实施例中,计算机设备的结构可以如图13所示,包括:通信组件1310、存储器1320、显示单元1330、摄像头1340、传感器1350、音频电路1360、蓝牙模块1370、处理器1380等部件。
通信组件1310用于与服务器进行通信。在一些实施例中,可以包括电路无线保真(Wireless Fidelity,WiFi)模块,WiFi模块属于短距离无线传输技术,电子设备通过WiFi模块可以帮助对象收发信息。
存储器1320可用于存储软件程序及数据。处理器1380通过运行存储在存储器1320的软件程序或数据,从而执行物理终端设备110的各种功能以及数据处理。存储器1320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1320存储有使得物理终端设备110能运行的操作系统。本申请中存储器1320可以存储操作系统及各种应用程序,还可以存储执行本申请实施例异常处理方法的计算机程序。
显示单元1330还可用于显示由对象输入的信息或提供给对象的信息以及物理终端设备110的各种菜单的图形用户界面(graphical user interface,GUI)。具体地,显示单元1330可以包括设置在物理终端设备110正面的显示屏1332。其中,显示屏1332可以采用液晶显示器、发光二极管等形式来配置。
显示单元1330还可用于接收输入的数字或字符信息,产生与物理终端设备110的对象设置以及功能控制有关的信号输入,具体地,显示单元1330可以包括设置在物理终端设备110正面的触控屏1331,可收集对象在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。
其中,触控屏1331可以覆盖在显示屏1332之上,也可以将触控屏1331与显示屏1332集成而实现物理终端设备110的输入和输出功能,集成后可以简称触摸显示屏。本申请中显示单元1330可以显示应用程序以及对应的操作步骤。
摄像头1340可用于捕获静态图像,对象可以将摄像头1340拍摄的图像通过应用发布。摄像头1340可以是一个,也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器1380转换成数字图像信号。
物理终端设备还可以包括至少一种传感器1350,比如加速度传感器1351、距离传感器1352、指纹传感器1353、温度传感器1354。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路1360、扬声器1361、传声器1362可提供对象与物理终端设备110之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号,传输到扬声器1361,由扬声器1361转换为声音信号输出。物理终端设备110还可配置音量按钮,用于调节声音信号的音量。另一方面,传声器1362将收集的声音信号转换为电信号,由音频电路1360接收后转换为音频数据,再将音频数据输出至通信组件1310以发送给比如另一物理终端设备110,或者将音频数据输出至存储器1320以便进一步处理。
蓝牙模块1370用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如,物理终端设备可以通过蓝牙模块1370与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
处理器1380是物理终端设备的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器1320内的软件程序,以及调用存储在存储器1320内的数据,执行终端设备的各种功能和处理数据。在一些实施例中,处理器1380可包括一个或多个处理单元;处理器1380还可以集成应用处理器和基带处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器1380中。本申请中处理器1380可以运行操作系统、应用程序、用户界面显示及触控响应,以及本申请实施例的异常处理方法。另外,处理器1380与显示单元1330耦接。
此外需要注意的是,在本申请的具体实施方式中,涉及到与异常处理方法等相关的对象数据,当本申请以上实施例运用到具体产品或技术中时,需要获得对象许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在一些可能的实施方式中,本申请提供的异常处理方法的各个方面还可以实现为一种程序产品的形式,其包括计算机程序,当程序产品在计算机设备上运行时,计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的异常处理方法中的步骤,例如,计算机设备可以执行如图3中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体地例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序,并可以在电子设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户计算机设备上执行、部分地在用户计算机设备上执行、作为一个独立的软件包执行、部分在用户计算机设备上部分在远程计算机设备上执行、或者完全在远程计算机设备上执行。在涉及远程计算机设备的情形中,远程计算机设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机设备,或者,可以连接到外部计算机设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序命令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品,该命令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种异常处理方法,其特征在于,包括:
对目标设备的运行异常数据进行特征提取,获得相应的异常特征;
基于所述异常特征,通过分层模型,对所述运行异常数据进行分层处理,得到分层结果;其中,所述分层模型是以历史异常数据作为训练样本,将每个历史异常数据所属的层级作为相应训练样本的标签来训练的,所述层级是在训练所述分层模型之前,根据所述目标设备的各个架构组成部分的异常出现比例划分的,且每个层级对应的一个架构组成部分;
基于所述分层结果,以及预存的各层级与各解决策略之间的映射关系,得到所述运行异常数据对应的目标解决策略,并通过所述目标解决策略对所述目标设备进行异常修复;
其中,训练所述分层模型之前,所述方法还包括:
获取所述目标设备的多个历史异常数据,以及所述多个历史异常数据各自对应的异常原因;所述异常原因表征:触发相应历史异常数据的架构组成部分;
根据所述多个历史异常数据各自对应的异常原因,确定所述目标设备的各个架构组成部分的异常出现比例;
建立包括上层、中间层和下层的金字塔分层框架;
确定异常出现比例最高的架构组成部分对应所述下层,异常出现比例最低的架构组成部分对应所述上层,异常出现比例位于中间的架构组成部分对应所述中间层。
2.根据权利要求1所述的方法,其特征在于,所述分层模型是通过以下方法训练的:
获取训练集;所述训练集包括多个训练样本以及每个训练样本的对应层级,每个训练样本均为所述目标设备的历史异常数据;
通过对所述多个训练样本,分别执行以下操作,来训练所述分层模型:
对一个训练样本进行特征提取,得到所述一个训练样本的异常特征;
将所述一个训练样本的异常特征,输入所述分层模型,得到所述一个训练样本的预测分层结果;
将所述预测分层结果与一个训练样本的所属层级进行比较,基于比较结果,训练所述分层模型。
3.根据权利要求2所述的方法,其特征在于,训练所述分层模型之后,所述方法还包括:
获取测试集;所述测试集包括多个测试样本以及每个测试样本在所述金字塔分层框架中的所属层级,每个测试样本均为所述目标设备的一个历史异常数据,所述测试集与所述训练集包括的历史异常数据不完全相同;
将所述多个测试样本,分别输入所述分层模型,得到每个测试样本对应的测试分层结果;
将所述多个测试样本各自对应的测试分层结果与所述多个测试样本各自的所属层级进行比较,确定所述分层模型进行分层处理的精确率和召回率;
基于所述精确率和所述召回率调整所述分层模型的参数,并在所述精确率和所述召回率满足预设条件时,获得训练好的所述分层模型。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述对目标设备的运行异常数据进行特征提取,获得相应的异常特征,包括:
对所述运行异常数据包括的异常描述文本,进行分词处理,并在起始位置和结束位置分别添加起始标识和结束标识,得到至少一个分词;
基于预设的分词与分词值之间的映射关系,确定所述至少一个分词各自对应的分词值;所述分词值为相应分词唯一对应的数值;
将所述至少一个分词各自对应的分词值输入预训练语言模型,对位于所述起始标识和所述结束标识之间的分词值进行特征编码,得到所述运行异常数据对应的异常特征。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
在所述分层结果表征无法确定所述运行异常数据对应的目标层级时,通过策略输出模型对所述运行异常数据包括的异常描述文本进行分析,得到所述运行异常数据对应的目标解决策略;所述策略输出模型为利用文本数据训练的自然语言处理模型。
6.根据权利要求5所述的方法,其特征在于,所述通过策略输出模型对所述运行异常数据包括的异常描述文本进行分析,得到所述运行异常数据对应的目标解决策略,包括:
提取所述运行异常数据中的异常描述文本和所述异常描述文本的上下文信息;
通过所述策略输出模型对所述异常描述文本和所述上下文信息进行分析,生成所述运行异常数据的至少一个解决策略;
基于预存的解决策略与评估值之间的映射关系,确定所述至少一个解决策略各自对应的评估值,并通过所述评估值对所述至少一个解决策略进行筛选,获得所述运行异常数据对应的目标解决策略。
7.一种异常处理装置,其特征在于,包括:
特征提取单元,用于对目标设备的运行异常数据进行特征提取,获得相应的异常特征;
分层单元,用于基于所述异常特征,通过分层模型,对所述运行异常数据进行分层处理,得到分层结果;其中,所述分层模型是以历史异常数据作为训练样本,将每个历史异常数据所属的层级作为相应训练样本的标签来训练的,所述层级是在训练所述分层模型之前,根据所述目标设备的各个架构组成部分的异常出现比例划分的,且每个层级对应的一个架构组成部分;
策略输出单元,用于基于所述分层结果,以及预存的各层级与各解决策略之间的映射关系,得到所述运行异常数据对应的目标解决策略,并通过所述目标解决策略对所述目标设备进行异常修复;
其中,模型训练单元训练所述分层模型之前,层级划分单元,还用于:获取所述目标设备的多个历史异常数据,以及所述多个历史异常数据各自对应的异常原因;所述异常原因表征:触发相应历史异常数据的架构组成部分;根据所述多个历史异常数据各自对应的异常原因,确定所述目标设备的各个架构组成部分的异常出现比例;建立包括上层、中间层和下层的金字塔分层框架;确定异常出现比例最高的架构组成部分对应所述下层,异常出现比例最低的架构组成部分对应所述上层,异常出现比例位于中间的架构组成部分对应所述中间层。
8.一种计算机设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行权利要求1~6中任一项所述方法的步骤。
9.一种计算机可读存储介质,其特征在于,其包括程序代码,当所述程序代码在计算机设备上运行时,所述程序代码用于使所述计算机设备执行权利要求1~6中任一项所述方法的步骤。
10.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现权利要求1~6中任一项所述方法的步骤。
CN202410028662.3A 2024-01-09 2024-01-09 异常处理方法、装置、设备及存储介质 Active CN117539674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410028662.3A CN117539674B (zh) 2024-01-09 2024-01-09 异常处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410028662.3A CN117539674B (zh) 2024-01-09 2024-01-09 异常处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117539674A CN117539674A (zh) 2024-02-09
CN117539674B true CN117539674B (zh) 2024-05-07

Family

ID=89784604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410028662.3A Active CN117539674B (zh) 2024-01-09 2024-01-09 异常处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117539674B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6708291B1 (en) * 2000-05-20 2004-03-16 Equipe Communications Corporation Hierarchical fault descriptors in computer systems
JP2007286924A (ja) * 2006-04-17 2007-11-01 Fuji Xerox Co Ltd 故障診断モデル生成装置、故障診断モデル生成方法、故障診断システム、及び、故障診断方法
CN112988441A (zh) * 2021-03-03 2021-06-18 北京京东乾石科技有限公司 异常处理方法和装置
CN113313134A (zh) * 2020-02-26 2021-08-27 阿里巴巴集团控股有限公司 集群故障修复方法及其模型训练方法、装置及服务器
CN113407374A (zh) * 2021-06-22 2021-09-17 未鲲(上海)科技服务有限公司 故障处理方法、装置、故障处理设备及存储介质
CN113704018A (zh) * 2021-08-30 2021-11-26 平安普惠企业管理有限公司 应用运维数据处理方法、装置、计算机设备及存储介质
CN115525455A (zh) * 2022-08-31 2022-12-27 北京市建筑设计研究院有限公司 多层级系统的异常修复方法、装置、服务器及存储介质
CN115640156A (zh) * 2022-09-27 2023-01-24 中国建设银行股份有限公司 异常处理方法、装置、设备、介质及程序产品
CN117216713A (zh) * 2023-08-30 2023-12-12 中国移动(浙江)创新研究院有限公司 故障定界方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070028220A1 (en) * 2004-10-15 2007-02-01 Xerox Corporation Fault detection and root cause identification in complex systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6708291B1 (en) * 2000-05-20 2004-03-16 Equipe Communications Corporation Hierarchical fault descriptors in computer systems
JP2007286924A (ja) * 2006-04-17 2007-11-01 Fuji Xerox Co Ltd 故障診断モデル生成装置、故障診断モデル生成方法、故障診断システム、及び、故障診断方法
CN113313134A (zh) * 2020-02-26 2021-08-27 阿里巴巴集团控股有限公司 集群故障修复方法及其模型训练方法、装置及服务器
CN112988441A (zh) * 2021-03-03 2021-06-18 北京京东乾石科技有限公司 异常处理方法和装置
CN113407374A (zh) * 2021-06-22 2021-09-17 未鲲(上海)科技服务有限公司 故障处理方法、装置、故障处理设备及存储介质
CN113704018A (zh) * 2021-08-30 2021-11-26 平安普惠企业管理有限公司 应用运维数据处理方法、装置、计算机设备及存储介质
CN115525455A (zh) * 2022-08-31 2022-12-27 北京市建筑设计研究院有限公司 多层级系统的异常修复方法、装置、服务器及存储介质
CN115640156A (zh) * 2022-09-27 2023-01-24 中国建设银行股份有限公司 异常处理方法、装置、设备、介质及程序产品
CN117216713A (zh) * 2023-08-30 2023-12-12 中国移动(浙江)创新研究院有限公司 故障定界方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN117539674A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US10699195B2 (en) Training of artificial neural networks using safe mutations based on output gradients
CN107908175B (zh) 一种电力系统现场智能化运维系统
WO2022116322A1 (zh) 异常检测模型生成方法和装置、异常事件检测方法和装置
KR102322773B1 (ko) 전극편의 버를 검출하기 위한 방법 및 장치
CN111524118B (zh) 变压器的运行状态检测方法、装置、计算机设备和存储介质
EP4141786A1 (en) Defect detection method and apparatus, model training method and apparatus, and electronic device
CN115357470B (zh) 信息生成方法、装置、电子设备和计算机可读介质
KR102359090B1 (ko) 실시간 기업정보시스템 이상행위 탐지 서비스를 제공하는 방법과 시스템
CN115049057B (zh) 一种模型部署方法、装置、电子设备和存储介质
CN114816468A (zh) 云边协同系统、数据处理方法、电子设备及存储介质
CN117539674B (zh) 异常处理方法、装置、设备及存储介质
JP7484065B1 (ja) 知能型製造設備の制御装置及びその制御方法
CN117435999A (zh) 一种风险评估方法、装置、设备以及介质
WO2023224764A1 (en) Multi-modality root cause localization for cloud computing systems
Gao et al. Fault prediction in electric power communication network based on improved DenseNet
CN111859370B (zh) 识别服务的方法、装置、电子设备和计算机可读存储介质
CN113779125A (zh) 一种施工安全信息管理方法及系统
CN114385398A (zh) 一种请求响应状态确定方法、装置、设备和存储介质
CN113691390A (zh) 一种云端协同的边缘节点报警系统及方法
CN115598455B (zh) 一种电子信息装备自动测试系统及测试方法
CN115292081B (zh) 信息发送方法、装置、电子设备和介质
WO2023103764A1 (en) Computer optimization of task performance through dynamic sensing
US11151473B1 (en) Systems and methods for machine-learning augmented application monitoring
CN113392739B (zh) 滚动轴承状态的监测方法、装置、设备及存储介质
CN117422952A (zh) 人工智能图像识别模型管理方法、装置及云边端服务平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant