CN109905269B - 确定网络故障的方法和装置 - Google Patents
确定网络故障的方法和装置 Download PDFInfo
- Publication number
- CN109905269B CN109905269B CN201810042238.9A CN201810042238A CN109905269B CN 109905269 B CN109905269 B CN 109905269B CN 201810042238 A CN201810042238 A CN 201810042238A CN 109905269 B CN109905269 B CN 109905269B
- Authority
- CN
- China
- Prior art keywords
- work order
- order data
- words
- word
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种确定网络故障的方法,包括:获取待处理工单数据;根据预设编码规则对待处理工单数据进行格式化编码生成待处理单词,待处理单词属于预先得到的词典;从待处理单词中确定目标单词;根据词典确定待处理单词对应的词向量;根据词向量关联关系挖掘模型和待处理单词对应的词向量确定第一单词集合与目标单词的关联关系,第一单词集合为待处理单词集合中除目标单词之外的单词;根据关联关系从第一单词集合中确定M个候选单词,M个候选单词对应的工单数据与目标单词对应的工单数据用于确定异常网络状态的故障。该方法能够提高挖掘工单数据的关联关系的准确度,从而提高了确定网络故障的效率。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种确定网络故障的方法和装置。
背景技术
网络是现代工业和生活的重要组成部分,网络可以定义为能够相互传递信息的多个设备或模块,例如,位于不同地理位置的多个工业机器人通过电磁波进行通信,则该多个工业机器人构成了一个通信网络;又例如,位于同一台电脑内部的中央处理器(centralprocessing unit,CPU)、内存条以及硬盘通过主板进行通信,则上述CPU、内存条以及硬盘也构成了一个通信系统。
网络设备通常会记录多种数据,当网络出现故障时,故障可能会导致多种数据出现异常,这样,工程师就能够根据多种数据之间的关联关系从网络中确定故障原因和故障位置,及时排除故障。例如,网络设备记录的数据包括网络设备关键性能指标(keyperformance indicator,KPI)、告警信息和日志,当CPU所在的设备显示告警信息时,工程师可以查看流量指标(属于KPI)和日志,若流量指标发生突变且日志存在相应的CPU复位记录,则工程师可以确定当前故障为CPU复位引起的。
上述示例仅是一个示意性的例子,实际上,网络的结构非常复杂,网络设备记录的数据量也非常庞大,依靠工程师从海量数据中找到具有关联关系的数据非常困难。现有技术采用频繁挖掘技术确定具有关联关系的数据,频繁挖掘技术通过统计不同数据在同一事务中共同出现的次数来确定不同数据之间的关联关系,然而,一些实际具有关联关系的数据共同出现的次数较低,频繁挖掘技术无法发现这类数据的关联关系。此外,在同一事务中出现的次数较高的多个数据不一定具有关联关系。因此,如何从海量的数据中准确确定具有关联关系的数据是当前亟需解决的问题。
发明内容
本申请提供了一种确定网络故障的方法和装置,能够提高从网络记录的数据中确定具有关联关系的数据的准确率。
第一方面,提供了一种确定网络故障的方法,包括:获取待处理工单数据集,该待处理工单数据集对应至少一个网络状态,待处理工单数据集包括多个工单数据,该待处理工单数据集的多个工单数据包括至少两种不同类型的数据;根据预设编码规则对待处理工单数据集的多个工单数据进行格式化编码生成多个待处理单词,该多个待处理单词属于预先得到的词典,该词典包括多个单词以及与多个单词对应的多个词向量;根据预设确定规则从多个待处理单词中确定目标单词,预设确定规则用于确定指示异常网络状态的单词,目标单词用于指示至少一个异常网络状态;根据词典确定多个待处理单词对应的多个词向量;根据词向量关联关系挖掘模型和多个待处理单词集合对应的多个词向量确定第一单词集合中的单词与目标单词的关联关系,第一单词集合为多个待处理单词中除目标单词之外的单词组成的集合;根据关联关系从第一单词集合中确定M个候选单词,其中,M为预设的正整数,M个候选单词对应的工单数据与目标单词对应的工单数据用于确定目标单词指示的异常网络状态的故障,M个候选单词中任意一个候选单词与目标单词的关联关系的紧密度大于第二单词集合中任意一个单词与目标单词的关联关系的紧密度,第二单词集合为第一单词集合中除M个候选单词之外的单词组成的集合。
词向量关联关系挖掘模型是一种能够分析数据之间的关联关系的方法,若两个数据为具有关联关系的数据,即使该两个数据共同出现的频率不高,词向量关联关系挖掘模型也能够确定该两个数据的关联关系。然而,词向量关联关系挖掘模型处理的输入量为词向量,词向量是一种满足特定规则的数据,不同的词向量之间具有数学上的关联关系,而工单数据则是一种孤立的数据,不同类型的工单数据之间不具有数学上的关联关系,词向量关联关系挖掘模型无法直接处理这种孤立的数据,因此,需要按照本申请提供的方法将工单数据转换为单词(具有统一格式的数据),再通过词向量训练模型训练单词才能得到能够被词向量关联关系挖掘模型处理的数据(即,词向量),其中,待处理工单数据集的多个工单数据可以生成一个待处理单词,也可以生成多个待处理单词,该多个待处理单词与待处理工单数据集的多个工单数据一一对应。确定网络故障的设备将工单数据转换为词向量之后,通过词向量关联关系挖掘模型确定具有关联关系的词向量,通过词向量与工单数据的对应关系可以确定具有关联关系的工单数据,例如,可以通过本实施例从大量工单数据中确定与告警信息A的关联关系最紧密的工单数据是流量指标A和日志A,并将流量指标 A和日志A显示出来,从而有利于工程师快速确定异常网络状态的故障原因和故障位置,及时排除网络故障。
可选地,在根据词典确定多个待处理单词对应的多个词向量之前,所述方法还包括:获取历史工单数据集,历史工单数据集对应至少一个网络状态,该历史工单数据集包括多个工单数据,该历史工单数据集的多个工单数据包括至少两种不同类型的数据;根据预设编码规则对历史工单数据集的多个工单数据进行格式化编码生成历史工单数据集对应的多个单词;根据词向量训练模型训练该历史工单数据集对应的多个单词生成历史工单数据集对应的多个词向量;根据历史工单数据集对应的多个词向量以及历史工单数据集对应的多个单词得到词典。
在处理待处理工单数据之前,可以先根据历史工单数据集中的工单数据获取词典,这样,在处理待处理工单数据时,可以从词典中查找到待处理工单数据对应的词向量,从而可以快速确定M个候选单词。
可选地,在根据预设编码规则对历史工单数据集的多个工单数据进行格式化编码生成历史工单数据集对应的多个单词之前,还包括:根据每个工单数据对应的时刻将历史工单数据集的多个工单数据划分为至少两个子工单数据集合,所述至少两个子工单数据集合与至少两个时间段一一对应;根据预设编码规则对历史工单数据集的多个工单数据进行格式化编码生成历史工单数据集对应的多个单词,包括:根据预设编码规则对至少两个子工单数据集合进行格式化编码生成至少两个句子,至少两个子工单数据集合与至少两个句子一一对应,其中,该至少两个句子包括历史工单数据集对应的多个单词。
通常情况下,具有关联关系的工单数据对应的时刻较为接近,本实施例根据时间段划分工单数据,使得语句中的单词之间的关联关系更加紧密,有利于提高词向量关联关系挖掘模型的效率。
可选地,根据每个工单数据对应的时刻将历史工单数据集的多个工单数据划分为至少两个子工单数据集合,包括:根据每个工单数据对应的时刻以及第一时间长度阈值将历史工单数据集的多个工单数据划分为至少两个子工单数据集合,该至少两个子工单数据集合中的任意一个对应的时间段长度大于或等于第一时间长度阈值。
每个工单数据对应的时刻指的是每个工单数据的生成时刻,上述实施例根据时间划分工单数据集合,使得得到的每一个子工单数据集合均具有时间属性,可以根据经验值或者工单数据的关联关系统计结果设置第一时间长度阈值,避免划分工单数据集合的时间段过短,减小了具有关联关系的工单数据被划分到不同的子工单数据集合中的概率,有利于提高词向量关联关系挖掘模型的效率和的挖掘结果的准确度。
可选地,至少两个子工单数据集合中的第一子工单数据集合包括用于指示异常网络工作状态的第一工单数据,第一工单数据对应的时刻与第一子工单数据集合对应的时间段的左边界的距离大于或等于第二时间长度阈值,并且,第一工单数据对应的时刻与第一子工单数据集合对应的时间段的右边界的距离大于或等于第三时间长度阈值。
用于指示异常网络状态的工单数据(例如,第一工单数据)通常是重要数据,通过设定第二时间长度阈值和第三时间长度阈值,能够提高与第一工单数据具有关联关系的工单数据被划分到同一个子工单数据集合中的概率,第二时间长度阈值和第三时间长度阈值可以根据经验设定,也可以根据工单数据的关联关系统计结果设定。例如,告警信息用于指示异常网络工作状态,通常情况下,与告警信息的关联关系较紧密的工单数据的生成时刻与告警信息的生成时刻较为接近,可以以告警信息的生成时刻为参考点选取一段时间,从而提高了与告警信息具有关联关系的工单数据被划分到同一个子工单数据集合中的概率,有利于提高词向量关联关系挖掘模型的挖掘结果的准确度。
可选地,在根据预设编码规则对历史工单数据集的多个工单数据进行格式化编码生成历史工单数据集对应的多个单词之前,所述方法还包括:根据每个工单数据对应的网络设备将历史工单数据集的多个工单数据划分为至少两个子工单数据集合,该至少两个子工单数据集合与至少两个网络设备一一对应;根据所述预设编码规则对历史工单数据集的多个工单数据进行格式化编码生成历史工单数据集对应的多个单词,包括:根据预设编码规则对至少两个子工单数据集合进行格式化编码生成至少两个句子,至少两个子工单数据集合与至少两个句子一一对应,其中,该至少两个句子包括所述历史工单数据集对应的多个单词。
相比于属于不同网络设备的工单数据,属于同一个网络设备的工单数据具有更加紧密的关联关系,本实施例根据工单数据所属的网络设备划分工单数据集合,使得语句中的单词之间的关联关系更加紧密,有利于提高词向量关联关系挖掘模型的效率。
可选地,根据预设编码规则对待处理工单数据集的多个工单数据进行格式化编码生成多个待处理单词,包括:确定至少两个数值区间以及至少两个数值区间对应的标识信息,其中,不同的数值区间对应的标识信息不同;根据待处理工单数据集的多个工单数据的数值与至少两个数值区间的对应关系以及至少两个数值区间对应的标识信息确定待处理工单数据集的多个工单数据对应的标识信息;根据待处理工单数据集的多个工单数据对应的标识信息对待处理工单数据集的多个工单数据进行格式化编码,生成多个待处理单词,其中,所述多个待处理单词中的任意一个包括至少一个标识信息。
待处理工单数据集的多个工单数据中对应相同数据区间的工单数据可以对应一个标识信息,也可以对应多个标识信息,其中,该多个标识信息与待处理工单数据集的多个工单数据中对应相同数据区间的工单数据一一对应。不同标识信息的组合对应不同的网络状态,因此,使用上述编码方式生成的单词能够直接反映出不同的网络状态。
可选地,多个待处理单词中的第一单词包括与所述单词对应的工单数据的数据类型信息、异常网络工作类型信息和工单数据标识符中的至少一个,第一单词为多个待处理单词中的任意一个单词;词典包括的多个单词中的第二单词包括与所述第二单词对应的工单数据的数据类型信息、异常网络工作信息和工单数据标识符中的至少一个,第二单词为词典包括的多个单词中的任意一个单词;历史工单数据集对应的多个单词中的第三单词包括与所述第三单词对应的工单数据的数据类型信息、异常网络工作信息和工单数据标识符中的至少一个,第三单词为历史工单数据集对应的多个单词中的任意一个单词。
第二方面,提供了一种确定网络故障的装置,该装置可以实现上述第一方面所涉及的方法中各个步骤所对应的功能,所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元或模块。
在一种可能的设计中,该装置包括处理器和收发器,该处理器被配置为支持该装置执行上述第一方面所涉及的方法中相应的功能。该收发器用于支持该装置与其它网元之间的通信。该装置还可以包括存储器,该存储器用于与处理器耦合,其保存该装置必要的程序指令和数据。
第三方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储了计算机程序代码,该计算机程序代码被处理单元或处理器执行时,使得确定网络故障的装置执行第一方面所述的方法。
第四方面,提供了一种芯片,其中存储有指令,当其在确定网络故障的装置上运行时,使得该芯片执行上述第一方面的方法。
第五方面,提供了一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码被确定网络故障装置的通信单元或收发器、以及处理单元或处理器运行时,使得确定网络故障装置执行上述第一方面的方法。
附图说明
图1是本申请提供的基于哈弗曼树训练单词的方法的示意图;
图2是本申请提供的一种确定网络故障的装置的示意图;
图3是本申请提供的一种确定网络故障的方法的示意图;
图4是本申请提供的一种处理连续型工单数据的方法的示意图;
图5是本申请提供的一种确定候选单词的方法的示意图;
图6是本申请提供的一种生成语料库的方法的示意图;
图7是本申请提供的一种划分工单数据集合的方法的示意图;
图8是本申请提供的另一种处理连续型工单数据的方法的示意图;
图9是本申请提供的一种划分工单数据集合的示意图;
图10是本申请提供的另一种确定网络故障的装置的示意图;
图11是本申请提供的再一种确定网络故障的装置的示意图。
具体实施方式
为了便于理解本申请,首先对本申请提供的技术方案中可能涉及的技术特征进行描述。
工单数据是网络设备记录的反映网络运行状态的数据,例如,KPI、告警信息和日志,与图像数据等按照特定数学模型编码得到数据相比,不同类型的工单数据之间在数学上的关联性较差,计算机能够存储和识别两个不同的工单数据,但是很难分辨两个不同的工单数据之间是否具有关联性,也就是说,工单数据之间也存在词汇鸿沟现象。因此,直接按照数学统计模型(例如,频繁挖掘技术)计算不同类型的工单数据的关联关系的效果通常不理想,需要根据工单数据的特征寻找一种能够计算不同类型的工单数据的关联关系的方法。
工单数据的另一个特性是,不同的工单数据所表示的含义是具有关联性的,例如,当告警信息出现时,通常伴随着KPI的变化以及记录异常现象的日志,不同的工单数据之间的这种关联性本质上是一种上下文关系,因此,可以寻找一种能够计算数据之间的上下文关系的方法来衡量工单数据之间的关联性。
词向量关联关系挖掘模型是一种能够衡量具有上下文关系的数据之间的关联性的方法,然而,该模型不能直接处理具有词汇鸿沟特性的数据,因此,需要将工单数据进行处理以消除工单数据的词汇鸿沟特性。
词嵌入(Word Embedding)是一种能够将具有词汇鸿沟特性的数据转变为具有语义关联关系的数据的方法,该方法的原理是利用位于一个句子中的词汇之间的上下文关系将词汇(即,数据)转化为词向量,生成的词向量之间具有数学上的关联性,从而能够利用词向量关联关系挖掘模型衡量词向量之间的关联关系,进而确定工单数据之间的关联关系。常用的词嵌入包括连续袋(continuous bag of words,CBOW)模型和跳跃(skip-gram)模型。无论是CBOW模型还是跳跃模型,都是以哈弗曼(Huffman)树作为基础的,下面,以CBOW模型为例对生成词向量的原理进行简要说明。
图1示出了基于哈弗曼树训练单词的方法的示意图。
图1中上半部分的v(context(i))表示单词w的上下文的第i个词的向量,图1的下半部分是根据语料库中单词出现次数生成的哈弗曼树,每个叶子节点代表语料库中的一个词,每个非叶节点内置一个权重向量,该向量的维度和词向量的维度相同。从根节点遍历到单词w时,会得到一条由0,1组成的路径序列[0,1,…],其中0表示左子树,1右子树。每次经过一个中间节点时,进行了一次二分类,分类器使用逻辑回归分类器,所以对于参数为θi的中间节点,分类的概率为:
公式(1)中,context(w)是指单词w的上下文,例如可以是包含单词w的语句中,单词w的前c个单词以及后c个单词;θi表示哈弗曼树第i个中间节点的参数。
设由根节点遍历到单词w的路径包含了l个中间节点,这些节点上的参数组成参数向量[θ1,θ2,...,θl]。
给定单词w的上下文向量,单词w出现的概率为:
CBOW模型的训练目标即最大化上述后验概率,CBOW模型在训练过程中会调整中间节点的参数,以及词向量,使得给定某个单词上下文时,使得该单词出现的概率最大。
数学表示为:
公式(3)中θ为哈弗曼树中间节点参数,D是语料库中的所有单词的集合。训练结束后,生成的词典(包括单词和词向量)被用于寻找待处理的单词集合中与目标单词最相关的单词。
下面,将详细描述本申请如何利用上述方法挖掘工单数据之间的关联关系。
图2示出了本申请提供的一种确定网络故障的装置的示意图。
如图2所示,该装置200包括词向量训练模块210和关联关系挖掘模块220,其中,词向量训练模块210包括符号化模块211、语料库模块212以及词嵌入模块213。
符号化模块211用于接收工单数据,将各种类型的工单数据转变为统一格式的单词,以便于后续模块进行处理。
语料库模块212用于对符号化之后的数据按照预定的规则进行划分处理,例如,可以将同一时间段内的工单数据对应的单词划分为一个集合,该一个集合内的单词具有较强的关联性,随后按照一定顺序将该集合中的单词组织成一个语句。一个工单通常可以生成包含多条语句的文档,多个工单对应的文档即形成了语料库。
词嵌入模块213用于对语料库进行词向量训练,以生成词向量,例如,可以按照图1所示的方法,在训练过程中不断调整词向量以及中间节点的参数,使得给定某个单词上下文时,使得该单词出现的概率最大,此时,该单词的词向量训练完毕。整个语料库中的词向量均训练完毕后,生成词典,词典包括语料库中全部单词以及该全部单词对应的词向量。
关联关系挖掘模块220用于分析(也可称为“挖掘”)待处理的单词集合中的单词与目标单词的关联关系,其中,该单词集合为待处理的工单数据经过符号化模块211处理后生成集合,目标单词属于该单词集合,词嵌入模块213生成的词典包括该单词集合中所有的单词,从而可以利用词向量模块训练挖掘出目标单词与该单词集合中其它单词之间的关联关系,并根据单词与工单数据的对应关系显示与目标工单数据关联关系比较密切的一些工单数据,用于工程师确定网络故障。
需要说明的是,图2是从功能角度对确定网络故障的装置200进行描述,图2中各个模块在一些具体产品中可能还会有更加详细的划分方式,或者,图2中各个模块在另一些产品中以集成方式实现,本申请对此不做限定。此外,装置200还可以包括其它模块。
图2所示的各个模块可以是软件模块,该软件模块被处理器执行时实现相应的功能。图2所示的各个模块还可以以硬件的形式实现,比如实现为处理器,数字信号处理器(digital signal processor,DSP),专用集成电路(application-specific integratedcircuit, ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合,本申请对此不做限定。
基于上述确定网络故障的装置200,下面将详细介绍利用词向量对工单数据进行处理的相关技术细节。
图3示出了本申请提供的确定网络故障的方法的示意图。该方法300包括:
S310,获取待处理工单数据集,该待处理工单数据集对应至少一个网络状态,待处理工单数据集包括多个工单数据,该待处理工单数据集的多个工单数据包括至少两种不同类型的数据。
S320,根据预设编码规则对待处理工单数据集的多个工单数据进行格式化编码生成多个待处理单词,该多个待处理单词属于预先得到的词典,该词典包括多个单词以及与多个单词对应的多个词向量。
S330,根据预设确定规则从多个待处理单词中确定目标单词,预设确定规则用于确定指示异常网络状态的单词,目标单词用于指示至少一个异常网络状态。
S340,根据词典确定多个待处理单词对应的多个词向量。
S350,根据词向量关联关系挖掘模型和多个待处理单词对应的多个词向量集合确定第一单词集合中的单词与目标单词的关联关系,第一单词集合为多个待处理单词中除目标单词之外的单词组成的集合。
S360,根据关联关系从第一单词集合中确定M个候选单词,其中,M为预设的正整数,M个候选单词对应的工单数据与目标单词对应的工单数据用于确定目标单词指示的异常网络状态的故障,M个候选单词中任意一个候选单词与目标单词的关联关系的紧密度大于第二单词集合中任意一个单词与目标单词的关联关系的紧密度,第二单词集合为第一单词集合中除M个候选单词之外的单词组成的集合。
方法300例如可以由装置200执行,其中,S310中的待处理工单数据例如是至少一个KPI和至少一个告警信息,本申请对每一种类型的工单数据的数量不做限定。S310中的待处理工单数据中每一种工单数据可以是连续型数据或离散型数据,上述待处理工单数据可以是装置200生成的,也可以是从其它设备接收的,例如,通过收发器或者通信接口接收待处理工单数据。
当S310中的待处理工单数据集中的工单数据为连续型数据时,可以根据预设规则从所述连续型工单数据中获取指示异常网络状态的工单数据,并将该指示异常网络状态的工单数据作为S320中格式化编码的输入量生成多个待处理单词,从而可以将连续型工单数据离散化,减少与网络故障无关的工单数据,提高词向量关联关系挖掘模型的效率。
连续型工单数据与时间的函数可以是平滑曲线,也可以是非平滑曲线,还可以是多段曲线,本申请对此不做限定。以连续型工单数据与时间的函数图像为平滑曲线为例,当网络故障发生时,平滑曲线通常会发生突变,即,平滑曲线突变位置的工单数据反映了网络故障,为了减少与网络故障无关的工单数据,提高词向量关联关系挖掘模型的效率,可以仅选取突变数据作为生成单词的工单数据并进行词向量训练。
如图4所示,KPI与时间的函数图像为平滑曲线,在第一个时间段的平滑曲线上存在两个突变点,可以根据曲线的导数值的绝对值是否超过导数阈值判断曲线上的点是否为突变点,选择该两个突变点的工单数据作为生成语料库使用的工单数据,可以减少与网络故障无关的工单数据,提高词向量关联关系挖掘模型的效率。
S320可以由图2所示的符号化模块211执行,可以按照“数据类型_数据标识符_异常种类”对工单数据进行格式化编码(也可称为“符号化”),也可以按照“数据类型_数据标识符_异常现象”对工单数据进行格式化编码,或者是按照其它规则对工单数据进行编码。可以将一个工单数据编码生成一个单词,也可以将多个工单数据编码生成一个单词。
例如,对于一个KPI,按照“数据类型_数据标识符_异常种类”进行编码的结果为单词“kpi_TS01_1”,其中,kpi表示该单词对应的数据类型为KPI,TS01表示数据标识符,可以是KPI的时间序列,1表示该KPI的异常类型,例如,突增或突降。
又例如,对于属于同一个KPI的三段数据,按照“数据类型_数据标识符_异常现象”进行编码的结果为单词“kpi_TS01_baa”,其中,kpi表示该单词对应的数据类型为KPI,TS01表示数据标识符,可以取三个KPI的时间序列作为数据标识符,baa为对该三个KPI的值进行符号化后得到的用于表示异常现象的信息。
S320中生成的多个待处理单词属于预先得到的词典,该词典包括多个单词以及与该多个单词对应的多个词向量,从而可以根据该词典获取多个待处理单词对应的多个词向量。该词典可以是词向量训练模块210生成的,也可以是通过通信接口或者收发器接收到,本申请对装置200如何获取词典不做限定。
S330中,预设确定规则例如是将平滑曲线上的突变点对应的单词确定为目标单词,也可以是将告警信息对应的单词确定为目标单词,还可以是将工程师输入的工单数据对应的单词确定为目标单词。
上述目标单词可以是一个单词,也可以是多个单词,此外,目标单词可以是用于指示一个异常网络状态的单词,也可以是用于指示多个异常网络状态的单词。
若待处理单词集合中全部单词都属于词典,则可以通过关联关系挖掘模块220直接执行S350。若待处理单词集合中部分单词不属于词典,则需要对这部分单词训练生成词向量,并将生成的词向量和这部分单词加入词典,随后再执行S350。
S350中的关联关系挖掘模型例如是通过计算词向量之间的余弦距离确定词向量之间的关联关系的紧密度,余弦距离越小,表示词向量之间的关联关系越紧密。
S350执行完毕后,装置200确定了第一单词集合中的单词与目标单词的关联关系,随后可以从第一单词集合中选择与目标单词的关联关系最接近的M个单词作为候选单词,该M个候选单词对应的工单数据以及目标单词对应的工单数据用于确定异常网络工作状态的故障,可以将该M个候选单词对应的工单数据以及目标单词对应的工单数据显示出来,供工程师使用。
需要说明的是,若多个待处理单词仅包含两个单词,则第二单词集合为零集合,零集合中的工单数据与目标单词的关联关系为最疏远的关系,例如,待处理单词为单词A和单词B,其中,单词A为目标单词,则第一单词集合为单词B组成的集合,第二单词集合为零集合,由于零集合中的工单数据与目标单词的关联关系为最疏远的关系,因此,装置200确定单词B为候选单词。
挖掘目标单词的关联关系的流程如图5所示。
通过上述方法,可以从大量工单数据中确定与指示异常网络工作状态的工单数据的关联关系最紧密的工单数据,并将该关联关系最紧密的工单数据显示出来,例如,当网络设备出现告警信息A时,可以通过上述方法确定与告警信息A的关联关系最紧密的工单数据是流量指标A和日志A,并将流量指标A和日志A显示出来,即使流量指标A与日志 A与告警信息A共同出现的频率很小,方法300也能够确定与告警信息A的关联关系最紧密的工单数据是流量指标A和日志A,从而有利于工程师快速确定网络故障的原因和位置,及时排除网络故障。
可选地,在S340之前,方法300还包括:
S301,获取历史工单数据集,历史工单数据集对应至少一个网络状态,该历史工单数据集包括多个工单数据,该历史工单数据集的多个工单数据包括至少两种不同类型的数据。
S302,根据预设编码规则对历史工单数据集的多个工单数据进行格式化编码生成历史工单数据集对应的多个单词。
S303,根据词向量训练模型训练该历史工单数据集对应的多个单词生成历史工单数据集对应的多个词向量。
S304,根据历史工单数据集对应的多个词向量以及历史工单数据集对应的多个单词得到词典。
S301中,至少一个网络状态例如可以是网络设备在执行计算任务时的工作状态,也可以是网络设备在执行存储任务时的工作状态,还可以是其它的工作状态。历史工单数据集包括的多个工单数据为网络设备在处于至少一个网络状态时记录的多个工单数据,历史工单数据集为用于生成词典的现有的工单数据,S301中的历史工单数据集可以是生成词典所需的全部工单数据集,装置200执行一次S301-S304生成词典;S301中的历史工单数据集页可以是生成词典所需的部分工单数据集,装置200执行多次S301-S304生成词典。
S302中的编码规则与S320中的编码规则相同,可以由符号化模块211执行。
S303和S304可以由图2所示的词嵌入模块213执行,S330中的词向量训练模型例如可以是图1所示的CBOW模型,使用词向量训练模型训练单词生成词向量,每个单词都唯一对应一个词向量,待全部单词训练完成后,生成词典,该词典包含多个单词以及每个单词对应的词向量。
可选地,在S302之前,方法300还包括:
S305,根据每个工单数据对应的时刻将历史工单数据集的多个工单数据划分为至少两个子工单数据集合,所述至少两个子工单数据集合与至少两个时间段一一对应。
在该情况下,S302包括:
S306,根据预设编码规则对至少两个子工单数据集合进行格式化编码生成至少两个句子,至少两个子工单数据集合与至少两个句子一一对应,其中,该至少两个句子包括历史工单数据集对应的多个单词。
通常情况下,具有关联关系的工单数据对应的时刻较为接近,本实施例根据时间段划分工单数据集合,使得语句中的单词之间的关联关系更加紧密,有利于提高词向量关联关系挖掘模型的效率。S305可以由语料库模块212执行,上述生成语料库的流程如图6所示。
图7示出了本申请提供的一种对工单数据执行时间切片操作的方法的示意图。
如图7所示,当前工单数据包括KPI、告警信息和日志,该三种工单数据组成了工单数据集合,按照预设的时间段对该工单数据集合进行时间切片,得到多个子工单数据集合,例如,第一个子工单数据集合包括两组KPI、告警信息A、告警信息B和日志A,对这些工单数据进行符号化之后得到的单词即组成了一条语句。
可选地,S305包括:
S3051,根据每个工单数据对应的时刻以及第一时间长度阈值将历史工单数据集的多个工单数据划分为至少两个子工单数据集合,该至少两个子工单数据集合中的任意一个对应的时间段长度大于或等于第一时间长度阈值。
每个工单数据对应的时刻指的是生成每个工单数据的时刻。若对工单数据集合进行时间切片选用的时间段过长,则语句中关联关系较疏远的单词较多,这将导致词向量关联关系挖掘模型的效率降低;若对工单数据集合进行事件切片选用的时间段过短,则两个关联关系较紧密的单词可能会被划分到不同的语句中,这将导致训练单词生成的词向量不是优选的词向量,对使用词向量关联关系挖掘模型挖掘目标单词的关联关系产生负面影响。
根据本实施例提供的方法,可以根据经验值或者工单数据的关联关系统计结果设置第一时间长度阈值,避免划分工单数据集合的时间段过短,减小了具有关联关系的工单数据被划分到不同的子工单数据集合中的概率,有利于提高词向量关联关系挖掘模型的效率和挖掘结果的准确度。
可选地,至少两个子工单数据集合中的第一子工单数据集合包括用于指示异常网络工作状态的第一工单数据,第一工单数据对应的时刻与第一子工单数据集合对应的时间段的左边界的距离大于或等于第二时间长度阈值,并且,第一工单数据对应的时刻与第一子工单数据集合对应的时间段的右边界的距离大于或等于第三时间长度阈值。
用于指示异常网络工作状态的工单数据(例如,第一工单数据)通常是重要数据,通过设定第二时间长度阈值和第三时间长度阈值,能够提高与第一工单数据具有关联关系的工单数据被划分到同一个子工单数据集合中的概率,第二时间长度阈值和第三时间长度阈值可以根据经验设定,也可以根据工单数据的关联关系统计结果设定。例如,告警信息用于指示异常网络工作状态,通常情况下,与告警信息的关联关系较紧密的工单数据的生成时刻与告警信息的生成时刻较为接近,可以以告警信息的生成时刻为参考点选取一段时间,从而提高了与告警信息具有关联关系的工单数据被划分到同一个子工单数据集合中的概率,有利于提高词向量关联关系挖掘模型的挖掘结果的准确度。
上述第二时间长度阈值与第三时间长度阈值可以相等,也可以不相等。
再举一个例子,令第二时间长度阈值和第三时间长度阈值均为3分钟,以图7为例,KPI中的突变点(平滑曲线上的尖锐凸起)用于指示异常网络工作状态,以该突变点为中心,左右各取5分钟的时间段长度划分工单数据集合,得到一个时间长度为10分钟的子工单数据集合,从而减小了与该突变点相关的其它工单数据被划分至不同的子工单数据集合中的概率。上述两个5分钟即突变点距离时间段的左边界和右边界的时间长度。
可选地,在S302之前,方法300还包括:
S307,根据每个工单数据对应的网络设备将历史工单数据集的多个工单数据划分为至少两个子工单数据集合,该至少两个子工单数据集合与至少两个网络设备一一对应。
在该情况下,S302包括:根据预设编码规则对至少两个子工单数据集合进行格式化编码生成至少两个句子,至少两个子工单数据集合与至少两个句子一一对应,其中,该至少两个句子包括历史工单数据集的多个单词。
相比于属于不同网络设备的工单数据,属于同一个网络设备的工单数据具有更加紧密的关联关系,本实施例根据工单数据所属的网络设备划分工单数据集合,使得语句中的单词之间的关联关系更加紧密,有利于提高词向量关联关系挖掘模型的效率。
可选地,S320包括:
S321,确定至少两个数值区间以及至少两个数值区间对应的标识信息,其中,不同的数值区间对应的标识信息不同。
S322,根据待处理工单数据集的多个工单数据的数值与至少两个数值区间的对应关系以及至少两个数值区间对应的标识信息确定待处理工单数据集的多个工单数据对应的标识信息。
S333,根据待处理工单数据集的多个工单数据对应的标识信息对待处理工单数据集的多个工单数据进行格式化编码,生成多个待处理单词,其中,所述多个待处理单词中的任意一个包括至少一个标识信息。
处理工单数据集的多个工单数据中对应相同数据区间的工单数据可以对应一个标识信息,也可以对应多个标识信息,其中,该多个标识信息与待处理工单数据集的多个工单数据中对应相同数据区间的工单数据一一对应。不同标识信息的组合对应不同的网络工作状态,因此,使用上述编码方式生成的单词能够直接反映出不同的网络工作状态。
如图8所示,左侧图中C表示曲线,该曲线表示连续型工单数据与时间的函数关系,其中,横轴为时间轴,纵轴为工单数据轴,将曲线划分为多个曲线段(即,离散化),表示对曲线进行离散化操作后每个曲线段的近似值的图像(横线段),例如可以对每个曲线段的纵坐标值取均值,坐标系的纵轴设置了三个数值区间(如右侧图),落入下方数值区间的工单数据赋值为a,落入中间数值区间的工单数据赋值为b,落入上方数值区间的工单数据赋值为c,上述a、b和c即不同的标识信息,得到结果为aabbcc,若该连续型工单数据为KPI,则最终生成的单词为kpi_TS01_aabbcc,这种编码方式获得的单词可以直接反映出网络的工作状态,此外,这种方法能够将多个工单数据编码为一个单词。
图8所示的离散化方法为符号聚合近似(symbolic aggregate approximation,SAX),即,使得曲线段在三个数值区间内的分布概率服从图8右侧的分布曲线,还可以采用其它离散化方法,例如,均匀离散化方法。
下面,再提供一个基于装置200和方法300的确定网络故障的方法的示例。
S901,输入的工单数据,如图9所示,包含KPI,告警信息和日志,横轴表示时间轴,纵轴为各个工单数据对应的轴。其中KPI是一个双变量的数据,名称为TS01和TS02。
S902,符号化模块211中的连续时间序列符号化模块对KPI进行异常检测,发现TS01 中存在突增异常点,TS02中存在突降异常点。约定突增类型符号为“1”,突降为符号“2”,然后对其符号化,生成下述两个单词:kpi_ts01_1,kpi_ts02_2。符号化模块211中的离散数据符号化模块对告警信息和日志进行符号化,生成alarm_a,alarm_b,alarm_c,alarm_d, alarm_e这些单词,同理,对日志进行符号化生成log_a,log_b,log_c,log_e,log_f这些单词。
S903,语料库模块212按照设定的时间间隔对工单数据进行时间切片,形成对应多个时间窗的工单数据。然后,按照KPI、告警信息、日志的顺序,将同一窗口内出现的单词顺序连接组成一个语句。例如,第一个时间窗口组成的语句是:kpi_ts01_1,alarm_a log_a;第二个窗口的语句是:kpi_ts02_2,alarm_b,alarm_c,log_c;第三个时间窗没有KPI相关的单词,形成句子alarm_d,log_e;依次类推,形成多条语句:
alarm_e,log_b;
alarm_d,log_f。
图9所示的工单数据对应5条语句,该5条语句共同组成了一篇文章。
S904,词嵌入模块213使用如图1所示的CBOW模型对语料库模块212生成的语料库进行词向量训练。以图9所示的工单数据所对应的单词为语料库,设定词向量长度等参数后对语料库中的单词进行训练,得到词向量,部分词向量如下:
kpi_ts01_1:[0.17468844 -3.15235829 -1.70313048 -0.08540603 -2.66887307]
kpi_ts02_2:[2.92323542 -1.19825315-0.14672463 -1.04043281 2.63267684]
alarm_a:[1.88184381 -0.73932534 0.42771474 -0.04084557 -3.8284812]
alarm_b:[1.63213897 -1.63577068 -2.92685103 0.45830116 1.15785682]
alarm_c:[0.65490711 -1.53254235 -1.86269796 -2.88768387 1.29278743]
alarm_d:[2.87885618 -1.52118778 2.19117451 0.01026359 -0.25202838]
log_e:[3.22305751 0.54613221 -0.86096072 0.86174524 -0.67765802]
alarm_e:[2.36494136 0.7596367 0.56835741 -3.16016173 -0.54243064]
log_b:[1.15876281 0.45133153 -3.03829813 -1.50259316 -1.90585148]
log_c:[0.84713143 -3.7954514 -0.39955622 -0.2065627 1.29133725]
log_f:[3.2334075 0.5428791 -0.84866911 0.87074149 -0.68929535]
S905,词向量关联关系挖掘模块220执行挖掘词向量之间的关联关系的操作。假设根据待处理的工单数据生成的待处理单词集合与语料库中的单词相同,一种关联关系的衡量方法是利用余弦距离计算词向量之间的距离,例如,目标单词为kpi_ts02_2,和kpi_ts02_2 最近的2个单词是:(alarm_b,0.6114)和(alarm_c,0.6096)。上述二元组的第一个元素表示单词,第二个元素表示和词kpi_ts02_2的余弦距离,余弦距离根据得到,其中, d表示两个向量和的余弦距离,表示该两个向量的内积,表示该两个向量的模的乘积。另一种关联关系的衡量方法是后验概率,即P(w|x),P(w|x)表示在上下文环境x中单词w出现的概率,例如,计算在目标单词kpi_ts01_1出现的情况下,其它单词出现的概率,概率最高的前5个单词分别是:(alarm_a,0.50897503),(log_a,0.48480666),(kpi_ts02_2,0.0035087806),(kpi_ts01_1,0.001931924),(alarm_e,0.00074308913),其中每个二元组的第一个元素表示单词,第二个元素表示该单词出现的概率。从数值关系可得出结论,当kpi_ts01_1出现情况下,单词alarm_a出现可能性最大,alarm_a或者log_a出现的概率要远大于其它词。此结果符合语料库数据知识,kpi_ts01_1仅和alarm_a和log_a共同出现过,该结果甚至描述出alarm_a和kpi_ts01_1更接近的现象。
在上述示例中,衡量单词之间的关联关系的紧密程度存在两个度量方法,一个是余弦距离,一个是后验概率。余弦距离衡量了语句结构中的相似程度,余弦距离越大,背景越相似。后验概率直接衡量了当背景为x时,其它单词出现的概率,如果工程师当前关注的工单数据为异常A,则向工程师推荐当前工单数据中伴随异常A出现的概率最高的M个工单数据。
下面再举一个使用跳跃模型训练单词的示例,进一步说明根据本申请提供的确定网络故障的方法对工单数据之间的关联关系挖掘的结果的可靠性。
在本示例中,生成语料库的方法与S901至S903相同,在此不再赘述。
生成语料库后,词嵌入模块213使用跳跃模型对语料库模块212生成的语料库进行词向量训练。与CBOW模型训练的方法相反,跳跃模型训练的目的是:当给定目标单词时,调整词向量以及其它参数,使得目标单词的上下文出现的概率最大。
以图9所示的工单数据所对应的单词为语料库,设定词向量长度等参数后对语料库中的单词进行训练,得到词向量,部分词向量如下:
kpi_ts01_1:[0.63125104 -4.25858593 0.35638022 -1.92799687]
kpi_ts02_2:[2.10638261 -1.43733919 -2.21027827 0.25722837]
alarm_a:[1.54770124 -2.92161226 2.53744531 -1.14832222]
alarm_b:[1.63473284 -1.46626246 -1.980528 0.01986574]
alarm_c:[1.50775409 -1.35248256 -2.98207068 -1.89021122]
alarm_d:[3.24929452 -0.48743623 2.56781888 -0.07174389]
log_e:[3.72427011 0.21996154 -0.33541518 1.02381301]
alarm_e:[2.38036585 0.80636454 1.34128952 -3.64503884]
log_b:[2.94829321 1.41359913 -1.49926472 -2.19659758]
log_c:[1.31400299 -3.54252386 -2.10488534 -0.57945603]
log_f:[3.68348789 0.20657098 -0.32329062 1.00856996]
词向量关联关系挖掘模块220对目标单词执行挖掘关联关系的操作。和单词kpi_ts02_2 最近的两个词是:(alarm_b,0.9925)和(log_c,0.8371),二元组的第一个元素表示单词,第二个元素表示和kpi_ts02_2的余弦距离。比较上述两种词向量训练模型的挖掘结果,可以发现不同的词向量训练模型对余弦距离的影响不同,但与目标单词具有关联关系的单词的排序结果是相同的,说明本申请提供的确定网络故障的方法是可信的。若采用后验概率衡量不同单词的关联关系的紧密度,计算在目标单词kpi_ts01_1出现的情况下,其它单词出现的概率,取概率最高的前5个单词,分别是:(alarm_a,0.57739365),(log_a,0.40243161), (kpi_ts01_1,0.0087259663),(kpi_ts02_2,0.0058389762),(alarm_b,0.0045104912),其中每个二元组的第一个元素表示单词,第二个元素表示出现的概率。从数值关系可得出结论,当 kpi_ts01_1出现情况下,单词alarm_a出现可能最大,其次为log_a,关联关系挖掘结果和使用CBOW模型训练得到的词典进行关联关系挖掘的结果相同。
上文详细介绍了本申请提供的确定网络故障的方法的示例。可以理解的是,确定网络故障的装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请可以根据上述方法示例对确定网络故障的装置进行功能单元的划分,例如,可以按照图2所示的方式对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图10示出了上述实施例中所涉及的确定网络故障的装置的一种可能的结构示意图。确定网络故障的装置1000包括:处理单元1002和获取单元1003。处理单元1002用于对确定网络故障的装置1000的动作进行控制管理,例如,处理单元1002用于支持确定网络故障的装置1000执行图3的各个步骤和/或用于本文所描述的技术的其它过程。获取单元1003用于支持确定网络故障的装置1000获取待处理的信息,例如从网络设备获取至少两个工单数据。确定网络故障的装置1000还可以包括存储单元 1001,用于存储确定网络故障的装置1000的程序代码和数据。
例如,获取单元1003获取待处理工单数据,所述待处理用于指示网络工作状态,所述至少两个工单数据包括至少两种不同类型的数据;
处理单元1002根据编码规则对获取单元1003获取的待处理工单数据进行格式化编码生成待处理单词集合,所述待处理单词集合中的单词的格式相同,所述待处理单词集合包括至少两个单词,所述待处理单词集合属于预先得到的词典,所述词典包括多个单词以及与所述多个单词对应的多个词向量;根据预设确定规则从所述待处理单词集合中确定目标单词,所述预设确定规则用于确定指示异常网络状态的单词,所述目标单词用于指示至少一个异常网络工作状态;根据所述词典确定所述待处理单词集合对应的词向量集合,所述待处理单词集合对应的词向量集合包括所述目标单词对应的目标词向量;根据词向量关联关系挖掘模型和所述待处理单词集合对应的词向量集合确定第一单词集合与所述目标单词的关联关系,所述第一单词集合为所述待处理单词集合中除所述目标单词之外的单词;根据所述关联关系从所述第一单词集合中确定M个候选单词,其中,M为预设的正整数,所述M个候选单词对应的工单数据与所述目标单词对应的工单数据用于确定所述异常网络工作状态的故障,所述M个候选单词中任意一个候选单词与所述目标单词的关联关系的紧密度大于第二单词集合中任意一个单词与所述目标单词的关联关系的紧密度,所述第二单词集合为所述第一单词集合中除所述M个候选单词之外的单词。
处理单元1002可以是处理器或控制器,例如可以是CPU,通用处理器,数字信号处理器(digital signal processor,DSP),专用集成电路(application-specificintegrated circuit, ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。获取单元1003可以是收发器或通信接口。存储单元1001可以是存储器。
当处理单元1002为处理器,获取单元1003为收发器,存储单元1001为存储器时,本申请所涉及的确定网络故障的装置可以为图11所示的装置。
参阅图11所示,该装置1100包括:处理器1102、收发器1103、存储器11 01。其中,收发器1103、处理器1102以及存储器1101可以通过内部连接通路相互通信,传递控制和/或数据信号。
本领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请提供的确定网络故障的装置1000和确定网络故障的装置1100,对工单数据进行处理后使用词向量关联关系挖掘模型挖掘工单数据之间的关联关系,若两个工单数据为具有关联关系的数据,即使该两个工单数据共同出现的频率不高,词向量关联关系挖掘模型也能够确定该两个工单数据的关联关系,相比于频繁挖掘技术,本申请提供的装置能够提高工单数据的关联关系挖掘的准确度。
装置实施例和方法实施例中完全对应,由相应的模块执行相应的步骤,例如获取单元执行方法实施例中的获取步骤,除获取步骤以外的其它步骤可以由处理单元或处理器执行。具体单元的功能可以参考相应的方法实施例,不再详述。
在本申请各个实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施过程构成任何限定。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(random access memory,RAM)、闪存、只读存储器(readonly memory,ROM)、可擦除可编程只读存储器(erasable programmable ROM,EPROM)、电可擦可编程只读存储器(electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于确定网络故障的装置中。当然,处理器和存储介质也可以作为分立组件存在于确定网络故障的装置中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。
Claims (18)
1.一种确定网络故障的方法,其特征在于,包括:
获取待处理工单数据集,所述待处理工单数据集对应至少一个网络状态,所述待处理工单数据集包括多个工单数据,所述待处理工单数据集的多个工单数据包括至少两种不同类型的数据;
根据预设编码规则对所述待处理工单数据集的多个工单数据进行格式化编码生成多个待处理单词,所述多个待处理单词属于预先得到的词典,所述词典包括多个单词以及与所述多个单词对应的多个词向量;
根据预设确定规则从所述多个待处理单词中确定目标单词,所述预设确定规则用于确定指示异常网络状态的单词,所述目标单词用于指示至少一个异常网络状态;
根据所述词典确定所述多个待处理单词对应的多个词向量;
根据词向量关联关系挖掘模型和所述多个待处理单词对应的多个词向量确定第一单词集合中的单词与所述目标单词的关联关系,所述第一单词集合为所述多个待处理单词中除所述目标单词之外的单词组成的集合;
根据所述关联关系从所述第一单词集合中确定M个候选单词,其中,M为预设的正整数,所述M个候选单词对应的工单数据与所述目标单词对应的工单数据用于确定所述目标单词指示的异常网络状态的故障,所述M个候选单词中任意一个候选单词与所述目标单词的关联关系的紧密度大于第二单词集合中任意一个单词与所述目标单词的关联关系的紧密度,所述第二单词集合为所述第一单词集合中除所述M个候选单词之外的单词组成的集合。
2.根据权利要求1所述的方法,其特征在于,在所述根据所述词典确定所述多个待处理单词对应的多个词向量之前,所述方法还包括:
获取历史工单数据集,所述历史工单数据集对应至少一个网络状态,所述历史工单数据集包括多个工单数据,所述历史工单数据集的多个工单数据包括至少两种不同类型的数据;
根据所述预设编码规则对所述历史工单数据集的多个工单数据进行格式化编码生成所述历史工单数据集对应的多个单词;
根据词向量训练模型训练所述历史工单数据集对应的多个单词生成所述历史工单数据集对应的多个词向量;
根据所述历史工单数据集对应的多个词向量以及所述历史工单数据集对应的多个单词得到所述词典。
3.根据权利要求2所述的方法,其特征在于,在所述根据所述预设编码规则对所述历史工单数据集的多个工单数据进行格式化编码生成所述历史工单数据集对应的多个单词之前,还包括:
根据每个工单数据对应的时刻将所述历史工单数据集的多个工单数据划分为至少两个子工单数据集合,所述至少两个子工单数据集合与至少两个时间段一一对应;
所述根据所述预设编码规则对所述历史工单数据集的多个工单数据进行格式化编码生成所述历史工单数据集对应的多个单词,包括:
根据所述预设编码规则对所述至少两个子工单数据集合进行格式化编码生成至少两个句子,所述至少两个子工单数据集合与所述至少两个句子一一对应,其中,所述至少两个句子包括所述历史工单数据集对应的多个单词。
4.根据权利要求3所述的方法,其特征在于,所述根据每个工单数据对应的时刻将所述历史工单数据集的多个工单数据划分为至少两个子工单数据集合,包括:
根据每个工单数据对应的时刻以及第一时间长度阈值将所述历史工单数据集的多个工单数据划分为所述至少两个子工单数据集合,所述至少两个子工单数据集合中的任意一个对应的时间段长度大于或等于所述第一时间长度阈值。
5.根据权利要求3或4所述的方法,其特征在于,所述至少两个子工单数据集合中的第一子工单数据集合包括用于指示异常网络工作状态的第一工单数据,所述第一工单数据对应的时刻与所述第一子工单数据集合对应的时间段的左边界的距离大于或等于第二时间长度阈值,并且,所述第一工单数据对应的时刻与所述第一子工单数据集合对应的时间段的右边界的距离大于或等于第三时间长度阈值。
6.根据权利要求2所述的方法,其特征在于,在所述根据所述预设编码规则对所述历史工单数据集的多个工单数据进行格式化编码生成所述历史工单数据集对应的多个单词之前,还包括:
根据每个工单数据对应的网络设备将所述历史工单数据集的多个工单数据划分为至少两个子工单数据集合,所述至少两个子工单数据集合与至少两个网络设备一一对应;
所述根据所述预设编码规则对所述历史工单数据集的多个工单数据进行格式化编码生成所述历史工单数据集对应的多个单词,包括:
根据所述预设编码规则对至少两个子工单数据集合进行格式化编码生成至少两个句子,所述至少两个子工单数据集合与所述至少两个句子一一对应,其中,所述至少两个句子包括所述历史工单数据集对应的多个单词。
7.根据权利要求1至4和权利要求6中任一项所述的方法,其特征在于,所述根据预设编码规则对所述待处理工单数据集的多个工单数据进行格式化编码生成多个待处理单词,包括:
确定至少两个数值区间以及所述至少两个数值区间对应的标识信息,其中,不同的数值区间对应的标识信息不同;
根据所述待处理工单数据集的多个工单数据的数值与所述至少两个数值区间的对应关系以及所述至少两个数值区间对应的标识信息确定所述待处理工单数据集的多个工单数据对应的标识信息;
根据所述待处理工单数据集的多个工单数据对应的标识信息对所述待处理工单数据集的多个工单数据进行格式化编码,生成所述多个待处理单词,其中,所述多个待处理单词中的任意一个包括至少一个标识信息。
8.根据权利要求1至4和权利要求6中任一项所述的方法,其特征在于,所述多个待处理单词中的第一单词包括与所述第一单词对应的工单数据的数据类型信息、异常网络工作信息和工单数据标识符中的至少一个,所述第一单词为所述多个待处理单词中的任意一个;所述词典包括的多个单词中的第二单词包括与所述第二单词对应的工单数据的数据类型信息、异常网络工作信息和工单数据标识符中的至少一个,所述第二单词为所述词典包括的多个单词中的任意一个。
9.一种确定网络故障的装置,其特征在于,包括获取单元和处理单元,所述处理单元用于:
通过所述获取单元获取待处理工单数据集,所述待处理工单数据集对应至少一个网络状态,所述待处理工单数据集包括多个工单数据,所述多个工单数据包括至少两种不同类型的数据;
根据预设编码规则对所述待处理工单数据集的多个工单数据进行格式化编码生成多个待处理单词,所述多个待处理单词属于预先得到的词典,所述词典包括多个单词以及与所述多个单词对应的多个词向量;
根据预设确定规则从所述多个待处理单词中确定目标单词,所述预设确定规则用于确定指示异常网络状态的单词,所述目标单词用于指示至少一个异常网络状态;
根据所述词典确定所述多个待处理单词对应的多个词向量;
根据词向量关联关系挖掘模型和所述多个待处理单词对应的多个词向量确定第一单词集合中的单词与所述目标单词的关联关系,所述第一单词集合为所述多个待处理单词中除所述目标单词之外的单词组成的集合;
根据所述关联关系从所述第一单词集合中确定M个候选单词,其中,M为预设的正整数,所述M个候选单词对应的工单数据与所述目标单词对应的工单数据用于确定所述目标单词指示的异常网络状态的故障,所述M个候选单词中任意一个候选单词与所述目标单词的关联关系的紧密度大于第二单词集合中任意一个单词与所述目标单词的关联关系的紧密度,所述第二单词集合为所述第一单词集合中除所述M个候选单词之外的单词组成的集合。
10.根据权利要求9所述的装置,其特征在于,在所述根据所述词典确定所述多个待处理单词对应的多个词向量之前,所述处理单元还用于:
获取历史工单数据集,所述历史工单数据集对应至少一个网络状态,所述历史工单数据集包括多个工单数据,所述历史工单数据集的多个工单数据包括至少两种不同类型的数据;
根据所述预设编码规则对所述历史工单数据集的多个工单数据进行格式化编码生成所述历史工单数据集对应的多个单词;
根据词向量训练模型训练所述历史工单数据集对应的多个单词生成所述历史工单数据集对应的多个词向量;
根据所述历史工单数据集对应的多个词向量以及所述历史工单数据集对应的多单词得到所述词典。
11.根据权利要求10所述的装置,其特征在于,在所述根据所述预设编码规则对所述历史工单数据集的多个工单数据进行格式化编码生成所述历史工单数据集对应的多个单词之前,所述处理单元还用于:
根据每个工单数据对应的时刻将所述历史工单数据集的多个工单数据划分为至少两个子工单数据集合,所述至少两个子工单数据集合与至少两个时间段一一对应;
所处理单元具体用于:
根据所述预设编码规则对所述至少两个子工单数据集合进行格式化编码生成至少两个句子,所述至少两个子工单数据集合与所述至少两个句子一一对应,其中,所述至少两个句子包括所述历史工单数据集对应的多个单词。
12.根据权利要求11所述的装置,其特征在于,所述处理单元具体用于:
根据每个工单数据对应的时刻以及第一时间长度阈值将所述历史工单数据集的多个工单数据划分为所述至少两个子工单数据集合,所述至少两个子工单数据集合中的任意一个对应的时间段长度大于或等于所述第一时间长度阈值。
13.根据权利要求11或12所述的装置,其特征在于,所述至少两个子工单数据集合中的第一子工单数据集合包括用于指示异常网络工作状态的第一工单数据,所述第一工单数据对应的时刻与所述第一子工单数据集合对应的时间段的左边界的距离大于或等于第二时间长度阈值,并且,所述第一工单数据对应的时刻与所述第一子工单数据集合对应的时间段的右边界的距离大于或等于第三时间长度阈值。
14.根据权利要求10所述的装置,其特征在于,在所述根据所述预设编码规则对所述历史工单数据集的多个工单数据进行格式化编码生成所述历史工单数据集对应的多个单词之前,所述处理单元还用于:
根据每个工单数据对应的网络设备将所述历史工单数据集的多个工单数据划分为至少两个子工单数据集合,所述至少两个子工单数据集合与至少两个网络设备一一对应;
所述处理单元具体用于:
根据所述预设编码规则对至少两个子工单数据集合进行格式化编码生成至少两个句子,所述至少两个子工单数据集合与所述至少两个句子一一对应,其中,所述至少两个句子包括所述历史工单数据集对应的多个单词。
15.根据权利要求9至12和权利要求14中任一项所述的装置,其特征在于,所述处理单元具体用于:
确定至少两个数值区间以及所述至少两个数值区间对应的标识信息,其中,不同的数值区间对应的标识信息不同;
根据所述待处理工单数据集的多个工单数据的数值与所述至少两个数值区间的对应关系以及所述至少两个数值区间对应的标识信息确定所述待处理工单数据集的多个工单数据对应的标识信息;
根据所述待处理工单数据集的多个工单数据对应的标识信息对所述待处理工单数据集的多个工单数据进行格式化编码,生成所述多个待处理单词,其中,所述多个待处理单词中的任意一个包括至少一个标识信息。
16.根据权利要求9至12和权利要求14中任一项所述的装置,其特征在于,所述多个待处理单词中的第一单词包括与所述单词对应的工单数据的数据类型信息、异常网络工作信息和工单数据标识符中的至少一个,所述第一单词为所述多个待处理单词中的任意一个;所述词典包括的多个单词中的第二单词包括与所述第二单词对应的工单数据的数据类型信息、异常网络工作信息和工单数据标识符中的至少一个,所述第二单词为所述词典包括的多个单词中的任意一个。
17.一种确定网络故障的设备,其特征在于,包括:
存储器,用于存储指令,
处理器,与所述存储器耦合,用于调用所述存储器存储的指令执行权利要求1至权利要求8中任一项所述的方法的步骤。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储了计算机程序代码,当所述计算机程序代码被处理单元或处理器执行时,确定网络故障的装置或设备执行权利要求1至权利要求8中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810042238.9A CN109905269B (zh) | 2018-01-17 | 2018-01-17 | 确定网络故障的方法和装置 |
PCT/CN2019/071578 WO2019141144A1 (zh) | 2018-01-17 | 2019-01-14 | 确定网络故障的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810042238.9A CN109905269B (zh) | 2018-01-17 | 2018-01-17 | 确定网络故障的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109905269A CN109905269A (zh) | 2019-06-18 |
CN109905269B true CN109905269B (zh) | 2020-11-17 |
Family
ID=66943229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810042238.9A Active CN109905269B (zh) | 2018-01-17 | 2018-01-17 | 确定网络故障的方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109905269B (zh) |
WO (1) | WO2019141144A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112445893A (zh) * | 2019-09-05 | 2021-03-05 | 北京国双科技有限公司 | 一种信息搜索方法、装置、设备及存储介质 |
CN110704616B (zh) * | 2019-09-09 | 2023-05-12 | 中盈优创资讯科技有限公司 | 设备告警工单识别方法及装置 |
CN112667805B (zh) * | 2019-09-30 | 2024-04-09 | 北京沃东天骏信息技术有限公司 | 一种工单类别确定方法、装置、设备及介质 |
CN111260150A (zh) * | 2020-02-10 | 2020-06-09 | 国网辽宁省电力有限公司信息通信分公司 | 一种通信设备运行风险预警方法及通信管理系统 |
CN111582343B (zh) * | 2020-04-29 | 2023-09-26 | 青岛聚好联科技有限公司 | 一种设备故障预测的方法及装置 |
CN111800289B (zh) * | 2020-05-19 | 2021-12-10 | 华为技术有限公司 | 通信网络故障分析方法和装置 |
CN114143163B (zh) * | 2020-08-14 | 2023-11-14 | 中国移动通信集团浙江有限公司 | 基于图注意力网络的切片误告警识别方法及装置 |
CN111930463A (zh) * | 2020-09-23 | 2020-11-13 | 杭州橙鹰数据技术有限公司 | 展示方法及装置 |
CN114430363B (zh) * | 2020-10-29 | 2023-03-28 | 中国移动通信有限公司研究院 | 故障原因定位方法、装置、设备及存储介质 |
CN113657627B (zh) * | 2021-08-17 | 2024-01-12 | 国网江苏省电力有限公司信息通信分公司 | 电力通信网中缺陷单生成方法和系统 |
CN114297255B (zh) * | 2021-12-17 | 2024-04-19 | 中电信数智科技有限公司 | 一种基于日志分析的网络品质工单故障预警方法 |
CN114500230B (zh) * | 2022-01-14 | 2024-01-26 | 云南电网有限责任公司玉溪供电局 | 一种基于时间轴的光传输故障录播方法及系统 |
CN117057786B (zh) * | 2023-10-11 | 2024-01-02 | 中电科大数据研究院有限公司 | 一种数据中心智能化运维管理方法、系统及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294038A (zh) * | 2015-05-25 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种故障谱的生成、基于故障谱的检测方法和装置 |
CN106327323A (zh) * | 2016-08-19 | 2017-01-11 | 清华大学 | 银行频繁项模式挖掘方法及挖掘系统 |
CN106529804A (zh) * | 2016-11-09 | 2017-03-22 | 国网江苏省电力公司南京供电公司 | 基于文本挖掘技术的客户投诉预警监测分析方法 |
CN107171819A (zh) * | 2016-03-07 | 2017-09-15 | 北京华为数字技术有限公司 | 一种网络故障诊断方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101742540A (zh) * | 2010-02-05 | 2010-06-16 | 华为技术有限公司 | 在线自诊断的方法及装置 |
CN101846992B (zh) * | 2010-05-07 | 2011-12-07 | 上海理工大学 | 基于数控机床故障案例的故障树构造方法 |
CN103310389B (zh) * | 2013-05-31 | 2016-04-27 | 南方电网科学研究院有限责任公司 | 基于故障模式与故障树建立的架空输电线路故障检修方法 |
CN104376033B (zh) * | 2014-08-01 | 2017-10-24 | 中国人民解放军装甲兵工程学院 | 一种基于故障树和数据库技术的故障诊断方法 |
US20160125028A1 (en) * | 2014-11-05 | 2016-05-05 | Yahoo! Inc. | Systems and methods for query rewriting |
US10289509B2 (en) * | 2016-04-06 | 2019-05-14 | Nec Corporation | System failure prediction using long short-term memory neural networks |
CN106446076B (zh) * | 2016-09-07 | 2019-10-18 | 南京理工大学 | 基于层次聚类的日志审计方法 |
CN107196804B (zh) * | 2017-06-01 | 2020-07-10 | 国网山东省电力公司信息通信公司 | 电力系统终端通信接入网告警集中监控系统及方法 |
-
2018
- 2018-01-17 CN CN201810042238.9A patent/CN109905269B/zh active Active
-
2019
- 2019-01-14 WO PCT/CN2019/071578 patent/WO2019141144A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294038A (zh) * | 2015-05-25 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种故障谱的生成、基于故障谱的检测方法和装置 |
CN107171819A (zh) * | 2016-03-07 | 2017-09-15 | 北京华为数字技术有限公司 | 一种网络故障诊断方法及装置 |
CN106327323A (zh) * | 2016-08-19 | 2017-01-11 | 清华大学 | 银行频繁项模式挖掘方法及挖掘系统 |
CN106529804A (zh) * | 2016-11-09 | 2017-03-22 | 国网江苏省电力公司南京供电公司 | 基于文本挖掘技术的客户投诉预警监测分析方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019141144A1 (zh) | 2019-07-25 |
CN109905269A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109905269B (zh) | 确定网络故障的方法和装置 | |
US10572512B2 (en) | Detection method and information processing device | |
US9753801B2 (en) | Detection method and information processing device | |
US11403551B2 (en) | System and method for validating unsupervised machine learning models | |
US9658916B2 (en) | System analysis device, system analysis method and system analysis program | |
WO2020134032A1 (zh) | 用于检测业务系统异常的方法及其装置 | |
CN111538642B (zh) | 一种异常行为的检测方法、装置、电子设备及存储介质 | |
KR101948634B1 (ko) | 스마트 컴퓨팅을 위한 시스템 자원의 장애 예측 방법 | |
US9990592B2 (en) | Kernel parameter selection in support vector data description for outlier identification | |
KR102079359B1 (ko) | 개선된 sax 기법 및 rtc 기법을 이용한 공정 모니터링 장치 및 방법 | |
EP2963552B1 (en) | System analysis device and system analysis method | |
CN113852603A (zh) | 网络流量的异常检测方法、装置、电子设备和可读介质 | |
US20180307218A1 (en) | System and method for allocating machine behavioral models | |
CN111832880B (zh) | 对正在进行的生产批运行的质量指示符的计算机实现的确定 | |
Kirchen et al. | Metrics for the evaluation of data quality of signal data in industrial processes | |
CN111104241A (zh) | 基于自编码器的服务器内存异常检测方法、系统及设备 | |
US9454457B1 (en) | Software test apparatus, software test method and computer readable medium thereof | |
CN116821646A (zh) | 数据处理链构建方法、数据缩减方法、装置、设备及介质 | |
CN114997284A (zh) | 水电站故障解列装置异常行为报警方法及系统 | |
CN115859127A (zh) | 一种设备监督方法、系统、设备及计算机可读存储介质 | |
CN114881167A (zh) | 异常检测方法、装置、电子设备和介质 | |
CN112380073B (zh) | 一种故障位置的检测方法、装置及可读存储介质 | |
CN116975728B (zh) | 用于煤层气钻井工程的安全管理方法及其系统 | |
US10963788B1 (en) | Analytic system for interactive graphical model selection | |
CN112882898A (zh) | 基于大数据日志分析的异常检测方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |