CN113065356B - 一种基于语义分析算法的it设备运维故障建议处理方法 - Google Patents
一种基于语义分析算法的it设备运维故障建议处理方法 Download PDFInfo
- Publication number
- CN113065356B CN113065356B CN202110296648.8A CN202110296648A CN113065356B CN 113065356 B CN113065356 B CN 113065356B CN 202110296648 A CN202110296648 A CN 202110296648A CN 113065356 B CN113065356 B CN 113065356B
- Authority
- CN
- China
- Prior art keywords
- defect
- word
- vector
- sentences
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 238000012423 maintenance Methods 0.000 title claims abstract description 17
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000007547 defect Effects 0.000 claims abstract description 219
- 238000012545 processing Methods 0.000 claims abstract description 157
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012216 screening Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 156
- 125000004122 cyclic group Chemical group 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000000926 separation method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010129 solution processing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于语义分析算法的IT设备运维故障建议处理方法，获取IT设备运维的故障缺陷数据，对故障缺陷数据进行分类并根据分类信息生成故障知识图谱，根据故障知识图谱提取缺陷数据的缺陷描述过程，将缺陷描述过程生成缺陷处理问题，根据缺陷处理问题对应排布成一个故障缺陷描述‑缺陷处理问题模型，利用语义分析对故障缺陷描述‑缺陷处理问题模型中的每个IT设备故障缺陷数据样本进行训练，获取IT设备故障缺陷的处理建议，然后搜索与缺陷处理问题对应的缺陷处理建议，将搜索的缺陷处理建议进行排序和筛选，并对排序和筛选的处理建议进行推送。本发明的处理方法提高了IT设备缺陷处理建议的完整性和准确性。
Description
技术领域
本申请属于设备故障处理技术领域，尤其涉及一种基于语义分析算法的IT设备运维故障建议处理方法。
背景技术
随着集成信息处理技术的发展，IT设备的集成化水平越来越高，相关的IT设备故障检测、缺陷分析处理和特征分析究受到人们的极大关注；IT设备作为信息化产业的智能设备，其组成结构复杂，易出现多发性故障和缺陷，需要构建优化的IT设备缺陷处理模型，由于IT设备缺陷现象的背后往往存在多种可能的原因，直接利用“IT设备缺陷-缺陷处理建议”的端到端模型学习IT设备缺陷与缺陷处理建议的对应关系，缺乏对IT设备缺陷信息的联想，只能给出某一种可能的IT设备缺陷处理建议，无法完整全面地给出IT设备缺陷处理建议。为此，为实现对IT设备的缺陷类别辨识、特征分析和缺陷处理建议，对IT设备缺陷信息进行适当的联想和延伸以及研究并提出IT设备缺陷分析和提出相关缺陷处理建议，以提高IT设备缺陷处理建议推送的完整性和准确性、提高IT设备的输出工况稳定性，从而确保IT设备的正常稳定运行具有很高的现实意义。
发明内容
本发明的目的在于提供一种基于语义分析算法的IT设备运维故障建议处理方法，根据本发明的处理方法提高了IT设备缺陷处理建议的完整性和准确性。为了实现上述目的，本发明采用以下技术效果：
根据本发明的一个方面，提供一种基于语义分析算法的IT设备运维故障建议处理方法，获取IT设备运维的故障缺陷数据，对故障缺陷数据进行分类并根据分类信息生成故障知识图谱，根据故障知识图谱提取缺陷数据的缺陷描述过程，将缺陷描述过程生成缺陷处理问题，根据缺陷处理问题对应排布成一个故障缺陷描述-缺陷处理问题模型，利用语义分析对故障缺陷描述-缺陷处理问题模型中的每个IT设备故障缺陷数据样本进行训练，获取IT设备故障缺陷的处理建议，然后搜索与缺陷处理问题对应的缺陷处理建议，将搜索的缺陷处理建议进行排序和筛选，并对排序和筛选的处理建议进行推送。
上述方案进一步优选的，对搜索的缺陷处理建议进行排序和筛选获取超出一定阀值或排序靠近的缺陷处理建议，以获取完整的IT设备故障的缺陷处理建议，并完整推送IT设备故障的缺陷处理建议。
上述方案进一步优选的，利用语义分析方法对故障缺陷描述-缺陷处理问题模型的每个IT设备故障缺陷样本进行训练的过程包括：对IT设备故障缺陷描述与缺陷处理问题进行提问，并在每一次提问的前端插入一个开始标识符，在每一次提问的末端插入一个结束标识符，将始标识符和结束标识符作为一个词，基于各个词生成一个多维向量，收集多维向量作为学习问答网络的训练样本进行反复输入训练，生成多个不同的提问语句，根据提问语句对缺陷处理建议进行排序和筛选。
上述方案进一步优选的，基于各个词生成一个多维向量包括如下步骤：
步骤41：基于某一个IT设备故障缺陷描述包含N个词，每个词的词向量依次输入基于循环神经网络的编码层，编码层的每个单元采用门控循环单元GRU输出一个隐含层向量，则第N个词对应第n个门控循环单元GRU所输出的隐含层向量hn满足；
hn＝GRU(hn-1,vn)， (1)；
式中，GRU()为门控循环单元的运算函数，vn为N个词对应的n维向量；
步骤42：提取第n个门控循环单元GRU的隐含层向量hn作为解码层的输入，该解码层采用基于门控循环单元的循环神经网络结构，将隐含层向量hn输入解码层的第1个循环神经网络结构GRU的同时，插入一个开始标识符对应的解码词向量w0，并将第1个解码词向量w0也输入解码层的第1个循环神经网络结构GRU，得到解码层第1个循环神经网络结构GRU的隐含层向量g1，依次类推直至插入第m个开始标识符对应的解码词向量wm，并将第m个解码词向量wm也输入解码层的第m个循环神经网络结构GRU，得到第m个循环神经网络结构GRU输出的隐含层向量gm，则解码层第m+1个循环神经网络结构GRU输出的隐含层向量gm+1满足：
gm+1＝GRU(gm,wm)， (2)；
其中，GRU()为门控循环单元的运算函数，wm为解码层输出的第m个解码词的词向量；
步骤43：对第m个解码词对应的解码词向量wm进行解码，并依次排列各个解码层输出的解码词，并将最后一个解码词删除，即为解码层输出的提问语句。
上述方案进一步优选的，对第m个解码词对应的解码词向量wm进行解码的步骤为：
步骤51：计算第m个解码词对应解码词向量wm属于每一种词类型的概率pm,1、p m,2和p m,3，以及同时计算每种词类型对应的类型向量tm,1、t m,2、t m,3；
步骤52：对将每种词类型对应的类型向量与对应的词类型概率相乘，再进行求和，得到最终的概率向量tm；
步骤52：寻找出最终的概率向量tm中数值大于0.3的维度，并在其中随机取一个维度，假设为第i维，则第m个循环神经网络结构GRU输出的词为词汇表中的第i个词，其词向量即为wm，若输出的解码词为最后一个解码词，则停止求解；
上述方案进一步优选的，对每个IT设备故障缺陷样本进行训练包括如下步骤：
步骤61，构建文本段落排序网络，以根据提问语句进行缺陷处理建议的排序和筛选；对IT设备故障缺陷文本数据中每段文本的每个词依次输入到一个文本表示模块，所述文本表示模块提取每个词的3个特征，并将每个词转化为综合向量，然后对综合向量进行计算，输出对应的Z个词的预测向量；
步骤62，第一阶段预训练，对文本段落排序网络进行预训练；
步骤63，第二阶段预训练，对多个句子进行预测训练：
步骤630，对每段文本中所有连续的两个句子组成多个句子对，同时，将不连续的句子也两两随机组合，生成多个句子对：
步骤631，将分词后的句子对输入文本段落排序网络，句子对的第一个句子前加入一个分类标识符，句子对的两个句子之间再加入一个分隔标识符，分类标识符和分隔标识符都分别视为一个词，一并输入文本段落排序网络进行计算；
步骤632，经过文本段落排序网络计算，得到一组预测输出向量，其中第1个预测输出向量与分类标识符对应，在第1个预测输出向量之后接入一个softmax分类器，用于预测句子对中的两个句子为连续句子的第一预测概率；
步骤633，如果句子对的两个句子是连续句子，则训练输出第一标签概率值为1；反之，如果句子对的两个句子不是连续句子，则训练输出第一标签概率值为0，通过比较第一预测概率和第一标签概率的差异，对文本段落排序网络的参数进行调整，从而完成第二阶段预训练；
步骤64，经过第一阶段预训练和第二阶段预训练后，再针对具体的IT设备故障缺陷的处理建议推送任务对文本段落排序网络进行正式训练。
上述方案进一步优选的，在第一阶段预训练中，对文本段落排序网络进行预训练的过程如下：
步骤620，将IT设备故障缺陷文本数据按句进行切分，再对每个句子进行分词，将分词后的句子输入文本段落排序网络，在输入的句子中随机将其中的一个词替换为空标识符；
步骤621，假设将包含Z个词的句子的第z个词替换为空标识符，则将分词后的句子输入文本段落排序网络后，将得到一组向量输出，并在该组第z个向量之后接入一个softmax分类器，用于预测该组向量属于词汇表中各个词的概率，从而得到一个概率向量；
步骤622，对应于词汇表中第z个词的维度概率值为1，其他的维度概率值均为0，通过比较概率向量和标签向量的差异，对文本段落排序网络的参数进行调整，完成第一阶段预训练。
上述方案进一步优选的，在步骤64中，对文本段落排序网络进行正式训练的过程如下：
步骤640，构建对应于IT设备故障缺陷提问语句的缺陷处理建议，以便形成多个“提问语句-缺陷处理建议”句子对；同时，将不对应的IT设备故障缺陷提问语句和IT设备故障的缺陷处理建议进行两两随机组合，生成多个不对应句子对；
步骤641，对于每个句子对，在提问语句的第一个词之前加入一个分类标识符，在句子对的两个句子之间再加入一个分隔标识符，分类标识符和分隔标识符都分别视为一个词，一并输入文本段落排序网络；
步骤642，经过文本段落排序网络的计算，获得到一组预测输出向量，其中第1个预测输出向量与分类标识符对应；在第1个预测输出向量之后接入一个softmax分类器，用于预测句子对中IT设备故障缺陷的处理建议与IT设备缺陷提问语句对应的第二预测概率；
步骤643，如果句子对中IT设备缺陷处理建议与IT设备缺陷提问语句对应，则训练输出第二标签概率值为1；反之，如果句子对中IT设备缺陷处理建议与IT设备缺陷提问语句不对应，则训练输出的第二标签概率值为0，通过比较第二预测概率和第二标签概率的差异，对文本段落排序网络的参数进行调整，完成文本段落排序网络的正式训练；
步骤644，完成文本段落排序网络的训练后，再利用文本段落排序网络搜索生成的多个不同提问语句对应的IT设备缺陷处理建议，对于搜索的每个提问语句与预设的缺陷处理建议中所有缺陷处理建议语句进行配对，并组成句子对；
步骤645，在句子对提问语句的第一个词之前加入一个分类标识符，句子对的两个句子之间再加入一个分隔标识符，分类标识符和分隔标识符都分别视为一个词，一并输入训练好的文本段落排序网络进行计算，得到一组预测输出向量，其中，第一组预测输出向量与分类标识符对应，在第一组预测输出向量之后接入一个softmax分类器，用于预测句子对中IT设备缺陷处理建议与IT设备缺陷提问语句对应的概率值；并将概率值从大到小进行降序排列，并筛选出概率值大于0.8的缺陷处理建议；
步骤646，每一条IT设备缺陷描述的所有IT设备缺陷提问语句经过文本段落排序网络计算后，如果筛选之后输出的概率值大于0.8，则IT设备缺陷处理建议大于等于1条，且输出所有筛选后的IT设备缺陷处理建议；如果经过筛选之后输出的概率值小于等于0.8，则IT设备缺陷处理建议为0条，提取出概率值最大的5条缺陷处理建议进行输出，从而完成对一条IT设备缺陷描述的缺陷处理建议推送。
综上所述，由于本发明采用了上述技术方案，本发明具有以下技术效果：
本发明的处理方法针对IT设备缺陷描述生成多个问题通过学习问答网络进行训练，然后对每个问题，利用Passage Ranking网络构建包含提问机制的故障缺陷描述-缺陷解处理问题模型，利用提问机制先对IT设备缺陷信息进行适当的联想和延伸，搜索与问题对应的缺陷处理建议并进行排序，再根据提问查找对应的IT设备缺陷处理建议，筛选出超过一定阈值或排序靠前的缺陷处理建议，从而提高了IT设备缺陷处理建议的完整性和准确性。
附图说明
图1是本发明的一种基于语义分析算法的IT设备运维故障建议处理方法的流程图；
图2是本发明的学习问答网络的模型图；
图3是本发明的解码词向量的解码流程图；
图4是本发明的文本段落排序网络的模型结构图；
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
结合图1，本发明提供了一种基于语义分析算法的IT设备运维故障建议处理方法，获取IT设备运维的故障缺陷数据，对故障缺陷数据进行分类并根据分类信息生成故障知识图谱，根据故障知识图谱提取缺陷数据的缺陷描述过程，根据缺陷描述过程生成缺陷处理问题，根据缺陷处理问题对应排布成一个故障缺陷描述-缺陷处理问题模型，利用语义分析对故障缺陷描述-缺陷处理问题模型中的每个IT设备故障缺陷数据样本进行训练，获取IT设备故障缺陷的处理建议，然后搜索与缺陷处理问题对应的缺陷处理建议，将搜索的缺陷处理建议进行排序和筛选，并对排序和筛选的处理建议进行推送，从而可以获取完整的IT设备故障的缺陷处理建议并对处理建议进行推送。在本发明中，对搜索的缺陷处理建议进行排序和筛选获取超出一定阀值或排序靠近的缺陷处理建议，以获取完整的IT设备故障的缺陷处理建议，并完整推送IT设备故障的缺陷处理建议。
在本发明中，利用语义分析方法对故障缺陷描述-缺陷处理问题模型的每个IT设备故障缺陷样本进行训练的过程包括：对IT设备故障缺陷描述与缺陷处理问题进行提问，并在每一次提问的前端插入一个开始标识符<start>，在每一次提问的末端插入一个结束标识符<end>，将始标识符<start>和结束标识符<end>作为一个词，基于各个词生成一个多维向量，例如，将各个词表示为100维的词向量，收集多维向量作为学习问答网络训练的样本进行反复输入训练，在故障知识图谱的缺陷数据的缺陷描述过程中，缺陷描述和相关提问的信息服务场景中，高质量缺陷描述-缺陷处理问题对是极为重要的数据。它一方面可以通过与用户提问语句的分析与匹配，直接展示满足用户的需求，另外也可以作为排序与筛选的训练数据。学习问答网络以根据自由文本就可以生成高质量的问答对；如图2所示，生成多个不同的提问语句，针对收集到用户IT设备故障缺陷描述与缺陷处理解决过程中对用户进行的相关提问，如缺陷描述为“电脑无法连接网络”或相关提问“是否可以连接内网”等，进行对应排布形成“故障缺陷描述-缺陷处理问题模型”作为样本，相关描述和提问如表1所示：
表1
表1中给出获取IT设备故障处理报告，例如处理设备型号，处理事件原因，处理事件描述，处理事件方法，处理事件结果等相关信息，按照具体信息进行故障数据信息分类和知识图谱可视化，根据故障知识图谱提取缺陷数据和获取故障处理问题，将缺陷描述过程生成缺陷处理问题，对搜索的缺陷处理建议进行排序和筛选获取超出一定阀值或排序靠近的缺陷处理建议，实际值超出阈值范围，或者波动幅度超出阈值，则进行推送处理建议给运维人员，并将相关处理建议录入缺陷处理建议库的日志中。根据日志分析每一台设备的故障频率，根据故障频率从而评价IT设备的健康度。
在本发明中，如图2所示，根据提问语句对缺陷处理建议进行排序和筛选，基于各个词生成一个多维向量包括如下步骤：
步骤41：基于某一个IT设备故障缺陷描述包含N个词，N为大于的整数，每个词的词向量依次为v1、v2、……、vN，将每个词的词向量依次输入基于循环神经网络的编码层，编码层的每个单元采用门控循环单元(Gated Recurrent Unit，GRU)，编码层的每个单元采用门控循环单元GRU输出一个隐含层向量，则第N个词对应第n个门控循环单元GRU所输出的隐含层向量hn满足；
hn＝GRU(hn-1,vn)，(1)；
式中，GRU(·)为门控循环单元的运算函数，其中，n＝1，2，……，N；hn-1为第n-1个门控循环单元GRU所输出的隐含层向量，vn为N个词对应的n维向量，h0为100维向量，采用随机初始化方法得到；
步骤42：提取第n个门控循环单元GRU的隐含层向量hn作为解码层的输入，该解码层采用基于门控循环单元的循环神经网络结构，将隐含层向量hn输入解码层的第1个循环神经网络结构GRU的同时，插入一个开始标识符<start>对应的解码词向量w0，并将第1个解码词向量w0也输入解码层的第1个循环神经网络结构GRU，得到解码层第1个循环神经网络结构GRU的隐含层向量g1，其中隐含层向量g1满足；
g1＝GRU(hn,w0)，(2)；
依次类推直至插入第m(m＝1，2，……)个开始标识符对应的解码词向量wm，并将第m个解码词向量wm也输入解码层的第m个循环神经网络结构GRU，得到第m个循环神经网络结构GRU输出的隐含层向量gm，则解码层第m+1个循环神经网络结构GRU输出的隐含层向量gm+1满足：
gm+1＝GRU(gm,wm)，(3)；
其中，GRU(·)为门控循环单元的运算函数，wm为解码层输出的第m个解码词的词向量；
步骤43：对第m个解码词对应的解码词向量wm进行解码，并依次排列各个解码层输出的解码词，并将最后一个解码词删除，即为解码层输出的提问语句；
其中，在本发明中，如图3所示，对第m个解码词对应的解码词向量wm进行解码的步骤为：
步骤51：计算第m个解码词对应解码词向量wm属于每一种词类型的概率pm,1、pm,2和pm,3，即将解码词分为三类(主体词、疑问词和普通词)，以及同时计算每种词类型对应的类型向量tm,1、tm,2、tm,3；
[pm,1,pm,2,pm,3]T＝softmax(Wgm+b)， (4)；
式中，W为3×100的权重矩阵，b为3×1的偏置向量，W和b中各个元素的值都可在训练中自动学习得到；pm,1表示第m个解码词属于主体词(表示缺陷设备主体的词，如“电脑”、“主机”等)的概率，pm,2表示第m个解码词属于疑问词(表示疑问意义的词，如“什么”、“多少”等)的概率，pm,3表示第m个解码词属于普通词(除主体词、疑问词以外的词)的概率，softmax(·)为归一化指数函数，T为向量的转置符号，通过如下公式计算每种词类型对应的类型向量tm，1、tm，2、tm，3：
tm,1＝softmax(W1gm+b1)， (5)；
tm,2＝softmax(W2gm+b2)， (6)；
tm,3＝softmax(W3gm+b3)， (7)；
式中，W1、W2、W3均为|V|×100的权重矩阵，b1、b2、b3均为|V|×1的偏置向量，|V|为IT设备业务数据词汇表的词数，W1、W2、W3和b1、b2、b3中各个元素的值都可在训练中自动学习得到；t1,1、t1,2、t1,3均为|V|×1的向量。
步骤52：对将每种词类型对应的类型向量与对应的词类型概率相乘，再进行求和，得到最终的概率向量tm，其中概率向量tm满足：
tm＝pm,1·tm,1+pm,2·tm,2+pm,3·tm,3，(8)；
步骤52：寻找出最终的概率向量tm中数值大于0.3的维度，并在其中随机取一个维度，假设为第i维，则第m个循环神经网络结构GRU输出的词为词汇表中的第i个词，其词向量即为wm，若输出的解码词为<end>，则输出的解码词为最后一个解码词，则停止求解；假设已求得第m(m＝1，2，……)个循环神经网络结构GRU输出的隐含层向量gm，则解码层第m+1个GRU的隐含层向量输出gm+1满足：
gm+1＝GRU(gm,wm)；
式中，wm即为解码层输出的第m个解码词的词向量。
在本发明中，如图3和图4所示，对每个IT设备故障缺陷样本进行训练包括如下步骤：
步骤61，构建文本段落排序网络，段落排序(Passage Ranking)网络又称PassageSelection、Passage Retrieval网络，目的是在给定问题的情况下，从相关的文本中排除不包含答案的段落、选取出包含答案的段落，段落排序(Passage Ranking)网络采用基于转换器的双向编码表示(Bidirectional Encoder Representations from Transformers，BERT，或Transformers编码器)模型进行搭建；对IT设备故障缺陷文本数据中每段文本的每个词依次输入到一个文本表示模块，文本表示模块提取每个词的3个特征，并将每个词转化为综合向量，每个词3个特征包括词义特征、句子特征和位置特征，其分别表示每个词本身的词义信息、每个词所属的句子信息以及每个词在句子中的位置，假设输入共包含Z个词，各个词所生成的综合向量依次为x1、x2、……、xZ，然后对综合向量基于转换器的双向编码表示模型进行计算，也就是将综合向量x1、x2、……、xZ依次输入BERT模型，利用BERT模型结构中双层的转换器(Transformer)，对综合特征向量x1、x2、……、xZ进行计算，模型将输出对应的Z个预测向量，分别记为y1、y2、……、yZ，输出对应的Z个词的预测向量；
步骤62，第一阶段预训练，对文本段落排序网络(Passage Ranking网络)进行预训练：
步骤620，将IT设备故障缺陷文本数据按句进行切分，再对每个句子进行分词，将分词后的句子输入文本段落排序网络，在输入的句子中随机将其中的一个词替换为空标识符<empty>；
步骤621，假设将包含Z个词的句子的第z个词替换为空标识符<empty>，则将分词后的句子输入文本段落排序网络后，将得到一组向量输出为y1、y2、……、yZ，其中第z个向量yz为第z个词对应的输出向量，并在该组第z个向量之后接入一个softmax分类器，用于预测该组向量yz属于词汇表中各个词的概率，从而得到一个概率向量，如图3所示；
步骤622，由于向量yz是对应于被替换的第z个词，所以其训练输出标签向量中，对应于词汇表中第z个词的维度概率值为1，其他的维度概率值均为0，通过比较概率向量和标签向量的差异，对文本段落排序网络的参数进行调整，可以采用反向传播(BackPropagation，BP)算法对文本段落排序网络(Passage Ranking网络)的参数进行调整，比如，调整综合向量x输入BERT后会乘以某个参数的值，再加上某个参数的值等等，从而完成第一阶段预训练；
步骤63，第二阶段预训练：
步骤630，对每段文本中所有连续的两个句子组成多个句子对，同时，将不连续的句子也两两随机组合，生成多个句子对：
步骤631，将分词后的句子对输入文本段落排序网络(Passage Ranking网络)，句子对的第一个句子前加入一个分类标识符<cls>，句子对的两个句子之间再加入一个分隔标识符<sep>，分类标识符<cls>和分隔标识符<sep>都分别视为一个词，一并输入文本段落排序网络(Passage Ranking网络)进行计算；
步骤632，经过文本段落排序网络(Passage Ranking网络)计算，得到一组预测输出向量，其中第1个预测输出向量y1与分类标识符<cls>对应，在第1个预测输出向量y1之后接入一个softmax分类器，用于预测句子对中的两个句子为连续句子的第一预测概率；
步骤633，如果句子对的两个句子是连续句子，则训练输出的标签概率值为1；反之，如果句子对的两个句子不是连续句子，则训练输出的标签概率值为0，通过比较第一预测概率和标签概率的差异，对文本段落排序网络的参数进行调整，可以采用反向传播(BackPropagation，BP)算法对文本段落排序网络(Passage Ranking网络)的参数进行调整，从而完成第二阶段预训练；
步骤64，经过第一阶段预训练和第二阶段预训练后，再针对具体的IT设备故障缺陷的处理建议推送任务对文本段落排序网(Passage Ranking网络)进行正式训练，其训练过程如下：
步骤640，构建对应于IT设备故障缺陷提问语句的缺陷处理建议，从而形成多个“提问语句-缺陷处理建议”句子对，以便根据提语句进行缺陷处理建议的排序和筛选；同时，将不对应的IT设备故障缺陷提问语句和IT设备故障的缺陷处理建议进行两两随机组合，生成多个不对应句子对；
步骤641，对于每个句子对，在提问语句的第一个词之前加入一个分类标识符<cls>，在句子对的两个句子之间再加入一个分隔标识符<sep>，分类标识符<cls>和分隔标识符<sep>都分别视为一个词，一并输入文本段落排序网络(Passage Ranking网络)；
步骤642，经过文本段落排序网络(Passage Ranking网络)的计算，获得到一组预测输出向量，其中第1个预测输出向量y1与分类标识符<cls>对应；在第1个预测输出向量y1之后接入一个softmax分类器，用于预测句子对中IT设备故障缺陷的处理建议与IT设备缺陷提问语句对应的第二预测概率；
步骤643，对于训练输出的标签概率值，如果句子对中IT设备缺陷处理建议与IT设备缺陷提问语句对应，则训练输出第二标签概率值为1；反之，如果句子对中IT设备缺陷处理建议与IT设备缺陷提问语句不对应，则训练输出第二标签概率值为0，通过比较第二预测概率和第二标签概率的差异，对文本段落排序网络的参数进行调整，完成文本段落排序网的正式训练；
步骤644，完成文本段落排序网络的训练后，再利用文本段落排序网络搜索生成的多个不同提问语句对应的IT设备缺陷处理建议，对于搜索的每个提问语句与预设的缺陷处理建议中所有缺陷处理建议语句进行配对，并组成句子对；
步骤645，在句子对提问语句的第一个词之前加入一个分类标识符<cls>，句子对的两个句子之间再加入一个分隔标识符<sep>，分类标识符<cls>和分隔标识符<sep>都分别视为一个词，一并输入训练好的文本段落排序网进行计算，得到一组预测输出向量，其中，第一组预测输出向量与分类标识符<cls>对应，在第一组(或第一个)预测输出向量之后接入一个softmax分类器，用于预测句子对中IT设备缺陷处理建议与IT设备缺陷提问语句对应的概率值；对于每个IT设备缺陷提问语句，记录各条缺陷处理建议与之对应的概率值，并将概率值从大到小进行降序排列，并筛选出概率值大于0.8的缺陷处理建议；
步骤646，每一条IT设备缺陷描述的所有IT设备缺陷提问语句经过文本段落排序网计算后，，如果筛选之后输出的概率值大于0.8，则IT设备缺陷处理建议大于等于1条，且输出所有筛选后的IT设备缺陷处理建议；如果经过筛选之后输出的概率值小于等于0.8，则筛选后的IT设备缺陷处理建议为0条，那么，提取出概率值最大的5条缺陷处理建议进行输出，否则筛选后就还有缺陷处理建议被保留下来，即大于等于1条，从而完成对一条IT设备缺陷描述的缺陷处理建议推送。
本发明的训练中，将句子对(问题和包含答案的长文本作)为输入，在利用语义分析方法进行深度匹配，输出与问题描述和处理问题的相关的建议，基于各个词生成一个多维向量，解决文本、段落或提问语句的结构限制，便于搜索语义相关性，最终输出包含答案语句(即为缺陷处理建议)，从而可对缺陷处理建议进行排序和筛选训练，从而获取最平稳或稳定的概率值，从而得到缺陷处理建议并同时进行缺陷任务推送，提高了IT设备缺陷处理建议的完整性和准确性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于语义分析算法的IT设备运维故障建议处理方法，其特征在于：获取IT设备运维的故障缺陷数据，对故障缺陷数据进行分类并根据分类信息生成故障知识图谱，根据故障知识图谱提取缺陷数据的缺陷描述过程，将缺陷描述过程生成缺陷处理问题，根据缺陷处理问题对应排布成一个故障缺陷描述-缺陷处理问题模型，利用语义分析对故障缺陷描述-缺陷处理问题模型中的每个IT设备故障缺陷数据样本进行训练，获取IT设备故障缺陷的处理建议，然后搜索与缺陷处理问题对应的缺陷处理建议，将搜索的缺陷处理建议进行排序和筛选，并对排序和筛选的处理建议进行推送；
利用语义分析方法对故障缺陷描述-缺陷处理问题模型的每个IT设备故障缺陷样本进行训练的过程包括：对IT设备故障缺陷描述与缺陷处理问题进行提问，并在每一次提问的前端插入一个开始标识符，在每一次提问的末端插入一个结束标识符，将始标识符和结束标识符作为一个词，基于各个词生成一个多维向量，收集多维向量作为学习问答网络的训练样本进行反复输入训练，生成多个不同的提问语句，根据提问语句对缺陷处理建议进行排序和筛选；
基于各个词生成一个多维向量包括如下步骤：
步骤41：基于某一个IT设备故障缺陷描述包含N个词，每个词的词向量依次输入基于循环神经网络的编码层，编码层的每个单元采用门控循环单元GRU输出一个隐含层向量，则第N个词对应第n个门控循环单元GRU所输出的隐含层向量hn满足；
hn＝GRU(hn-1,vn)， (1)；
式中，GRU()为门控循环单元的运算函数，vn为N个词对应的n维向量；
步骤42：提取第n个门控循环单元GRU的隐含层向量hn作为解码层的输入，该解码层采用基于门控循环单元的循环神经网络结构，将隐含层向量hn输入解码层的第1个循环神经网络结构GRU的同时，插入一个开始标识符对应的解码词向量w0，并将第1个解码词向量w0也输入解码层的第1个循环神经网络结构GRU，得到解码层第1个循环神经网络结构GRU的隐含层向量g1，依次类推直至插入第m个开始标识符对应的解码词向量wm，并将第m个解码词向量wm也输入解码层的第m个循环神经网络结构GRU，得到第m个循环神经网络结构GRU输出的隐含层向量gm，则解码层第m+1个循环神经网络结构GRU输出的隐含层向量gm+1满足：
gm+1＝GRU(gm,wm)， (2)；
其中，GRU()为门控循环单元的运算函数，wm为解码层输出的第m个解码词的词向量；
步骤43：对第m个解码词对应的解码词向量wm进行解码，并依次排列各个解码层输出的解码词，并将最后一个解码词删除，即为解码层输出的提问语句；
对每个IT设备故障缺陷样本进行训练包括如下步骤：
步骤61，构建文本段落排序网络，以根据提问语句进行缺陷处理建议的排序和筛选；对IT设备故障缺陷文本数据中每段文本的每个词依次输入到一个文本表示模块，所述文本表示模块提取每个词的3个特征，并将每个词转化为综合向量，然后对综合向量进行计算，输出对应的Z个词的预测向量；
步骤62，第一阶段预训练，对文本段落排序网络进行预训练；
步骤63，第二阶段预训练，对多个句子进行预测训练：
步骤630，对每段文本中所有连续的两个句子组成多个句子对，同时，将不连续的句子也两两随机组合，生成多个句子对：
步骤631，将分词后的句子对输入文本段落排序网络，句子对的第一个句子前加入一个分类标识符，句子对的两个句子之间再加入一个分隔标识符，分类标识符和分隔标识符都分别视为一个词，一并输入文本段落排序网络进行计算；
步骤632，经过文本段落排序网络计算，得到一组预测输出向量，其中第1个预测输出向量与分类标识符对应，在第1个预测输出向量之后接入一个softmax分类器，用于预测句子对中的两个句子为连续句子的第一预测概率；
步骤633，如果句子对的两个句子是连续句子，则训练输出第一标签概率值为1；反之，如果句子对的两个句子不是连续句子，则训练输出第一标签概率值为0，通过比较第一预测概率和第一标签概率的差异，对文本段落排序网络的参数进行调整，从而完成第二阶段预训练；
步骤64，经过第一阶段预训练和第二阶段预训练后，再针对具体的IT设备故障缺陷的处理建议推送任务对文本段落排序网络进行正式训练；其中，对文本段落排序网络进行正式训练的过程如下：
步骤640，构建对应于IT设备故障缺陷提问语句的缺陷处理建议，以便形成多个“提问语句-缺陷处理建议”句子对；同时，将不对应的IT设备故障缺陷提问语句和IT设备故障的缺陷处理建议进行两两随机组合，生成多个不对应句子对；
步骤641，对于每个句子对，在提问语句的第一个词之前加入一个分类标识符，在句子对的两个句子之间再加入一个分隔标识符，分类标识符和分隔标识符都分别视为一个词，一并输入文本段落排序网络；
步骤642，经过文本段落排序网络的计算，获得到一组预测输出向量，其中第1个预测输出向量与分类标识符对应；在第1个预测输出向量之后接入一个softmax分类器，用于预测句子对中IT设备故障缺陷的处理建议与IT设备缺陷提问语句对应的第二预测概率；
步骤643，如果句子对中IT设备缺陷处理建议与IT设备缺陷提问语句对应，则训练输出第二标签概率值为1；反之，如果句子对中IT设备缺陷处理建议与IT设备缺陷提问语句不对应，则训练输出的第二标签概率值为0，通过比较第二预测概率和第二标签概率的差异，对文本段落排序网络的参数进行调整，完成文本段落排序网络的正式训练；
步骤644，完成文本段落排序网络的训练后，再利用文本段落排序网络搜索生成的多个不同提问语句对应的IT设备缺陷处理建议，对于搜索的每个提问语句与预设的缺陷处理建议中所有缺陷处理建议语句进行配对，并组成句子对；
步骤645，在句子对提问语句的第一个词之前加入一个分类标识符，句子对的两个句子之间再加入一个分隔标识符，分类标识符和分隔标识符都分别视为一个词，一并输入训练好的文本段落排序网络进行计算，得到一组预测输出向量，其中，第一组预测输出向量与分类标识符对应，在第一组预测输出向量之后接入一个softmax分类器，用于预测句子对中IT设备缺陷处理建议与IT设备缺陷提问语句对应的概率值；并将概率值从大到小进行降序排列，并筛选出概率值大于0.8的缺陷处理建议；
步骤646，每一条IT设备缺陷描述的所有IT设备缺陷提问语句经过文本段落排序网络计算后，如果筛选之后输出的概率值大于0.8，则IT设备缺陷处理建议大于等于1条，且输出所有筛选后的IT设备缺陷处理建议；如果经过筛选之后输出的概率值小于等于0.8，则IT设备缺陷处理建议为0条，提取出概率值最大的5条缺陷处理建议进行输出，从而完成对一条IT设备缺陷描述的缺陷处理建议推送。
2.根据权利要求1所述的一种基于语义分析算法的IT设备运维故障建议处理方法，其特征在于：对搜索的缺陷处理建议进行排序和筛选，获取超出阀值或排序靠近的缺陷处理建议，以获取完整的IT设备故障的缺陷处理建议，并完整推送IT设备故障的缺陷处理建议。
3.根据权利要求1所述的一种基于语义分析算法的IT设备运维故障建议处理方法，其特征在于：对第m个解码词对应的解码词向量wm进行解码的步骤为：
步骤51：计算第m个解码词对应解码词向量wm属于每一种词类型的概率pm,1、p m,2和pm,3，以及同时计算每种词类型对应的类型向量tm,1、t m,2、t m,3；
步骤52：对将每种词类型对应的类型向量与对应的词类型概率相乘，再进行求和，得到最终的概率向量tm；
步骤52：寻找出最终的概率向量tm中数值大于0.3的维度，并在其中随机取一个维度，假设为第i维，则第m个循环神经网络结构GRU输出的词为词汇表中的第i个词，其词向量即为wm，若输出的解码词为最后一个解码词，则停止求解。
4.根据权利要求1所述的一种基于语义分析算法的IT设备运维故障建议处理方法，其特征在于：在第一阶段预训练中，对文本段落排序网络进行预训练的过程如下：
步骤620，将IT设备故障缺陷文本数据按句进行切分，再对每个句子进行分词，将分词后的句子输入文本段落排序网络，在输入的句子中随机将其中的一个词替换为空标识符；
步骤621，假设将包含Z个词的句子的第z个词替换为空标识符，则将分词后的句子输入文本段落排序网络后，将得到一组向量输出，并在该组第z个向量之后接入一个softmax分类器，用于预测该组向量属于词汇表中各个词的概率，从而得到一个概率向量；
步骤622，对应于词汇表中第z个词的维度概率值为1，其他的维度概率值均为0，通过比较概率向量和标签向量的差异，对文本段落排序网络的参数进行调整，完成第一阶段预训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110296648.8A CN113065356B (zh) | 2021-03-19 | 2021-03-19 | 一种基于语义分析算法的it设备运维故障建议处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110296648.8A CN113065356B (zh) | 2021-03-19 | 2021-03-19 | 一种基于语义分析算法的it设备运维故障建议处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113065356A CN113065356A (zh) | 2021-07-02 |
| CN113065356B true CN113065356B (zh) | 2023-10-31 |
Family
ID=76562572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110296648.8A Active CN113065356B (zh) | 2021-03-19 | 2021-03-19 | 一种基于语义分析算法的it设备运维故障建议处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065356B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704470B (zh) * | 2021-08-26 | 2023-08-25 | 佰聆数据股份有限公司 | 用于设备缺陷分类的实现方法及系统 |
| CN113642253B (zh) * | 2021-08-30 | 2024-04-02 | 佛山众陶联供应链服务有限公司 | 一种陶瓷砖半成品在加工中的损耗判断方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271505A (zh) * | 2018-11-12 | 2019-01-25 | 深圳智能思创科技有限公司 | 一种基于问题答案对的问答系统实现方法 |
| WO2019211817A1 (en) * | 2018-05-03 | 2019-11-07 | Thomson Reuters Global Resources Unlimited Company | Systems and methods for generating a contextually and conversationally correct response to a query |
| CN110516055A (zh) * | 2019-08-16 | 2019-11-29 | 西北工业大学 | 一种结合bert的用于教学任务的跨平台智能问答实现方法 |
| CN110516145A (zh) * | 2019-07-10 | 2019-11-29 | 中国人民解放军国防科技大学 | 一种基于句向量编码的信息搜索方法 |
| CN111737435A (zh) * | 2020-06-24 | 2020-10-02 | 全球能源互联网研究院有限公司 | 问答故障诊断的辅助决策模型构建、决策方法及系统 |
| CN112100369A (zh) * | 2020-07-29 | 2020-12-18 | 浙江大学 | 结合语义的网络故障关联规则生成方法和网络故障检测方法 |
-
2021
- 2021-03-19 CN CN202110296648.8A patent/CN113065356B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019211817A1 (en) * | 2018-05-03 | 2019-11-07 | Thomson Reuters Global Resources Unlimited Company | Systems and methods for generating a contextually and conversationally correct response to a query |
| CN109271505A (zh) * | 2018-11-12 | 2019-01-25 | 深圳智能思创科技有限公司 | 一种基于问题答案对的问答系统实现方法 |
| CN110516145A (zh) * | 2019-07-10 | 2019-11-29 | 中国人民解放军国防科技大学 | 一种基于句向量编码的信息搜索方法 |
| CN110516055A (zh) * | 2019-08-16 | 2019-11-29 | 西北工业大学 | 一种结合bert的用于教学任务的跨平台智能问答实现方法 |
| CN111737435A (zh) * | 2020-06-24 | 2020-10-02 | 全球能源互联网研究院有限公司 | 问答故障诊断的辅助决策模型构建、决策方法及系统 |
| CN112100369A (zh) * | 2020-07-29 | 2020-12-18 | 浙江大学 | 结合语义的网络故障关联规则生成方法和网络故障检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Dense Passage Retrieval for Open-Domain Question Answering;Vladimir Karpukhin 等;《arXiv:2004.04906v3》;1-13 * |
| 一种基于多阶段的开放域问答系统;徐建 等;《第八届中国指挥控制大会论文集》;200-204 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113065356A (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840287B (zh) | 一种基于神经网络的跨模态信息检索方法和装置 | |
| CN111291188B (zh) | 一种智能信息抽取方法及系统 | |
| CN111639171A (zh) | 一种知识图谱问答方法及装置 | |
| CN111209384A (zh) | 基于人工智能的问答数据处理方法、装置及电子设备 | |
| CN108549658A (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
| CN113065356B (zh) | 一种基于语义分析算法的it设备运维故障建议处理方法 | |
| CN115329127A (zh) | 一种融合情感信息的多模态短视频标签推荐方法 | |
| CN110717843A (zh) | 一种可复用的法条推荐框架 | |
| CN111914062A (zh) | 一种基于关键词的长文本问答对生成系统 | |
| CN113343690B (zh) | 一种文本可读性自动评估方法及装置 | |
| CN116304066B (zh) | 一种基于提示学习的异质信息网络节点分类方法 | |
| CN112989033B (zh) | 基于情绪类别描述的微博情绪分类方法 | |
| CN109325125B (zh) | 一种基于cnn优化的社交网络谣言检测方法 | |
| CN108763211A (zh) | 融合蕴含知识的自动文摘方法及系统 | |
| CN114528835A (zh) | 基于区间判别的半监督专业术语抽取方法、介质及设备 | |
| US20230014904A1 (en) | Searchable data structure for electronic documents | |
| CN111858842A (zh) | 一种基于lda主题模型的司法案例筛选方法 | |
| CN114611520A (zh) | 一种文本摘要生成方法 | |
| CN116245110A (zh) | 基于图注意力网络的多维度信息融合用户立场检测方法 | |
| CN111259115A (zh) | 内容真实性检测模型的训练方法、装置和计算设备 | |
| CN114265935A (zh) | 一种基于文本挖掘的科技项目立项管理辅助决策方法及系统 | |
| CN113722494A (zh) | 一种基于自然语言理解的设备故障定位方法 | |
| CN113836891A (zh) | 基于多元标注策略的结构化信息抽取方法和装置 | |
| CN113051904A (zh) | 一种面向小规模知识图谱的链接预测方法 | |
| CN112766368A (zh) | 一种数据分类方法、设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |