CN112307202B - 一种文本信息的修正方法、云计算系统和计算机存储介质 - Google Patents

一种文本信息的修正方法、云计算系统和计算机存储介质 Download PDF

Info

Publication number
CN112307202B
CN112307202B CN201910690944.9A CN201910690944A CN112307202B CN 112307202 B CN112307202 B CN 112307202B CN 201910690944 A CN201910690944 A CN 201910690944A CN 112307202 B CN112307202 B CN 112307202B
Authority
CN
China
Prior art keywords
text information
neural network
trained neural
network model
cloud computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910690944.9A
Other languages
English (en)
Other versions
CN112307202A (zh
Inventor
戎胤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910690944.9A priority Critical patent/CN112307202B/zh
Publication of CN112307202A publication Critical patent/CN112307202A/zh
Application granted granted Critical
Publication of CN112307202B publication Critical patent/CN112307202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例公开了一种文本信息的修正方法，该方法包括：当云计算系统出现故障时，从云计算系统的日志文件中获取故障报错的文本信息，当文本信息表征云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对文本信息进行处理，得到文本信息对应的组件的配置项的修正信息，根据修正信息，对文本信息对应的组件的配置项进行修正，以使云计算系统正常运行。本发明实施例还同时公开了一种云计算系统和计算机存储介质，提高了云计算系统故障修复的效率，有利于云计算系统的正常运转。

Description

一种文本信息的修正方法、云计算系统和计算机存储介质
技术领域
本发明涉及云计算系统系统的修复技术，尤其涉及一种文本信息的修正方法、云计算系统和计算机存储介质。
背景技术
在云计算领域，OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作，OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack已经获得了广泛的使用范围和市场份额，在私有云领域，已经成为了事实上的标准，在公有云领域影响力也是获得了巨大的影响，许多企事业单位都在使用OpenStack创建主机的云计算平台，OpenStack在国内外发展的势头都是非常的迅猛。但是OpenStack包含的组件非常多，除了计算、存储和网络等主要组件以外，还有很多的其它组件，同时，伴随着OpenStack的发展，相继还有会更多的组件加入其中。
OpenStack部署和运维过程中，由于配置项配置错误导致的故障占有非常大的比例，然而，OpenStack由于组件非常多，同时各个组件配置项纷繁复杂，那么，在开发和运维过程中，采用手动排查问题会占用太多的时间，而且效率非常低下；由此可以看出，现有的云计算系统采用手动排查修复配置项配置错误的方式存在效率低下的技术问题。
发明内容
有鉴于此，本发明实施例期望提供一种文本信息的修正方法、云计算系统和计算机存储介质，以解决现有技术中存在的云计算系统采用手动排查修复配置项配置错误效率低下的技术问题。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供了一种文本信息的修正方法，所述方法包括：
当云计算系统出现故障时，从所述云计算系统的日志文件中获取故障报错的文本信息；
当所述文本信息表征所述云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对所述文本信息进行处理，得到所述文本信息对应的组件的配置项的修正信息；
根据所述修正信息，对所述文本信息对应的组件的配置项进行修正，以使所述云计算系统正常运行。
在上述方法中，所述方法还包括：
从所述云计算系统的日志文件中获取组件的配置项报错的历史文本信息；其中，所述历史文本信息的条数为预设数目；
从所述历史文本信息中选取出N组文本信息；其中，每组文本信息中至少包括两条文本信息；
对N组文本信息分别进行向量化处理，得到N组处理后的文本信息；
根据N组处理后的文本信息，对预设的神经网络模型进行优化训练，得到所述训练好的神经网络模型。
在上述方法中，所述从所述历史文本信息中选取出N组文本信息，包括：
利用预设的报错关键字确定所述历史文本信息的报错类别，按照所述历史文本信息报错类别，对所述历史文本信息进行分类，得到第一类子集；
按照所述云计算系统的组件类别，对所述第一类子集进行分类，得到第二类子集；
分别从所述第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成N组文本信息。
在上述方法中，所述根据N组处理后的文本信息，对预设的神经网络模型进行优化训练，得到所述训练好的神经网络模型，包括：
从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集；其中，每个训练样本集中包括N-1组文本信息，且任意两个训练样本集之间不同；
获取第i个训练样本集；其中，i为优化训练次数；
当i等于1时，采用第i个训练样本集对预设的神经网络模型进行优化训练，得到第i个训练好的神经网络模型；
当i大于1小于等于N时，采用第i个训练样本集对第i-1个训练好的神经网络模型进行优化训练，得到第i个训练好的神经网络模型，将i更新为i+1，直至得到第N个训练好的神经网络模型为止，将所述第N个训练好的神经网络模型作为所述训练好的神经网络模型。
在上述方法中，在从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集之后，所述方法还包括：
分别采用N个训练样本集对预设的神经网络模型进行优化训练，得到N个训练好的神经网络模型；
根据N个训练好的神经网络模型，确定出所述训练好的神经网络模型。
在上述方法中，所述根据N个训练好的神经网络模型，确定出所述训练好的神经网络模型，包括：
在除去N组文本信息后的第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成K组文本信息；
根据K组文本信息，分别对N个训练好的神经网络模型进行准确率测试，确定出N个训练好的神经网络模型的准确率；
按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为所述训练好的神经网络模型。
在上述方法中，在按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为所述训练好的神经网络模型之后，所述方法还包括：
按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率排序在前M个的训练好的神经网络模型；其中，M小于N；
获取前M个训练好的神经网络模型对应的训练样本集；
将前M个训练好的神经网络模型对应的训练样本集中的处理后文本信息重新进行分组，得到j组训练样本集；
采用j组训练样本集对所述训练好的神经网络模型重新进行优化训练，用重新进行优化训练得到的神经网络模型更新所述训练好的神经网络模型。
第二方面，本发明实施例提供了一种云计算系统，所述云计算系统包括：
获取单元，用于当云计算系统出现故障时，从所述云计算系统的日志文件中获取故障报错的文本信息；
处理单元，用于当所述文本信息表征所述云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对所述文本信息进行处理，得到所述文本信息对应的组件的配置项的修正信息；
修正单元，用于根据所述修正信息，对所述文本信息对应的组件的配置项进行修正，以使所述云计算系统正常运行。
在上述云计算系统中，所述云计算系统还包括：训练单元，所述训练单元，包括：
获取子单元，用于从所述云计算系统的日志文件中获取组件的配置项报错的历史文本信息；
其中，所述历史文本信息的条数为预设数目；
选取子单元，用于从所述历史文本信息中选取出N组文本信息；
其中，每组文本信息中至少包括两条文本信息；
处理子单元，用于对N组文本信息分别进行向量化处理，得到N组处理后的文本信息；
训练子单元，用于根据N组处理后的文本信息，对预设的神经网络模型进行优化训练，得到所述训练好的神经网络模型。
在上述云计算系统中，所述选取子单元，具体用于：
利用预设的报错关键字确定所述历史文本信息的报错类别，按照所述历史文本信息报错类别，对所述历史文本信息进行分类，得到第一类子集；
按照所述云计算系统的组件类别，对所述第一类子集进行分类，得到第二类子集；
分别从所述第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成N组文本信息。
在上述云计算系统中，所述训练子单元，具体用于：
从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集；
其中，每个训练样本集中包括N-1组文本信息，且任意两个训练样本集之间不同；
获取第i个训练样本集；其中，i为优化训练次数；
当i等于1时，采用第i个训练样本集对预设的神经网络模型进行优化训练，得到第i个训练好的神经网络模型；
当i大于1小于等于N时，采用第i个训练样本集对第i-1个训练好的神经网络模型进行优化训练，得到第i个训练好的神经网络模型，将i更新为i+1，直至得到第N个训练好的神经网络模型为止，将所述第N个训练好的神经网络模型作为所述训练好的神经网络模型。
在上述云计算系统中，所述训练单元还包括：
重新选取子单元，用于在从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集之后，分别采用N个训练样本集对预设的神经网络模型进行优化训练，得到N个训练好的神经网络模型；
第一确定子单元，用于根据N个训练好的神经网络模型，确定出所述训练好的神经网络模型。
在上述云计算系统中，所述第一确定子单元，具体用于：
在除去N组文本信息后的第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成K组文本信息；
根据K组文本信息，分别对N个训练好的神经网络模型进行准确率测试，确定出N个训练好的神经网络模型的准确率；
按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为所述训练好的神经网络模型。
在上述云计算系统中，所述训练单元还包括：
第二确定子单元，用于在按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为所述训练好的神经网络模型之后，按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率排序在前M个的训练好的神经网络模型；其中，M小于N；
获取前M个训练好的神经网络模型对应的训练样本集；
将前M个训练好的神经网络模型对应的训练样本集中的处理后文本信息重新进行分组，得到j组训练样本集；
采用j组训练样本集对所述训练好的神经网络模型重新进行优化训练，用重新进行优化训练得到的神经网络模型更新所述训练好的神经网络模型。
第三方面，本申请实施例还提供了一种云计算系统，所述云计算系统包括：处理器以及存储有所述处理器可执行指令的存储介质，所述存储介质通过通信总线依赖所述处理器执行操作，当所述指令被所述处理器执行时，执行上述一个或多个实施例所述文本信息的修正方法。
本申请实施例提供了一种计算机存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行上述一个或多个实施例所述文本信息的修正方法。
本发明实施例所提供的一种文本信息的修正方法、云计算系统和计算机存储介质，该方法包括：首先，当云计算系统出现故障时，从云计算系统的日志文件中获取故障报错的文本信息，当文本信息表征云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对文本信息进行处理，得到文本信息对应的组件的配置项的修正信息，根据修正信息，对文本信息对应的组件的配置项进行修正，以使云计算系统正常工作；也就是说，在本发明实施例中，通过从云计算系统的日志文件中获取故障的文本信息，在文本信息指示云计算系统的组件的配置项错误时，用训练好的神经网络模型对文本信息进行处理，以得到文本信息对应的组件配置项的修正信息，这样，能够自动化的修复配置项错误的故障，避免使用人工排查的方式进行故障检修，从而提高了故障修复的效率，有利于云计算系统的正常运转。
附图说明
图1为本发明实施例中的一种可选的文本信息的修正方法的流程示意图；
图2A为深度学习模型的结构示意图一；
图2B为深度学习模型的结构示意图二；
图3为卷积神经网络的结构示意图；
图4为本发明实施例中的另一种可选的文本信息的修正方法的实例的流程示意图；
图5为本发明实施例中的云计算系统的结构示意图一；
图6为本发明实施例中的云计算系统的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供一种文本信息的修正方法，图1为本发明实施例中的一种可选的文本信息的修正方法的流程示意图，如图1所示，该文本信息的修正方法可以包括：
S101：当云计算系统出现故障时，从云计算系统的日志文件中获取故障报错的文本信息；
目前，在云计算因其具有规模大、虚拟化、可靠性高、通用性强、可扩展性和廉价的优点，有着广泛的应用，例如，针对私有云领域，如果想构建私有云或者利用自身硬件和计算能力来提供服务或者开发的话，必须搭建自己的云计算平台，网络上开源的云计算平台主要包括Abicloud，OpenStack等等，下面以云计算系统采用OpenStack为例进行说明。
在实际应用中，针对基于OpenStack云计算系统来说，在部署或者运维的过程中，若云计算系统出现配置项错误的故障时，通常采用手工排查的方式，但是手工排查的方式耗时耗力，影响云计算系统的运维效率。
为了提高云计算系统的运维效率，首先，在检测到云计算系统发生故障时，先从云计算系统中获取日志文件，该日志文件是用于记录云计算系统操作时间的记录文件或文件集合，在获取到的云计算系统的日志文件之后，可以从日志文件中获取故障报错的文本信息。
S102：当文本信息表征云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对文本信息进行处理，得到文本信息对应的组件的配置项的修正信息；
通过S101得到文本信息之后，先判断该文本信息为哪类故障，经过判断，当该文本信息表征云计算系统中的某个硬件发生故障报错时，云计算系统会生成一个提示信息，用于提示计算系统中的某个硬件发生故障。
当文本信息表征云计算系统的组件的配置项错误时，也就是说，云计算系统发生故障的原因是云计算系统中的组件的配置项出现错误配置，那么，为了修正配置项中的错误，可以采用预先训练好的神经网络对文本信息进行训练，以得到文本信息对应的组件的配置项的修正信息。
其中，上述训练好的神经网络模型是预先通过训练样本集对预设的神经网路模型进行优化训练得到。
在实际应用中，神经网络模型通常采用深度学习框架中的卷积神经网络，深度学习模型实质上是一种包含多个隐层的人工神经网络，网络中每一层都作为后一层的输入，然后，通过不断地调整网络参数，使得网络对原始输入信息的实际输出结果尽可能地接近目标输出结果；其中，含有更多的隐藏层以及逐层地对人工神经网络中的参数进行初始化是深度学习模型的两个最主要的特点，人工神经网络如果具有更多的隐藏层，那么人工神经网络的学习表达能力就会更强大，与之同时，也就越能良好地表达出事物之间的内在联系。
图2A为深度学习模型的结构示意图一，其中，图2A为含一个隐层的浅层深度学习模型，如图2A所示，浅层深度学习模型包含一个输入层，一个隐层和一个输出层；图2B为深度学习模型的结构示意图二，其中，图2B为含多个隐层的深层深度学习模型，如图2B所示，深层深度学习模型包含一个输入层，多个隐层和一个输出层。
在实际应用中，卷积神经网络是深度学习模型中的一种，它是一种多层前馈神经网络的变种，来源于Wiesel等人对猫的大脑视觉皮层的研究成果，卷积神经网络受此启发，为了实现对灵长类动物大脑神经系统的抽象和模拟，采用了三种方法：局部感受野、权值共享和下采样。
卷积神经网络作为一种深度学习模型，具有能够直接从输入的原始数据中自动学习并提取特征的优点，泛化能力也明显优于传统方法。卷积神经网络是包含多层的神经网络，其中每一层都有若干二维平面，每一个二维平面又包含很多的神经元。
图3为卷积神经网络的结构示意图，如图3所示，卷积神经网络包括：输入层、隐含层(分为卷积层和下采样层)和输出层；其中，卷积层和下采样层构成一个特征提取阶段，通常卷积神经网络会有1-3个特征提取阶段，对于图3中而言共有两个特征提取阶段，多个特征提取阶段以多个卷积层和下采样层交替排列堆叠而成；输入的原始信息经过多个卷积层和下采样层的特征提取以后，在卷积神经网络的后端将获得高层次的、具有很强表达能力的特征，最后再输出到一个可训练的分类器进行分类识别任务。
这里，需要说明的是，上述训练好的神经网络模型可以是基于上述卷积神经网络训练出来的，也可以是基于反向传播(BP，Back Propagation)神经网络模型训练出来的，本发明实施例不作具体限定。
为了得到训练好的神经网络模型，在一种可选的实施例中，上述文本信息的修正方法还包括：
S401：从云计算系统的日志文件中获取组件的配置项报错的历史文本信息；
其中，历史文本信息的条数为预设数目；
S402：从历史文本信息中选取出N组文本信息；
其中，每组文本信息中至少包括两条文本信息；
首先，为了得到训练好的神经网络模型，需要先获取训练样本集，可以从云计算系统的日志文件中获取组件的配置项报错的历史文本信息，从历史文本信息中选取训练样本集，为了达到更好的训练效果，这里，预设数目可以为千条以上或者万条以上，例如，5000条文本信息。
需要说明的是，采集的历史文本信息的数目越多，种类越多，训练出的神经网络模型对文本信息的修正能力越强；所以，在获取历史文本信息时尽可能的获取数量多，种类多的历史文本信息。
然后，再从历史文本信息中选取出N组文本信息作为训练样本集，用于训练预设的神经网络模型，为了使得训练出的神经网络模型对文本信息具有较强的修正能力，对训练样本集中文本信息的数目和种类有一定的要求，在一种可选的实施例中，S402可以包括：
利用预设的报错关键字确定历史文本信息的报错类别，按照历史文本信息的报错类别，对历史文本信息进行分类，得到第一类子集；
按照云计算系统的组件类别，对第一类子集进行分类，得到第二类子集；
分别从第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成N组文本信息。
具体来说，先按照报错关键字对历史文本信息进行信息提取，例如，提取的报错关键字可以为“NameError”，将报错关键字为“NameError”的信息提取出来，举例来说，文本信息为“Mechanism driver openvswitch failed in bind_port:NameError:global name'port'is not defined”，则按照关键字“NameError”提取出的文本信息的“NameError”为“global name'port'is not defined”这样，可以确定出该条文本信息的报错类别，将相同种类的“NameError”分成一类子集，从而得到第一类子集。
然后，按照云计算系统的组件类别，例如OpenStack中的存储服务组件，共享服务器组件，后台服务组件，增加操作组件，删除操作组件、修改操作组件和查找操作组件等等，举例来说，与网络(network)相关的应用程序的编程接口(API，Application ProgrammingInterface)的组件可以包括：
Figure BDA0002147857770000111
可见，OpenStack的组件繁多，例如各个组件的增删改查操作。
例如，针对第一类子集中每一个相同报错类别的子集来说，将存储服务组件相同的文本信息分成一个子集，将共享服务组件相同的文本信息分成一个子集，依次类推，从而得到若干个不同报错类别不同组件类别的子集，将这些子集作为第二类子集。
这样，在第二类子集中的每个子集都表示一种报错类别和一种组件类别的文本信息，那么，分别从第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，使得形成的一组文本信息包括了多种类别的文本信息，形成N组文本信息，使得每一组文本信息都包括了多种类别的文本信息，这样，获取足够数量的文本信息，使得N组文本信息的数量尽可能的多，种类齐全，使得训练出的神经网络模型的修正效果越佳。
S403：对N组文本信息分别进行向量化处理，得到N组处理后的文本信息；
S404：根据N组处理后的文本信息，对预设的神经网络模型进行优化训练，得到训练好的神经网络模型。
具体来说，在得到N组文本信息之后，需要先对文本信息进行向量化处理，得到N组处理后的文本信息，用N组处理后的文本信息来训练预设的神经网络模型，在实际应用，向量化处理可以采用Word2Vec技术，或者采用Doc2Vec技术，这里，本发明实施例不作具体限定。
为了得到训练好的神经网络模型，在一种可选的实施例中，S404可以包括：
从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集；
其中，每个训练样本集中包括N-1组文本信息，且任意两个训练样本集之间不同；
获取第i个训练样本集；其中，i为优化训练次数；
当i等于1时，采用第i个训练样本集对预设的神经网络模型进行优化训练，得到第i个训练好的神经网络模型；
当i大于1小于等于N时，采用第i个训练样本集对第i-1个训练好的神经网络模型进行优化训练，得到第i个训练好的神经网络模型，将i更新为i+1，直至得到第N个训练好的神经网络模型为止，将第N个训练好的神经网络模型作为训练好的神经网络模型。
这里，基于N组处理后的文本信息来确定训练样本集，具体来说，从N组处理后的文本信息中选取出N-1组文本信息，重复选取N次，可以选取出N个N-1组处理后的文本信息，将每一个N-1组处理后的文本信息确定为一个训练样本集，得到N个训练样本集。
然后，进行迭代优化训练，确定迭代次数为N，在第1次迭代时，用第1个训练样本集对预设的神经网络模型进行训练，得到第1个训练好的神经网络模型，在第2次迭代时，用第2个训练样本集对第1个训练好的神经网络模型进行训练，得到第2个训练好的神经网络模型，依次类推，得到第N个训练好的神经网络模型。
这样，通过迭代的优化训练方式，迭代次数越多得到的训练好的神经网络模型的修正能力越强。
为了得到训练好的神经网络模型，在一种可选的实施例中，在从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集之后，所述方法还包括：
分别采用N个训练样本集对预设的神经网络模型进行优化训练，得到N个训练好的神经网络模型；
根据N个训练好的神经网络模型，确定出训练好的神经网络模型。
也就是说，在确定出N个训练样本集之后，可以采用N个训练样本集对预设的神经网络模型分别进行训练，从而可以得到N个训练好的神经网络模型，最后，根据N个训练好的神经网络模型，确定出训练好的神经网络模型。
为了得到训练好的神经网络模型，在一种可选的实施例中，根据N个训练好的神经网络模型，确定出训练好的神经网络模型，包括：
在除去N组文本信息后的第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成K组文本信息；
根据K组文本信息，分别对N个训练好的神经网络模型进行准确率测试，确定出N个训练好的神经网络模型的准确率；
按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为训练好的神经网络模型。
也就是说，基于选取出N组文本信息之后的第二类子集，从每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成K组文本信息，并将K组文本信息作为测试训练样本集，分别对N个训练好的神经网络模型进行准确率测试，根据得到N个训练好的神经网络模型修正信息来确定N个训练好的神经网络模型的准确率，并按照准确率对N个训练好的神经网络模型排序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，认为该模型为最优模型，所以，将该模型最终确定为训练好的神经网络模型。
为了得到最优的训练好的神经网络模型，在一种可选的实施例中，在按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为训练好的神经网络模型之后，所述方法还包括：
按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率排序在前M个的训练好的神经网络模型；
其中，M小于N；
获取前M个训练好的神经网络模型对应的训练样本集；
将前M个训练好的神经网络模型对应的训练样本集中的处理后文本信息重新进行分组，得到j组训练样本集；
采用j组训练样本集对训练好的神经网络模型重新进行优化训练，将重新进行优化训练得到的神经网络模型确定为训练好的神经网络模型。
具体来说，在确定出N个训练好的神经网络模型之后，可以根据准确率重新确定训练样本集，继续对训练好的神经网络模型进行训练，并将将重新进行优化训练得到的神经网络模型确定为训练好的神经网络模型，这样，通过缩小M的取值，不断对训练好的神经网络模型重新进行优化训练，不断的优化神经网络模型中的网络参数，以更好的修正文本信息。
S103：根据修正信息，对文本信息对应的组件的配置项进行修正，以使云计算系统正常运行。
在得到修正信息之后，在知晓哪个组件的配置项出现错误，可以确定出该配置项的正确信息，修正信息中既包括配置项的种类，存储位置，以及配置项的正确信息等等，这里，本发明实施例对此不作具体限定。
将训练得到的最优化网络模型接入到OpenStack环境中，实时监测各个组件的日志信息，当发现有疑似配置错误相关的报错信息时，自动通过RPC通信启动该自动修复功能，该网络模型能通过相应报错的日志信息，自动识别出相应的错误配置项信息，并进行相应的更正，如果不是配置项错误导致的故障，则通过提示信息，通知相应的开发及运维人员进行其它方面的问题排查。
通过上述一个或多个实施例中的方法，在OpenStack自动修复过程中，采用了深度学习框架中的卷积神经网络，在训练学习最优化网络模型时，采用的迭代训练学习法，将神经网络模型接入到OpenStack环境后，实时监测各个组件的日志文件，当发现有疑似配置错误相关的报错信息时，自动通过远程过程调用(RPC，Remote Procedure Call)通信启动该自动修复功能，如此，在OpenStack开发和运维过程中，有效解决了因为误操作或者其它原因导致的配置项配置错误引起系统故障后，手动进行配置项排查时，耗时耗力的过程，提高了开发和运维效率。
本发明实施例所提供的一种文本信息的修正方法，该方法包括：首先，当云计算系统出现故障时，从云计算系统的日志文件中获取故障报错的文本信息，当文本信息表征云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对文本信息进行处理，得到文本信息对应的组件的配置项的修正信息，根据修正信息，对文本信息对应的组件的配置项进行修正，以使云计算系统正常工作；也就是说，在本发明实施例中，通过从云计算系统的日志文件中获取故障的文本信息，在文本信息指示云计算系统的组件的配置项错误时，用训练好的神经网络模型对文本信息进行处理，以得到文本信息对应的组件配置项的修正信息，这样，能够自动化的修复配置项错误的故障，避免使用人共排查的方式进行故障检修，从而提高了故障修复的效率，有利于云计算系统的正常运转。
基于同一发明构思，本实施例提供一种云计算系统，图5为本发明实施例中的云计算系统的结构示意图一，如图5所示，该云计算系统包括：获取单元51、处理单元52和修正单元53；
其中，获取单元51，用于当云计算系统出现故障时，从云计算系统的日志文件中获取故障报错的文本信息；
处理单元52，用于当文本信息表征云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对文本信息进行处理，得到文本信息对应的组件的配置项的修正信息；
修正单元53，用于根据修正信息，对文本信息对应的组件的配置项进行修正，以使云计算系统正常运行。
在一种可选的实施例中，该云计算系统还包括：训练单元，该训练单元，包括：
获取子单元，用于从云计算系统的日志文件中获取组件的配置项报错的历史文本信息；
其中，历史文本信息的条数为预设数目；
选取子单元，用于从历史文本信息中选取出N组文本信息；
其中，每组文本信息中至少包括两条文本信息；
处理子单元，用于对N组文本信息分别进行向量化处理，得到N组处理后的文本信息；
训练子单元，用于根据N组处理后的文本信息，对预设的神经网络模型进行优化训练，得到训练好的神经网络模型。
在一种可选的实施例中，该选取子单元，具体用于：
利用预设的报错关键字确定历史文本信息的报错类别，按照历史文本信息报错类别，对历史文本信息进行分类，得到第一类子集；
按照云计算系统的组件类别，对第一类子集进行分类，得到第二类子集；
分别从第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成N组文本信息。
在一种可选的实施例中，该训练子单元，具体用于：
从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集；
其中，每个训练样本集中包括N-1组文本信息，且任意两个训练样本集之间不同；
获取第i个训练样本集；其中，i为优化训练次数；
当i等于1时，采用第i个训练样本集对预设的神经网络模型进行优化训练，得到第i个训练好的神经网络模型；
当i大于1小于等于N时，采用第i个训练样本集对第i-1个训练好的神经网络模型进行优化训练，得到第i个训练好的神经网络模型，将i更新为i+1，直至得到第N个训练好的神经网络模型为止，将第N个训练好的神经网络模型作为所述训练好的神经网络模型。
在一种可选的实施例中，该训练单元还包括：
重新选取子单元，用于在从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集中之后分别采用N个训练样本集对预设的神经网络模型进行优化训练，得到N个训练好的神经网络模型；
第一确定子单元，用于根据N个训练好的神经网络模型，确定出训练好的神经网络模型。
在一种可选的实施例中，该第一确定子单元，具体用于：
在除去N组文本信息后的第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成K组文本信息；
根据K组文本信息，分别对N个训练好的神经网络模型进行准确率测试，确定出N个训练好的神经网络模型的准确率；
按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为训练好的神经网络模型。
在一种可选的实施例中，该训练单元，还包括：
第二确定子单元，用于在按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为训练好的神经网络模型之后，按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率排序在前M个的训练好的神经网络模型；
其中，M小于N；
获取前M个训练好的神经网络模型对应的训练样本集；
将前M个训练好的神经网络模型对应的训练样本集中的处理后文本信息重新进行分组，得到j组训练样本集；
采用j组训练样本集对训练好的神经网络模型重新进行优化训练，用重新进行优化训练得到的神经网络模型更新训练好的神经网络模型。
在实际应用中，上述获取单元51、处理单元52、修正单元53、获取子单元、选取子单元、处理子单元、训练子单元、重新选取子单元、第一确定子单元和第二确定子单元可由位于云计算系统上的处理器实现，具体为中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，Digital Signal Processing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现。
图6为本申请实施例提供的一种云计算系统的结构示意图二，如图6所示，本申请实施例提供了一种云计算系统600，包括：
处理器61以及存储有所述处理器61可执行指令的存储介质62，所述存储介质62通过通信总线63依赖所述处理器61执行操作，当所述指令被所述处理器61执行时，执行上述实施例一所述的文本信息的修正方法。
需要说明的是，实际应用时，终端中的各个组件通过通信总线63耦合在一起。可理解，通信总线63用于实现这些组件之间的连接通信。通信总线63除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为通信总线63。
本申请实施例提供了一种计算机存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行实施例一所述的文本信息的修正方法。
其中，计算机可读存储介质可以是磁性随机存取存储器(ferromagnetic randomaccess memory，FRAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (6)

1.一种文本信息的修正方法，其特征在于，包括：
当云计算系统出现故障时，从所述云计算系统的日志文件中获取故障报错的文本信息；
当所述文本信息表征所述云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对所述文本信息进行处理，得到所述文本信息对应的组件的配置项的修正信息；
根据所述修正信息，对所述文本信息对应的组件的配置项进行修正，以使所述云计算系统正常运行；
所述方法还包括：
从所述云计算系统的日志文件中获取组件的配置项报错的历史文本信息；其中，所述历史文本信息的条数为预设数目；
从所述历史文本信息中选取出N组文本信息；其中，每组文本信息中至少包括两条文本信息；
对N组文本信息分别进行向量化处理，得到N组处理后的文本信息；
根据N组处理后的文本信息，对预设的神经网络模型进行优化训练，得到所述训练好的神经网络模型；
所述从所述历史文本信息中选取出N组文本信息，包括：
利用预设的报错关键字确定所述历史文本信息的报错类别，按照所述历史文本信息报错类别，对所述历史文本信息进行分类，得到第一类子集；
按照所述云计算系统的组件类别，对所述第一类子集进行分类，得到第二类子集；
分别从所述第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成N组文本信息；
其中，所述根据N组处理后的文本信息，对预设的神经网络模型进行优化训练，得到所述训练好的神经网络模型，包括：
从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集；其中，每个训练样本集中包括N-1组文本信息，且任意两个训练样本集之间不同；
获取第i个训练样本集；其中，i为优化训练次数；
当i等于1时，采用第i个训练样本集对预设的神经网络模型进行优化训练，得到第i个训练好的神经网络模型；
当i大于1小于等于N时，采用第i个训练样本集对第i-1个训练好的神经网络模型进行优化训练，得到第i个训练好的神经网络模型，将i更新为i+1，直至得到第N个训练好的神经网络模型为止，将所述第N个训练好的神经网络模型作为所述训练好的神经网络模型；
其中，所述在从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集之后，所述方法还包括：
分别采用N个训练样本集对预设的神经网络模型进行优化训练，得到N个训练好的神经网络模型；
根据N个训练好的神经网络模型，确定出所述训练好的神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述根据N个训练好的神经网络模型，确定出所述训练好的神经网络模型，包括：
在除去N组文本信息后的第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成K组文本信息；
根据K组文本信息，分别对N个训练好的神经网络模型进行准确率测试，确定出N个训练好的神经网络模型的准确率；
按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为所述训练好的神经网络模型。
3.根据权利要求2所述的方法，其特征在于，在按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率最高值对应的训练好的神经网络模型，确定为所述训练好的神经网络模型之后，所述方法还包括：
按照准确率由高到低的顺序，从N个训练好的神经网络模型中选取出准确率排序在前M个的训练好的神经网络模型；其中，M小于N；
获取前M个训练好的神经网络模型对应的训练样本集；
将前M个训练好的神经网络模型对应的训练样本集中的处理后文本信息重新进行分组，得到j组训练样本集；
采用j组训练样本集对所述训练好的神经网络模型重新进行优化训练，用重新进行优化训练得到的神经网络模型更新所述训练好的神经网络模型。
4.一种云计算系统，其特征在于，所述云计算系统包括：
获取单元，用于当云计算系统出现故障时，从所述云计算系统的日志文件中获取故障报错的文本信息；
处理单元，用于当所述文本信息表征所述云计算系统的组件的配置项错误时，采用训练好的神经网络模型，对所述文本信息进行处理，得到所述文本信息对应的组件的配置项的修正信息；
修正单元，用于根据所述修正信息，对所述文本信息对应的组件的配置项进行修正，以使所述云计算系统正常运行；
所述云计算系统还包括：训练单元，所述训练单元，包括:
获取子单元，用于从云计算系统的日志文件中获取组件的配置项报错的历史文本信息；其中，历史文本信息的条数为预设数目;
选取子单元，用于从所述历史文本信息中选取出N组文本信息；其中，每组文本信息中至少包括两条文本信息；
处理子单元，用于对N组文本信息分别进行向量化处理，得到N组处理后的文本信息；
训练子单元，用于根据N组处理后的文本信息，对预设的神经网络模型进行优化训练，得到所述训练好的神经网络模型;
其中，所述选取子单元，还用于利用预设的报错关键字确定历史文本信息的报错类别，按照所述历史文本信息报错类别，对所述历史文本信息进行分类，得到第一类子集；按照所述云计算系统的组件类别，对所述第一类子集进行分类，得到第二类子集；分别从所述第二类子集中的每个子集中选取文本信息，用选取出的文本信息形成一组文本信息，直至形成N组文本信息;
其中，所述训练子单元，还用于从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集；其中，每个训练样本集中包括N-1组文本信息，且任意两个训练样本集之间不同；获取第i个训练样本集；其中，i为优化训练次数；当i等于1时，采用第i个训练样本集对预设的神经网络模型进行优化训练，得到第i个训练好的神经网络模型；当i大于1小于等于N时，采用第i个训练样本集对第i-1个训练好的神经网络模型进行优化训练，得到第i个训练好的神经网络模型，将i更新为i+1，直至得到第N个训练好的神经网络模型为止，将所述第N个训练好的神经网络模型作为所述训练好的神经网络模型;
其中，所述训练单元还包括：
重新选取子单元，用于在从N组处理后的文本信息中，重复选取N次，选取出N个训练样本集之后，分别采用N个训练样本集对预设的神经网络模型进行优化训练，得到N个训练好的神经网络模型；
第一确定子单元，用于根据N个训练好的神经网络模型，确定出所述训练好的神经网络模型。
5.一种云计算系统，其特征在于，所述云计算系统包括：
处理器以及存储有所述处理器可执行指令的存储介质，所述存储介质通过通信总线依赖所述处理器执行操作，当所述指令被所述处理器执行时，执行上述的权利要求1至3任一项所述的文本信息的修正方法。
6.一种计算机存储介质，其特征在于，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行所述的权利要求1至3任一项所述的文本信息的修正方法。
CN201910690944.9A 2019-07-29 2019-07-29 一种文本信息的修正方法、云计算系统和计算机存储介质 Active CN112307202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910690944.9A CN112307202B (zh) 2019-07-29 2019-07-29 一种文本信息的修正方法、云计算系统和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910690944.9A CN112307202B (zh) 2019-07-29 2019-07-29 一种文本信息的修正方法、云计算系统和计算机存储介质

Publications (2)

Publication Number Publication Date
CN112307202A CN112307202A (zh) 2021-02-02
CN112307202B true CN112307202B (zh) 2022-12-13

Family

ID=74328943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910690944.9A Active CN112307202B (zh) 2019-07-29 2019-07-29 一种文本信息的修正方法、云计算系统和计算机存储介质

Country Status (1)

Country Link
CN (1) CN112307202B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707392A (zh) * 2017-09-26 2018-02-16 厦门集微科技有限公司 通道修复方法及装置、终端
CN109063785A (zh) * 2018-08-23 2018-12-21 国网河北省电力有限公司沧州供电分公司 充电桩故障检测方法及终端设备
CN109445935A (zh) * 2018-10-10 2019-03-08 杭州电子科技大学 云计算环境下一种高性能大数据分析系统自适应配置方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707392A (zh) * 2017-09-26 2018-02-16 厦门集微科技有限公司 通道修复方法及装置、终端
CN109063785A (zh) * 2018-08-23 2018-12-21 国网河北省电力有限公司沧州供电分公司 充电桩故障检测方法及终端设备
CN109445935A (zh) * 2018-10-10 2019-03-08 杭州电子科技大学 云计算环境下一种高性能大数据分析系统自适应配置方法

Also Published As

Publication number Publication date
CN112307202A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
EP3574453A1 (en) Optimizing neural network architectures
CN108563555B (zh) 基于四目标优化的故障更改代码预测方法
CN110852881B (zh) 风险账户识别方法、装置、电子设备及介质
CN111639690A (zh) 基于关系图谱学习的欺诈分析方法、系统、介质及设备
CN114970926A (zh) 一种模型训练方法、企业经营风险预测方法和装置
CN114328277A (zh) 一种软件缺陷预测和质量分析方法、装置、设备及介质
CN114237754B (zh) 一种数据加载方法、装置、电子设备以及存储介质
CN116340726A (zh) 一种能源经济大数据清洗方法、系统、设备及存储介质
CN103440460A (zh) 一种应用系统变更验证方法及验证系统
CN111367782B (zh) 回归测试数据自动生成的方法及装置
CN113541985A (zh) 物联网故障诊断方法、模型的训练方法及相关装置
CN112154415A (zh) 大型计算机系统中的高效事件管理
CN112541447B (zh) 机器模型的更新方法、装置、介质及设备
US20220044136A1 (en) Automated data table discovery for automated machine learning
CN112307202B (zh) 一种文本信息的修正方法、云计算系统和计算机存储介质
CN117033209A (zh) Ai模型训练方法、bios测试方法、装置、设备及存储介质
CN117236304A (zh) 一种基于模板配置的Excel通用导入的实现方法
CN114139636B (zh) 异常作业处理方法及装置
CN111950753A (zh) 一种景区客流预测的方法及装置
CN116402325A (zh) 业务流程自动化处理方法及装置
CN114820618A (zh) 瑕疵检测模型的训练方法、装置、设备及存储介质
CN114358910A (zh) 异常财务数据处理方法、装置、设备及存储介质
CN103942403A (zh) 一种对海量变量进行筛选的方法及设备
US11948207B1 (en) Machine learning based approach for recommending different categories of tax deductible expenses and related examples of tax deductible expenses for each category
CN109474445B (zh) 一种分布式系统根源故障定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant