CN117408679B - 一种运维场景信息的处理方法及装置 - Google Patents

一种运维场景信息的处理方法及装置 Download PDF

Info

Publication number
CN117408679B
CN117408679B CN202311715344.6A CN202311715344A CN117408679B CN 117408679 B CN117408679 B CN 117408679B CN 202311715344 A CN202311715344 A CN 202311715344A CN 117408679 B CN117408679 B CN 117408679B
Authority
CN
China
Prior art keywords
maintenance
maintenance scene
information processing
scene information
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311715344.6A
Other languages
English (en)
Other versions
CN117408679A (zh
Inventor
王建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xinghan Bona Medicine Science And Technology Co ltd
Original Assignee
Beijing Xinghan Bona Medicine Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xinghan Bona Medicine Science And Technology Co ltd filed Critical Beijing Xinghan Bona Medicine Science And Technology Co ltd
Priority to CN202311715344.6A priority Critical patent/CN117408679B/zh
Publication of CN117408679A publication Critical patent/CN117408679A/zh
Application granted granted Critical
Publication of CN117408679B publication Critical patent/CN117408679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种运维场景信息的处理方法及装置。所述处理方法包括：接收运维场景信息处理请求；所述运维场景信息处理请求包括运维场景中节点的运维数据；将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果；所述运维场景信息处理模型是利用运维场景数据以及训练模板对预设网络模型进行训练得到的；根据所述运维场景信息处理结果，确定运维处理方案。本发明利用训练好的运维场景信息处理模型处理用户的运维场景信息处理请求，可以实现对运维问题的处理，具有及时性，有利于运维场景的自动化、节约人工成本和提高工作效率。

Description

一种运维场景信息的处理方法及装置
技术领域
本发明涉及运维技术领域，特别是指一种运维场景信息的处理方法及装置。
背景技术
随着人工智能的快速发展，各领域对人工智能的应用已经极其普遍。在运维场景中，自动化运维作为一种关键的解决方案，可以帮助企业提高运维效率、减少人为错误，并降低成本。目前，人工智能在运维场景的运用仍有很大不足，比如用来训练语言模型的训练数据一般都是历史数据，而且这些语言模型都是训练好的，并不针对特殊用户。这使得语言模型具有滞后性，以及用户体验较差的缺点。
发明内容
本发明要解决的技术问题是提供一种运维场景信息的处理方法及装置，以解决运维场景中的人工智能具有滞后性和用户体验较差的问题。
为解决上述技术问题，本发明的技术方案如下：
一种运维场景信息的处理方法，包括：
接收运维场景信息处理请求；所述运维场景信息处理请求包括运维场景中节点的运维数据；
将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果；所述运维场景信息处理模型是利用运维场景数据以及训练模板对预设网络模型进行训练得到的；
根据所述运维场景信息处理结果，确定运维处理方案。
可选的，所述运维场景信息处理模型的训练过程包括：
获取运维场景训练数据和训练模板；
对所述运维场景训练数据进行预处理，得到运维场景特征数据；
将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型。
可选的，对所述运维场景训练数据进行预处理，得到运维场景特征数据，包括：
对所述运维场景训练数据进行数据增强，得到多样性的运维场景训练数据；
对多样性的所述运维场景训练数据进行微调，得到微调后的运维场景训练数据；
对微调后的所述运维场景训练数据进行元学习，得到泛化后的运维场景训练数据；
对泛化后的所述运维场景训练数据进行合成处理，得到运维场景特征数据。
可选的，将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型，包括：
将所述运维场景特征数据进行关键字提取，得到训练关键字；
将所述训练关键字与训练模板库中的训练模板进行匹配，确定目标训练模板；
将预设网络模型的输出，按照所述目标训练模板的格式进行输出，得到运维场景信息处理模型。
可选的，将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果，包括：
对所述运维场景信息处理请求进行关键字提取，得到运维关键字；
将所述运维关键字输入训练好的运维场景信息处理模型进行处理，得到运维场景信息处理结果。
可选的，根据所述运维场景信息处理结果，确定运维处理方案，包括：
对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案。
可选的，对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案，包括：
对所述运维场景信息处理结果，按照预设自然语言的预设格式进行转换处理，得到文本格式的运维处理方案。
根据本发明的另一个方面，提供了一种运维场景信息的处理装置，包括：
接收模块，用于接收运维场景信息处理请求；所述运维场景信息处理请求包括运维场景中节点的运维数据；
处理模块，用于将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果；所述运维场景信息处理模型是利用运维场景数据以及训练模板对预设网络模型进行训练得到的；
确定模块，用于根据所述运维场景信息处理结果，确定运维处理方案。
根据本发明的又一个方面，提供了一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。
根据本发明的又一个方面，提供了一种计算机可读存储介质，其上存储指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，利用训练好的运维场景信息处理模型处理用户的运维场景信息处理请求，可以实现对运维问题的处理，具有及时性，有利于运维场景的自动化、节约人工成本和提高工作效率。
附图说明
图1是本发明实施例的一种运维场景信息的处理方法的流程示意图；
图2是本发明实施例的一种运维场景信息的处理装置的结构图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种运维场景信息的处理方法，包括以下步骤：
步骤11、接收运维场景信息处理请求；所述运维场景信息处理请求包括运维场景中节点的运维数据；
步骤12、将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果；所述运维场景信息处理模型是利用运维场景数据以及训练模板对预设网络模型进行训练得到的；
其中，维场景中节点的运维数据包括：运维场景中节点的名称、CPU内核类型、CPU消耗率、内存大小、内存消耗率等中的至少一项；训练模板包括：预设数据结构的节点信息、模型输出信息和模型输入信息中的至少一项；
步骤13、根据所述运维场景信息处理结果，确定运维处理方案。
本发明的上述方案，利用训练好的运维场景信息处理模型处理用户的运维场景信息处理请求，可以实现对运维问题的处理，具有及时性，有利于运维场景的自动化、节约人工成本和提高工作效率。
本发明的一可选实施例中，接收的运维场景信息处理请求还可以包括实时更新的运维场景信息数据，实时更新的运维场景信息数据由用户提供；
将该实时更新的场景运维信息数据输入运维场景信息处理模型再次进行训练，得到符合用户需求的实时的运维场景信息处理模型，使得实时的运维场景信息处理模型能够处理用户需要的运维场景中的新数据；和/或
运维场景信息处理请求可以包括用户提供的一些问题的最新答案，将这些最新答案输入训练好的运维场景信息处理模型，能够得到正确答案。
接收多种类型的运维场景信息处理请求，有利于提高用户体验，符合用户需求，增强本实施例的方法的适应性。
本发明的一可选实施例中，步骤12中所述运维场景信息处理模型的训练过程包括：
步骤121、获取运维场景训练数据和训练模板；
步骤122、对所述运维场景训练数据进行预处理，得到运维场景特征数据；
步骤123、将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型。
一个具体的实施例中，运维场景训练数据包括：多条样本数据，具体如下：
Name（节点名称）CPU（Cores）CPU%Memory（Bytes）Memory%
cn-beijing.172.17.106.96，CPU核心数:191m，CPU使用率:5%，内存容量:24351Mi，内存使用率:68%；
cn-beijing.172.17.106.97，CPU核心数:230m，CPU使用率:9%，内存容量:14571Mi，内存使用率:86%；
cn-beijing.172.17.106.98，CPU核心数:1549m，CPU使用率:26%，内存容量:22547Mi，内存使用率:75%；
向预设网络模型描述输入的训练模板的数据结构为：
attributes=[
Text(
id=“name”,
description=“节点名”
），Text(
id=“cpu_cores”,
description=“节点cpu消耗”
），Text(
id=“cpu_bf”,
description=“cpu消耗百分比”
），Text(
id=“memory_bytes”,
description=“节点内存消耗”
），Text(
id=“memory_bf”,
description=“节点内存消耗百分比”
）
]
运维场景信息处理模型处理的结果数据为：
[{“name”:“cn-beijing.172.17.186.96”,“cpu_cores”:“291m”,“cpu_bf”:“3%”,“memory_bytes”:“24251Mi”,“memory_bf”:“88%”},
[{“name”:“cn-beijing.172.17.186.97”,“cpu_cores”:“630m”,“cpu_bf”:“8%”,“memory_bytes”:“15571Mi”,“memory_bf”:“56%”},
[{“name”:“cn-beijing.172.17.186.98”,“cpu_cores”:“1249m”,“cpu_bf”:“16%”,“memory_bytes”:“23547Mi”,“memory_bf”:“85%”},
])
一种可实现的实例中，如用词输入的运维场景信息处理请求为：请输出节点N的运维数据报告，则该运维场景信息处理模型对该请求进行解析后，可以按照上述模板进行匹配后，以文本形式输出节点N的信息，其中，节点N为上述实施例中的任一节点。
本发明的一可选实施例中，步骤122包括：
步骤1221、对所述运维场景训练数据进行数据增强，得到多样性的运维场景训练数据；
数据增强通过应用各种数据变换和扩充技术，如旋转、翻转、裁剪、缩放和颜色变换等，从有限的样本中生成更多的训练样本。数据增强可以增加数据的多样性，帮助预设网络模型更好地泛化。具体实施时，可以通过较小的几何变换如翻转、平移、旋转或添加噪声等，或者通过色彩变换如改变亮度、对比度、饱和度或通道混洗等方式对运维场景训练数据进行数据增强，以增加运维场景训练数据的多样性;
步骤1222、对多样性的所述运维场景训练数据进行微调，得到微调后的运维场景训练数据；
利用预设网络模型权重和特征提取器，在样本数据上进行微调。预设网络模型通常在大规模数据上进行了训练，具有较强的特征提取能力。通过微调，可以在小样本数据上利用预设网络模型的特征提取能力，提高模型的性能。微调的方式可以是对运维场景训练数据的某些参数进行细微调整，以增加运维场景训练数据的数量。
步骤1223、对微调后的所述运维场景训练数据进行元学习，得到泛化后的运维场景训练数据；
通过从少量任务中学习共享的模式和知识，来快速适应新任务。元学习可以用于小样本学习，通过在少量样本上训练模型，使其能够在新任务上进行快速学习和泛化。具体实施时，可以根据运维场景信息处理模型的评估指标（如模型预测的精确度）学习一种映射关系函数（如排序），基于新任务的表示，找到对应的最优模型参数；学习任务层面的知识，而不仅仅是任务中的具体内容，如任务的分布、不同任务的特征表示；学习一个基模型，这个基模型的参数是基于以往多种任务的各个特定模型而得到的。
元学习的训练数据集包括了支持集和查询集，利用训练数据集进行两个阶段的训练：在内层阶段，使用支持集来更新参数，得到特定任务的参数；在外层阶段，对查询集中的输入进行预测，并得到目标损失函数。对于每个任务，在支持集中计算各自的均值和方差，这个统计量共用于支持集和查询集；在元训练阶段和元测试阶段，是分别根据训练集中的支持集和测试集中的查询集得到各阶段的标准化统计量。
步骤1224、对泛化后的所述运维场景训练数据进行合成处理，得到运维场景特征数据。
使用生成模型，如生成对抗网络或变分自编码器，从少量样本中学习生成更多的合成样本。生成模型可以在小样本数据上生成更多样本，从而增加训练数据的数量。具体实施时，可以采用如下步骤从运维场景训练数据中生成更多的训练数据：
步骤一、随机生成一组潜在向量，并使用生成器生成一组与真实的运维场景训练数据相似的虚假训练数据；
步骤二、将一组真实的运维场景训练数据和一组虚假训练数据作为输入，训练判别器；
步骤三、使用生成器生成一组虚假训练数据，并训练判别器；
重复步骤二和步骤三，直至生成器生成的虚假训练数据与真实的运维场景训练数据的分布相似。
从判别器D的角度看，应该对真实的运维场景训练数据的判断D(x)增加，虚假训练数据G（z）减少，这样，D(G(Z))也小，证明判别器判断的准确性。
从生成器G的角度看，应该让D(x)减少，D(G(Z))增加，证明其生成的虚假训练数据与真实的运维场景训练数据的分布相似。
判别器和生成器的对抗过程可以通过如下公式表现出来：
，
其中，是损失函数，date是真实数据，是真实数据的 分布，z是噪音（输入数据），x是真实的运维场景训练数据，是原始噪音的分布，表示判别器对于真实的运维场景训练数据的判断结果，表示判别器对于虚假训练数据的判断结果。
损失函数表示真实的输出值与期待得到的输出值的差异。
在具体实施时，由于数据收集成本高昂或数据稀缺，可能无法获得大规模的训练数据。在这种情况下，可以采用上述预处理方式对运维场景训练数据进行预处理，以增加样本数量和多样性的方式获得更多样本数据。使训练得到的运维场景信息处理模型更加智能和符合需求。
本发明的一可选实施例中，步骤123，包括：
步骤1231、将所述运维场景特征数据进行关键字提取，得到训练关键字；
步骤1232、将所述训练关键字与训练模板库中的训练模板进行匹配，确定目标训练模板；
步骤1233、将预设网络模型的输出，按照所述目标训练模板的格式进行输出，得到运维场景信息处理模型。
进行关键字提取时，可以将运维场景特征数据首先输入训练好的关键字提取模型，得到关键字，再将关键字与训练模板库中的训练模板进行匹配，确定目标训练模板，可以减少需要处理的数据量，提高工作效率；或者将词语作为节点，词语之间的共现关系作为边，通过计算节点的重要性，可以识别出关键字；也可以将运维场景特征数据中出现频率高的词认为是关键字。运维场景特征数据中可能包含有诸多无用、繁杂、与运维场景无关的信息，为了屏蔽这些无用信息对运维场景信息处理结果的影响，首先对运维场景特征数据进行关键字提取，再将关键字与训练模板库中的训练模板进行匹配，确定目标训练模板，将预设网络模型的输出，按照所述目标训练模板的格式进行输出，得到的运维场景信息处理模型更加符合运维场景的需求，而且有利于提高用户体验。
具体实施时，可以采用如下公式提取关键字：
某个字/词在运维场景特征数据中的出现次数=某个字/词在运维场景特征数据中的出现次数/运维场景特征数据的总词数；
逆文档频率=log(运维场景信息处理模型语料库的文档总数/(包含该字/词的文档数+1))；如果一个字/词越常见，则分母就越大，逆文档频率就越接近于零。log表示对得到的值取对数。
关键值=某个字/词在运维场景特征数据中的出现次数X逆文档频率；
根据计算出的关键值对多个字/词按降序排序，取前n个词作为关键字/词，n可以根据需求预先设置。
本发明的一可选实施例中，步骤12，还包括：
步骤124、对所述运维场景信息处理请求进行关键字提取，得到运维关键字；
步骤125、将所述运维关键字输入训练好的运维场景信息处理模型进行处理，得到运维场景信息处理结果。
关键字提取的过程可以如运维场景特征数据进行关键字提取的过程，此处不再赘述。
本发明的一可选实施例中，步骤13，包括：
对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案。
具体可以是，对所述运维场景信息处理结果，按照预设自然语言的预设格式进行转换处理，得到文本格式的运维处理方案。
用户需要得到的是方便理解的自然语言，而模型输出的运维场景信息处理结果可能是机器语言，以上述中运维场景信息处理模型处理的结果数据为例，模型实际输出的结果为：
{'top_nodes':[{'name':'cn-beijing.172.17.106.196','cpu_cores':'191m','cpu_bf':'5%','memory_bytes':'24351Mi','memory_bf':'68%'},
{'name':'cn-beijing.172.17.106.197','cpu_cores':'230m','cpu_bf':'9%','memory_bytes':'14571Mi','memory_bf':'86%'},
{'name':'cn-beijing.172.17.106.198','cpu_cores':'1549m','cpu_bf':'26%','memory_bytes':'22547Mi','memory_bf':'75%'},
{'name':'cn-beijing.172.17.106.205','cpu_cores':'397m','cpu_bf':'6%','memory_bytes':'13604Mi','memory_bf':'68%'},
{'name':'cn-beijing.172.17.106.208','cpu_cores':'351m','cpu_bf':'1%','memory_bytes':'14887Mi','memory_bf':'42%'}]}
为了使用户能够直观、方便理解的看到想要的结果，需要将上述机器语言转换为人们便于理解的自然语言，即需要对运维场景信息处理结果进行解析，具体实施时，可以使用反汇编工具对机器语言进行解析。
本发明的一可选实施例中，所述处理方法还包括：
步骤14、输出所述运维处理方案。
具体实施时，可以将运维处理方案发送至用户终端进行显示，方便用户查看。
本发明的一可选实施例中，所述处理方法还包括：
步骤15、将所述运维场景信息处理结果和所述运维处理方案进行存储。
将每次对运维场景信息处理请求处理的运维场景信息处理结果和运维处理方案进行存储，以便于后续对运维场景信息处理模型的改进。
本发明实施例的适用于运维场景的自动化处理方法的一个具体实施例为：
首先，确定如下述的训练模板，下述中的{user_input}（用户输入）在运行前需要替换为要解析的数据，然后带有潜变量的语言模型在Output（输出）后添加解析后的结果，训练模板中的Input（输入）和Output是模型的训练数据，告诉模型需要怎么解析数据，它可以是多条组合，直到模型的输出结果满足要求为止。训练模板为：
您的目标是从用户输入中提取与下面描述的表单匹配的结构化信息。
提取信息时，请确保它与类型信息完全匹配。
不要添加任何未出现在下面显示的架构中的属性。
TypeScript
Top_nodes:Array<{//节点信息
name:string//节点名
cpu_cores:string//节点cpu消耗
cpu_bf:string//cpu消耗百分比
memory_bytes:string//节点内存消耗
memory_bf:string//节点内存消耗百分比
}>
请用Excel方言以CSV格式输出提取的信息。
请使用|作为分隔符。
不要添加任何澄清信息。
输出必须遵循上面的模式。
不要添加任何未出现在架构中的其他列。
Input:NAMECPU(cores)CPU%MEMORY(bytes)MEMORY%
Output:name|cpu_cores|cpu_bf|memory_bytes|memory_bf
cn-beijing.172.17.106.96|291m|3%|24251Mi|88%
cn-beijing.172.17.106.97|630m|8%|15571Mi|56%
cn-beijing.172.17.106.98|1249m|16%|23547Mi|85%
Input:{user_input}
Output:
其次，使用如下训练数据进行动作命令提取训练：
Schema=Object(
id=“devops”,
description=(
“用户需要查看不同区域设备的运行情况，同时监控指定应用的运行情况和压力情况。”
“介绍用户命令反馈执行结果，形成报告”
），
Attributes=[
Text(
id=``regional``,
description=``运维区域包括线上环境，IDC机房和公司测试环境``，
examples=[],
many=True,
)
Text(
id=``action``,
description=``Actiontotakeoneof:`doprod_report`,`doidc_report`,`dotest_report`.``，
examples=[
（``显示生产环境报告``，``doprod_report``）,
（``显示IDC机房环境报告``，``doidc_report``）,
（``显示公司测试环境报告``，``dotest_report``）,
],
)，
],
Many=False,
)
提取关键字得到的命令为“用户需要查看生产环境报告及相关数据”：
chain=create_extraction_chain(llm,schema,encoder_or_encoder_class=``json``)
print(chain.predict_and_parse(text=``我想看看生产环境报告``)[``date``])
反馈的结果为json格式，内容为用于进行动作命令提取训练的训练数据触发的命令：
自动运维命令提取
{`devops`:{`action`:`doprod_report`}}
然后进行应用程序接口绑定注册：
实现动作指令关键字与实际API接口绑定，使用程序逻辑处理`doprod_report`,`doidc_report`,`dotest_report`等这几个关键字后面需要调用的函数，并返回处理结果。
本实施例的运维场景信息的处理方法在具体应用时，可以通过某个软件开放平台如钉钉，接入机器人消息；使用开发者权限在软件开放平台注册一个机器人应用，用于与前端用户交互。发布后，可在终端如手机终端搜索到，打开后与正常的聊天界面相似。聊天页面只负责接收和显示消息，消息的具体处理动作，由后端完成。
后端主要包括：
消息调度处理模块，接收和发送钉钉消息模块，实现软件开放平台回调处理接口，并注册回调域名，如https://devops.yaodouwang.com/ddcall_back，实现的功能为：收到外部消息，解析为内部消息数据结构；收到内部消息，向消息推送接口推送消息。
通过运维场景信息处理模型做动作关键字提取模块；内部消息队列接收到消息，提取消息文本；调用运维场景信息处理模型提取信息和动作、以及动作关键字，对动作进行处理模块；提示词转换模块，通过运维场景信息处理模型做问题总结生成应答，处理结果消息推送。
后台自动运维监控处理流程包括：
信息定时采集监控模块，用于定时执行监控命令，获取监控信息，推送到内部消息接受模块。如：执行获取集群中所有节点的资源使用情况的命令，查看节点计算机集群各物理节点资源使用情况命令。
消息调度处理模块，用于利用不同命令信息解析调度模块，进行内部逻辑处理；如，获取集群中所有节点的资源使用情况的命令，触发训练数据中的训练脚本，用来把命令执行的结果日志，转换为程序能识别的json格式；
通过运维场景信息处理模型做信息提取模块，用于接收多个训练数据，和需要解析的日志，最终按照提示，解析成标准格式文本。
命令日志处理模块，用于通过命令关键字和参数，解析参数文本，分析问题信息，并执行对应操作。如：执行获取集群中所有节点的资源使用情况的命令，获取监控信息，信息和处理，如果某个节点的内存使用率超过80%，则停止向该节点调度pod任务，即设置节点为不可调度节点，然后把集群中使用率最低的节点，设置为可调度节点；如果不可调度节点的内存，在设置后持续增高，并超过90%，则开始驱离该节点上一个虚拟机，并发出报警。
处理方法和结果处理模块，用于记忆每次处理方法和结果，添加到内存共享缓存里。
以上步骤，由定时任务触发和管理，如，xxjob（分布式任务调度平台）或linuxcron（一种定时任务管理工具）等。
如图2，本发明实施例提供一种运维场景信息的处理装置100，包括：
接收模块101，用于接收运维场景信息处理请求；所述运维场景信息处理请求包括运维场景中节点的运维数据；
处理模块102，用于将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果；所述运维场景信息处理模型是利用运维场景数据以及训练模板对预设网络模型进行训练得到的；
其中，维场景中节点的运维数据包括：运维场景中节点的名称、CPU内核类型、CPU消耗率、内存大小、内存消耗率等中的至少一项；训练模板包括：预设数据结构的节点信息、模型输出信息和模型输入信息中的至少一项；
确定模块103，用于根据所述运维场景信息处理结果，确定运维处理方案。
本发明的上述方案，利用训练好的运维场景信息处理模型处理用户的运维场景信息处理请求，可以实现对运维问题的处理，具有及时性，有利于运维场景的自动化、节约人工成本和提高工作效率。
本发明的一可选实施例中，接收的运维场景信息处理请求还可以包括实时更新的运维场景信息数据，实时更新的运维场景信息数据由用户提供；
将该实时更新的场景运维信息数据输入运维场景信息处理模型再次进行训练，得到符合用户需求的实时的运维场景信息处理模型，使得实时的运维场景信息处理模型能够处理用户需要的运维场景中的新数据；和/或
运维场景信息处理请求可以包括用户提供的一些问题的最新答案，将这些最新答案输入训练好的运维场景信息处理模型，能够得到正确答案。
接收多种类型的运维场景信息处理请求，有利于提高用户体验，符合用户需求，增强本实施例的装置的适应性。
本发明的一可选实施例中，所述运维场景信息处理模型的训练过程包括：
获取运维场景训练数据和训练模板；
对所述运维场景训练数据进行预处理，得到运维场景特征数据；
将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型。
本发明的一可选实施例中，对所述运维场景训练数据进行预处理，得到运维场景特征数据，包括：
对所述运维场景训练数据进行数据增强，得到多样性的运维场景训练数据；
对多样性的所述运维场景训练数据进行微调，得到微调后的运维场景训练数据；
对微调后的所述运维场景训练数据进行元学习，得到泛化后的运维场景训练数据；
对泛化后的所述运维场景训练数据进行合成处理，得到运维场景特征数据。
本发明的一可选实施例中，将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型，包括：
将所述运维场景特征数据进行关键字提取，得到训练关键字；
将所述训练关键字与训练模板库中的训练模板进行匹配，确定目标训练模板；
将预设网络模型的输出，按照所述目标训练模板的格式进行输出，得到运维场景信息处理模型。
本发明的一可选实施例中，将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果，包括：
对所述运维场景信息处理请求进行关键字提取，得到运维关键字；
将所述运维关键字输入训练好的运维场景信息处理模型进行处理，得到运维场景信息处理结果。
本发明的一可选实施例中，根据所述运维场景信息处理结果，确定运维处理方案，包括：
对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案。
具体的，对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案，包括：
对所述运维场景信息处理结果，按照预设自然语言的预设格式进行转换处理，得到文本格式的运维处理方案。
本发明的一可选实施例中，所述处理装置还包括：
输出模块104，用于输出所述运维处理方案。
具体实施时，可以将运维处理方案发送至用户终端进行显示，方便用户查看。
本发明的一可选实施例中，所述处理装置还包括：
存储模块105，用于将所述运维场景信息处理结果和所述运维处理方案进行存储。
将每次对运维场景信息处理请求处理的运维场景信息处理结果和运维处理方案进行存储，以便于后续对运维场景信息处理模型的改进。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种运维场景信息的处理方法，其特征在于，包括：
接收运维场景信息处理请求；所述运维场景信息处理请求包括运维场景中节点的运维数据；所述运维场景中节点的运维数据包括：运维场景中节点的名称、CPU内核类型、CPU消耗率、内存大小、内存消耗率中的至少一项；
将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果；所述运维场景信息处理模型是利用运维场景数据以及训练模板对预设网络模型进行训练得到的；所述训练模板包括：预设数据结构的节点信息、模型输出信息和模型输入信息中的至少一项；
根据所述运维场景信息处理结果，确定运维处理方案；
输出所述运维处理方案；
将所述运维场景信息处理结果和所述运维处理方案进行存储；
其中，所述运维场景信息处理模型的训练过程包括：
获取运维场景训练数据和训练模板；
对所述运维场景训练数据进行预处理，得到运维场景特征数据；
将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型；
其中，对所述运维场景训练数据进行预处理，得到运维场景特征数据，包括：
对所述运维场景训练数据进行数据增强，得到多样性的运维场景训练数据；
对多样性的所述运维场景训练数据进行微调，得到微调后的运维场景训练数据；
对微调后的所述运维场景训练数据进行元学习，得到泛化后的运维场景训练数据；
对泛化后的所述运维场景训练数据进行合成处理，得到运维场景特征数据；
其中，将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型，包括：
将所述运维场景特征数据进行关键字提取，得到训练关键字；
将所述训练关键字与训练模板库中的训练模板进行匹配，确定目标训练模板；
将预设网络模型的输出，按照所述目标训练模板的格式进行输出，得到运维场景信息处理模型；
其中，将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果，包括：
对所述运维场景信息处理请求进行关键字提取，得到运维关键字；
将所述运维关键字输入训练好的运维场景信息处理模型进行处理，得到运维场景信息处理结果；
其中，根据所述运维场景信息处理结果，确定运维处理方案，包括：
对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案；
其中，对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案，包括：
对所述运维场景信息处理结果，按照预设自然语言的预设格式进行转换处理，得到文本格式的运维处理方案。
2.一种运维场景信息的处理装置，其特征在于，包括：
接收模块，用于接收运维场景信息处理请求；所述运维场景信息处理请求包括运维场景中节点的运维数据；所述运维场景中节点的运维数据包括：运维场景中节点的名称、CPU内核类型、CPU消耗率、内存大小、内存消耗率中的至少一项；
处理模块，用于将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果；所述运维场景信息处理模型是利用运维场景数据以及训练模板对预设网络模型进行训练得到的；所述训练模板包括：预设数据结构的节点信息、模型输出信息和模型输入信息中的至少一项；
确定模块，用于根据所述运维场景信息处理结果，确定运维处理方案；
输出模块，用于输出所述运维处理方案；
存储模块，用于将所述运维场景信息处理结果和所述运维处理方案进行存储；
其中，所述运维场景信息处理模型的训练过程包括：
获取运维场景训练数据和训练模板；
对所述运维场景训练数据进行预处理，得到运维场景特征数据；
将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型；
其中，对所述运维场景训练数据进行预处理，得到运维场景特征数据，包括：
对所述运维场景训练数据进行数据增强，得到多样性的运维场景训练数据；
对多样性的所述运维场景训练数据进行微调，得到微调后的运维场景训练数据；
对微调后的所述运维场景训练数据进行元学习，得到泛化后的运维场景训练数据；
对泛化后的所述运维场景训练数据进行合成处理，得到运维场景特征数据；
其中，将所述运维场景特征数据和训练模板，输入预设网络模型进行训练，得到运维场景信息处理模型，包括：
将所述运维场景特征数据进行关键字提取，得到训练关键字；
将所述训练关键字与训练模板库中的训练模板进行匹配，确定目标训练模板；
将预设网络模型的输出，按照所述目标训练模板的格式进行输出，得到运维场景信息处理模型；
其中，将所述运维场景信息处理请求，输入训练好的运维场景信息处理模型，得到运维场景信息处理结果，包括：
对所述运维场景信息处理请求进行关键字提取，得到运维关键字；
将所述运维关键字输入训练好的运维场景信息处理模型进行处理，得到运维场景信息处理结果；
其中，根据所述运维场景信息处理结果，确定运维处理方案，包括：
对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案；
其中，对所述运维场景信息处理结果进行解析，得到文本格式的运维处理方案，包括：
对所述运维场景信息处理结果，按照预设自然语言的预设格式进行转换处理，得到文本格式的运维处理方案。
3.一种计算设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1所述的方法。
4.一种计算机可读存储介质，其特征在于，其上存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1所述的方法。
CN202311715344.6A 2023-12-14 2023-12-14 一种运维场景信息的处理方法及装置 Active CN117408679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311715344.6A CN117408679B (zh) 2023-12-14 2023-12-14 一种运维场景信息的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311715344.6A CN117408679B (zh) 2023-12-14 2023-12-14 一种运维场景信息的处理方法及装置

Publications (2)

Publication Number Publication Date
CN117408679A CN117408679A (zh) 2024-01-16
CN117408679B true CN117408679B (zh) 2024-03-22

Family

ID=89500312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311715344.6A Active CN117408679B (zh) 2023-12-14 2023-12-14 一种运维场景信息的处理方法及装置

Country Status (1)

Country Link
CN (1) CN117408679B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401558A (zh) * 2020-06-05 2020-07-10 腾讯科技（深圳）有限公司 数据处理模型训练方法、数据处理方法、装置、电子设备
CN111666978A (zh) * 2020-05-11 2020-09-15 深圳供电局有限公司 一种it系统运维大数据的智能故障预警系统
CN112329827A (zh) * 2020-10-26 2021-02-05 同济大学 一种基于元学习的增量小样本目标检测方法
CN113780432A (zh) * 2021-09-15 2021-12-10 中国人民解放军国防大学联合作战学院 基于增强学习的网络信息系统运维异常智能检测方法
CN114492624A (zh) * 2022-01-21 2022-05-13 中国电子科技集团公司第三十六研究所 一种基于元学习的小样本学习方法、装置和电子设备
CN115357450A (zh) * 2022-07-29 2022-11-18 鸬鹚科技(深圳)有限公司 基于人工智能的节点维护方法、装置、计算机设备及介质
CN115686916A (zh) * 2022-11-04 2023-02-03 中国工商银行股份有限公司 智能运维方法及装置
CN116167008A (zh) * 2023-03-03 2023-05-26 西华大学 基于数据增强的物联感知云数据中心异常定位方法
CN116561614A (zh) * 2022-10-12 2023-08-08 北京临近空间飞行器系统工程研究所 一种基于元学习的小样本数据处理系统
WO2023227141A1 (zh) * 2022-05-25 2023-11-30 清华大学 基于目标-属性-关系的对抗场景语义分析方法以及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666978A (zh) * 2020-05-11 2020-09-15 深圳供电局有限公司 一种it系统运维大数据的智能故障预警系统
CN111401558A (zh) * 2020-06-05 2020-07-10 腾讯科技（深圳）有限公司 数据处理模型训练方法、数据处理方法、装置、电子设备
CN112329827A (zh) * 2020-10-26 2021-02-05 同济大学 一种基于元学习的增量小样本目标检测方法
CN113780432A (zh) * 2021-09-15 2021-12-10 中国人民解放军国防大学联合作战学院 基于增强学习的网络信息系统运维异常智能检测方法
CN114492624A (zh) * 2022-01-21 2022-05-13 中国电子科技集团公司第三十六研究所 一种基于元学习的小样本学习方法、装置和电子设备
WO2023227141A1 (zh) * 2022-05-25 2023-11-30 清华大学 基于目标-属性-关系的对抗场景语义分析方法以及装置
CN115357450A (zh) * 2022-07-29 2022-11-18 鸬鹚科技(深圳)有限公司 基于人工智能的节点维护方法、装置、计算机设备及介质
CN116561614A (zh) * 2022-10-12 2023-08-08 北京临近空间飞行器系统工程研究所 一种基于元学习的小样本数据处理系统
CN115686916A (zh) * 2022-11-04 2023-02-03 中国工商银行股份有限公司 智能运维方法及装置
CN116167008A (zh) * 2023-03-03 2023-05-26 西华大学 基于数据增强的物联感知云数据中心异常定位方法

Also Published As

Publication number Publication date
CN117408679A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
CN111444236B (zh) 一种基于大数据的移动终端用户画像构建方法及系统
CN110795913B (zh) 一种文本编码方法、装置、存储介质及终端
CN108984155B (zh) 数据处理流程设定方法和装置
KR20200007969A (ko) 정보 처리 방법, 단말기, 및 컴퓨터 저장 매체
CN111694940A (zh) 一种用户报告的生成方法及终端设备
CN111694937A (zh) 基于人工智能的面试方法、装置、计算机设备及存储介质
CN105653620B (zh) 智能问答系统的日志分析方法及装置
CN112749266A (zh) 一种工业问答方法、装置、系统、设备及存储介质
CN115878003A (zh) 一种基于Transformer的RPA网页操作自动化方法及系统
CN112199512A (zh) 面向科技服务的事理图谱构建方法、装置、设备及存储介质
CN109284088B (zh) 一种信令大数据处理方法及电子设备
CN111046059B (zh) 基于分布式数据库集群的低效sql语句分析方法及系统
CN113297251A (zh) 多源数据检索方法、装置、设备及存储介质
CN112966076A (zh) 智能问答问题的生成方法、装置、计算机设备及存储介质
CN112200465A (zh) 基于多媒体信息智能分析的电力ai方法及系统
CN117408679B (zh) 一种运维场景信息的处理方法及装置
CN116680401A (zh) 文档处理方法、文档处理装置、设备及存储介质
CN116737887A (zh) 一种基于服务事项要素的智能问答方法
CN116151235A (zh) 文章生成方法、文章生成模型训练方法及相关设备
CN115269862A (zh) 一种基于知识图谱的电力问答与可视化系统
CN114969347A (zh) 缺陷查重实现方法、装置、终端设备及存储介质
CN113254612A (zh) 知识问答处理方法、装置、设备及存储介质
CN115617790A (zh) 数据仓库创建方法、电子设备及存储介质
CN112069835A (zh) 基于语义分析的计算机流程分析挖掘系统及方法
CN117540004B (zh) 基于知识图谱和用户行为的工业领域智能问答方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant