CN117610569A - 运维工单质检方法、装置、设备及介质 - Google Patents

运维工单质检方法、装置、设备及介质 Download PDF

Info

Publication number
CN117610569A
CN117610569A CN202311586942.8A CN202311586942A CN117610569A CN 117610569 A CN117610569 A CN 117610569A CN 202311586942 A CN202311586942 A CN 202311586942A CN 117610569 A CN117610569 A CN 117610569A
Authority
CN
China
Prior art keywords
work order
entity
maintenance work
information
quality inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311586942.8A
Other languages
English (en)
Inventor
王朝
常谦
周倩兰
张晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Original Assignee
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Technology Innovation Center, China Telecom Corp Ltd filed Critical China Telecom Technology Innovation Center
Priority to CN202311586942.8A priority Critical patent/CN117610569A/zh
Publication of CN117610569A publication Critical patent/CN117610569A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种运维工单质检方法、装置、设备及介质，涉及大数据技术领域，该方法包括：将提示信息和运维工单输入至训练好的大语言模型中，输出运维工单中多种实体类型的实体信息的集合，提示信息用于提示训练好的大语言模型从运维工单的文本序列信息中提取出多种实体类型的实体信息，将实体信息的集合与运维工单进行特征拼接，得到工单拼接特征，将工单拼接特征输入至训练好的预训练语言模型中处理，输出高级语义特征表示张量，将高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数，可以智能化对运维工单进行质检，提高质检效率，缓解质检员的人力需求和成本。

Description

运维工单质检方法、装置、设备及介质
技术领域
本公开涉及大数据技术领域，尤其涉及一种运维工单质检方法、装置、设备及介质。
背景技术
随着通信技术的发展，驱动着运营商网络规模不断扩大，特别是5G通信的普及和应用，使网络复杂程度不断提高。在业务逐渐积累的过程中，网络运维工单数量持续增加，严格把控工单质检流程对于运营商的网络优化有至关重要的意义。
然而，在相关技术中，当前网络运维工作中，针对工单质检主要采用人工审核模式，对人员的从业经验要求较高，并且质检效率低。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种运维工单质检方法、装置、设备及介质，至少在一定程度上克服相关技术中人工审核依赖从业经验，并且质检效率低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
第一方面，本公开中的实施例提供一种运维工单质检方法，所述方法包括：
将提示信息和运维工单输入至训练好的大语言模型中，得到所述运维工单中多种实体类型的实体信息的集合；所述提示信息用于提示训练好的所述大语言模型从所述运维工单的文本序列信息中提取出多种实体类型的实体信息；
将所述实体信息的集合与所述运维工单进行特征拼接，得到工单拼接特征；
将所述工单拼接特征输入至训练好的预训练语言模型中处理，得到高级语义特征表示张量；
将所述高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数。
第二方面，本公开中的实施例提供一种数据处理方法，所述方法包括：
将提示信息和待处理数据输入至大语言模型中，得到辅助参考信息；其中，所述大语言模型根据所述提示信息，从所述待处理数据中提取指向性的辅助参考信息，以使所述大语言模型理解所述待处理数据中的语义信息；
将所述辅助参考信息与所述待处理数据进行特征拼接，得到待处理拼接特征；
将所述待处理拼接特征输入至待执行任务中，得到所述任务执行结果。
第三方面，本公开中的实施例提供一种运维工单质检装置，包括：
实体信息获取单元，用于将提示信息和运维工单输入至训练好的大语言模型中，得到所述运维工单中多种实体类型的实体信息的集合；所述提示信息用于提示训练好的所述大语言模型从所述运维工单的文本序列信息中提取出多种实体类型的实体信息；
拼接单元，用于将所述实体信息的集合与所述运维工单进行特征拼接，得到工单拼接特征；
处理单元，用于将所述工单拼接特征输入至训练好的预训练语言模型中处理，得到高级语义特征表示张量；
质检单元，用于将所述高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数。
第四方面，本公开中的实施例提供一种数据处理装置，包括：
辅助信息获取单元，用于将提示信息和待处理数据输入至大语言模型中，得到辅助参考信息；其中，所述大语言模型根据所述提示信息，从所述待处理数据中提取指向性的辅助参考信息，以使所述大语言模型理解所述待处理数据中的语义信息；
特征拼接单元，用于将所述辅助参考信息与所述待处理数据进行特征拼接，得到待处理拼接特征；
执行单元，用于将所述待处理拼接特征输入至待执行任务中，得到所述任务执行结果。
第五方面，本公开实施例提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的第一方面中所述的方法。
第六方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的第一方面中所述的方法。
第七方面，根据本公开的另一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一项所述的方法。
本公开的实施例所提供的一种运维工单质检方法、装置、设备及介质，该方法包括：将提示信息和运维工单输入至训练好的大语言模型中，输出运维工单中多种实体类型的实体信息的集合，提示信息用于提示训练好的大语言模型从运维工单的文本序列信息中提取出多种实体类型的实体信息，将实体信息的集合与运维工单进行特征拼接，得到工单拼接特征，将工单拼接特征输入至训练好的预训练语言模型中处理，输出高级语义特征表示张量，将高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数。通过带有指向性信息的提示信息，辅助大语言模型对运维工单的信息进行挖掘，得到实体信息的集合，提高知识获取效率；实体信息的集合拼接运维工单输入到预训练语言模型中，输入的特征细粒度更高，使得预训练语言模型更精准的确定运维工单中实体之间的逻辑关系，再通过质检模型预测质检分数，不仅整个过程是自动完成，质检效率高，输出的质检分数的准确性高。对于网络的预测性维护，能够提前发现潜在的故障和性能问题，在明显改善运维效率的同时，有效缓解质检员的人力需求和成本，有助于运营商的降本增效。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种运维工单质检方法的流程示意图；
图2示出本公开实施例中一种运维工单的示意图；
图3示出本公开实施例中一种得到工单拼接特征的流程示意图；
图4示出本公开实施例中一种质检模型训练过程的流程示意图；
图5示出本公开实施例中一种得到编码后真实质检分数的流程示意图；
图6示出本公开实施例中一种运维工单智能化质检的建模流程的示意图；
图7示出本公开实施例中一种数据处理方法的流程示意图；
图8示出本公开实施例中一种运维工单质检装置的结构示意图；
图9示出本公开实施例中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
名词解释：
预训练语言模型(Pre-trained Language Model，PLM)：是一种深度学习模型，它使用大量语料进行无监督预训练，然后可以用于各种下游任务，如文本分类、命名实体识别、情感分析等。目前，流行的预训练语言模型包括多种、例如：双向编码器表示从转换器(Bidirectional Encoder Representations from Transformers，BERT)、生成式预训练转换器(Generative Pre-trained Transformer，GPT)和健壮优化的BERT预训练(RobustlyOptimized BERT Pretraining Approach，RoBERTa)等。
大语言模型(Large Language Model，LLM)：人工智能模型，旨在理解和生成人类语言。可达到数十亿或万亿级参数规模，在训练过程中学习了大量的语言知识，因此具有高度的灵活性和可扩展性，推理能力十分出色。目前，流行的大语言模型包括：聊天生成式预训练转换器(Chat Generative Pre-trained Transformer，chat-GPT)、聊天生成式语言模型(Chat Generative Language Model，chat-GLM)、维多利亚圣诞独角兽积累网络(Victorian Christmas Unicorn Accumulation Network，Vicuna)等。
由于在相关技术中，当前网络运维工作中，针对工单质检主要采用人工审核模式，对人员的从业经验要求较高，并且质检效率低。
基于此，本申请提供了一种运维工单质检方法，该方法包括：将提示信息和运维工单输入至训练好的大语言模型中，输出运维工单中多种实体类型的实体信息的集合，提示信息用于提示训练好的大语言模型从运维工单的文本序列信息中提取出多种实体类型的实体信息，将实体信息的集合与运维工单进行特征拼接，得到工单拼接特征，将工单拼接特征输入至训练好的预训练语言模型中处理，输出高级语义特征表示张量，将高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数。通过带有指向性信息的提示信息，辅助大语言模型对运维工单的信息进行挖掘，得到实体信息的集合，提高知识获取效率；实体信息的集合拼接运维工单输入到预训练语言模型中，输入的特征细粒度更高，使得预训练语言模型更精准的确定运维工单中实体之间的逻辑关系，再通过质检模型预测质检分数，不仅整个过程是自动完成，质检效率高，输出的质检分数的准确性高。
下面结合附图及实施例对本示例实施方式进行详细说明。
首先，本公开实施例中提供了一种运维工单质检方法，该方法可以由任意具备计算处理能力的电子设备执行，下述过程中以电子设备为终端设备为例。
图1示出本公开实施例中一种运维工单质检方法的流程图，如图1所示，本公开实施例中提供的运维工单质检方法包括如下步骤：
S102：将提示信息和运维工单输入至训练好的大语言模型中，得到运维工单中多种实体类型的实体信息的集合，提示信息用于提示训练好的大语言模型从运维工单的文本序列信息中提取出多种实体类型的实体信息。
其中，实体在现实世界中存在的具体事物，可以是人、地点、物品、组织等等。在计算机科学和自然语言处理领域中，实体通常指代文本中出现的具体名词或名词短语，例如人名、地名、机构名等。实体信息的识别是从文本中自动识别出具有特定意义的实体，并对其进行分类和标注。
在一种可能的实施例中，本申请中训练好的大语言模型可以使用常规的已经训练好的大语言模型，即直接将一些大语言模型拿过来进行使用，例如常规的chat-GPT等，无需进行额外的训练，可以提高效率。
若某些垂直领域中的运维工单数量大，但是常规的chat-GPT对于专业领域中的技术语言又无法识别，那么可以针对垂直领域进行训练，针对不同方向技术产生的运维工单，训练对应领域的大语言模型，借助大语言模型的推理能力生成实体信息的集合。
其中，运维工单的文本序列信息可以为：X＝[x1,x2,…,xn]；预设格式的实体信息包括：实体描述、实体类型，和以下信息的至少一种或多种：实体概率、实体起始位置索引和结束位置索引。
在一种可能的实施例中，针对得到的实体概率、实体起始位置索引和结束位置索引，进行标准化处理，可以得到标准化之后数值格式的实体概率、实体起始位置索引和结束位置索引，具体数值格式的内容可以按照需求保留小数点后的位数。
在一种可能的实施例中，以目标格式的实体信息为例，其中包括：实体描述、实体类型、实体概率、实体起始位置索引和结束位置索引。
可以使用元组表示成的形式，其中，/>表示第i个实体信息的文字描述，即实体描述；/>表示第i个实体信息的类别标签，即实体类型；/>表示第i个实体信息的概率值，即实体概率，si和ei则代表实体在文本序列中的起始位置索引和结束位置索引。
其中，实体起始位置索引和实体结束位置索引可以用于表征对实体信息进行索引时，检索到实体信息的起始位置和结束位置，经过标准化处理之后的实体起始位置索引和实体结束位置索引是数值化的，可以用于表征实体信息在整个工单中的位置信息编码。
实体概率，实体起始位置索引，实体结束位置索引可以用数值的形式表示。
在一种可能的实施例中，若希望大语言模型输出目标格式的实体信息的集合，则可以将输入到大语言模型中的提示信息设置为：“请在以下出原始运维工单的对话内容中提取出故障现象描述、故障原因定位、故障解决方案的实体信息，并按照‘(实体描述，实体类型，实体概率，实体起始位置索引，实体结束位置索引索引)’的模式，格式化输出原始运维工单文本中的实体信息”。
故障现象描述、故障原因定位、故障解决方案是实体类型。针对每一种实体类型，输入一个对应的实体信息，上述内容中一种希望大语言模型输出三种实体类型，则构成一个具备三种实体类型的实体信息的集合。故障现象描述对应的具体内容就是实体的具体描述内容，即实体描述。
示例性地，针对如图2所示的运维工单，将运维工单中的内容，以及上述实施例中的提示信息输入到大语言模型中，具体输出的实体信息的集合可以为：
(波分系统中断告警，故障现象描述，0.98213，0，0.06896)；(设备系统盘故障，故障原因定位，0.97962，0.36207，0.42241)；(更换系统盘，故障解决方案，0.93171，0.45690，0.50000)；(更换系统盘，故障解决方案，0.94692，0.62931，0.67241)。
上述实体概率、实体起始位置索引和实体结束位置索引已经经过标准化处理，且具体数值保留五位小数。
由于图2中出现了两次更换系统盘的文本内容，所以，在大语言模型处理的过程中，两次出现的内容均作为故障解决方案的实体描述进行输出，但是其后面的实体概率，以及位置索引是不同的。
在一种可能的实施例中，若针对运维工单中还需要输出其他内容，例如，输出其他实体类型的实体信息，或者输出其他内容的实体信息，则可以在提示信息中添加引导性内容，使得大语言模型理解提示信息的内容，并对运维工单进行处理，引导大语言模型在运维工单对应的文本序列信息的语境中获取实体信息。
相关技术中，传统的知识增强手段通常是针对于特定任务的模式，使用额外的逻辑推理模型或知识检索手段从各种数据源集成外部知识，而本申请通过大语言模型，对结合了提示信息的运维工单进行处理，从原始的运维工单中获取实体信息，用来对后续的处理过程进行辅助，本质是根据提示信息中具有导向性的内容来辅助对原始文本的信息挖掘。相比于现有技术，本申请的优点在于，无需对算法进行监督训练，从而根除了对大量标注数据的前置依赖性；此外，无需构建外部知识库，更不涉及知识库更新以及跨领域知识融合问题，避免了额外的人力和时间投入。直接借助大语言模型的下游推理能力实现运维工单的文本中实体信息的提取，显著提高知识获取效率。
S104：将实体信息的集合与运维工单进行特征拼接，得到工单拼接特征。
在一种可能的实施例中，实体信息的集合作为额外的领域知识，可以将实体信息的集合与运维工单进行特征拼接，虽然只是简单的拼接，但是由于实体信息的集合是从运维工单的文本中提取出来的，与先前语义增强技术涉及到的外部知识相比，实体信息的集合所包含的特征细粒度更高。
典型的外部知识，如词汇表、语法规则、上下文语义及事件等，经获取后通常以文本的形式存在，相比之下，实体信息中不光包含丰富的指向性文本，例如实体描述、实体类型和位置索引等，还有量化的数值先验，例如，标准化后的实体概率和位置索引等，使其具有更加完备的领域知识特征表达潜力。
在一种可能的实施例中，图3示出了一种得到工单拼接特征的流程图，如图3所示，包括以下步骤：
S302：为实体信息的集合中每种实体类型的实体信息添加标签，得到标记实体信息。
其中，可以选择任意一种标签进行标记。
S304：将标记实体信息与运维工单进行特征拼接，得到工单拼接特征。
其中，对于具体拼接的方式可以是串联拼接，实体信息与运维工单文本序列的特征拼接过程可表述为：
其中，表示工单拼接特征；X表示运维工单中的文本序列；H表示实体信息的集合；H1、Hi表示不同实体类型的实体信息；[EXT]表示一种特殊的token标签。
通过标签来标记实体信息，可以帮助语言模型更好地理解输入文本的结构和含义，提高模型性能。
在一种可能的实施例中，根据包括实体描述、实体类型、实体概率、实体起始位置索引和结束位置索引的目标格式的实体信息的集合，与运维工单进行特征拼接，得到工单拼接特征。
S106：将工单拼接特征输入至训练好的预训练语言模型中处理，输出高级语义特征表示张量。
在一种可能的实施例中，可以通过下述公式表示：
其中，Fh表示高级语义特征表示张量；表示工单拼接特征；PLM表示预训练语言模型。
在一种可能的实施例中，将工单拼接特征输入至训练好的预训练语言模型中，可以使得预训练语言模型根据目标格式的实体信息的集合，对运维工单进行处理，输出用于表征实体类型、实体描述、实体之间关联关系、以及实体所处区域的高级语义特征表示张量。
需要说明的是，本申请的实体信息中，除实体描述一项，实体信息中其余的类型语义、类型描述以及概率值均是重要的提示信息，可以对整个过程中对运维工单的质检提供明显的导向性提示，用来增加模型对输入的内容进行处理的准确性。
一般来说，不同实体之间会存在语义上的因果、转折、条件等逻辑关联关系，基于实体可以借助上下文语义更好的对这种关联关系进行挖掘，其中的实体概率值可以成为这种逻辑关联关系的度量，用来辅助量化实体间关系的不确定性程度。实体概率可以用于表征实体与运维工单中实体上下文之间的关联关系。通过实体概率，预训练语言模型可以明确实体和运维工单中实体上下文之间的关联关系，更好的理解语义。实体概率和实体关系有潜在正相关性。
此外，如本申请中的实体起始位置索引和结束位置索引，由于文本序列往往具有一定的长程依赖关系，实体的起始、结束位置索引也可以认为是一种显式的位置信息编码，以一种自然直观的形式强调了感兴趣区域(Region of Interest，ROI)，能够帮助模型去重冗余信息并理解数据的本质特征，模型的泛化能力随之得到进一步提升，同时也从空间角度上为高级语义特征提供了一定的可解释性。
示例性地，使用预训练语言模型对工单拼接特征进行处理，可以理解为对文本编码，在通过标签标记时，token向量嵌入维度可以设置为d＝768，token数量限制可以设置为n＝512，最终对(波分系统中断告警，故障现象描述，0.98213，0，0.06896)，(设备系统盘故障，故障原因定位，0.97962，0.36207，0.42241)，(更换系统盘，故障解决方案，0.93171，0.45690，0.50000)，(更换系统盘，故障解决方案，0.94692，0.62931，0.67241)等实体信息的集合进行一次编码，得到高级语义特征表示张量。
S108：将高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数。
在一种可能的实施例中，质检模型的结构可以为线性神经网络层、规范化处理层和非线性激活函数的组合。其中，质检模型可以使用多层感知机(Multilayer Perceptron，MLP)。
在一种可能的实施例中，根据训练好的质检模型中保存的多个运维工单样本的真实质检分数的平均值，对预测质检分数进行解码，得到运维工单的目标质检分数。
示例性地，可以对预测质检分数进行指数计算，即exp，并乘以多个运维工单样本的真实质检分数的平均值，得到目标质检分数。
示例性地，具体可以通过下述公式处理：
Spred-gt＝exp(Spred)·Smean
其中，Spred-gt表示解码后的目标质检分数；Spred表示预测质检分数；Smean表示多个运维工单样本的真实质检分数的平均值。
在一种可能的实施例中，可以将对与预测质检分数的解码过程整合到质检模型中，则质检模型的结构可以为线性神经网络层、规范化处理层、非线性激活函数和解码层。解码层主要用于对预测质检分数进行加密，得到目标质检分数。
示例性地，对于图2中的运维工单进行处理，最终的目标质检分数为96.12分，人工质检员和专家进行审核之后的真实质检分数为96分。绝对误差只有0.12分，若不保留小数点，则目标质检分数是准确度是极高的。
通过上述方式对运维工单进行自动化处理，本申请的发明人考虑到通过模型对运维工单中的信息进行质检，但是，相关技术中一旦考虑到通过人工智能模型对信息进行处理，例如分类，预测，提取特征等等过程，普遍也都是通过一个模型对信息进行处理，本申请的发明人为了进一步地提升模型的泛化能力并增强其可解释性，在工单智能化质检建模过程中，提取关键语义信息自然成为了最为关键的一步。
但是如何能够准确，且不需要额外训练过程，也不需要对大量标注数据的依赖，也无需构建外部知识库，更不涉及知识库更新以及跨领域实质融合等问题。发明人注意到，在日常交流生活中，老师教学过程中，教师可以通过指出文章中的关键段落和诗句，以提供独立于原始文本之外的参考提示，在此基础上加以强调和解读来协助增强原始文本语义表达。
基于此，发明人考虑到，可以在构建模型的过程中，构建参考提示作为增强语义表达指向性的辅助手段。通过构建提示信息，用于提示大语言模型从运维工单的文本序列信息中提取出多种实体类型的实体信息，并按照预设格式进行输出，并将输出的实体信息的集合继续作为后续下游任务的输入来使用，实体信息的集合中包括大量原始运维工单中的信息，也有利于后续的预训练语言模型对语义进行理解，通过提示信息对第一层的大语言模型进行引导，得到的实体信息的集合又可以对后续的质检过程进行引导，帮助整个流程中的模型理解原始运维工单中的语义信息，提高用模型预测质检分数的准确性。
所以，本申请中的实体，又可以称为参考实体(Referential Entity)，作为蕴含细粒度领域知识的先验提示，丰富了文本语义表达范式的同时，还凸显了学习上下文关联关系的指向性，辅助工单质检流程进行准确的自动化评分，以保证质检水平结果的可靠性。
本申请的方案与当前语言模型处理信息进行对比，当前语言模型向下游任务进行迁移时，这种通过构建带有导向性的参考信息来帮助理解原始语义的手段是缺失的。将此种方式具体运用在运维工单的质检方向上，也是缺失的。
发明人又考虑到在现有技术的运维工单质检时，人工的质检员特别关注的运维工单中的信息是例如，故障现象描述、故障原因定位和故障解决方案等信息，那么可以通过提示信息将这些信息作为实体类型，作为引导性的词汇输入到大语言模型中来辅助模型处理，整体对于质检的流程中，可以使得模型有效理解工单语义信息、准确量化质检水平得分，提高质检分数的准确性，将显著提升周期性、重复性、规律性的质检工作效率，有效缓解质检员的人力需求和维护成本。
上述过程中使用到的质检模型是训练好的模型，下述内容中对质检模型的训练过程进行说明，图4示出了一种质检模型训练过程的流程图，如图4所示，包括以下步骤：
S402：获取训练数据集，训练数据集包括多个运维工单样本。
S404：将提示信息和多个运维工单样本，通过训练好的大语言模型中，得到每个运维工单样本中多种实体类型的实体信息的集合。
在一种可能的实施例中，大语言模型对于多个运维工单样本和提示信息的处理方式，可以通过如下公式表述：
H(m)＝LLM(pm,Xm)
其中，H(m)表示第m个运维工单样本生成的实体信息的集合；pm表示激励大语言模型生成实体信息的提示信息；Xm表示第m个运维工单样本的文本序列信息。
第m个运维工单样本的实体信息的集合可以表示为：
第i个实体信息的组成可以表示为：
S406：将到每个运维工单样本对应的实体信息的集合与每个运维工单样本进行特征拼接，得到工单拼接特征样本。
在一种可能的实施例中，工单拼接特征样本可以表示为：
其中，表示第m个运维工单样本的工单拼接特征样本。
S408：将工单拼接特征样本输入至训练好的预训练语言模型，得到每个运维工单样本对应的高级语义特征表示张量训练样本。
在一种可能的实施例中，第m个运维工单样本对应的高级语义特征表示张量训练样本可以表示为
S410：从高级语义特征表示张量训练样本抽取待训练样本输入至未训练的质检模型中，得到预测质检分数样本。
在一种可能的实施例中，抽取部分高级语义特征表示张量训练样本作为待训练样本输入至未训练的质检模型中进行训练，质检模型以MLP为例。则训练过程可以通过如下公式表示：
其中，表示第m个运维工单样本对应的预测质检分数样本。
S412：根据质检模型中保存的每个运维工单样本对应的编码后的真实质检分数，与对应的预测质检分数样本确定质检损失函数值。
在一种可能的实施例中，需要通过真实质检分数作为对着，对预测质检分数样本进行训练，并确定质检损失函数值。
确定质检损失函数值需要使用到损失函数进行监督，具体公式可以为：
其中，ls表示质检损失函数值；表示编码后的真实质检分数。
在一种可能的实施例中，未训练的质检模型中预先保存的编码后的真实质检分数是通过如下方式得到的，图5示出了一种对真实质检分数处理的流程图，如图5所示，具体包括：
S502：向每个运维工单样本对应的真实质检分数中添加随机噪声信息，得到噪声真实质检分数。
在一种可能的实施例中，向真实质检分数加入轻微的随机噪声信息，以缓解过拟合现象，提升神经网络回归能力稳健性。随机噪声信息具体是对照真实质检分数随机生成的一些分数数值。
其中，随机噪声信息可按照高斯分布规律生成，其概率密度函数如下：
本申请中通过高斯分布规律生成随机噪声信息，公式中的字母含义不再进行多余赘述。
S504：对噪声真实质检分数进行标准化处理，得到标准化分数。
在一种可能的实施例中，由于一般经质检员质检、专家审核后进行百分制评分得到。真实质检分数区间通常位于[0，100]之间，因此需要对噪声真实质检分数进行标准化处理。一方面保证了能够处理不同尺度的数据，并使得预测质检分数样本能够在同一范围内进行计算和比较，同时确保神经网络参数在误差反向传播后不至于产生较大梯度值，提升网络训练的稳定性。
S506：根据每个运维工单样本对应的真实质检分数确定真实质检分数的平均值。
S508：将真实质检分数的平均值与每个运维工单样本对应的真实质检分数的比值进行对数运算，确定每个运维工单样本对应的编码后的真实质检分数。
在一种可能的实施例中，使用多个运维工单样本的真实质检分数计算出真实质检分数的平均值之后，用于对每个运维工单样本的真实质检分数进行编码，公式如下：
其中，表示第m个运维工单样本的真实质检分数；/>表示第m个运维工单样本编码后的真实质检分数。
通过上述方式得到编码后的真实质检分数，并在训练之前就保存在未训练的质检模型中等待使用。
S414：判断质检损失函数值是否满足预设值；若是，则执行步骤S416；若否，则调整网络参数并返回至步骤S410。
S416：保存当前质检模型的网络参数，得到已训练的质检模型。
在一种可能的实施例中，对于质检模型的建模流程时，训练过程中的运维工单样本可以包括结构化工单和非结构化工单，对于网络运维相关的技术领域中非结构化程度非常高，网络运维工单涉及到的信息非常多，包括网络设备、链路、业务、故障等方面的信息，这些信息在不同的场景和背景下，有着不同的价值和作用，非结构化的工单可以更好地存储和表达这些丰富的信息。
所以，在训练的过程中，针对网络运维的技术领域中，可以主要在领域知识库中提取非结构化运维工单进行训练，如图6所示，图6示出了一种运维工单智能化质检的建模流程的示意图，建模过程中将非结构化工单中的原始文本，即非结构化的运维工单样本输入到LLM大语言模型中，可以得到每个运维工单样本中多种实体类型的实体信息的集合，每个运维工单样本对应的实体信息的集合在图6中可以通过REi表示，并将每个运维工单样本对应的实体信息的集合与每个运维工单样本的原始文本进行串联拼接，并输入至PLM预训练语言模型中，得到每个运维工单样本对应的高级语义特征表示张量训练样本，再继续输入到MLP多层感知机中进行训练，训练好MLP之后即可以投入使用。
整个自动化对运维工单进行质检的过程中，使用到大语言模型、预训练语言模型和多层感知机，其中针对多层感知机进行针对训练。整个过程可以分为三个部分。第一部分：通过提示信息，借助大语言模型的推理能力生成实体信息，以向下游任务进行迁移。第二部分：通过集成先验的实体信息实现细粒度领域知识增强，通过实体信息中的实体描述、类型、概率和索引位置等信息进行领域知识增强。第三部分：领域知识增强策略下的工单智能化质检建模，即对MLP的模型训练构建过程。
需要说明的是，图6中针对输入大语言模型的内容进行了特别标注，整个建模流程中，是通过带有指向性信息的领域知识增强模式来构建模型的，通过提示信息生成实体信息的集合，实体信息中包括带有指向性信息的实体描述、实体类型、实体起始位置索引和实体结束位置索引。数值先验指的是数值化的实体概率、实体起始位置索引和实体结束位置索引，基于实体信息中的这些内容，可以实现关联关系挖掘和实体关系的不确定度量，辅助原始文本的信息挖掘，使其具有更加完备的领域知识表征潜力，以使最终对于运维工单的质检过程，能够智能、高效、准确地实现工单质检的自动化评分。
由于当前语言模型向下游任务进行迁移时，这种通过构建带有导向性的参考信息来帮助理解原始语义的手段是缺失的。所以，图7示出了一种数据处理方法的流程示意图；如图7所示，包括以下步骤：
S702：将提示信息和待处理数据输入至大语言模型中，得到辅助参考信息，其中，大语言模型根据提示信息，从待处理数据中提取指向性的辅助参考信息，以使大语言模型理解待处理数据中的语义信息。
S704：将辅助参考信息与待处理数据进行特征拼接，得到待处理拼接特征。
S706：将待处理拼接特征输入至待执行任务中，得到任务执行结果。
在一种可能的实施例中，将提示信息输入到大语言模型中，用于辅助大语言模型对待处理数据中的文本序列等内容辅助理解语义，以及进行提取辅助参考信息，并将辅助参考信息用在下游的待执行任务中。
在使用到待执行任务之前，将辅助参考信息与待处理数据进行特征拼接，得到待处理拼接特征，使得待处理拼接特征更进一步的可以辅助后续的待处理任务理解中待处理数据重点关注的信息数据，并得到任务执行结果。
在一种可能的实施例中，将辅助参考信息与待处理数据进行特征拼接，得到待处理拼接特征可以包括：为辅助参考信息添加标签，得到标记参考信息，将标记参考信息与运维工单进行特征拼接，得到待处理拼接特征。
在一种可能的实施例中，图7中的方法可以用在网络运维工单的具体应用场景中，也可以用在其他的应用场景下，例如，对于电厂中的操作票的检查等等。通过上述方式，可以在处理过程中，使得模型对待处理数据的语义理解更准确，获取知识的效率更高，处理速度更快。
基于同一发明构思，本公开实施例中还提供了一种运维工单质检装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图8示出本公开实施例中一种运维工单质检装置的结构示意图，如图8所示，该运维工单质检装置80包括：实体信息获取单元801，用于将提示信息和运维工单输入至训练好的大语言模型中，得到运维工单中多种实体类型的实体信息的集合；提示信息用于提示训练好的大语言模型从运维工单的文本序列信息中提取出多种实体类型的实体信息；拼接单元802，用于将实体信息的集合与运维工单进行特征拼接，得到工单拼接特征；处理单元803，用于将工单拼接特征输入至训练好的预训练语言模型中处理，得到高级语义特征表示张量；质检单元804，用于将高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本公开的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元910可以执行上述方法实施例中的任一项的步骤。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备940(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。其上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (13)

1.一种运维工单质检方法，其特征在于，所述方法包括：
将提示信息和运维工单输入至训练好的大语言模型中，得到所述运维工单中多种实体类型的实体信息的集合；所述提示信息用于提示训练好的所述大语言模型从所述运维工单的文本序列信息中提取出多种实体类型的实体信息；
将所述实体信息的集合与所述运维工单进行特征拼接，得到工单拼接特征；
将所述工单拼接特征输入至训练好的预训练语言模型中处理，得到高级语义特征表示张量；
将所述高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数。
2.根据权利要求1所述的方法，其特征在于，所述将所述实体信息的集合与所述运维工单进行特征拼接，得到工单拼接特征，包括：
为所述实体信息的集合中每种实体类型的实体信息添加标签，得到标记实体信息；
将所述标记实体信息与所述运维工单进行特征拼接，得到工单拼接特征。
3.根据权利要求1所述的方法，其特征在于，所述大语言模型输出的实体信息的集合中每种实体类型的实体信息为按照预设格式输出的；
其中，预设格式的实体信息包括：实体描述、实体类型，和以下信息的至少一种或多种：实体概率、实体起始位置索引和结束位置索引。
4.根据权利要求3所述的方法，其特征在于，所述将所述实体信息的集合与所述运维工单进行特征拼接，得到工单拼接特征，包括：
根据包括实体描述、实体类型、实体概率、实体起始位置索引和结束位置索引的目标格式的实体信息的集合，与所述运维工单进行特征拼接，得到所述工单拼接特征。
5.根据权利要求4所述的方法，其特征在于，所述将所述工单拼接特征输入至训练好的预训练语言模型中处理，得到高级语义特征表示张量，包括：
将所述工单拼接特征输入至训练好的预训练语言模型中，以使所述预训练语言模型根据所述目标格式的实体信息的集合，对所述运维工单进行处理，得到用于表征实体类型、实体描述、实体之间关联关系、以及实体所处区域的高级语义特征表示张量。
6.根据权利要求1所述的方法，其特征在于，所述将所述高级语义特征表示张量输入至训练好的质检模型中处理，得到预测质检分数之后，所述方法还包括：
根据所述训练好的质检模型中保存的多个运维工单样本的真实质检分数的平均值，对所述预测质检分数进行解码，得到所述运维工单的目标质检分数。
7.根据权利要求1所述的方法，其特征在于，所述质检模型的训练过程包括：
获取训练数据集；所述训练数据集包括多个运维工单样本；
通过训练好的大语言模型和训练好的预训练语言模型，根据所述多个运维工单样本，得到每个运维工单样本对应的高级语义特征表示张量训练样本；
从所述高级语义特征表示张量训练样本抽取待训练样本输入至未训练的质检模型中，得到预测质检分数样本；
根据未训练的质检模型中保存的每个运维工单样本对应的编码后的真实质检分数，与对应的预测质检分数样本确定质检损失函数值；
直至所述质检损失函数值满足预设值，保存当前质检模型的网络参数，得到已训练的质检模型。
8.根据权利要求7所述的方法，其特征在于，所述通过训练好的大语言模型和训练好的预训练语言模型，根据所述多个运维工单样本，得到每个运维工单样本对应的高级语义特征表示张量训练样本，包括：
将提示信息和所述多个运维工单样本，通过所述训练好的大语言模型中，得到每个运维工单样本中多种实体类型的实体信息的集合；
将到每个运维工单样本对应的实体信息的集合与每个运维工单样本进行特征拼接，得到工单拼接特征样本；
将工单拼接特征样本输入至训练好的预训练语言模型，得到每个运维工单样本对应的高级语义特征表示张量训练样本。
9.根据权利要求7所述的方法，其特征在于，所述每个运维工单样本对应的编码后的真实质检分数的处理过程包括：
向每个运维工单样本对应的真实质检分数中添加随机噪声信息，得到噪声真实质检分数；
对所述噪声真实质检分数进行标准化处理，得到标准化分数；
根据所述每个运维工单样本对应的真实质检分数确定真实质检分数的平均值；
将所述真实质检分数的平均值与所述每个运维工单样本对应的真实质检分数的比值进行对数运算，确定每个运维工单样本对应的编码后的真实质检分数。
10.一种数据处理方法，其特征在于，所述方法包括：
将提示信息和待处理数据输入至大语言模型中，得到辅助参考信息；其中，所述大语言模型根据所述提示信息，从所述待处理数据中提取指向性的辅助参考信息，以使所述大语言模型理解所述待处理数据中的语义信息；
将所述辅助参考信息与所述待处理数据进行特征拼接，得到待处理拼接特征；
将所述待处理拼接特征输入至待执行任务中，得到所述任务执行结果。
11.一种运维工单质检装置，其特征在于，包括：
实体信息获取单元，用于将提示信息和运维工单输入至训练好的大语言模型中，得到所述运维工单中多种实体类型的实体信息的集合；所述提示信息用于提示训练好的所述大语言模型从所述运维工单的文本序列信息中提取出多种实体类型的实体信息；
拼接单元，用于将所述实体信息的集合与所述运维工单进行特征拼接，得到工单拼接特征；
处理单元，用于将所述工单拼接特征输入至训练好的预训练语言模型中处理，得到高级语义特征表示张量；
质检单元，用于将所述高级语义特征表示张量输入至训练好的质检模型中，得到预测质检分数。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～10中任意一项所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～10中任意一项所述的方法。
CN202311586942.8A 2023-11-24 2023-11-24 运维工单质检方法、装置、设备及介质 Pending CN117610569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311586942.8A CN117610569A (zh) 2023-11-24 2023-11-24 运维工单质检方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311586942.8A CN117610569A (zh) 2023-11-24 2023-11-24 运维工单质检方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117610569A true CN117610569A (zh) 2024-02-27

Family

ID=89950952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311586942.8A Pending CN117610569A (zh) 2023-11-24 2023-11-24 运维工单质检方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117610569A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580367A (zh) * 2020-12-23 2021-03-30 潍柴动力股份有限公司 一种话务质检方法及装置
CN112669928A (zh) * 2021-01-06 2021-04-16 腾讯科技（深圳）有限公司 结构化信息构建方法、装置、计算机设备及存储介质
CN114444482A (zh) * 2021-12-28 2022-05-06 天翼云科技有限公司 一种事件信息抽取的方法及设备
CN114742043A (zh) * 2022-01-10 2022-07-12 上海迥灵信息技术有限公司 工单分类方法、装置及计算机可读存储介质
CN116705003A (zh) * 2023-06-02 2023-09-05 平安银行股份有限公司 基于人工智能的语音工单质检方法、装置、设备及介质
CN116738228A (zh) * 2023-05-31 2023-09-12 腾讯音乐娱乐科技（深圳）有限公司 实体识别模型的训练方法、文本的实体识别方法和设备
CN116991621A (zh) * 2023-08-07 2023-11-03 中国电信股份有限公司技术创新中心 故障原因提取方法及装置、存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580367A (zh) * 2020-12-23 2021-03-30 潍柴动力股份有限公司 一种话务质检方法及装置
CN112669928A (zh) * 2021-01-06 2021-04-16 腾讯科技（深圳）有限公司 结构化信息构建方法、装置、计算机设备及存储介质
CN114444482A (zh) * 2021-12-28 2022-05-06 天翼云科技有限公司 一种事件信息抽取的方法及设备
CN114742043A (zh) * 2022-01-10 2022-07-12 上海迥灵信息技术有限公司 工单分类方法、装置及计算机可读存储介质
CN116738228A (zh) * 2023-05-31 2023-09-12 腾讯音乐娱乐科技（深圳）有限公司 实体识别模型的训练方法、文本的实体识别方法和设备
CN116705003A (zh) * 2023-06-02 2023-09-05 平安银行股份有限公司 基于人工智能的语音工单质检方法、装置、设备及介质
CN116991621A (zh) * 2023-08-07 2023-11-03 中国电信股份有限公司技术创新中心 故障原因提取方法及装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN110489555B (zh) 一种结合类词信息的语言模型预训练方法
CN111222317B (zh) 序列标注方法、系统和计算机设备
CN112015859B (zh) 文本的知识层次抽取方法及装置、计算机设备及可读介质
CN111274815B (zh) 用于挖掘文本中的实体关注点的方法和装置
CN111079432B (zh) 文本检测方法、装置、电子设备及存储介质
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
CN115357719B (zh) 基于改进bert模型的电力审计文本分类方法及装置
CN114780703A (zh) 问答模型的确定方法、问答方法、装置、介质、设备
CN115238045B (zh) 一种生成式事件论元抽取方法、系统及存储介质
CN114218940B (zh) 文本信息处理、模型训练方法、装置、设备及存储介质
CN115359799A (zh) 语音识别方法、训练方法、装置、电子设备及存储介质
CN116228383A (zh) 风险预测方法及装置、存储介质和电子设备
CN114492460A (zh) 基于衍生提示学习的事件因果关系抽取方法
CN112599211B (zh) 一种医疗实体关系抽取方法及装置
CN117725211A (zh) 一种基于自构建提示模板的文本分类方法和系统
CN117312562A (zh) 内容审核模型的训练方法、装置、设备及存储介质
CN115757325B (zh) 一种xes日志智能转换方法及系统
CN116702765A (zh) 一种事件抽取方法、装置及电子设备
CN113836308B (zh) 网络大数据长文本多标签分类方法、系统、设备及介质
CN115982600A (zh) 匹配模型训练方法、设备及介质
CN117610569A (zh) 运维工单质检方法、装置、设备及介质
CN112528674B (zh) 文本处理方法、模型的训练方法、装置、设备及存储介质
CN113850085B (zh) 企业的等级评估方法、装置、电子设备及可读存储介质
CN118503411B (zh) 提纲生成方法、模型训练方法、设备及介质
CN116975289A (zh) 基于语义信息的文本属性级情感分类方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination