CN118071543B - 一种用电安全评估方法、系统、存储介质和设备 - Google Patents

Abstract

本发明提供了一种用电安全评估方法、系统、存储介质和设备，所述方法包括基于电网现有的营销采集系统获取用户用电安全数据，构建大规模语料库；基于大规模语料库，对大语言模型Llama2进行预训练；构建用电安全知识数据库，为预训练大语言模型提供用电安全管理外源知识；使用前缀微调策略对预训练大语言模型进行迁移学习；构建检索增强生成模块，基于用电安全知识数据库，引导通用的预训练大语言模型成为用电安全管理的智能助理；构建智能助理问答模块，根据营销采集系统采集到的数据为每一个客户生成用电安全评估报告，并进行建议执行方案智能对话。本发明旨在为用户提供全面的用电安全管理咨询和服务，帮助用户识别和缓解用电风险。

Description

一种用电安全评估方法、系统、存储介质和设备

技术领域

本发明属于电力系统的用电安全管理技术领域，尤其涉及一种用电安全评估方法、系统、存储介质和设备，尤其是一种基于预训练大语言模型的用电安全评估方法、系统存储介质和设备。

背景技术

对于电网行业用户用电安全管理业务，由于缺乏直接的用户用电安全检查依据，导致客户的配合意识和问题整改的主动性受到削弱，进而为电网安全和客户电气事故的发生埋下了隐患。

现有的用电安全评估系统需要大量的有经验的工作人实时参与，用户用电安全管理面临的几个突出问题：客户侧故障源显著增多、安全服务压力日趋增大、检查队伍素质能力不足、检查作业模式效率不高。

为应对日益增长的安全服务压力，有必要提出一种新的智能化安全管理评估方法。

发明内容

为解决上述问题，本发明提供了一种基于预训练大语言模型的用电安全评估方法、系统、存储介质和设备，依托基于营销采集系统等信息系统数据应用，检查服务数据可以实现100%的采录，实现针对电力系统用电安全管理评估的智能化的人工智能问答模型，及时、准确、全面地为各个用户设定个性化的用电安全管理、评估方案以及应对措施。

本发明通过以下技术方案实现：

一种用电安全评估方法，基于电网现有的营销采集系统获取用户的用电安全数据，构建大规模语料库；基于大规模语料库，对大语言模型Llama2进行预训练；构建用电安全知识数据库，为预训练大语言模型提供用电安全管理的外源知识；使用前缀微调策略对预训练大语言模型进行迁移学习；构建检索增强生成模块，基于用电安全知识数据库，引导通用的预训练大语言模型成为专用于用电安全管理的智能助理；构建智能助理问答模块，根据营销采集系统采集到的数据为每一个客户生成用电安全评估报告，并进行建议执行方案智能对话。

进一步地，

所述用电安全数据，包括违约用电记录数据、隐患数据记录数据、客户侧负载分析数据、客户诉求记录数据、工作人员检查预警数据。

进一步地，

构建大规模语料库包括：将用电安全数据转换为文本；将所述文本转换成数字表达。

进一步地，

将用电安全数据转换为文本之前，对用电安全数据进行预处理。

进一步地，

所述大语言模型经预训练，得到使用了基于Transformer的自注意力机制的预训练大语言模型。

进一步地，

所述用电安全知识数据库，包括用电安全服务合规管理基础资料库、典型用电安全事件案例。

进一步地，

所述前缀微调策略为，用电安全知识数据库对预训练大语言模型进行前缀微调。

进一步地，

所述前缀微调具体包括：

引入前缀向量，前缀向量被设计成与预训练大语言模型的内部表示兼容；前缀向量嵌入到预训练大语言模型，在每个解码步骤将前缀向量加到自注意力层中；训练前缀向量，在用电安全管理问答数据库基础上进行训练来更新这些前缀向量。

进一步地，

在训练过程中保持原始预训练模型参数不变，只更新引入的前缀参数。

进一步地，

检索增强生成模块主要包括检索器和生成器。

更进一步地，

所述生成器为经前缀微调后的预训练大语言模型。

更进一步地，

所述生成器的工作流程为：

用户输入一个查询；检索器将所述查询编码为一个向量，并在预先构建的文档向量空间中寻找最相关的文档或文档片段；选定的文档或文档片段被送入生成器，与所述查询一起作为上下文信息；生成器结合所述上下文信息生成一个回答；生成的回答被返回给用户。

进一步地，

检索增强生成模块的公式为：，式中：是在给定输入x的条件下生成序列y的概率；z表示从检索系统中获得的与输入x最相关的前k个文档；是检索模型的输出，即在给定输入x的条件下文档z被检索出来的概率；表示生成模型的输出，在给定输入x、检索到的文档z以及序列y中前i-1个元素的条件下，生成下一个元素的概率；N是序列y的长度。

进一步地，

所述构建智能助理问答模块，包括基于用电安全知识数据库，通过检索增强生成模块，引导预训练大语言模型成为专用于用电安全管理的智能助理。

进一步地，

所述构建智能助理问答模块，包括构建用户友好的交互界面。

更进一步地，

所述智能助理问答模块，通过自然语言处理技术与用户进行交流，收集用户的疑问并提供个性化的用电安全评估报告和解决方案。

本发明还提供了一种用电安全评估系统，包括：营销数据采集模块，用于获取用户的用电安全数据，构建大规模语料库；大语言模型预训练模块，基于大规模语料库，对大语言模型Llama2进行预训练；用电安全知识数据库模块，用于为预训练大语言模型提供用电安全管理的外源知识；迁移学习模块，利用用电安全知识数据库对预训练大语言模型进行前缀微调；检索增强生成模块，基于用电安全知识数据库，引导通用的预训练大语言模型成为专用于用电安全管理的智能助理；智能助理问答模块，根据营销采集系统采集到的数据为每一个客户生成用电安全评估报告，并进行建议执行方案智能对话。

基于同一发明构思，本发明还提出了一种计算机可读存储介质，存储有一个或者多个程序，当该一个或者多个程序被执行时，可以实现前述的用电安全评估方法。

此外本发明还提供了一种设备，包括处理器、通信接口、存储器和通信总线；其中，处理器、通信接口、存储器通过通信总线相互间的通信；所述存储器为前述的计算机可读存储介质，用于存储一个或多个程序。

进一步地，

所述处理器，用于执行前述计算机可读存储介质中所存储的程序。

与现有技术相比，本发明具有如下优点：

与现有的人工评估或公式评估方法相比，本发明通过具有强大语义理解能力地预训练大语言模型，以及使用前缀微调策略对预训练大语言模型进行迁移学习和比例化点积注意力计算，用于特定领域知识的检索增强生成模型，结合现有的丰富的用电安全管理评估知识数据库，可以实现智能化的用电安全评估管理服务。本发明可缓解电力系统用电安全管理人员的人力压力，提高工作效率，同时为广大用电用户提供更加优质、智能、便携的服务。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的一种用电安全评估方法的流程示意图；

图2示出了根据本发明实施例的一种用电安全评估的系统框图；

图3示出了根据本发明实施例的一种电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的一种用电安全管理评估方法，从采集用户用电数据开始，利用用电安全知识数据库来增强预训练模型的专业性，使用前缀微调策略对预训练大语言模型进行迁移学习和比例化点积注意力计算，通过检索增强生成模块提升问题回答能力，最后通过智能助理问答模块为用户提供个性化的用电安全评估报告和应对方案。

参见附图1，上述方法主要包括如下步骤：

步骤1：基于电网现有的营销采集系统获取用户的用电安全数据，构建大规模语料库。

用电安全数据，包括违约用电记录数据、隐患数据记录数据、客户侧负载分析数据、客户诉求记录数据、工作人员检查预警数据等。

语言模型是对文本进行推理，需要将用电安全数据转换为文本。同时由于文本是字符串，但对语言模型来说，输入只能是数字，所以就需要将文本转换成数字表达。

步骤2：基于大规模语料库，对大语言模型Llama2（Large Language Model MetaAI 2，大语言模型元人工智能2）进行预训练。

大语言模型Llama2的公式如下：

（1），

式（1）中：表示概率似然函数；表示用电安全数据；表示当前自回归模型已经生成的文本内容；表示可学习的参数；表示总共生成的文本数量，表示当前正在生成的文本序号，表示当前已经生成的文本序列。

所述Llama2是一种自回归模型，每次生成一个词，生成后面的词时需要利用之前已经生成过的词。

大语言模型经预训练，得到使用了基于Transformer的自注意力机制的预训练大语言模型：

（2），

式（2）中：Q是Query查询值矩阵（to match others）；K是Key键值矩阵（to bematched）；V是Value值矩阵（information to be extracted）；是键的维度；softmax函数是权重归一化概率密度分布函数。

步骤3：构建用电安全知识数据库。

用电安全知识数据库，包括用电安全服务合规管理基础资料库、典型用电安全事件案例等用电安全基本资料，具有丰富的用电安全规则、标准、案例分析和最佳实践等内容。这些资料可以为在大规模语料库上预训练过的大语言模型提供用电安全管理这个特定领域的外源知识，使得预训练大语言模型迁移学习成为更加专用的智能助理。

步骤4：使用前缀微调策略对预训练大语言模型进行迁移学习。

用电安全知识数据库对预训练大语言模型进行前缀微调，以便它能更好地理解用电安全管理的语境和术语。

这个前缀微调策略涉及对一个任务特定的小型向量进行优化，该小型向量被称为"前缀"。在微调阶段，前缀将特定任务的结构性信息融入预训练大语言模型中，从而增强预训练大语言模型对于用电安全管理评估任务需求的适应能力。

进一步地，预训练模型使用了多头注意力机制提取不同的输入的文本特征：

（3），

其中，是第i个头的自注意力结果，是另一个可学习的权重矩阵，n是注意力头的数量，Concat表示向量的连接函数。

这样，多头注意力允许预训练模型在不同的表示子空间（representationsubspaces）中捕捉信息，并且能够并行化处理，提高了预训练模型的表达能力和效率。在实际应用中，多头注意力已经证明对于改进序列编码和处理复杂的依赖关系非常有效。

前缀微调的具体方式为：

4.1、引入前缀向量：

在输入文本序列之前添加一个可学习的前缀序列（一组前缀向量），这些前缀向量称为“软提示”。这些前缀向量被设计成与预训练大语言模型的内部表示兼容，并且可以通过梯度下降进行优化。

4.2、前缀向量嵌入到预训练大语言模型中：

将这些可学习的前缀向量嵌入到预训练大语言模型中，在每个解码步骤将前缀向量加到自注意力层中。

4.3、训练前缀向量：

在用电安全知识数据库基础上进行训练来更新这些前缀向量。在训练过程中保持原始预训练大语言模型的参数不变，只更新引入的用于学习前缀向量的前缀参数。

在本实施例中，整个预训练大语言模型Llama2的参数都被冻结，只有与前缀向量相关的权重矩阵参数会更新。在操作上，这意味着在预训练大语言模型的编码器和解码器层次中，每一层的自我注意力单元都会接收经过改造的Key值和Value值。这些结果改造的新值是通过将前缀向量与原始的Key值和Value值连接起来形成的。经过连接改造形成新的Key值和Value后值，它们被送入一个嵌入层以进行维度转换，并最终与原Query值结合进行比例化点积注意力计算。上式（2）表示的预训练大语言模型可以被改写为：

（4），

式（4）中：表示多头注意力；Concat表示向量的连接函数；为并行注意力头数；是第个头的自注意力结果；、、和是可学习的权重矩阵；是前缀向量；K表示Key键值矩阵；Q表示Query查询值矩阵；V表示Value值矩阵；为、和的向量长度；为注意力函数；概率分布激活函数。

步骤5：构建检索增强生成模块（Retrieval-Augmented Generation Module），基于用电安全知识数据库，引导通用的预训练大语言模型成为专用于用电安全管理的智能助理。

检索增强生成模块，是一种结合了检索和生成两个阶段的神经网络模型，旨在利用大量文档数据来增强大语言模型的回答能力，其结构可以分为两个主要部分：检索器和生成器。

检索器是常规技术，其作用是从一个大型的文档集合中（如大规模语料库），找到与输入的查询（通常是用户的问题）最相关的文档或文档片段。这个检索过程通常是通过一个密集向量空间实现的，其中文档和查询都被编码为向量，然后通过计算向量之间的相似度来检索最相关的文档。

生成器是式（4）所示的经前缀微调后的预训练大语言模型，它接收检索器提供的文档和用户原始查询作为输入，生成一个连贯、相关且信息丰富的回答。

生成器的工作流程为：

5.1、用户输入一个查询（如一个问题）；

5.2、检索器将该查询编码为一个向量，并在预先构建的基于用电安全知识数据库的文档向量空间中寻找最相关的文档或文档片段；

5.3、选定的文档或文档片段被送入生成器，通常与查询一起作为上下文信息；

5.4、生成器结合这些上下文信息，通过其内部经前缀微调后的预训练大语言模型生成一个回答；

5.5、生成的回答被返回给用户。

在执行上述步骤5.1-5.5过程中，用电安全知识数据库为经前缀微调后的预训练大语言模型进行“检索增强式生成回答”提供数据资料，增强预训练大语言模型更专业地回答用电安全管理问题的能力。这允许了经前缀微调后的预训练大语言模型访问比传统语言模型训练数据集更广泛的信息，使其具有很高的灵活性和可定制性，并提高经前缀微调后的预训练大语言模型的透明度和解释性。

检索增强生成模块的公式如下：

（5），

式（5）中：是在给定输入x的条件下生成序列y的概率；z表示从检索系统中获得的与输入x最相关的前k个文档；是检索模型的输出，即在给定输入x的条件下文档z被检索出来的概率；表示生成模型的输出，在给定输入x、检索到的文档z以及序列y中前i-1个元素的条件下，生成下一个元素的概率；N是序列y的长度。

上式（5）表示给定输入时，生成序列y的概率是通过检索模型找到最相关的k个文档z，然后对这些文档分别计算生成整个序列y的概率，并将这些概率相加得到的。生成序列的概率是通过逐个元素地计算概率，并将这些概率相乘得到的，逐个元素地计算概率即在给定当前文档z、输入x和已生成的序列前缀小于的情况下，生成下一个元素的概率。

步骤6：构建智能助理问答模块。

基于用电安全知识数据库，通过检索增强生成模块，引导预训练大语言模型成为专用于用电安全管理的智能助理。

智能助理问答模块，根据营销采集系统采集到的数据为每一个客户生成用电安全评估报告，并进一步地进行建议执行方案智能对话。

构建用户友好的交互界面，使用户能够轻松提问并获取个性化的用电安全建议。

本发明实施例的一种用电安全评估方法，旨在为用户提供全面的用电安全管理咨询和服务，帮助用户识别和缓解用电风险，保证用电环境的安全性。这种智能化的评估方法不仅提高了用电安全管理的效率和准确性，也大大提升了用户的用电安全意识。

如图2所示，基于同一发明构思，本发明的实施例还提出了一种用电安全评估系统，该系统包括：营销数据采集模块、大语言模型预训练模块、用电安全知识数据库模块、迁移学习模块、检索增强生成模块和智能助理问答模块。

营销数据采集模块，作为移动终端，基于电网现有的营销采集系统实时监控用户的用电行为，记录用电量、用电时间和用电方式等关键参数，获取各个用户的用电安全数据。这些用电安全数据对于分析用户的用电习惯、识别潜在的安全风险至关重要。

对用电安全数据进行预处理，构建大规模语料库。对用电安全数据进行预处理包括但不限于删除重复数据、剔除无效数据、格式转换等。

大语言模型预训练模块，基于大规模语料库，对大语言模型Llama2进行预训练。

用电安全知识数据库模块，这个数据库模块是系统的知识储备中心，包含了丰富的用电安全规则、标准、案例分析和最佳实践等内容，用于为预训练大语言模型提供用电安全管理的外源知识。用电安全知识数据库模块的建立依托于专家的知识和行业的最新研究成果，确保了用电安全评估系统在提供建议时的准确性和权威性。

检索增强生成模块，该模块的作用是结合预训练大语言模型的强大语言理解能力和用电安全知识数据库的深度专业知识，通过先进的检索机制来提升系统回答问题的能力。它能够理解复杂的查询，快速检索相关信息，并生成准确、相关的回答。

智能助理问答模块，根据营销采集系统采集到的数据为每一个客户生成用电安全评估报告，并进行建议执行方案智能对话。这一模块是系统与用户互动的前端，它通过自然语言处理技术与用户进行交流，收集用户的疑问并提供个性化的用电安全评估报告和解决方案。智能助理问答模块的智能化程度高，可以模拟专业人士的咨询服务，为用户提供专业、贴心的咨询体验。

基于同一发明构思，本发明的实施例还提供了一种计算机可读存储介质，存储有一个或者多个程序，当该一个或者多个程序被执行时，可以实现前述的用电安全评估方法。

如图3所示，本发明的实施例还提供了一种设备，包括处理器、通信接口、存储器和通信总线。其中，处理器、通信接口、存储器通过通信总线相互间的通信。

所述存储器为计算机可读存储介质，用于存储一个或多个程序。

所述处理器，用于执行计算机可读存储介质中所存储的程序。

该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。

需要说明的是上述各个单元之间的电气连接，并不必然表示线路的之间连接，间接连接的方式，只要实现本发明的目的即可适用于本发明实施例。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种用电安全评估方法，其特征在于，所述方法包括：

基于电网现有的营销采集系统获取用户的用电安全数据，构建大规模语料库；

基于大规模语料库，对大语言模型Llama2进行预训练，得到预训练大语言模型；

构建用电安全知识数据库，为预训练大语言模型提供用电安全管理的外源知识；

使用前缀微调策略对预训练大语言模型进行迁移学习；

构建检索增强生成模块，基于用电安全知识数据库，引导通用的预训练大语言模型成为专用于用电安全管理的智能助理；

构建智能助理问答模块，根据营销采集系统采集到的用电安全数据为每一个客户生成用电安全评估报告，并进行建议执行方案智能对话；

所述前缀微调策略为，用电安全知识数据库对预训练大语言模型进行前缀微调；所述前缀微调具体包括：

引入前缀向量，前缀向量被设计成与预训练大语言模型的内部表示兼容；

前缀向量嵌入到预训练大语言模型，在每个解码步骤将前缀向量加到自注意力层中；

训练前缀向量，在用电安全管理问答数据库基础上进行训练来更新这些前缀向量；所述训练前缀向量，在训练过程中保持原始预训练模型参数不变，只更新引入的前缀参数。

2.根据权利要求1所述的方法，其特征在于，

所述用电安全数据，包括违约用电记录数据、隐患数据记录数据、客户侧负载分析数据、客户诉求记录数据、工作人员检查预警数据。

3.根据权利要求1所述的方法，其特征在于，

构建大规模语料库包括：

将用电安全数据转换为文本；将所述文本转换成数字表达。

4.根据权利要求3所述的方法，其特征在于，

将用电安全数据转换为文本之前，对用电安全数据进行预处理。

5.根据权利要求1所述的方法，其特征在于，

所述大语言模型经预训练，得到基于Transformer的自注意力机制的预训练大语言模型。

6.根据权利要求1所述的方法，其特征在于，

所述用电安全知识数据库，包括用电安全服务合规管理基础资料库、典型用电安全事件案例。

7.根据权利要求1所述的方法，其特征在于，

所述检索增强生成模块包括检索器和生成器。

8.根据权利要求7所述的方法，其特征在于，

所述生成器为经前缀微调后的预训练大语言模型。

9.根据权利要求7或8所述的方法，其特征在于，

所述生成器的工作流程为：

用户输入一个查询；

检索器将所述查询编码为一个向量，并在预先构建的文档向量空间中寻找最相关的文档或文档片段；

选定的文档或文档片段被送入生成器，与所述查询一起作为上下文信息；

生成器结合所述上下文信息生成一个回答；

生成的回答被返回给用户。

10.根据权利要求1所述的方法，其特征在于，

所述构建智能助理问答模块，包括基于用电安全知识数据库，通过检索增强生成模块，引导预训练大语言模型成为专用于用电安全管理的智能助理。

11.根据权利要求1或10所述的方法，其特征在于，

所述构建智能助理问答模块，包括构建用户友好的交互界面。

12.根据权利要求11所述的方法，其特征在于，

所述智能助理问答模块，通过自然语言处理技术与用户进行交流，收集用户的疑问并提供个性化的用电安全评估报告和解决方案。

13.一种用电安全评估系统，其特征在于，所述系统包括：

营销数据采集模块，用于获取用户的用电安全数据，构建大规模语料库；

大语言模型预训练模块，基于大规模语料库，对大语言模型Llama2进行预训练；

用电安全知识数据库模块，用于为预训练大语言模型提供用电安全管理的外源知识；

迁移学习模块，利用用电安全知识数据库对预训练大语言模型进行前缀微调；

检索增强生成模块，基于用电安全知识数据库，引导通用的预训练大语言模型成为专用于用电安全管理的智能助理；

智能助理问答模块，根据营销采集系统采集到的数据为每一个客户生成用电安全评估报告，并进行建议执行方案智能对话。

14.一种计算机可读存储介质，存储有一个或者多个程序，其特征在于，

当所述一个或者多个程序被执行时，可以实现权利要求1-12任一项所述的用电安全评估方法。

15.一种设备，包括处理器、通信接口、存储器和通信总线；其中，处理器、通信接口、存储器通过通信总线相互间的通信；

其特征在于，

所述存储器为权利要求14所述的计算机可读存储介质。

16.根据权利要求15所述的设备，其特征在于，

所述处理器，用于执行所述计算机可读存储介质中所存储的程序。