CN117993868A - 基于双模态注意力的电网工程项目审计预警方法及系统 - Google Patents

基于双模态注意力的电网工程项目审计预警方法及系统 Download PDF

Info

Publication number
CN117993868A
CN117993868A CN202410389505.5A CN202410389505A CN117993868A CN 117993868 A CN117993868 A CN 117993868A CN 202410389505 A CN202410389505 A CN 202410389505A CN 117993868 A CN117993868 A CN 117993868A
Authority
CN
China
Prior art keywords
data
bimodal
unstructured
early warning
structured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410389505.5A
Other languages
English (en)
Other versions
CN117993868B (zh
Inventor
杨桂珍
吕德志
刘明智
王君
周成轩
张振东
朱超
左常昊
张博宇
陆明
迟卫东
殷彬
赵莉
刘丹
吴青华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jining Power Supply Co
Original Assignee
Jining Power Supply Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jining Power Supply Co filed Critical Jining Power Supply Co
Priority to CN202410389505.5A priority Critical patent/CN117993868B/zh
Publication of CN117993868A publication Critical patent/CN117993868A/zh
Application granted granted Critical
Publication of CN117993868B publication Critical patent/CN117993868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了基于双模态注意力的电网工程项目审计预警方法及系统，涉及电力工程数据审计预警技术领域，包括：获取电力项目中的结构化以及非结构化的双模态电力数据；将结构化电力数据以及非结构化电力数据输入至风险审计预警模型中，分别得到结构化上下文特征以及非结构化上下文特征；根据获得的双模态数据的上下文特征，采用交叉注意力机制生成双模态间的关联信息，利用双模态间的关联信息调整双模态的上下文特征分布，得到结构化数据特征和非结构化特征；将结构化数据特征和非结构化特征融合，利用融合后的双模态结合的特征信息输出审计预警结果标签，提高电力数据审计的精度以及预警的效率。

Description

基于双模态注意力的电网工程项目审计预警方法及系统
技术领域
本公开涉及电力工程项目数据审计预警技术领域，具体涉及基于双模态注意力的电网工程项目审计预警方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着智能电网和信息化建设，电力行业积累了海量数据，这些数据在数据量、多样性、速度和价值方面具有大数据的特征。电力行业已进入大数据时代。电力大数据是通过传感器、智能设备、视频监控设备、音频通信设备、移动终端等各种数据采集渠道，收集到的海量结构化、非结构化的业务数据集合，电网电力数据是电力公司的新型资产，能够促进电力公司的业务管理向更精细、更高效的方向发展。大数据技术将推动信息技术平台的升级与改造，包括提升数据存储和及时处理的能力；补充对非结构化数据分析与利用的能力；增强对海量数据资源的价值挖掘能力。
同时，随着信息技术的发展和电力企业的不断发展壮大，电力企业电力数据的审计信息化的必要性也日益凸显，近年来，耗费时间、人力、物料成本高昂的专家人工审计方式已逐渐被基于深度学习技术的电力数据审计模型所取代。相较传统审计模式，人工智能模式下的审计使得审计过程更为客观、准确和迅速。
然而，现有的基于深度学习的电力数据审计方法往往针对一种模态类型的数据，并且对于不断变化、不可预测的非结构化数据处理起来难度较大、应用开发成本较高，但在实际审计环境中，电力数据包含结构化、半结构化以及非结构化的多种类型，仅对一种模态的数据分析显然会丢失其他模态数据有价值的可用信息，从而不能有效的针对数据审计作出预测，造成审计的预测偏差，无法做出有效的下一步决策，而且现有的方法中，对于电力工程项目的审计往往是事后审计，无法做到事前、事中审计预警，使得问题发现就已经既成事实，仍存在一定的可改进空间。
发明内容
本公开为了解决上述问题，提出了基于双模态注意力的电网工程项目审计预警方法及系统，获取电力数据中的结构化以及非结构化的多模态数据，采用交叉注意力机制学习结构化和非结构化两种模态数据间的关联信息，并利用之间的关联信息提升模型的预测预警能力。
根据一些实施例，本公开采用如下技术方案：
基于双模态注意力的电网工程项目审计预警方法，包括：
获取电力项目中的结构化以及非结构化的双模态电力数据；
将结构化电力数据以及非结构化电力数据输入至风险审计预警模型中，分别得到结构化上下文特征以及非结构化上下文特征；
根据获得的双模态数据的上下文特征，采用交叉注意力机制生成双模态间的关联信息，利用双模态间的关联信息调整双模态的上下文特征分布，得到结构化数据特征和非结构化数据特征；
将结构化数据特征和非结构化数据特征融合，利用融合后的双模态结合的特征信息输出审计预警结果标签。
根据一些实施例，本公开采用如下技术方案：
基于双模态注意力的电网工程项目审计预警系统，包括：
数据获取模块，用于获取电力项目中的结构化以及非结构化的双模态电力数据；
特征提取模块，用于将结构化电力数据以及非结构化电力数据输入至风险审计预警模型中，分别得到结构化上下文特征以及非结构化上下文特征；
特征调整模块，用于根据获得的双模态数据的上下文特征，采用交叉注意力机制生成双模态间的关联信息，利用双模态间的关联信息调整双模态的上下文特征分布，得到结构化数据特征和非结构化数据特征；
预警输出模块，用于将结构化数据特征和非结构化数据特征融合，利用融合后的双模态结合的特征信息输出审计预警结果标签。
根据一些实施例，本公开采用如下技术方案：
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于双模态注意力的电网工程项目审计预警方法。
根据一些实施例，本公开采用如下技术方案：
一种电子设备包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于双模态注意力的电网工程项目审计预警方法。
与现有技术相比，本公开的有益效果为：
本公开的基于双模态注意力的电网工程项目审计预警方法，将结构化电力数据以及非结构化电力文本数据两种模态的数据，通过深度学习的风险审计预警模型对数据进行表示学习，针对结构化数据采用双向门控循环单元(Bidirectional Gated RecurrentUnit, BiGRU)和多重膨胀卷积网络模块(Multi-dilatation Convolutional NeuralNetworks, Mut-dilatation CNN)分别进行长期和局部的特征表示学习，非结构化数据则采用Transformer模块进行特征表示学习，分别获取结构化上下文特征以及非结构化上下文特征，能够深度的获取深层的语义以及结构特征信息，最后进行审计预警任务，提高预测的精度。
本公开的基于双模态注意力的电网工程项目审计预警方法，采用双模态交叉注意力机制对结构化和非结构化数据的上下文特征进行处理，学习两种模态数据间的关联信息，并将其作为模型的增强信息，提升模型对电力经验环境的预警能力。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例的基于双模态注意力的电网工程项目审计预警方法流程图；
图2为本公开实施例的风险审计预警模型处理方法的流程图；
图3为本公开实施例的风险审计预警模型获取结构化数据特征的数据处理流程图；
图4为本公开实施例的双模态注意力的电网工程项目审计预警系统实施架构图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种基于双模态注意力的电网工程项目审计预警方法，利用风险审计预警模型对结构化和非结构化的电力数据进行提取以及模态信息关联，方法包括：
步骤一：获取电力项目中的结构化以及非结构化的双模态电力数据；
步骤二：将结构化电力数据以及非结构化电力数据输入至风险审计预警模型中，分别得到结构化上下文特征以及非结构化上下文特征；
步骤三：根据获得的双模态数据的上下文特征，采用交叉注意力机制生成双模态间的关联信息，利用双模态间的关联信息调整双模态的上下文特征分布，得到结构化数据特征和非结构化特征；
步骤四：将结构化数据特征和非结构化特征融合，利用融合后的双模态结合的特征信息输出审计预警结果标签。
作为一种实施例，本公开的一种基于双模态注意力的电网工程项目审计预警方法的具体实施过程包括：
步骤一：获取电力项目中的结构化以及非结构化的双模态电力数据；
具体地，结构化电力数据包括与电力工程项目相关的人工汇总表、机械汇总表、材料汇总表，非结构化电力数据为电力工程项目文本材料相关的可研报告、施工合同、开工报告、竣工报告、结算单等。
基于收集到的非结构化电力数据，包括与电力工程项目文本材料相关的可研报告、施工合同、开工报告、竣工报告、结算单等，之后对非结构化电力数据进行自然语言的预处理过程，包括：分词、词语嵌入等操作，将非结构化数据处理为一个矩阵表示的词语序列，加入位置编码信息得到非结构化电力文本数据。其中，/>表示非结构化文本数据序列的长度，h表示词语嵌入的维度，/>表示实数集。
其中，双模态电力数据指的结构化电力数据和非结构化电力数据。
基于收集到的结构化电力数据，具体为人-机-料汇总表，人-机-料汇总表包括人工汇总表、机械汇总表以及材料汇总表，得到结构化电力数据，其中，L表示序列的长度，d表示原始人工-机械-材料汇总表中特征的数目，/>表示实数集。
步骤二：将结构化电力数据以及非结构化电力数据输入至风险审计预警模型中，分别得到结构化上下文特征以及非结构化上下文特征；
具体地，如图2所示，风险审计预警模型包括GRU-CNN网络模块以及Transformer网络模块，其中，GRU-CNN网络模块为GRU-CNN混合堆叠块，所述GRU-CNN混合堆叠块是由个GRU-CNN块堆叠组成的，每个GRU-CNN块由一个带有注意力机制的BiGRU网络和一个多重膨胀卷积网络(Mut-dilatation CNN)构成。
Transformer网络模块包括个Transformer Encode块，其中，每个TransformerEncoder块包含多头自注意力机制层、全连接层和归一化层。
进一步的，基于获取的结构化电力数据，输入至风险审计预警模型后，通过GRU-CNN网络模块进行特征提取，利用/>个GRU-CNN块堆叠组成的GRU-CNN混合堆叠块进行特征表示学习，其中单个GRU-CNN块中包括带有注意力机制的BiGRU网络和Mut-dilatation CNN网络，分别利用整个时间序列的特征进行特征学习得到结构化数据长期性上下文特征/>和使用局部固定窗口内的序列信息进行特征学习得到局部上下文特征/>，即得到结构化电力数据的两种窗口视角下的上下文特征，然后通过全连接神经网络对长期和局部上下文特征进行特征融合，利用多个堆叠模块学习得到结构化数据的结构化上下文特征/>。
基于获取的非结构化电力数据输入至风险审计预警模型后，通过Transformer网络模块进行特征提取，利用/>个Transformer Encoder块堆叠组成的Transformer模块以及多头自注意力机制对非结构化电力数据进行学习，得到非结构化数据的非结构化上下文特征/>；
步骤三：根据获得的双模态数据的上下文特征，采用交叉注意力机制生成双模态间的关联信息，利用双模态间的关联信息调整双模态的上下文特征分布，得到结构化数据特征和非结构化特征；
具体地，根据所得到的结构化和非结构化两种模态数据的上下文特征，基于双模态交叉注意力机制模块融合结构化和非结构化两种模态数据的上下文特征，即采用交叉注意力机制生成两种模态间的双模态关联信息 ，/>，基于不同模态的上下文特征乘模态间的双模态关联信息调整双模态的上下文特征分布，得到调整后的结构化数据特征/>，和非结构化数据特征/>。
具体地，结构化数据由公式/>，得到调整后的结构化数据特征，非结构化数据/>由公式/>，得到调整后的非结构化数据特征。
步骤四：将结构化数据特征和非结构化特征融合，利用融合后的双模态结合的特征信息输出审计预警结果标签。
具体地，将双模态结构化数据特征和非结构化数据特征/>拼接得到双模态结合的特征信息/>；
根据所获取的双模态结合的特征信息，使用全连接神经网络将得到双模态结合的特征信息/>输出为预警结果/>，其中预警结果象征标签，/>表示电力工程项目审计预警任务中出现的四大类问题与三大类预警级别。
作为一种实施例，预警结果包括四类审计问题：实际施工与计划施工内容是否一致、实际施工周期是否超期、实际使用费用是否超过预算、实际施工范围是否吻合计划施工范围，每类审计问题采用三类预警级别，包括高风险、中风险、低风险。
作为一种实施例，如图3所示，以人工-机械-材料汇总表的结构化数据为例，详细说明获取结构化数据长期上下文特征和局部上下文特征的具体过程，如下：
1）对于长期上下文特征，采用GRU-CNN混合堆叠块提取人工-机械-材料汇总表结构化数据上下文特征，该模块由个GRU-CNN块堆叠组成，单个GRU-CNN块中采用带有注意力机制的BiGRU网络提取结构化数据的长期上下文特征，BiGRU网络对原始结构化数据进行表示学习，初步得到序列中每个元素双向的上下文特征/>，/>。/>与/>的计算方式一致，/>的计算方式如下：
其中， ，/> ，/> ，/> ，/> ，/>, 表示GRU网络中的可学习参数矩阵；为GRU网络偏差。/>为Sigmoid函数完成非线性激活功能；/>表示张量对应元素相乘操作；/> 表示张量拼接操作；h表示参数矩阵将原始数据投射到h纬空间。
采用注意力机制对基础BiGRU学习出的初步上下文特征进行自适应调整，得到结构化数据长期性的上下文特征/>，计算如下：
,/>
其中，表示Softmax函数；/>表示注意力分数，其含义为结构化数据人工-机械-材料汇总表中，上下文特征/>各个组成部分的重要性；/>为全连接层，表示其权重参数，/>表示该全连接层的偏差。
2）对于局部上下文特征，单个GRU-CNN块中采用Mut-dilatation CNN，使用三种不同膨胀率的卷积神经网络对结构化数据进行表示学习，得到多粒度的局部性上下文特征，过程如下：
其中，表示卷积操作，/> ，/> ，/>则表示三个不同膨胀率（膨胀率分别为3，5，7）的卷积核，其卷积窗口大小为k，/> ，/>为卷积神经网络的偏差；全连接层的参数矩阵的形状为/>；/>表示归一化操作，其中/>和/>是其均值和方差，/>和/>分别代表缩放和平移的参数向量。
3）长期上下文特征和局部上下文特征融合，GRU-CNN混合堆叠块通过全连接神经网络进行长期和局部上下文特征融合，利用多个堆叠模块学习得到结构化数据的上下文特征，如下：
作为一种或多种实施方式，针对非结构化数据采用基于多头自注意力的Transformer模型，利用Transformer模型提取非结构化数据的特征，即：
其中，分别表示多头自注意力机制其中一个分支的参数矩阵，/>表示多头自注意力层的参数矩阵；/>操作为拼接个各分支的自注意力表示信息。/>表示全连接层；/>表示归一化操作。
作为一种或多种实施方式，基于双模态交叉注意力机制模块融合结构化和非结构化两种模态数据的上下文特征，具体的，采用交叉注意力机制生成两种模态间的双模态关联信息，/>，利用双模态关联信息关联信息调整双模态的上下文特征分布，得到调整后的结构化数据特征/>，和非结构化数据特征/>，将双模态数据拼接得到双模态结合的特征信息/>，即：
使用全连接神经网络将得到双模态结合的特征信息经过Sigmoid函数输出为预警结果，即：
=/>
其中，表示真实标签，是一个multi-hot向量。/>=0表示对于第i类审计问题，当前文档的风险级别不是j级别的，/>=1则表明是该风险级别，，i表示第i类审计问题，j表示风险级别，（i, j）表示向量/>中第((i-1)*3+j)个位置元素的索引；/>表示电力工程项目审计预警任务中出现的四大类问题与三大类预警级别。
模型最终损失，如下：
其中，表示真实标签，/>表示预测标签。
模型验证
为验证模型的性能，将本公开实例提出的方法与10个基线方法进行对比，实验结果如表1所示。
表1 各模型在电力工程项目文本材料审计预警任务中结果
Model/Metrics F1_Score Log_Score Jaccard_Score Hamming_Score
Linear classification 0.3977 24.0367 0.3892 0.8970
SVM 0.4023 22.9129 0.4027 0.8249
Decision Tree 0.4672 20.1863 0.4184 0.7967
RNN 0.6431 16.3418 0.4542 0.5623
LSTM 0.6519 15.1992 0.4617 0.5047
GRU 0.6523 15.2435 0.4603 0.4933
Bi-LSTM 0.6644 15.7883 0.4825 0.4475
Bi-GRU 0.6785 15.8020 0.4969 0.4336
TCN 0.7059 13.9377 0.5190 0.3981
Tranformer-Encoder 0.7132 13.6291 0.5268 0.3877
本模型 0.7938 12.7621 0.5489 0.3212
实验结果表明，本公开实例提出的方法在处理基于电力工程项目文本材料生成的语义特征数据上表现最优，体现了本实例提出的方法在电力工程项目文本材料审计预计性能上的有效性。传统的机器学习方法Linear classification、支持向量机SVM和决策树Decision Tree难以从电力工程项目文本材料这类本文数据中提取到有效的非线性关系与语义关联，因此性能表现较差。基于RNN的方法RNN、LSTM和GRU具有一定的竞争力，在加入双向学习机制下的Bi-LSTM和Bi-GRU进一步提升了模型的分类性能。Tranformer由于其自注意力机制可较好的提取长文本序列中的潜在时序依赖与语义相关性，因此预警性能在对比方法中可达到次优。TCN受卷积核尺寸限制难以提取到电力工程项目文本材料语义上的全局特征。实例提出的方法以提取使用GRU-CNN混合堆叠块和Transformer-Encode块将不同类型的审计信息进行有效结合，并利用注意力机制来学习结构化数据人工-机械-材料汇总表和非结构化数据电力工程项目文本材料的潜在关联信息，对比最优的传统方法DecisionTree和深度学习方法Tranformer-Encoder平均提升49.1%和9.75%。
本实施例构建了面向电力工程项目审计预警任务的双模态交叉注意力机制审计预警模型，将两种模态的数据，结构化电力数据和非结构化的电力工程项目文本数据进通过深度学习模型对数据进行表示学习，提取特征，最后进行审计预警任务；针对结构化数据采用BiGRU网络和Mut-dilatation CNN分别进行长期和局部的特征表示学习，非结构化数据则采用Transformer模块进行特征表示学习；采用双模态交叉注意力机制对结构化和非结构化数据特征进行处理，学习两种模态数据间的关联信息，并将其作为模型的增强信息，提升模型对电力经验环境的预警能力。
实施例2
本公开一种实施例中提供了基于双模态注意力的电网工程项目审计预警系统，包括：
数据获取模块，用于获取电力项目中的结构化以及非结构化的双模态电力数据；
特征提取模块，用于将结构化电力数据以及非结构化电力数据输入至风险审计预警模型中，分别得到结构化上下文特征以及非结构化上下文特征；
特征调整模块，用于根据获得的双模态数据的上下文特征，采用交叉注意力机制生成双模态间的关联信息，利用双模态间的关联信息调整双模态的上下文特征分布，得到结构化数据特征和非结构化特征；
预警输出模块，用于将结构化数据特征和非结构化特征融合，利用融合后的双模态结合的特征信息输出审计预警结果标签。
实施例3
本公共的一种实施例中提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于双模态注意力的电网工程项目审计预警方法。
实施例4
本公共的一种实施例中提供了一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于双模态注意力的电网工程项目审计预警方法。
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于双模态注意力的电网工程项目审计预警方法，其特征在于，包括：
获取电力项目中的结构化以及非结构化的双模态电力数据；
将结构化电力数据以及非结构化电力数据输入至风险审计预警模型中，分别得到结构化上下文特征以及非结构化上下文特征；
根据获得的双模态数据的上下文特征，采用交叉注意力机制生成双模态间的双模态关联信息，利用双模态间的双模态关联信息调整双模态的上下文特征分布，得到结构化数据特征和非结构化数据特征；
将结构化数据特征和非结构化数据特征融合，利用融合后的双模态结合的特征信息输出审计预警结果标签。
2.如权利要求1所述的基于双模态注意力的电网工程项目审计预警方法，其特征在于，结构化电力数据为与电力工程项目相关的人工汇总表、机械汇总表以及材料汇总表；非结构化电力数据为与电力工程项目相关的可研报告、施工合同、开工报告、竣工报告以及结算单的文本数据。
3.如权利要求1所述的基于双模态注意力的电网工程项目审计预警方法，其特征在于，对非结构化电力数据进行预处理，包括：将获取的可研报告、施工合同、开工报告、竣工报告、结算单的文本数据进行分词、词语嵌入操作，将非结构化电力数据处理为一个矩阵表示的词语序列，最后再加入位置编码信息。
4.如权利要求1所述的基于双模态注意力的电网工程项目审计预警方法，其特征在于，将结构化电力数据输入至风险审计预警模型中，得到结构化上下文特征，包括：所述风险审计预警模型包括GRU-CNN网络模块以及Transformer模块，所述结构化电力数据输入至风险审计预警模型后，通过GRU-CNN网络模块进行特征提取，具体为在每个GRU-CNN块中，采用带有注意力机制的BiGRU网络提取结构化电力数据的长期上下文特征，采用Mut-dilatationCNN网络提取结构化电力数据的局部上下文特征，然后将长期上下文特征和局部上下文特征融合，得到结构化上下文特征。
5.如权利要求1所述的基于双模态注意力的电网工程项目审计预警方法，其特征在于，将非结构化电力数据输入至风险审计预警模型中，得到非结构化上下文特征，包括：所述非结构化电力数据输入至风险审计预警模型后，通过Transformer模块进行特征提取，采用多头自注意力对非结构化电力数据进行学习，得到非结构化上下文特征。
6.如权利要求1所述的基于双模态注意力的电网工程项目审计预警方法，其特征在于，所述生成双模态间的双模态关联信息包括：基于双模态交叉注意力机制模块融合结构化和非结构化两种模态数据的上下文特征，采用交叉注意力机制生成两种模态间的双模态关联信息，利用双模态关联信息调整双模态的上下文特征分布，得到调整后的结构化数据特征和非结构化数据特征，将双模态数据拼接得到双模态结合的特征信息，使用全连接神经网络将得到双模态结合的特征信息输出审计预警结果标签。
7.如权利要求1所述的基于双模态注意力的电网工程项目审计预警方法，其特征在于，所述审计预警结果标签包括四种审计问题类型，每类审计问题采用三类预警级别，分别为高风险、中风险以及低风险。
8.基于双模态注意力的电网工程项目审计预警系统，其特征在于，包括：
数据获取模块，用于获取电力项目中的结构化以及非结构化的双模态电力数据；
特征提取模块，用于将结构化电力数据以及非结构化电力数据输入至风险审计预警模型中，分别得到结构化上下文特征以及非结构化上下文特征；
特征调整模块，用于根据获得的双模态数据的上下文特征，采用交叉注意力机制生成双模态间的双模态关联信息，利用双模态间的双模态关联信息调整双模态的上下文特征分布，得到结构化数据特征和非结构化数据特征；
预警输出模块，用于将结构化数据特征和非结构化特征融合，利用融合后的双模态结合的特征信息输出审计预警结果标签。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于双模态注意力的电网工程项目审计预警方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于双模态注意力的电网工程项目审计预警方法。
CN202410389505.5A 2024-04-02 2024-04-02 基于双模态注意力的电网工程项目审计预警方法及系统 Active CN117993868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410389505.5A CN117993868B (zh) 2024-04-02 2024-04-02 基于双模态注意力的电网工程项目审计预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410389505.5A CN117993868B (zh) 2024-04-02 2024-04-02 基于双模态注意力的电网工程项目审计预警方法及系统

Publications (2)

Publication Number Publication Date
CN117993868A true CN117993868A (zh) 2024-05-07
CN117993868B CN117993868B (zh) 2024-06-18

Family

ID=90893554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410389505.5A Active CN117993868B (zh) 2024-04-02 2024-04-02 基于双模态注意力的电网工程项目审计预警方法及系统

Country Status (1)

Country Link
CN (1) CN117993868B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118410416A (zh) * 2024-07-01 2024-07-30 国网山东省电力公司济宁供电公司 基于多模态双通道注意力的营销电费回收预警方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658067A (zh) * 2018-12-20 2019-04-19 山东晟光电力设备安装工程有限公司 一种电力工程项目管控平台及系统
CN113094476A (zh) * 2021-06-08 2021-07-09 明品云(北京)数据科技有限公司 基于自然语言处理风险预警方法、系统、设备及介质
CN113434639A (zh) * 2021-07-08 2021-09-24 中国银行股份有限公司 审计数据处理方法及装置
CN113779966A (zh) * 2021-09-13 2021-12-10 内蒙古工业大学 一种基于注意力的双向cnn-rnn深度模型的蒙文情感分析方法
US20220043878A1 (en) * 2020-08-06 2022-02-10 Gary Manuel Jackson Internet accessible behavior observation workplace assessment method and system to identify insider threat
CN114398961A (zh) * 2021-12-28 2022-04-26 西南交通大学 一种基于多模态深度特征融合的视觉问答方法及其模型
WO2022155994A1 (zh) * 2021-01-21 2022-07-28 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备
CN115336973A (zh) * 2022-07-20 2022-11-15 中国科学院空天信息创新研究院 基于自注意力机制和单导联心电信号的睡眠分期系统构建方法、及睡眠分期系统
CN117153393A (zh) * 2023-08-30 2023-12-01 哈尔滨工业大学 一种基于多模态融合的心血管疾病风险预测方法
CN117556361A (zh) * 2023-12-11 2024-02-13 上海怀鸫科技有限公司 基于多模态数据的异常监测预警系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658067A (zh) * 2018-12-20 2019-04-19 山东晟光电力设备安装工程有限公司 一种电力工程项目管控平台及系统
US20220043878A1 (en) * 2020-08-06 2022-02-10 Gary Manuel Jackson Internet accessible behavior observation workplace assessment method and system to identify insider threat
WO2022155994A1 (zh) * 2021-01-21 2022-07-28 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备
CN113094476A (zh) * 2021-06-08 2021-07-09 明品云(北京)数据科技有限公司 基于自然语言处理风险预警方法、系统、设备及介质
CN113434639A (zh) * 2021-07-08 2021-09-24 中国银行股份有限公司 审计数据处理方法及装置
CN113779966A (zh) * 2021-09-13 2021-12-10 内蒙古工业大学 一种基于注意力的双向cnn-rnn深度模型的蒙文情感分析方法
CN114398961A (zh) * 2021-12-28 2022-04-26 西南交通大学 一种基于多模态深度特征融合的视觉问答方法及其模型
CN115336973A (zh) * 2022-07-20 2022-11-15 中国科学院空天信息创新研究院 基于自注意力机制和单导联心电信号的睡眠分期系统构建方法、及睡眠分期系统
CN117153393A (zh) * 2023-08-30 2023-12-01 哈尔滨工业大学 一种基于多模态融合的心血管疾病风险预测方法
CN117556361A (zh) * 2023-12-11 2024-02-13 上海怀鸫科技有限公司 基于多模态数据的异常监测预警系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王丽亚;刘昌辉;蔡敦波;赵彤洲;王梦;: "基于字符级联合网络特征融合的中文文本情感分析", 微电子学与计算机, no. 01, 5 January 2020 (2020-01-05) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118410416A (zh) * 2024-07-01 2024-07-30 国网山东省电力公司济宁供电公司 基于多模态双通道注意力的营销电费回收预警方法及系统

Also Published As

Publication number Publication date
CN117993868B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN117993868B (zh) 基于双模态注意力的电网工程项目审计预警方法及系统
CN114898121B (zh) 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法
KR102172925B1 (ko) 딥러닝 기반 기후 변화 예측 시스템의 동작 방법
CN112905868B (zh) 事件抽取方法、装置、设备及存储介质
CN113361559B (zh) 基于深宽度联合神经网络的多模态数据知识信息提取方法
CN116956929B (zh) 针对桥梁管养文本数据的多特征融合命名实体识别方法、装置
CN115688047A (zh) 基于深度学习的城市能源多源数据融合方法及存储介质
CN112966957A (zh) 一种数据链路异常定位方法、装置、电子设备及存储介质
CN115994317A (zh) 基于深度对比学习的不完备多视图多标签分类方法和系统
CN115687934A (zh) 意图识别方法、装置、计算机设备及存储介质
CN116432611A (zh) 文稿写作辅助方法、系统、终端及存储介质
CN113343711B (zh) 工单生成方法、装置、设备及存储介质
CN117764774A (zh) 基于知识图谱的电网调度风险分析方法、系统及存储介质
CN111723186A (zh) 用于对话系统的基于人工智能的知识图谱生成方法、电子设备
CN115438190B (zh) 一种配电网故障辅助决策知识抽取方法及系统
CN116469056A (zh) 基于图像处理的智慧工厂隐患预测方法及系统
CN115563225A (zh) 基于知识图谱关系推理的电网设备故障诊断方法及系统
CN114330239A (zh) 文本处理方法及装置、存储介质及电子设备
CN113076217A (zh) 基于国产平台的磁盘故障预测方法
Wang et al. Transfer-based deep neural network for fault diagnosis of new energy vehicles
Bin et al. Simple and effective fault diagnosis method of power lithium-ion battery based on GWA-DBN
CN111159200A (zh) 一种基于深度学习的数据存储方法和装置
CN110825851A (zh) 基于中值转化模型的句子对关系判别方法
CN117194576B (zh) 一种电网客户信息数据整合处理方法及系统
CN115952290B (zh) 基于主动学习和半监督学习的案情特征标注方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant