CN117273516A - 一种基于注意力机制神经网络的绩效评估方法 - Google Patents

一种基于注意力机制神经网络的绩效评估方法 Download PDF

Info

Publication number
CN117273516A
CN117273516A CN202311191169.5A CN202311191169A CN117273516A CN 117273516 A CN117273516 A CN 117273516A CN 202311191169 A CN202311191169 A CN 202311191169A CN 117273516 A CN117273516 A CN 117273516A
Authority
CN
China
Prior art keywords
neural network
attention
attention mechanism
data
performance evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311191169.5A
Other languages
English (en)
Inventor
杨厚祥
樊昌
汪洲
熊高峰
毛亚丽
吴丽娜
余洋
柴莅
李可竞
陈冲
周亦珂
谢子馨
汪可
曹忺
刘烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huangshi Power Supply Co of State Grid Hubei Electric Power Co Ltd
Original Assignee
Huangshi Power Supply Co of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huangshi Power Supply Co of State Grid Hubei Electric Power Co Ltd filed Critical Huangshi Power Supply Co of State Grid Hubei Electric Power Co Ltd
Priority to CN202311191169.5A priority Critical patent/CN117273516A/zh
Publication of CN117273516A publication Critical patent/CN117273516A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于注意力机制神经网络的绩效评估方法，从多个维度抽取历史数据和相关特征，然后，对注意力机制神经网络模型进行训练，应用自注意力机制算法和角色图神经网络来提高模型性能，捕捉复杂关系和语义信息。最后，根据训练好的注意力机制神经网络模型对绩效进行评估。在评估过程中既考虑班组和个人对应急事件的处理能力，也考虑故障发生概率等，通过调节注意力权重防止以往仅依据处置工单数据或设备状态造成的绩效评估结果偏离。通过这种方法，可以有效地评估绩效，并提高评估结果的准确性和鲁棒性。

Description

一种基于注意力机制神经网络的绩效评估方法
技术领域
本发明涉及绩效评估领域，尤其涉及一种基于注意力机制神经网络的绩效评估方法。
背景技术
目前，绩效评估方法通常基于处置工单数据或设备状态，但这些方法容易造成评估结果偏离实际情况。仅仅依靠处置工单数据无法全面评估班组和个人的绩效，忽略了其他重要维度的因素，如工作量、工作效率等。过度依赖设备状态作为评估指标可能导致结果偏离实际情况，因为设备状态并不能全面反映班组和个人的工作能力和表现。这些局限性使得现有的绩效评估方法缺乏准确性、全面性和客观性。
发明内容
本发明的目的在于针对上述现有技术的不足，提供了一种基于注意力机制神经网络的绩效评估方法，通过引入注意力机制，能够从多个维度抽的若干因子。
为实现上述目的，本发明采用了如下技术方案：
本发明提供了一种基于注意力机制神经网络的绩效评估方法，包括以下步骤：
S1、收集数据，并对数据进行筛选和清洗数据；
S2、利用随机深林算法进行模型训练得到的设备状态、故障处置、班组或个人工作量、班组或个人工作效率的数据和绩效的相关性，并对各因子的重要性排序，选择最重要的若干因子；
S3、对注意力机制神经网络模型进行训练，应用自注意力机制算法和角色图神经网络提高模型性能，捕捉复杂关系和语义信息；
S4、根据训练好的所述注意力机制神经网络模型对绩效评估。
进一步，所述S1中，对数据集进行筛选和数据清洗具体为：
S11、收集并筛选数据：获取设备状态、故障处置、班组或个人工作量、班组或个人工作效率的历史数据，提取相关特征；
S12、清洗数据：将数据中存在缺失的，且含有异常值的相关数据去除；
S13、对数据进行归一化，以确保数据的准确性和一致性。
进一步，所述S2中，随机深林算法进行模型训练，具体包括：
S21、从给定的数据集中进行有放回采样，随机选择M个样本，并重复进行n次采样，生成N个训练集；
S22、对于每个所述训练集，使用决策树模型进行训练，在每次分裂时，根据基尼指数或信息增益的准则，选择最佳的特征进行分裂，以建立具有良好分类性能的决策树模型；
S23、每个所述决策树模型持续进行分裂，直到节点的所有训练样例都属于同一类别，或达到预先设定的停止条件，在分裂过程中，保持决策树的完整性，不进行剪枝操作，以充分利用训练集中的信息；
S24、生产的x棵决策树组成随机森林模型，对于待分类的因子，通过多数投票或加权平均的方式，综合考虑随机森林中每棵决策树的预测结果，确定每个因子的最终权重大小，从而实现绩效评估。
进一步，所述S3中，对注意力机制神经网络模型进行训练具体为：
S31、每个特征的注意力权重为：
其中，Q为查询向量；K为键向量；V为值向量；dk为特征的维度；E为注意力分数的误差项矩阵，维度与注意力分数相同；
通过将查询向量与键向量进行点积操作，并进行缩放处理后，再经过softmax函数得到注意力权重，将注意力权重与值向量进行加权求和，得到特征的加权表示；
S32、计算每个特征的自注意力权重为：
其中，X为输入的特征向量矩阵；W为自注意力权重矩阵；通过将特征矩阵与注意力权重矩阵进行点积操作，并进行缩放处理后，再经过softmax函数得到自注意力权重后，将自注意力权重与特征矩阵进加权求和，得到特征的加权表示；
S33、为了处理复杂关系和图结构数据，引入角色图神经网络，具体为：对于节点i，更新后表示为：
其中，为节点i在第l层的表示；|Ni|为节点i的邻居节点集合；W(l)为第l层的权重矩阵；σ(·)为激活函数；
S34、为了加强节点之间的交互和关联学习，引入图注意力机制，具体为：
对于节点i，更新后表示为：
其中，aij为节点i和节点j之间的注意力权重，计算方式为：
其中，为注意力权重向量；/>为权重矩阵；||为向量的拼接操作；LeakyReLU为带泄漏的整流线性单元。
进一步，在对注意力机制神经网络模型进行训练过程中，通过最小化损失函数来优化注意力权重和角色图神经网络的学习，以准确地捕捉不同维度的关键特征和复杂关系，具体为：
S35、定义损失函数，使用训练数据中的绩效评估结果与实际绩效之间的差异作为损失函数；通过调整注意力权重和角色图神经网络来最小化这种差异，损失函数表示为：
其中，为注意力机制神经网络模型预测的绩效值；λ(θ)为根据模型参数θ自适应地调整的平滑项权重；/>为注意力机制神经网络模型参数的L2范数的平方，即注意力机制神经网络模型权重的平方和；
S36、通过反向传播计算损失函数对注意力机制神经网络模型参数的梯度，以便更新参数；
假设损失函数为角色图神经网络的参数为θ，则梯度计算为：
其中，θ1,θ2,...,θk为图神经网络的不同参数；
S37、所述参数更新：使用改进的梯度下降法来更新角色图神经网络的参数，所述参数的更新公式为：
其中，θ(t)为第t次迭代的参数值；α为学习率；Δ为误差项。
进一步，所述S4的具体步骤为：
S41、在评估的过程中，结合多个维度的因素，计算绩效评估指标；
S42、根据所述注意力机制神经网络模型中学习到的权重，对不同维度的指标进行加权融合，以得出最终的绩效评估结果。
进一步，所述S42的具体步骤为：
S421、假设有d个不同维度的指标，其中，d为正整数，并且所述注意力机制神经网络模型学习到的权重为α1,α2,…αd表示每个维度的注意力权重；
绩效评估结果为P，则：
其中，Xm为m个维度的指标；C为修正项，用于对绩效评估结果进行修正；
S422、将注意力权重归一化，在加权融合前，通过需要对注意力权重进行归一化，以确保和为1，归一化的实现公式为：
其中，am为第m个维度的注意力权重，以确保注意力权重在[0,1]范围内，且所有权重的总和为1，从而保证融合后的绩效评估结果P在各个维度的指标之间进行合理的加权平均，并且修正项的引入不会导致结果失去意义。
本发明的有益效果为：该绩效评估方法作为一种先进的深度学习技术，能够自动学习和分配不同维度的权重，根据数据的重要性调整模型的关注度。通过引入注意力机制，我们能够从多个维度抽取历史数据和相关特征，并将这些特征作为输入来训练注意力机制神经网络模型。该模型能够自动捕捉关键特征和关联信息，从而更准确地评估班组和个人的绩效。
此外，该绩效评估方法还引入了随机森林算法用于计算绩效评估因子的重要性，并采用模型解释算法解释模型的预测结果和注意力权重分布。另外，神经网络模型损失函数通过引入自适应的平滑项，更好地适应了不同的数据分布和噪声情况，提高模型的鲁棒性和泛化能力。
附图说明
图1为本发明一种基于注意力机制神经网络的绩效评估方法的方框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，一种基于注意力机制神经网络的绩效评估方法，包括以下步骤：
S1、收集数据，并对数据进行筛选和清洗数据；
S2、利用随机深林算法进行模型训练得到的设备状态、故障处置、班组或个人工作量、班组或个人工作效率的数据和绩效的相关性，并对各因子的重要性排序，选择最重要的若干因子；
S3、对注意力机制神经网络模型进行训练，应用自注意力机制算法和角色图神经网络提高模型性能，捕捉复杂关系和语义信息；
S4、根据训练好的所述注意力机制神经网络模型对绩效评估。
所述S1中，对数据集进行筛选和数据清洗具体为：
S11、收集并筛选数据：获取设备状态、故障处置、班组或个人工作量、班组或个人工作效率的历史数据，提取相关特征；
在一种具体的实施方式中，该数据可以为工单记录、设备状态信息、班组/个人的工作记录。
S12、清洗数据：将数据中存在缺失的，且含有异常值的相关数据去除；
S13、对数据进行归一化，以确保数据的准确性和一致性。
所述S2中，随机深林算法进行模型训练，具体包括：
S21、从给定的数据集中进行有放回采样，随机选择M个样本，并重复进行n次采样，生成N个训练集；
S22、对于每个所述训练集，使用决策树模型进行训练，在每次分裂时，根据基尼指数或信息增益的准则，选择最佳的特征进行分裂，以建立具有良好分类性能的决策树模型；
S23、每个所述决策树模型持续进行分裂，直到节点的所有训练样例都属于同一类别，或达到预先设定的停止条件，在分裂过程中，保持决策树的完整性，不进行剪枝操作，以充分利用训练集中的信息；
S24、生产的x棵决策树组成随机森林模型，对于待分类的因子，通过多数投票或加权平均的方式，综合考虑随机森林中每棵决策树的预测结果，确定每个因子的最终权重大小，从而实现绩效评估。
在一种具体的实施方式中，使用基于Transformer的注意力机制神经网络模型进行训练。Transformer模型是一种强大的神经网络架构，通过自注意力机制来建模序列数据中的依赖关系和上下文信息。
在注意力机制中，使用公式(1)来计算每个特征的注意力权重，在注意力分数中添加了一个误差项。这样可以在计算注意力权重时，将额外的误差信息考虑在内，从而增强模型的稳健性和泛化能力。
所述S3中，对注意力机制神经网络模型进行训练具体为：
S31、每个特征的注意力权重为：
其中，Q为查询向量；K为键向量；V为值向量；dk为特征的维度；E为注意力分数的误差项矩阵，维度与注意力分数相同；
通过将查询向量与键向量进行点积操作，并进行缩放处理后，再经过softmax函数得到注意力权重，将注意力权重与值向量进行加权求和，得到特征的加权表示；
在一种具体的实施方式中，引入自注意力机制算法，以增强模型对特征之间依赖性的学习能力。对公式(1)进行了改进，通过引入误差项，在模型中增加一定的鲁棒性，使其对输入的扰动具有更好的适应性。误差项的设计可以根据具体任务和数据的特点进行调整；
自注意力机制通过计算每个特征与其他特征之间的注意力权重来确定特征之间的重要性。引入公式(2)来计算每个特征的自注意力权重；
S32、计算每个特征的自注意力权重为：
其中，X为输入的特征向量矩阵；W为自注意力权重矩阵；
通过将特征矩阵与注意力权重矩阵进行点积操作，并进行缩放处理后，再经过softmax函数得到自注意力权重后，将自注意力权重与特征矩阵进加权求和，得到特征的加权表示；
S33、为了处理复杂关系和图结构数据，引入角色图神经网络，具体为：对于节点i，更新后表示为：
其中，为节点i在第l层的表示；|Ni|为节点i的邻居节点集合；W(l)为第l层的权重矩阵；σ(·)为激活函数；
最后，通过堆叠多个图卷积层，可以建立多层的角色图神经网络。每一层的输出作为下一层的输入，从而逐渐提取更高级的特征表示。
角色图神经网络能够有效地捕捉节点之间的交互和复杂关联，从而增强模型对图数据的建模能力。
首先构建图结构：将历史数据和相关特征表示为图结构，其中节点表示特征，边表示特征之间的关系或依赖关系。
然后，应用图卷积层对图结构进行特征传播。图卷积层利用节点自身特征和邻居节点的特征来更新节点的表示。
S34、为了加强节点之间的交互和关联学习，引入图注意力机制，具体为：
对于节点i，更新后表示为：
其中，aij为节点i和节点j之间的注意力权重，计算方式为：
其中，为注意力权重向量；/>为权重矩阵；||为向量的拼接操作；LeakyReLU为带泄漏的整流线性单元。
角色图神经网络能够处理复杂关系和图结构数据，捕捉节点之间的交互和复杂关联。图卷积层和图注意力机制使得模型能够有效地传播和更新特征表示，从而提取更有意义的特征；
在注意力机制神经网络模型中，历史数据和相关特征被表示为输入向量序列。模型通过多层的自注意力机制、角色图神经网络和前馈神经网络对每个维度的特征进行编码和关系学习；
自注意力机制和角色图神经网络通过计算每个维度与其他维度之间的注意力权重来调整特征的表示。注意力权重根据特征的重要性来确定，使得模型能够动态地关注不同维度的特征，并捕捉到它们之间的复杂关系。
在对注意力机制神经网络模型进行训练过程中，通过最小化损失函数来优化注意力权重和角色图神经网络的学习，以准确地捕捉不同维度的关键特征和复杂关系，具体为：
S35、定义损失函数，使用训练数据中的绩效评估结果与实际绩效之间的差异作为损失函数；通过调整注意力权重和角色图神经网络来最小化这种差异，损失函数表示为：
其中，为注意力机制神经网络模型预测的绩效值；λ(θ)为根据模型参数θ自适应地调整的平滑项权重；/>为注意力机制神经网络模型参数的L2范数的平方，即注意力机制神经网络模型权重的平方和；
通过引入自适应的平滑项，模型可以在训练过程中根据实际情况调整平滑的强度，从而更好地适应不同的数据分布和噪声情况，提高模型的鲁棒性和泛化能力。
S36、通过反向传播计算损失函数对注意力机制神经网络模型参数的梯度，以便更新参数；
假设损失函数为角色图神经网络的参数为θ，则梯度计算为：
其中，θ1,θ2,...,θk为图神经网络的不同参数；
S37、所述参数更新：使用改进的梯度下降法来更新角色图神经网络的参数，所述参数的更新公式为：
其中，θ(t)为第t次迭代的参数值；α为学习率；Δ为误差项。
所述S4的具体步骤为：
S41、在评估的过程中，结合多个维度的因素，如班组和个人对应急事件的处理能力、故障发生概率，计算绩效评估指标；
S42、根据所述注意力机制神经网络模型中学习到的权重，对不同维度的指标进行加权融合，以得出最终的绩效评估结果。
所述S42的具体步骤为：
S421、假设有d个不同维度的指标，其中，d为正整数，并且所述注意力机制神经网络模型学习到的权重为α1,α2,…αd表示每个维度的注意力权重；
绩效评估结果为P，则：
其中，Xm为m个维度的指标；C为修正项，用于对绩效评估结果进行修正；
S422、将注意力权重归一化，在加权融合前，通过需要对注意力权重进行归一化，以确保和为1，归一化的实现公式为：
其中，am为第m个维度的注意力权重，以确保注意力权重在[0,1]范围内，且所有权重的总和为1，从而保证融合后的绩效评估结果P在各个维度的指标之间进行合理的加权平均，并且修正项的引入不会导致结果失去意义。
注意力权重的调节根据具体情况进行灵活设置，以防止以往仅依据处置工单数据或设备状态所造成的绩效评估结果偏离实际情况。
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求。

Claims (7)

1.一种基于注意力机制神经网络的绩效评估方法，其特征在于，包括以下步骤：
S1、收集数据，并对数据进行筛选和清洗数据；
S2、利用随机深林算法进行模型训练得到的设备状态、故障处置、班组或个人工作量、班组或个人工作效率的数据和绩效的相关性，并对各因子的重要性排序，选择最重要的若干因子；
S3、对注意力机制神经网络模型进行训练，应用自注意力机制算法和角色图神经网络提高模型性能，捕捉复杂关系和语义信息；
S4、根据训练好的所述注意力机制神经网络模型对绩效评估。
2.根据权利要求1所述的一种基于注意力机制神经网络的绩效评估方法，其特征在于，所述S1中，对数据集进行筛选和数据清洗具体为：
S11、收集并筛选数据：获取设备状态、故障处置、班组或个人工作量、班组或个人工作效率的历史数据，提取相关特征；
S12、清洗数据：将数据中存在缺失的，且含有异常值的相关数据去除；
S13、对数据进行归一化，以确保数据的准确性和一致性。
3.根据权利要求2所述的一种基于注意力机制神经网络的绩效评估方法，其特征在于，所述S2中，随机深林算法进行模型训练，具体包括：
S21、从给定的数据集中进行有放回采样，随机选择M个样本，并重复进行n次采样，生成N个训练集；
S22、对于每个所述训练集，使用决策树模型进行训练，在每次分裂时，根据基尼指数或信息增益的准则，选择最佳的特征进行分裂，以建立具有良好分类性能的决策树模型；
S23、每个所述决策树模型持续进行分裂，直到节点的所有训练样例都属于同一类别，或达到预先设定的停止条件，在分裂过程中，保持决策树的完整性，不进行剪枝操作，以充分利用训练集中的信息；
S24、生产的x棵决策树组成随机森林模型，对于待分类的因子，通过多数投票或加权平均的方式，综合考虑随机森林中每棵决策树的预测结果，确定每个因子的最终权重大小，从而实现绩效评估。
4.根据权利要求3所述的一种基于注意力机制神经网络的绩效评估方法，其特征在于，所述S3中，对注意力机制神经网络模型进行训练具体为：
S31、每个特征的注意力权重为：
其中，Q为查询向量；K为键向量；V为值向量；dk为特征的维度；E为注意力分数的误差项矩阵，维度与注意力分数相同；
通过将查询向量与键向量进行点积操作，并进行缩放处理后，再经过softmax函数得到注意力权重，将注意力权重与值向量进行加权求和，得到特征的加权表示；
S32、计算每个特征的自注意力权重为：
其中，X为输入的特征向量矩阵；W为自注意力权重矩阵；
通过将特征矩阵与注意力权重矩阵进行点积操作，并进行缩放处理后，再经过softmax函数得到自注意力权重后，将自注意力权重与特征矩阵进加权求和，得到特征的加权表示；
S33、为了处理复杂关系和图结构数据，引入角色图神经网络，具体为：对于节点i，更新后表示为：
其中，为节点i在第l层的表示；|Ni|为节点i的邻居节点集合；W(l)为第l层的权重矩阵；σ(·)为激活函数；
S34、为了加强节点之间的交互和关联学习，引入图注意力机制，具体为：
对于节点i，更新后表示为：
其中，aij为节点i和节点j之间的注意力权重，计算方式为：
其中，为注意力权重向量；/>为权重矩阵；||为向量的拼接操作；LeakyReLU为带泄漏的整流线性单元。
5.根据权利要求4所述的一种基于注意力机制神经网络的绩效评估方法，其特征在于，在对注意力机制神经网络模型进行训练过程中，通过最小化损失函数来优化注意力权重和角色图神经网络的学习，以准确地捕捉不同维度的关键特征和复杂关系，具体为：
S35、定义损失函数，使用训练数据中的绩效评估结果与实际绩效之间的差异作为损失函数；通过调整注意力权重和角色图神经网络来最小化这种差异，损失函数表示为：
其中，为注意力机制神经网络模型预测的绩效值；λ(θ)为根据模型参数θ自适应地调整的平滑项权重；/>为注意力机制神经网络模型参数的L2范数的平方，即注意力机制神经网络模型权重的平方和；
S36、通过反向传播计算损失函数对注意力机制神经网络模型参数的梯度，以便更新参数；
假设损失函数为角色图神经网络的参数为θ，则梯度计算为：
其中，θ1,θ2,...,θk为图神经网络的不同参数；
S37、所述参数更新：使用改进的梯度下降法来更新角色图神经网络的参数，所述参数的更新公式为：
其中，θ(t)为第t次迭代的参数值；α为学习率；Δ为误差项。
6.根据权利要求5所的一种基于注意力机制神经网络的绩效评估方法，其特征在于，所述S4的具体步骤为：
S41、在评估的过程中，结合多个维度的因素，计算绩效评估指标；
S42、根据所述注意力机制神经网络模型中学习到的权重，对不同维度的指标进行加权融合，以得出最终的绩效评估结果。
7.根据权利要求6所述的一种基于注意力机制神经网络的绩效评估方法，其特征在于，所述S42的具体步骤为：
S421、假设有d个不同维度的指标，其中，d为正整数，并且所述注意力机制神经网络模型学习到的权重为α1,α2,…αd表示每个维度的注意力权重；
绩效评估结果为P，则：
其中，Xm为m个维度的指标；C为修正项，用于对绩效评估结果进行修正；
S422、将注意力权重归一化，在加权融合前，通过需要对注意力权重进行归一化，以确保和为1，归一化的实现公式为：
其中，am为第m个维度的注意力权重，以确保注意力权重在[0,1]范围内，且所有权重的总和为1，从而保证融合后的绩效评估结果P在各个维度的指标之间进行合理的加权平均，并且修正项的引入不会导致结果失去意义。
CN202311191169.5A 2023-09-15 2023-09-15 一种基于注意力机制神经网络的绩效评估方法 Pending CN117273516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311191169.5A CN117273516A (zh) 2023-09-15 2023-09-15 一种基于注意力机制神经网络的绩效评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311191169.5A CN117273516A (zh) 2023-09-15 2023-09-15 一种基于注意力机制神经网络的绩效评估方法

Publications (1)

Publication Number Publication Date
CN117273516A true CN117273516A (zh) 2023-12-22

Family

ID=89215257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311191169.5A Pending CN117273516A (zh) 2023-09-15 2023-09-15 一种基于注意力机制神经网络的绩效评估方法

Country Status (1)

Country Link
CN (1) CN117273516A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574308A (zh) * 2024-01-17 2024-02-20 江西金格信安云技术有限公司 基于人工智能的计量芯片异常检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472097A (zh) * 2018-11-19 2019-03-15 国网湖北省电力有限公司黄石供电公司 一种输电线路在线监测设备故障诊断方法
CN115689403A (zh) * 2022-11-14 2023-02-03 国网山西省电力公司运城供电公司 一种配网设备风险评价模型的构建方法及装置
CN116109195A (zh) * 2023-02-23 2023-05-12 深圳市迪博企业风险管理技术有限公司 一种基于图卷积神经网络的绩效评估方法及系统
CN116167617A (zh) * 2022-12-29 2023-05-26 福州大学 融合随机森林与注意力的地质灾害风险评估方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472097A (zh) * 2018-11-19 2019-03-15 国网湖北省电力有限公司黄石供电公司 一种输电线路在线监测设备故障诊断方法
CN115689403A (zh) * 2022-11-14 2023-02-03 国网山西省电力公司运城供电公司 一种配网设备风险评价模型的构建方法及装置
CN116167617A (zh) * 2022-12-29 2023-05-26 福州大学 融合随机森林与注意力的地质灾害风险评估方法及系统
CN116109195A (zh) * 2023-02-23 2023-05-12 深圳市迪博企业风险管理技术有限公司 一种基于图卷积神经网络的绩效评估方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574308A (zh) * 2024-01-17 2024-02-20 江西金格信安云技术有限公司 基于人工智能的计量芯片异常检测方法及系统
CN117574308B (zh) * 2024-01-17 2024-03-26 江西金格信安云技术有限公司 基于人工智能的计量芯片异常检测方法及系统

Similar Documents

Publication Publication Date Title
CN109948000B (zh) 异质网络的异常目标检测方法、装置、设备及存储介质
CN113961759B (zh) 基于属性图表示学习的异常检测方法
Abd-Alsabour A review on evolutionary feature selection
CN114580706A (zh) 基于gru-lstm神经网络的电力金融业务风控方法及系统
Abbaszadeh et al. Development of a coupled wavelet transform and evolutionary L evenberg‐M arquardt neural networks for hydrological process modeling
CN117273516A (zh) 一种基于注意力机制神经网络的绩效评估方法
CN113378160A (zh) 一种基于生成式对抗网络的图神经网络模型防御方法及装置
CN111967011B (zh) 一种基于可解释的内部威胁评估方法
Kaveh et al. Feasibility of PSO-ANFIS-PSO and GA-ANFIS-GA models in prediction of peak ground acceleration
CN111222583B (zh) 一种基于对抗训练与关键路径提取的图像隐写分析方法
CN114117029B (zh) 一种基于多层次信息增强的解决方案推荐方法及系统
Bukhtoyarov et al. A comprehensive evolutionary approach for neural network ensembles automatic design
CN117692242A (zh) 一种基于图谱分析的网络攻击路径分析方法
CN109978013B (zh) 一种用于人物动作识别的深度聚类方法
CN115438753B (zh) 一种基于生成的衡量联邦学习协议数据安全性的方法
CN116545679A (zh) 一种工业情境安全基础框架及网络攻击行为特征分析方法
Venayagamoorthy et al. Comparison of nonuniform optimal quantizer designs for speech coding with adaptive critics and particle swarm
CN115174263A (zh) 攻击路径动态决策方法与装置
Mohanty et al. Software reliability prediction using group method of data handling
CN113986636A (zh) 一种基于硬盘自适应报告数据的数据中心硬盘故障预测方法
Narengbam et al. Harris hawk optimization trained artificial neural network for anomaly based intrusion detection system
Krempser et al. Improved surrogate model assisted differential evolution with an infill criterion
Branchi et al. Recommending the optimal policy by learning to act from temporal data
Dash et al. Towards crafting an improved functional link artificial neural network based on differential evolution and feature selection
Wu et al. Improving generalization performance of artificial neural networks with genetic algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination