CN112990611A - 一种基于多头注意力网络的电费回收风险预测方法 - Google Patents

一种基于多头注意力网络的电费回收风险预测方法 Download PDF

Info

Publication number
CN112990611A
CN112990611A CN202110514466.3A CN202110514466A CN112990611A CN 112990611 A CN112990611 A CN 112990611A CN 202110514466 A CN202110514466 A CN 202110514466A CN 112990611 A CN112990611 A CN 112990611A
Authority
CN
China
Prior art keywords
electric charge
information
risk
attention network
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110514466.3A
Other languages
English (en)
Inventor
陆野
周宇
杨志新
王成现
潘留兴
丁淙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Electric Power Information Technology Co Ltd
Original Assignee
Jiangsu Electric Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Electric Power Information Technology Co Ltd filed Critical Jiangsu Electric Power Information Technology Co Ltd
Priority to CN202110514466.3A priority Critical patent/CN112990611A/zh
Publication of CN112990611A publication Critical patent/CN112990611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于多头注意力网络的电费回收风险预测方法，获得的企业用电趋势、行业景气信息与突发事件、以及外部信息这3类数据构造影响电费回收的特征向量。建立一个Embedding层将上述的离散和连续型特征向量转换为低维稠密的表征向量。采用Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，同时该模型具有强大的并行计算性，能够高效地输出高质量的特征表达向量。最后，利用一个全连接神经网络进行线性转换获得一个新的表征向量，再输入Sigmod激励函数从而得到最终的电费回收风险预测值。该预测方法实现了电费回收风险监测预警。

Description

一种基于多头注意力网络的电费回收风险预测方法
技术领域
本发明属于电力领域,涉及一种深度学习模型,具体说是一种基于多头注意力网络的电费回收风险预测方法。
背景技术
电费回收管理一直是供电企业的工作重点, 电费回收工作质量将直接影响公司的经济效益，对于供电企业的经营至关重要。长期以来，供电企业一直采用“先用电、后缴费”运营方式，导致了电费回收周期长，拖欠电费普遍等现象。使得电费回收越来越成为困扰供电企业的一大问题。虽然供电企业不断加大收费力度，但全国范围内采用新型设备盗窃电能、恶意拖欠电费的形势仍然十分严峻，这就使供电企业在进行正常生产、经营的同时，还要拿出大量的人力、物力来与不法客户作斗争，大大加重了供电企业的负担。有鉴于此，供电企业亟需借助大数据等分析手段，通过已掌握的企业用电、行业信息和外部信息等数据，分析用户的电费回收风险，以帮助供电企业实现智能化的电费回收管理。
在管理类和数据分析类的文献中，对于分析和预测电费回收风险的问题已进行了广泛的研究。在这些研究中，从供电企业获得的企业用电趋势、行业景气信息与突发事件以及外部数据是主要的数据形式，它提供了彻底地深入理解回收风险的机会。沿着这条思路，一个可能影响用户欠费的丰富特征集合被构建，评估并且被作为电费回收风险预测模型的输入。这些已有工作主要集中在特征工程的构造上，而分类模型多直接使用经典的决策树（Decision Tree，DT）、逻辑回归（Logistic Regression，LR）、随机森林（Random Forest，RF）和随机梯度下降（Stochastic Gradient Descent，SGD）等。此类方法不能够学习到高阶的特征表达，同时对于预测结果也缺乏可解释性。由于深度学习模型可通过学习一种深层次非线性网络结构，获取用户和项目的深层次统一表征，具有强大的从样本中学习数据集本质特征的能力。有鉴于此，需要一种基于多头注意力网络的电费回收风险预测方法。
发明内容
本发明的目的是提供一种基于多头注意力网络的电费回收风险预测方法,该预测方法实现了电费回收风险监测预警，对大客户开展监测分析，找出电费回收风险点，聚焦高风险用户,能够为电网业务运营提供运营监测和业务管理，便于相关部门及时防范电费回收风险，由事后管控转化为事中管控。
为解决上述问题，本发明采用的技术方案为：
一种基于多头注意力网络的电费回收风险预测方法，其特征在于，首先，基于供电企业获得的企业用电趋势、行业景气信息与突发事件、以及外部信息这3类数据构造了25种影响电费回收的特征向量。其次，设计了一个Embedding层将上述的离散和连续型特征向量转换为分别转换为低维稠密的表征向量。再次，采用Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，同时该模型具有强大的并行计算性，能够高效地输出高质量的特征表达向量。最后，利用一个全连接神经网络(Multi-Layer Perceptron, MLP)进行线性转换获得一个新的表征向量，再输入Sigmod激励函数从而得到最终的电费回收风险预测值。该预测方法实现了电费回收风险监测预警，对大客户开展监测分析，找出电费回收风险点，聚焦高风险用户。
所述步骤1）综合考虑企业用电趋势、行业景气信息与突发事件以及外部信息这3大类数据，每种类别所包含的特征含义分别如表1、表2和表3所示：
表1企业用电趋势
Figure 659301DEST_PATH_IMAGE001
表2行业景气信息与突发事件
Figure 156142DEST_PATH_IMAGE003
表3外部信息
Figure 432664DEST_PATH_IMAGE004
进一步地，步骤2）中，本发明使用的特征来自于3种类型的数据：企业用电趋势、行业景气信息与突发事件以及外部信息，分别记为特征向量
Figure 91179DEST_PATH_IMAGE005
Figure 584477DEST_PATH_IMAGE006
。这些集合中的特征分为离散型和连续型，是深度学习模型的输入。
企业用电趋势、行业景气信息与突发事件以及外部信息编码模块的输入上述3类数据的特征集合Q、H和F，旨在将所有的离散和连续型特征转换为分别转换为低维稠密的表征向量，分别记为向量
Figure 353850DEST_PATH_IMAGE007
；然后使用一个多层感知器(Multi-Layer Perceptron, MLP)来分别学习类别这3类特征的表征向量，分别记为向量集合
Figure 921097DEST_PATH_IMAGE008
和
Figure 875147DEST_PATH_IMAGE009
。
进一步地，步骤3）中，本发明借助神经网络中的Concat函数，将以上
Figure 465528DEST_PATH_IMAGE010
、
Figure 100909DEST_PATH_IMAGE011
和
Figure 584980DEST_PATH_IMAGE012
这3类特征的表征向量进行拼接，最终获得企业用电趋势、行业景气信息与突发事件以及外部信息的表征向量，记为
Figure 585297DEST_PATH_IMAGE013
。
进一步地，考虑到特征之间的协同影响以及冲突语义的特征交互给预测结果带来的影响。本发明采用谷歌Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，同时该模型具有强大的并行计算性，能够高效地输出高质量的特征表达向量。给定Transformer模型的输入向量
Figure 459712DEST_PATH_IMAGE014
, Transformer第
Figure 725215DEST_PATH_IMAGE015
个头的潜在表达向量
Figure 939159DEST_PATH_IMAGE016
可通过缩放点乘积注意力(Dot-Product Attention)求得:
Figure 172694DEST_PATH_IMAGE017
其中，
Figure 862301DEST_PATH_IMAGE018
分别代表Transformer模型中的Query、Key和Value三个向量，
Figure 777168DEST_PATH_IMAGE019
和
Figure 907935DEST_PATH_IMAGE020
是用于学习Transformer第
Figure 640267DEST_PATH_IMAGE021
个头的权重参数，
Figure 426958DEST_PATH_IMAGE022
是向量看K的维度，隐藏特征
Figure 270149DEST_PATH_IMAGE023
的组合形成了一个增强的表征向量
Figure 521002DEST_PATH_IMAGE024
存储了每一个特征固有的信息和多义的信息。本发明将一个前馈数据网络
Figure 299602DEST_PATH_IMAGE025
和一个
Figure 199687DEST_PATH_IMAGE026
的激励函数进行组合，从而学习一个非线性的组合信息：
Figure 721935DEST_PATH_IMAGE027
其中，
Figure 827294DEST_PATH_IMAGE028
是可训练的权重，
Figure 635850DEST_PATH_IMAGE029
是注意力头的数量，
Figure 397133DEST_PATH_IMAGE030
代表向量的拼接。
进一步地，步骤4）中，进一步地，本发明依据应用场景的需求，对预测结果的风险等级划分：依据电费风险防控模型预测准确率最高原则来设置欠费风险概率P的分段界限值，将P值在60%（包含60%）到100%之间定义为高风险，在10%（包含10%）到60%之间定义为中风险，在0%到10%之间定义为低风险。有鉴于此，对于向量
Figure 519810DEST_PATH_IMAGE031
，本发明首先利用一个MLP进行线性转换获得一个新的表征向量，再输入Sigmod激励函数从而得到最终的电费回收风险预测值：
Figure 807572DEST_PATH_IMAGE032
依据模型输出的电费回收风险预测值
Figure 662395DEST_PATH_IMAGE033
，以P值为参考依据进行最终的风险标记（即：高风险、中风险和低风险3种类别）。
进一步地，步骤5）中，本发明依据原始数据的标记（有无风险），采用在二分类问题中常用的损失函数：
Figure 973291DEST_PATH_IMAGE034
其中D为训练集合，t为集合D中的某个样本，其对应的标签（电费回收风险预测值）为
Figure 696396DEST_PATH_IMAGE035
，本发明借助Adam优化器来最小化以上损失函数，从而将预测模型中的参数调为最优配置。
本发明实现了电费回收风险监测预警，对大客户开展监测分析，找出电费回收风险点，聚焦高风险用户,能够为电网业务运营提供运营监测和业务管理，便于相关部门及时防范电费回收风险，由事后管控转化为事中管控。
附图说明
图1本发明应用流程示意图。
图2本发明设计的一种基于多头注意力网络的电费回收风险预测方法。图中，Embedding、Concat和ReLu是常用的函数名称，Transformer是模型名称。
具体实施方式
下面结合附图和具体实施，对本发明的处理流程进一步详细阐述：
步骤1：收集企业用电趋势信息，基于电力营销业务系统、用电信息采集系统的用户信息、用电特征信息、缴费行为信息，收集回款时长，是否连续逾期，用电量变化趋势，逾期时长，现金交费次数占比，催费短信是否订阅，催费短信发送次数，客户用电量同比，客户用电量环比，业务变更，交费渠道偏好。
步骤2：收集行业景气信息与突发事件，主要包括行业景气度，行业用电量同比，行业用电量环比，突发事件。
步骤3：收集外部数据，主要包括生产经营信息，外部信用信息，企业社会形象，行业前景信息，客户资产信息，国家政策信息。
步骤4：设计一个Embedding层对上述特征进行编码学习(即统一特征表征学习)。
步骤5：构建基于多头注意力网络的电费回收风险预测方法，将以上数据输入作为训练集输入，将历史缴费信息（有无电费回收风险）作为样本的标记。
步骤6：在模型训练阶段，得到模型的最优参数并保存模型。
步骤7：在模型测试阶段，将当前企业用电信息输入模型，得到预测结果并划分电费回收风险。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于多头注意力网络的电费回收风险预测方法，其特征在于，具体包括如下步骤：首先，建立一个Embedding层将上述的离散和连续型特征向量转换为低维稠密的表征向量;再次，采用Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，同时该模型具有强大的并行计算性，高效地输出高质量的特征表达向量;最后，利用一个全连接神经网络进行线性转换获得一个新的表征向量，再输入Sigmod激励函数从而得到最终的电费回收风险预测值;实现电费回收风险监测预警;
1）基于供电企业获得的企业用电趋势、行业景气信息与突发事件、以及外部信息这3类数据构造影响电费回收的特征向量;
2）建立一个Embedding层将上述的离散和连续型特征向量转换为低维稠密的表征向量;
3）多头自注意力网络用于学习高阶的特征表达和注意力权重;采用Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，同时该模型具有强大的并行计算性，高效地输出高质量的特征表达向量;
4）利用一个全连接神经网络进行线性转换获得一个新的表征向量，再输入Sigmod激励函数从而得到最终的电费回收风险预测值;实现电费回收风险监测预警。
2.根据权利要求1所述的基于多头注意力网络的电费回收风险预测方法，其特征在于：步骤1）中,按照企业用电趋势、行业景气信息与突发事件以及外部数据3大类，分别收集各类不同特征共计25种；其企业用电趋势的特征组包括：企业缴费行为信息、收集回款时长、是否连续逾期、用电量变化趋势、逾期时长、现金交费次数占比、催费短信是否订阅、催费短信发送次数、客户用电量同比、客户用电量环比、业务变更、交费渠道偏好；行业景气信息与突发事件特征组包括：行业景气度，行业用电量同比，行业用电量环比，突发事件；外部数据特征组包括：生产经营信息，外部信用信息，企业社会形象，行业前景信息，客户资产信息，国家政策信息。
3.根据权利要求1所述的基于多头注意力网络的电费回收风险预测方法，其特征在于：步骤2）中,将上述的离散和连续型特征向量转换为高质量的低维稠密表征向量，同时能够降低特征的维度。
4.根据权利要求1所述的基于多头自注意力网络的电费回收风险预测方法，其特征在于：步骤3）中,使用多头注意力网络去捕捉不同特征之间的交互，学习高阶的特征表达和注意力权重，并学习多样化的特征交互带来的多义性，同时该模型具有强大的并行计算性，能够高效地对用电企业欠费概率进行计算。
5.根据权利要求1所述的基于多头自注意力网络的电费回收风险预测方法，其特征在于：所述步骤4）中,实现多分类任务的激励函数Sigmod，对用电企业进行最终的风险标记,即：高风险、中风险和低风险3种类别，借助Adam优化器来最小化平方损失函数，从而将预测模型中的参数调为最优配置。
CN202110514466.3A 2021-05-12 2021-05-12 一种基于多头注意力网络的电费回收风险预测方法 Pending CN112990611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110514466.3A CN112990611A (zh) 2021-05-12 2021-05-12 一种基于多头注意力网络的电费回收风险预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110514466.3A CN112990611A (zh) 2021-05-12 2021-05-12 一种基于多头注意力网络的电费回收风险预测方法

Publications (1)

Publication Number Publication Date
CN112990611A true CN112990611A (zh) 2021-06-18

Family

ID=76337544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110514466.3A Pending CN112990611A (zh) 2021-05-12 2021-05-12 一种基于多头注意力网络的电费回收风险预测方法

Country Status (1)

Country Link
CN (1) CN112990611A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598446A (zh) * 2018-12-09 2019-04-09 国网江苏省电力有限公司扬州供电分公司 一种基于机器学习算法的电费回收风险预警系统
CN109726930A (zh) * 2019-01-03 2019-05-07 江苏方天电力技术有限公司 一种基于深度学习的电力大客户电费回收风险预警方法
CN109949089A (zh) * 2019-03-18 2019-06-28 腾讯科技（深圳）有限公司 一种确定展示率的方法、装置及终端
CN111784062A (zh) * 2020-07-07 2020-10-16 上海携旅信息技术有限公司 点击概率预测方法、系统、电子设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598446A (zh) * 2018-12-09 2019-04-09 国网江苏省电力有限公司扬州供电分公司 一种基于机器学习算法的电费回收风险预警系统
CN109726930A (zh) * 2019-01-03 2019-05-07 江苏方天电力技术有限公司 一种基于深度学习的电力大客户电费回收风险预警方法
CN109949089A (zh) * 2019-03-18 2019-06-28 腾讯科技（深圳）有限公司 一种确定展示率的方法、装置及终端
CN111784062A (zh) * 2020-07-07 2020-10-16 上海携旅信息技术有限公司 点击概率预测方法、系统、电子设备和介质

Similar Documents

Publication Publication Date Title
CN109767255B (zh) 一种通过大数据建模实现智能运营及精准营销的方法
Li et al. A DBN‐Based Deep Neural Network Model with Multitask Learning for Online Air Quality Prediction
WO2023155508A1 (zh) 一种基于图卷积神经网络和知识库的论文相关性分析方法
CN110377605A (zh) 一种结构化数据的敏感属性识别与分类分级方法
CN111639883A (zh) 一种基于机器学习的电费回收风险预测方法
CN112507006A (zh) 基于云端的电网企业运行数据整合系统
Kertkeidkachorn et al. Finkg: A core financial knowledge graph for financial analysis
CN111666499A (zh) 一种基于大数据的舆情监测云服务平台
CN111666263A (zh) 一种数据湖环境下异构数据管理的实现方法
Kumar et al. An extensive review on different strategies of multimedia data mining
Dang et al. [Retracted] Analysis of Stadium Operation Risk Warning Model Based on Deep Confidence Neural Network Algorithm
Chang et al. Automated feature engineering for fraud prediction in online credit loan services
CN112990611A (zh) 一种基于多头注意力网络的电费回收风险预测方法
Gabhane et al. Churn Prediction in Telecommunication Business using CNN and ANN
Ye et al. Network intrusion classification based on extreme learning machine
Wang et al. Applications of Machine Learning in Public Security Information and Resource Management
Zhang [Retracted] Precise Dissemination of E‐Commerce Information and Behavior of Social Media Users
Punjabi et al. Forensic Intelligence-Combining Artificial Intelligence with Digital Forensics
You et al. Video rumor classification based on multi-modal theme and keyframe fusion
CN112991032A (zh) 一种基于层级注意力网络的电力预算评估方法
Ram et al. An overview on multimedia data mining and its relevance today
Yang et al. Fuzzy contrastive learning for online behavior analysis
Zhang et al. Smart Campus Economy One‐Card Management Mode Based on the Integration of Big Data and Cloud Computing
Weinzierl et al. Predictive Business Process Monitoringwith Context Information from Documents.
Teng RETRACTED: Research on Enterprise Economic Management System Based on Computer Big Data Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication