CN117786354A - 基于联邦学习的电力数据风控方法、设备和介质 - Google Patents

基于联邦学习的电力数据风控方法、设备和介质 Download PDF

Info

Publication number
CN117786354A
CN117786354A CN202311812356.0A CN202311812356A CN117786354A CN 117786354 A CN117786354 A CN 117786354A CN 202311812356 A CN202311812356 A CN 202311812356A CN 117786354 A CN117786354 A CN 117786354A
Authority
CN
China
Prior art keywords
power data
wind control
control model
data set
financial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311812356.0A
Other languages
English (en)
Inventor
吴裔
李倩
宋淑星
奚增辉
田英杰
许唐云
郭乃网
苏运
李凡
郑成
张梦圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fudata Technology Co ltd
State Grid Shanghai Electric Power Co Ltd
Original Assignee
Shanghai Fudata Technology Co ltd
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fudata Technology Co ltd, State Grid Shanghai Electric Power Co Ltd filed Critical Shanghai Fudata Technology Co ltd
Priority to CN202311812356.0A priority Critical patent/CN117786354A/zh
Publication of CN117786354A publication Critical patent/CN117786354A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于联邦学习的电力数据风控方法、设备和介质,包括以下步骤:S1、获取金融数据集和电力数据集并进行预处理;S2、将预处理后的电力数据集和金融数据集进行特征提取和特征分析;S3、建立基于区块链的联邦学习框架,基于特征分析结果建立本地电力数据风控模型并进行训练,将训练结果发送至可信第三方,根据可信第三方聚合获得的全局电力数据风控模型参数,更新本地电力数据风控模型参数;S4、根据参数更新后的本地电力数据风控模型计算风险指数,根据所述风险指数进行风险等级划分,采取相应的风控措施。与现有技术相比,本发明减少了数据传输成本,降低了数据泄露风险。

Description

基于联邦学习的电力数据风控方法、设备和介质
技术领域
本发明属于数据风控技术领域,尤其是涉及一种基于联邦学习的电力数据风控方法、设备和介质。
背景技术
电力大数据作为企业生产经营的必须信息,具有实时性、真实性和连续性的特点,是衡量企业是否正常经营的一个重要指标。深度融合企业电力数据和工商、税务等外部数据,通过机器学习、人工智能算法搭建企业反欺诈、授信辅助、风险预警等模型,构建贷前反欺诈、贷中授信辅助、贷后风险预警等覆盖企业全生命周期的金融风控体系,可以有效化解银企信息不对称难题。
中国专利申请CN115130880A公开了一种非对称场景下基于联邦学习金融电力数据融合方法及介质,包括以下步骤:首先,使用不经意传输和伪随机函数以及线性同余法抽样生成混淆集合,以保护数据提供方和需求方的隐私,可以不经意地生成与原始数据唯一标识符相对应的伪随机标识符,使得数据提供方和需求方可以在不暴露真实数据的情况下进行交互和共享;其次,使用同态加密来更新逻辑回归模型的参数信息,可以确保模型训练过程中的计算不会泄露任何敏感信息;最后,使用训练完成的模型对银行和电力企业的数据进行处理,得到金融电力评分结果。该方法构建的纵向逻辑回归模型可以有效结合内外部数据进行建模,完成金融电力评分任务。然而,该方法对于联邦学习的使用效率不够好,需要多个设备或机器之间共享模型参数进行模型训练,在某些情况下可能会出现训练效率低下的问题,当多个客户端需要同时更新模型参数时,会产生大量的通信开销,从而影响训练效率;同时,该方法无法准确提取获取的金融数据和电力数据的特征,导致模型无法有效识别和区分不同等级的风险,从而影响模型的性能,可能会致使模型预测的误差增大,甚至出现误判的情况,无法准确地预测和控制风险,可能会给企业带来经济损失和声誉损失。因此,需要设计一种电力数据风控方法,提高风险预测的准确性和高效性。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于联邦学习的电力数据风控方法、设备和介质,解决现有电力大数据风控方法学习效率低和特征提取不全面的问题。
本发明的目的可以通过以下技术方案来实现:
一种基于联邦学习的电力数据风控方法,包括以下步骤:
S1、获取金融数据集和电力数据集并进行预处理;
S2、将预处理后的电力数据集和金融数据集进行特征提取和特征分析;
S3、建立基于区块链的联邦学习框架,基于特征分析结果建立本地电力数据风控模型并进行训练,将训练结果发送至可信第三方,根据可信第三方聚合获得的全局电力数据风控模型参数,更新本地电力数据风控模型参数;
S4、根据参数更新后的本地电力数据风控模型计算风险指数,根据所述风险指数进行风险等级划分,采取相应的风控措施。
进一步地,步骤S1中,所述预处理包括数据清洗、填补缺失值和异常值处理。
进一步地,步骤S2中,特征提取的具体过程如下:
S201、提取预处理后金融数据集中的财务数据特征,包括财务比率和现金流,提取预处理后电力数据集和金融数据集中的非财务数据特征,包括社会责任指标和技术研发水平;
S202、提取预处理后电力数据集中的高相关度特征,所述高相关度特征包括电力消耗情况、电费缴纳情况和电力供需情况;
S203、提取预处理后电力数据集的时序特征和空间特征;
S204、将提取的各项特征进行关联性分析、标准化和归一化处理。
进一步地,步骤S2中,特征分析的具体过程如下:
计算提取特征的信息价值IV和证据权重WOE,进行特征可行性分析,筛选与风险评估相关性高的特征。
进一步地,步骤S3的具体过程如下:
S301、建立基于区块链的联邦学习框架,由可信第三方初始化全局电力数据风控模型参数并广播到区块链中;
S302、基于特征分析结果,在各本地设备中建立本地电力数据风控模型;
S303、基于本地设备中的电力数据集和金融数据集,以及通过区块链中相应参与节点传递的全局电力数据风控模型参数,训练本地电力数据风控模型,将各本地电力数据风控模型模型参数通过区块链中相应的参与节点上传至可信第三方进行聚合,更新全局电力数据风控模型参数;
S304、可信第三方将更新后的全局电力数据风控模型参数广播到区块链各参与节点,更新本地电力数据风控模型参数,判断本地电力数据风控模型是否收敛,若是,则结束模型训练;若否,则返回步骤S303。
进一步地,区块链的参数传递过程中,通过加密技术和安全协议保护数据的传输和存储,并对数据进行脱敏处理。
进一步地,步骤S303中,通过梯度下降算法和随机下降算法加速本地电力数据风控模型的训练。
进一步地,步骤S4中,所述风险指数为本地电力数据风控模型输出的风险概率与风险影响程度的乘积。
本发明还提供一种电子设备,包括存储器、处理器,以及存储于所述存储器中的程序,所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法。
与现有技术相比,本发明具有以下有益效果:
1、本发明对获取的电力数据集和金融数据集进行预处理后,进行特征提取和特征分析,基于特征分析结果筛选与风险评估相关性高的特征,指导本地电力数据风控模型的建立和训练,有助于提高模型预测结果的准确性、可靠性和稳定性,更好的反映出数据的规律性和风险变化。
2、本发明考虑了财务数据特征和非财务数据特征,可以更全面地评估企业的风险;提取了预处理后电力数据集中的高相关度特征,可以提高模型的准确性和鲁棒性;提取电力数据集的时序特征和空间特征,可以更好地反映电力数据的规律性和风险变化;最后将不同指标的量纲和单位的电力数据的特征进行标准化和归一化处理,将不同指标的特征值进行规范化处理,以避免特征差异对模型性能的影响。
3、本发明建立基于区块链的联邦学习框架,不需要将所有数据都上传到服务端,采用去中心化的方式,基于区块链框架消除对中心化服务端的依赖,将数据交互过程分散到各个节点之间,从而减少数据传输的开销和时间成本;将各个参与方的模型参数保存到区块链上进行传递,通过加密技术和安全协议保护数据的传输和存储,并对数据进行脱敏处理,可以很好地防止参数泄露或被篡改,保障数据安全。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
本实施例提供一种基于联邦学习的电力数据风控方法,如图1所示,包括以下步骤:
S1、各本地设备获取电力数据集和金融数据集并进行预处理。
金融数据集从各个金融机构所在的本地设备直接获取,包括客户信息、交易记录、信用评分、投资组合等;可信第三方从电力数据源收集相关数据,包括用电量、电费缴纳情况、电力供需情况等,按照一定的规则分割成多个电力数据集后,分发至各本地设备,可以根据不同的需求和目标进行分割,例如按照时间序列、地理位置、客户类型等。
预处理包括数据清洗、填补缺失值和异常值处理等操作,以确保其质量和有效性,提升数据分析的精确性。
S2、将预处理后的电力数据集和金融数据集进行特征提取和特征分析。
特征提取的具体过程如下:
(1)提取预处理后金融数据集中的财务数据特征,如财务比率、现金流、盈利能力;由于除了财务数据之外,非财务因素如政策、市场、技术等也可以反映企业的财务状况,故引入非财务因素的特征,参考宏观经济指标、市场竞争的情况,更全面地评估企业的风险,非财务因素通常是从电力数据集和金融数据集中提取的,除了非财务因素,金融数据中还需要提取与风险评估相关的财务因素特征,如财务比率、现金流、盈利能力。
(2)提取预处理后电力数据集中的高相关度特征,并对其进行构造和组合,以提高模型的准确性和鲁棒性。高相关特征包括电力消耗、电费缴纳情况、电力供需情况,这些特征的变化直接地反映企业的财务状况和风险水平,判断特征与风险评估相关性的高低通过统计方法来实现;
(3)提取预处理后电力数据集的时序特征和空间特征。电力数据具有时间序列性,每个时间点的数据都可能与前后的时间点数据存在关联,通过时间序列分析方法,时间序列分析方法是指对具有时间顺序的数据进行统计分析的方法,以发现其规律性和趋势,提取时间序列特征,如趋势、周期性、季节性等,以更好地反映电力数据的规律性和风险变化;电力数据同时还具有空间性,不同地区和不同企业的电力数据会存在关联,通过空间分析方法,空间分析方法是指对具有空间位置的数据进行统计分析的方法,以发现其空间分布和空间关系,提取空间特征,如空间相关、空间聚类等,以更好地反映电力数据的空间特征和风险分布。
(4)将提取的各项特征进行关联性分析、标准化和归一化处理,以避免特征差异对模型性能的影响。
特征分析的具体过程如下:
(1)将电力数据集和金融数据集进行对比,发现其中的相关性和规律性,并将得到的数据与历史数据进行对比,可以发现其中的时间趋势和异常波动,以更好地预测未来的风险情况。
(2)将提取出的电力数据特征和金融数据特征进行对比和分析,发现两者之间的关联和规律,进一步的预测金融的风险。计算提取特征的信息价值IV和证据权重WOE,进行特征可行性分析,筛选与风险评估相关性高的特征,通过这些来观察和分析特征对模型的潜在价值。
S3、建立基于区块链的联邦学习框架,基于特征分析结果建立本地电力数据风控模型并进行训练,将训练结果发送至可信第三方,根据可信第三方聚合获得的全局电力数据风控模型参数,更新本地电力数据风控模型参数。
采用联邦学习的方式,将模型训练任务分配到多个本地设备上,通过共享本地模型参数获取全局模型参数,在每个本地设备上运行的本地模型更新算法只需要上传更新的模型参数,而不是原始数据,从而降低了数据泄露的风险;采用去中心化的方式,基于区块链的框架消除传统联邦学习对中心化服务端的依赖,通过区块链进行参数传递,可以进一步确保数据安全。具体过程如下:
S301、建立基于区块链的联邦学习框架,由可信第三方初始化全局电力数据风控模型参数并广播到区块链中。
S302、基于特征分析结果,在各本地设备中建立本地电力数据风控模型。
S303、基于本地设备中的电力数据集和金融数据集,以及通过区块链中相应参与节点传递的全局电力数据风控模型参数,训练本地电力数据风控模型,并通过梯度下降算法和随机下降算法计算本地梯度更新,将更新加密后通过区块链中相应的参与节点上传至可信第三方进行聚合,更新全局电力数据风控模型参数,区块链的参数传递过程中,通过加密技术和安全协议保护数据的传输和存储,并对数据进行脱敏处理。
S304、可信第三方将更新后的全局电力数据风控模型参数广播到区块链各参与节点,更新本地电力数据风控模型参数,判断本地电力数据风控模型是否收敛,若是,则结束模型训练;若否,则返回步骤S303。
与传统的基于本地模型聚合的分布式联邦学习模型相比,提高数据安全性,利用区块链技术实现系统的去中心化可以更好地保证数据的安全性和不可篡改性,降低数据泄露风险,由于数据交互过程分散到各个节点之间,因此可以降低数据泄露的风险,提高了学习效率,利用区块链技术实现系统的去中心化可以将数据交互过程分散到各个节点之间,从而减少数据传输的开销和时间成本。
S4、各本地设备根据参数更新后的本地电力数据风控模型计算风险指数,根据风险指数进行风险等级划分,并采取相应的风控措施。
本地电力数据风控模型输出的风险概率与风险影响程度,风险指数=风险概率×风险影响程度。针对不同的风险等级,可以采取不同的措施,在发现是数据存在问题的情况时及时进行调整的具体步骤如下:
(1)根据风险评估结果,采取相应的风险控制措施,例如调整信贷政策、实行风险预警等,以降低电力数据风险对金融机构的影响;
(2)对联合分析方法的结果进行反馈和优化,调整模型参数、改进数据处理流程,提高该方法的准确性和有效性。
实施例2
本实施例与实施例1的不同之处在于,采用可视化技术,如联邦建模可视化工具FATEBoard以及联邦学习建模pipeline调度和生命周期管理工具FATEFlow,展示本地电力数据风控模型的训练过程和结果,并使用模型评估方法来检验模型的性能和可靠性,模型评估方法具体是指用于检验模型性能和可靠性的方法,在联邦学习中,可以使用分布式评估方法,将评估任务分配到多个客户端上并行进行,以提高评估效率和准确性。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种基于联邦学习的电力数据风控方法,其特征在于,包括以下步骤:
S1、获取金融数据集和电力数据集并进行预处理;
S2、将预处理后的电力数据集和金融数据集进行特征提取和特征分析;
S3、建立基于区块链的联邦学习框架,基于特征分析结果建立本地电力数据风控模型并进行训练,将训练结果发送至可信第三方,根据可信第三方聚合获得的全局电力数据风控模型参数,更新本地电力数据风控模型参数;
S4、根据参数更新后的本地电力数据风控模型计算风险指数,根据所述风险指数进行风险等级划分,采取相应的风控措施。
2.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S1中,所述预处理包括数据清洗、填补缺失值和异常值处理。
3.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S2中,特征提取的具体过程如下:
S201、提取预处理后金融数据集中的财务数据特征,包括财务比率和现金流,提取预处理后电力数据集和金融数据集中的非财务数据特征,包括社会责任指标和技术研发水平;
S202、提取预处理后电力数据集中的高相关度特征,所述高相关度特征包括电力消耗情况、电费缴纳情况和电力供需情况;
S203、提取预处理后电力数据集的时序特征和空间特征;
S204、将提取的各项特征进行关联性分析、标准化和归一化处理。
4.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S2中,特征分析的具体过程如下:
计算提取特征的信息价值IV和证据权重WOE,进行特征可行性分析,筛选与风险评估相关性高的特征。
5.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S3的具体过程如下:
S301、建立基于区块链的联邦学习框架,由可信第三方初始化全局电力数据风控模型参数并广播到区块链中;
S302、基于特征分析结果,在各本地设备中建立本地电力数据风控模型;
S303、基于本地设备中的电力数据集和金融数据集,以及通过区块链中相应参与节点传递的全局电力数据风控模型参数,训练本地电力数据风控模型,将各本地电力数据风控模型模型参数通过区块链中相应的参与节点上传至可信第三方进行聚合,更新全局电力数据风控模型参数;
S304、可信第三方将更新后的全局电力数据风控模型参数广播到区块链各参与节点,更新本地电力数据风控模型参数,判断本地电力数据风控模型是否收敛,若是,则结束模型训练;若否,则返回步骤S303。
6.根据权利要求5所述的一种基于联邦学习的电力数据风控方法,其特征在于,区块链的参数传递过程中,通过加密技术和安全协议保护数据的传输和存储,并对数据进行脱敏处理。
7.根据权利要求5所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S303中,通过梯度下降算法和随机下降算法加速本地电力数据风控模型的训练。
8.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S4中,所述风险指数为本地电力数据风控模型输出的风险概率与风险影响程度的乘积。
9.一种电子设备,包括存储器、处理器,以及存储于所述存储器中的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN202311812356.0A 2023-12-26 2023-12-26 基于联邦学习的电力数据风控方法、设备和介质 Pending CN117786354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311812356.0A CN117786354A (zh) 2023-12-26 2023-12-26 基于联邦学习的电力数据风控方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311812356.0A CN117786354A (zh) 2023-12-26 2023-12-26 基于联邦学习的电力数据风控方法、设备和介质

Publications (1)

Publication Number Publication Date
CN117786354A true CN117786354A (zh) 2024-03-29

Family

ID=90393910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311812356.0A Pending CN117786354A (zh) 2023-12-26 2023-12-26 基于联邦学习的电力数据风控方法、设备和介质

Country Status (1)

Country Link
CN (1) CN117786354A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116441A (zh) * 2020-10-13 2020-12-22 腾讯科技(深圳)有限公司 金融风险分类模型的训练方法、分类方法、装置及设备
US20220043920A1 (en) * 2020-08-06 2022-02-10 Fujitsu Limited Blockchain-based secure federated learning
US20220050130A1 (en) * 2018-12-14 2022-02-17 University Of Georgia Research Foundation, Inc. Condition Monitoring Via Energy Consumption Audit in Electrical Devices and Electrical Waveform Audit in Power Networks
CN114818011A (zh) * 2022-06-27 2022-07-29 国网智能电网研究院有限公司 一种适用碳信用评价的联邦学习方法、系统及电子设备
CN116796864A (zh) * 2023-03-29 2023-09-22 国网安徽省电力有限公司信息通信分公司 一种基于数据相似度聚合的电力数据分布式联邦学习系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220050130A1 (en) * 2018-12-14 2022-02-17 University Of Georgia Research Foundation, Inc. Condition Monitoring Via Energy Consumption Audit in Electrical Devices and Electrical Waveform Audit in Power Networks
US20220043920A1 (en) * 2020-08-06 2022-02-10 Fujitsu Limited Blockchain-based secure federated learning
CN112116441A (zh) * 2020-10-13 2020-12-22 腾讯科技(深圳)有限公司 金融风险分类模型的训练方法、分类方法、装置及设备
CN114818011A (zh) * 2022-06-27 2022-07-29 国网智能电网研究院有限公司 一种适用碳信用评价的联邦学习方法、系统及电子设备
CN116796864A (zh) * 2023-03-29 2023-09-22 国网安徽省电力有限公司信息通信分公司 一种基于数据相似度聚合的电力数据分布式联邦学习系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王皓然;魏力鹏;: "电力系统安全审计平台的数据存储研究与应用", 贵州电力技术, no. 05, 29 May 2015 (2015-05-29), pages 44 - 46 *

Similar Documents

Publication Publication Date Title
Zhang et al. Construction site information decentralized management using blockchain and smart contracts
CN108681966A (zh) 一种基于区块链的信息监管方法及装置
CN109993233B (zh) 基于机器学习来预测数据审核目标的方法及系统
CN106548091A (zh) 一种数据存证、验证的方法及装置
CN113177730B (zh) 一种水资源溯源管理系统
CN106254317A (zh) 一种数据安全异常监控系统
WO2024002389A1 (zh) 一种适用碳信用评价的联邦学习方法、系统、电子设备及计算机可读存储介质
EP4310748A1 (en) Hydropower station operation risk control system based on blockchain
CN111861699B (zh) 一种基于运营商数据的反欺诈指数生成方法
US20220108133A1 (en) Sharing financial crime knowledge
CN110209729B (zh) 数据转移对象识别的方法及装置
CN110766462A (zh) 基于流平台的智能全景客户画像联动方法及系统
CN110659976A (zh) 基于区块链的企业技术服务征信系统及其管理方法
CN109523124A (zh) 资产数据处理方法、装置、计算机设备和存储介质
CN115545709A (zh) 配资异常交易识别方法及装置
Jovanovic et al. Robust integration of blockchain and explainable federated learning for automated credit scoring
CN112365270A (zh) 一种金融欺诈识别与拦截的方法
CN111639916A (zh) 一种基于区块链技术及深度学习的在线审计方法、系统和可读存储介质
CN116777140A (zh) 一种企业业务管理方法、装置、设备及介质
CN117786354A (zh) 基于联邦学习的电力数据风控方法、设备和介质
CN114066624A (zh) 基于图计算的黑名单关联图谱挖掘方法及系统
CN114445212A (zh) 一种基于大数据的供应链金融风险控制系统
CN113344333A (zh) 一种可配置的企业征信预警方法、装置、设备及存储介质
CN114595909A (zh) 一种电费回收风险评估方法和系统
CN111092857A (zh) 信息安全预警方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination