CN113344589A - 一种基于vaegmm模型的发电企业串谋行为的智能识别方法 - Google Patents

一种基于vaegmm模型的发电企业串谋行为的智能识别方法 Download PDF

Info

Publication number
CN113344589A
CN113344589A CN202110514066.2A CN202110514066A CN113344589A CN 113344589 A CN113344589 A CN 113344589A CN 202110514066 A CN202110514066 A CN 202110514066A CN 113344589 A CN113344589 A CN 113344589A
Authority
CN
China
Prior art keywords
power generation
collusion
bidding
vaegmm
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110514066.2A
Other languages
English (en)
Other versions
CN113344589B (zh
Inventor
王文婷
张明光
张鹏翔
陈大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN202110514066.2A priority Critical patent/CN113344589B/zh
Publication of CN113344589A publication Critical patent/CN113344589A/zh
Application granted granted Critical
Publication of CN113344589B publication Critical patent/CN113344589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • G06Q30/0185Product, service or business identity fraud
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0611Request for offers or quotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06Electricity, gas or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/70Smart grids as climate change mitigation technology in the energy generation sector
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S50/00Market activities related to the operation of systems integrating technologies related to power network operation or related to communication or information technologies
    • Y04S50/10Energy trading, including energy flowing from end-user application to grid

Abstract

本发明公开了电力市场主体风险识别方法设计领域的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法。本发明结合发电企业的串谋识别指标体系和无监督学习算法VAEGMM,实现对电力市场串谋行为的实时监测。首先获取发电企业的原始申报电量和申报电价数据,并根据串谋行为类型构建完善的发电企业串谋识别指标体系。然后,通过详细的指标测算方法,计算出适用于智能算法训练的数据。最后,针对该数据特点,开发VAEGMM算法对数据进行聚类,有效分离出串谋样本。本发明提出的基于VAEGMM的发电企业串谋行为智能识别方法,可以快速精确地识别电力市场中发电企业的串谋行为,对防范电力市场交易风险、提高电力市场运行效率具有重要意义。

Description

一种基于VAEGMM模型的发电企业串谋行为的智能识别方法
技术领域
本发明属于电力市场主体风险识别方法设计领域,具体涉及一种基于VAEGMM模型的发电企业串谋行为的智能识别方法。
背景技术
随着电力市场改革不断深入,社会各界纷纷聚焦于电力市场的监管体制建设。在电力市场中,各个发电或者买电企业或多或少拥有一定的市场力,而市场力正是污染市场公平竞争的最主要因素。其中,串谋是我国各个市场主体运用市场力进行违规的最主要形式之一。研究发电企业串谋行为的识别方法,有利于提高电力监管系统的监管水平,维护其他市场主体的利益和构建公平健康的市场环境。
通常,集中竞价的串谋途径大体分为两类,一类是通过私下双边协议直接结盟。目前各省市的大部分发电容量由行业内各大寡头掌控,他们历史上拥有各自的串谋联盟,在集中竞价中达成相同的报价意识。另一类是默契串谋,在发电企业之间更为常见。他们通过在同一时间段同比例地改变各自的申报价格和申报量或者反向报价报量,进而达到操纵整个市场价格的目的。对于发电企业串谋行为的识别,其研究方法主要分为三类,设计惩罚机制和更加合理的市场出清机制来抑制串谋行为的方法;对发电企业、售电公司、电力用户三类市场主体构建了电力市场交易全过程的串谋行为指标体系并进行指标监测;应用智能方法来发掘市场内的串谋。
由于我国电力市场主体的串谋行为识别工作还未全面开展起来,带有标签的串谋数据非常少,所以只能使用无监督学习的方法寻找数据内部的规律和联系,将串谋数据分离出来。而在众多的无监督学习算法中,深度联合学习网络能够处理大量高维的数据。它包含了两部分网络:表达网络和估计网络。前者将学习到高维复杂数据的低维表达和特征,后者对其进行密度估计,将位于低密度区域的视为异常样本。实际上,发电企业的报价数据具有正负样本不均衡的特点,表达网络使用普通的线性降维无法得到良好的结果。因此,为了契合电力市场的串谋数据特点,构建了新的表达网络,提出了新的深度联合学习网络。
发明内容
针对上述背景技术中提到的传统串谋行为识别方法处理电力交易大规模数据效率低下的不足,本发明提出了一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,克服了现有技术的不足,具有良好的效果。
本发明采用如下技术方案:
一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,包括如下步骤:
S1、获得发电企业的申报电量和申报电价数据;
S2、构建发电企业的串谋识别指标体系,指标包括:申报电量市场份额均值、报价一致性、申报电量一致性、报价曲线差异面积比率、报价安全度均值、报价相对比均值以及集中竞价场次;
S3、计算得到串谋数据集;
S4、对串谋数据集进行归一化处理,对指标体系中的集中竞价场次进行独热编码处理,再进行扩维,得到处理后的串谋数据集,划分为训练集、验证集和测试集;
S5、使用训练集和验证集对VAEGMM模型进行训练和验证,然后使用VAEGMM模型对测试集进行测试,得到每个样本在低维空间中的密度估计值;
S6、设置阈值,分离出异常样本,得到预测值;
S7、将预测值逆映射回步骤S3的测算矩阵中,通过异常样本的横纵坐标,得到发生串谋行为的竞价商或者竞价联盟。
优选地,步骤S1中,获得某一时期中m家发电企业的原始申报数据
Figure BDA0003061387280000021
Figure BDA0003061387280000022
Figure BDA0003061387280000023
Figure BDA0003061387280000024
分别表示第i个发电企业第j段的申报电价和申报电量;例如在三段式报价规则中,
Figure BDA0003061387280000025
优选地,步骤S2中,根据发电企业常见的串谋形式,构建完善的串谋行为识别指标体系;
申报电量市场份额均值为指标1,表示两个发电企业的申报电量在市场份额的占比,体现了市场力大小,计算公式为:
Figure BDA0003061387280000026
式中,Si为市场中第i家发电企业这次竞价的申报电量;Sj为市场中第j家发电企业该次竞价的申报电量;n为本次竞价中参与的竞价商的个数;
报价一致性为指标2,表示两个发电企业的申报价格差异,计算公式为:
Figure BDA0003061387280000027
式中,pia和pja表示的是第i家和第j家发电企业在这次竞价中的第a段报价;
Figure BDA0003061387280000028
是这次竞价中所有发电企业第a段报价的均值;
申报电量一致性为指标3,表示两个发电企业的申报电量差异,计算公式为:
Figure BDA0003061387280000031
式中,Sia和Sja表示的是第i家和第j家发电企业在这次竞价中的第a段申报电量;
Figure BDA0003061387280000032
是这次竞价中所有发电企业第a段申报电量的均值;
报价曲线差异面积比率为指标4,反映两个发电企业的平行竞价程度,计算公式为:
Figure BDA0003061387280000033
式中,fi和fj表示的是第i家和第j家发电企业在这次竞价中的报价曲线函数,S′为两家发电企业申报电量中的较小值;
报价安全度均值为指标5,衡量发电企业之间报价与历史平均报价的偏离程度,计算公式为:
Figure BDA0003061387280000034
式中,
Figure BDA0003061387280000035
Figure BDA0003061387280000036
为第i家和第j家发电企业在这次竞价中的加权平均申报价格;E为市场边际价格的期望值,用历史交易的边际价格计算得到;
报价相对比均值为指标6,表示两个发电企业的报价与本次集中竞价的平均价格的区别,计算公式为:
Figure BDA0003061387280000037
为了科学地考虑多场竞价数据,提出新的串谋指标:集中竞价场次。其必要性在于,参与某一场集中竞价的发电企业一般为几十家不等,测算得到的样本量太小,无法训练出具有良好泛化能力的深度学习模型。其科学性在于,同地区同时期不同竞价场次的竞价数据之间有着很大的联系和规律,例如:电价水平,参与的市场主体等,有利于VAEGMM算法对串谋样本的识别。但是不同竞价场次的数据之间还是存在一定的区别,需要该指标进行标记,具体定义如下:
集中竞价场次为指标7,代表两个竞价商是在第几场竞价,如下表示:
Figure BDA0003061387280000041
式中,l为第i家和第j家发电企业参与集中竞价的场次,l的选取按照一定的时间周期选取,如:周、月和季,或者按照一定的变量选取,如:同水平电价和进入市场的发电企业等;在训练模型前,对该指标进行独热编码,使数据集的维度呈线性增长。
优选地,步骤S3中,对原始数据进行指标的测算,将其转化成适用于VAEGMM训练的数据集,测算方法如下:
设某地同一时期的电力市场共有l场集中竞价,参与某一场竞价的发电企业有m家,则:
某一场竞价中,两两发电企业之间第k个指标的数据矩阵为:
Figure BDA0003061387280000042
将矩阵元素按照除对角线外的上三角形依次平铺,得到列向量x(k),即为数据集的一列特征;
Figure BDA0003061387280000043
按照公式(1)至(7)计算出来的7个指标特征,按列组合得到某一场集中竞价的指标集Xi
Xi=(x(1),x(2),...,x(7));
将l场的指标集Xi按行组合并对最后一列特征进行独热编码,即得到用于网络训练的串谋数据集X:
Figure BDA0003061387280000044
优选地,步骤S4中,对串谋数据集X进行归一化处理,并且对指标7:集中竞价场次,进行独热编码处理,将数据集维度扩增l维,得到处理后的串谋数据集X。
优选地,步骤S5中,设处理后的串谋数据集X={x1,x2,…,xn},VAEGMM模型的构建过程如下:
变分自编码高斯混合模型(VAEGMM)的网络结构由表达网络和估计网络构成;其中,表达网络通过VAE对网络的输入进行降维,同时得到潜变量Zl和重构概率Zr,然后将这两个特征整合起来作为估计网络的输入,使用GMM计算得到每个样本在低维空间的密度估计;
VAEGMM模型的表达网络使用VAE对输入样本进行降维,包含编码器和解码器两个部分;
在编码器中,VAE目标是学习潜变量的近似后验分布q(Zl|X),其中Zl|X~N(μ′(X),σ′(X));首先通过网络学习得到函数μ′(X),σ′(X),然后VAE从后验分布q(Zl|X)中采样得到原始样本的潜变量Zl;由于σ′(X)不为零,Zl带有一定的噪声,体现了潜在变量空间的可变性。也就是说在每一次迭代中,相对于其他的降维网络,VAEGMM模型所学习到的潜变量都具有更加丰富的正类信息,从而更加有助于估计网络将负类样本从低密度区域识别出来。
在解码器中,VAE旨在通过从近似后验分布p(X′|Z)中进行采样,对潜变量Zl进行重建得到重构样本X′;其中,X′|Zl~N(μ(X),σ(X)),首先通过网络学习得到函数μ(X),σ(X),接着通过函数f(X,X′)的计算得到重构样本和输入样本的重构概率Zr;该特征不同于普通降维网络的重构误差,它不仅将重构样本与原始输入之间的差异考虑在内,而且还考虑了由近似后验分布p(X′|Zl)的方差σ(X)来重建X′的可变性。该特征反映了不同样本的不同方差灵敏度,灵敏度高的能把高方差重构视为正常样本,降低重构概率,反之会提高重构概率。
通过表达网络的计算,VAEGMM模型将原始变量的潜变量Zl和与重构样本的重构概率Zr整合起来馈入估计网络中。由大数定理可知,大量的随机变量的分布都收敛于高分分布,因此选取GMM作为估计网络;
Figure BDA0003061387280000051
式(9)中,
Figure BDA0003061387280000052
为整个网络的输出,是对原始变量的潜在表达z的密度估计;θm为估计网络的参数;假设
Figure BDA0003061387280000053
有K维特征,得到GMM的参数:
Figure BDA0003061387280000054
Figure BDA0003061387280000055
Figure BDA0003061387280000061
式(10)到式(12)中,
Figure BDA0003061387280000062
Figure BDA0003061387280000063
分别为第K个维度的加权概率、期望和方差,N为每次迭代的批量,进一步,推出样本能量的定义如下:
Figure BDA0003061387280000064
一般的,通过GMM网络的估计,拥有高能量的样本被视为异常样本;
优选地,VAEGMM模型是一种深度联合学习,通过联合损失函数同时优化表达网络和估计网络的参数。估计网络的损失函数主要由样本能量E(z)构成,表达网络的目标是使所有样本的边际和最大,其损失函数主要由变分下界构成,主要推导过程如下:
首先,表达网络的优化目标为:
Figure BDA0003061387280000065
而,
Figure BDA0003061387280000066
Figure BDA0003061387280000067
Figure BDA0003061387280000068
Figure BDA0003061387280000069
式中,等式右边由变分下界ELBO和潜变量zl的真实条件分布p(zl|x)与近似后验分布q(zl|x)的KL散度两部分组成。
由于KL(q(zl)||p(zl|x))≥0,那么网络的优化目标变成:
Figure BDA00030613872800000610
Figure BDA0003061387280000071
式中,ELBO的前一项为重构样本的能量函数,反映了与原始样本的差异大小,在损失函数中使用两者的距离代替;后一项为潜变量zl的真实分布p(zl)与近似后验分布q(zl|x)的KL散度。假设每个样本的潜变量的真实分布p(zli)服从标准正态分布,则:
Figure BDA0003061387280000072
综上,VAEGMM网络的联合损失函数的定义如下:
VAEGMM模型的联合损失函数为:
Figure BDA0003061387280000073
式中,λ1表示估计网络的损失函数E(z)在联合损失函数J(θ)中的权重。
优选地,步骤S6中,设置阈值λ,分离出异常样本:
Figure BDA0003061387280000074
式(15)中,
Figure BDA0003061387280000075
表示该预测样本为正常样本,否则为异常样本;
优选地,步骤S7中,将预测值
Figure BDA0003061387280000076
逆映射回式(8)的矩阵当中,通过异常样本的横纵坐标,即可判断出发生串谋行为的竞价商或者竞价联盟。
本发明具有如下有益效果:
本发明提供的一种基于VAEGMM的发电企业串谋行为智能识别方法,可以快速精确地识别电力市场集中竞价中的串谋行为,更好的保障电力市场交易的公平性,对防范电力市场交易风险、提高电力市场运行效率具有重要意义。
附图说明
图1是本发明提供的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法的VAEGMM网络结构图;
图2是本发明提供的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法的VAE编码器原理图;
图3是本发明提供的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法的VAE解码器原理图;
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明:
一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,包括如下步骤:
S1、采用某省电力市场集中竞价中4场三阶段式报价数据作为原始数据
Figure BDA0003061387280000081
Figure BDA0003061387280000082
其中
Figure BDA0003061387280000083
Figure BDA0003061387280000084
分别表示第i个发电企业第j段的申报电价和申报电量;
S2、构建发电企业的串谋识别指标体系,指标包括:申报电量市场份额均值、报价一致性、申报电量一致性、报价曲线差异面积比率、报价安全度均值、报价相对比均值以及集中竞价场次;
具体地,申报电量市场份额均值为指标1,计算公式为:
Figure BDA0003061387280000085
式中,Si为市场中第i家发电企业这次竞价的申报电量;Sj为市场中第j家发电企业该次竞价的申报电量;n为本次竞价中参与的竞价商的个数;
报价一致性为指标2,计算公式为:
Figure BDA0003061387280000086
式中,pia和pja表示的是第i家和第j家发电企业在这次竞价中的第a段报价;
Figure BDA0003061387280000087
是这次竞价中所有发电企业第a段报价的均值;
申报电量一致性为指标3,计算公式为:
Figure BDA0003061387280000088
式中,Sia和Sja表示的是第i家和第j家发电企业在这次竞价中的第a段申报电量;
Figure BDA0003061387280000091
是这次竞价中所有发电企业第a段申报电量的均值;
报价曲线差异面积比率为指标4,计算公式为:
Figure BDA0003061387280000092
式中,fi和fj表示的是第i家和第j家发电企业在这次竞价中的报价曲线函数,S′为两家发电企业申报电量中的较小值;
报价安全度均值为指标5,计算公式为:
Figure BDA0003061387280000093
式中,
Figure BDA0003061387280000094
Figure BDA0003061387280000095
为第i家和第j家发电企业在这次竞价中的加权平均申报价格;E为市场边际价格的期望值,用历史交易的边际价格计算得到;
报价相对比均值为指标6,计算公式为:
Figure BDA0003061387280000096
集中竞价场次为指标7,表示两个竞价商是在第几场竞价,表示为:
Figure BDA0003061387280000097
式中,l为第i家和第j家发电企业参与集中竞价的场次,l的选取按照一定的时间周期选取,时间周期包括周、月和季,或者按照一定的变量选取,变量包括同水平电价和进入市场的发电企业;在训练模型前,对该指标进行独热编码,使数据集的维度呈线性增长。
S3、根据上述的测算方法计算得到串谋数据集,串谋数据集包含3797条样本,其中负类样本(串谋样本)有363个,占总体的9.56%,具有正负样本不均衡的特点;
S4、对串谋数据集进行归一化处理,对指标体系中的集中竞价场次进行独热编码处理,再进行扩维,得到处理后的串谋数据集,划分为训练集、验证集和测试集;
S5、使用训练集和验证集对VAEGMM模型进行训练和验证,然后使用VAEGMM模型对测试集进行测试,得到每个样本在低维空间中的密度估计值;
具体地,如图1所示,VAEGMM模型的网络结构由表达网络和估计网络构成;其中,表达网络通过VAE对网络的输入进行降维,同时得到潜变量Zl和重构概率Zr,然后将这两个特征整合起来作为估计网络的输入,使用GMM计算得到每个样本在低维空间的密度估计;
VAEGMM模型的表达网络使用VAE对输入样本进行降维,包含编码器和解码器两个部分;如图2所示,在编码器中,VAE目标是学习潜变量的近似后验分布q(Zl|X),其中Zl|X~N(μ′(X),σ′(X));首先通过网络学习得到函数μ′(X),σ′(X),然后VAE从后验分布q(Zl|X)中采样得到原始样本的潜变量Zl;如图3所示,在解码器中,VAE旨在通过从近似后验分布p(X′|Z)中进行采样,对潜变量Zl进行重建得到重构样本X′;其中,X′|Zl~N(μ(X),σ(X)),首先通过网络学习得到函数μ(X),σ(X),接着通过函数f(X,X′)的计算得到重构样本和输入样本的重构概率Zr
通过表达网络的计算,VAEGMM模型将原始变量的潜变量Zl和与重构样本的重构概率Zr整合起来馈入估计网络中,选取GMM作为估计网络;
Figure BDA0003061387280000101
式(9)中,
Figure BDA0003061387280000102
为整个网络的输出,是对原始变量的潜在表达z的密度估计;θm为估计网络的参数。
本次训练中,VAEGMM的网络结构设置如下:
表1表达网络结构
Figure BDA0003061387280000103
表1中,FC表示该神经网络层为全连接层;L2(0.001)为权重为0.001的L2正则化;Sampling为表示采样层,从高斯分布
Figure BDA0003061387280000104
中采样得到潜变量zl,其中ε为服从N(0,1)的伪随机数。
另外,为了考虑每个样本在降维前后的重构概率,考虑了表达网络输入和输出之间的相对欧式距离和相对余弦相似度,计算公式分别为:
Figure BDA0003061387280000105
表2估计网络结构
Figure BDA0003061387280000111
表2中,为了防止估计网络发生过拟合现象,在第二层中添加Dropout层,即在每次迭代时,该层神经元节点以0.5的概率关闭。估计网络通过softmax激活函数输出每个样本在低维空间的密度估计,并由式(15)分离出异常样本。最后,本次训练的相关网络参数设置如下:
表3网络参数
Figure BDA0003061387280000112
根据上述的网络结构和相关参数设置,得出该模型的训练集和验证集误差曲线图,在经过3000次迭代后,训练误差和验证误差已经下降到一个非常低的水平,在4.6附近,并且在后续迭代中也保持稳定,没有出现过拟合现象。表明VAEGMM模型是一个收敛快、精度高的深度联合网络算法。
S6、设置阈值,分离出异常样本;
Figure BDA0003061387280000113
式(15)中,预测值
Figure BDA0003061387280000114
表示该预测样本为正常样本,否则为异常样本;
S7、将预测值
Figure BDA0003061387280000115
逆映射回式(8)的矩阵当中,通过异常样本的横纵坐标,即可判断出发生串谋行为的竞价商或者竞价联盟。
此外,为了体现VAEGMM模型的串谋识别效率,与其他无监督智能算法进行了对比,包括基于树模型的孤立森林(Isolation Forest);一分类支持向量机(OC-SVM);基于先降维再聚类思想的主成分分析和均值聚类(PCA+KMeans);基于先聚类再进行密度估计的主成分分析和高斯混合模型(PCA+GMM);基于密度聚类(DBSCAN);基于距离的局部异常因子算法(LOF);基于深度自编码器和高斯混合模型的深度联合算法(DAGMM)。采取的评价体系为:准确率(ACC),召回率(Recall)与F1指数,定义如下:
Figure BDA0003061387280000116
Figure BDA0003061387280000121
Figure BDA0003061387280000122
Figure BDA0003061387280000123
其中,TP(True Positive)为将正类样本预测为正类的个数;FP(False Positive)为将负类样本预测为正类的个数;FN(False Negative)为将正类样本预测为负类的个数;TN(True Negative)为将负类样本预测为负类的个数。
表4 VAEGMM等不同方法在串谋识别中应用的效率
Figure BDA0003061387280000124
表4的结果显示,VAGMM在电力市场集中竞价的串谋识别准确率要远高于Isolation Forest、OC-SVM和PCA+KMeans算法,分别是22.16%、9%、3.36%;对于DBSCAN算法,VAEGMM的召回率更加高,对正常样本的识别更加敏感;虽然LOF在本算例的表现很接近VAEGMM,但是LOF对于复杂的高维数据处理比较困难;PCA+GMM算法的三个指标都优于VAEGMM算法,但它并没有识别出异常样本,在实际应用中没有实用价值;对于同样是深度联合网络的DAGMM,VAEGMM在三个指标的表现上都要优异些,分别是1.27%、1.4%、0.78%。表明VAEGMM的表达网络比DAGMM的更加能够学习到有助于密度估计的低维表示。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应该涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,包括如下步骤:
S1、获得发电企业的申报电量和申报电价数据;
S2、构建发电企业的串谋识别指标体系,指标包括:申报电量市场份额均值、报价一致性、申报电量一致性、报价曲线差异面积比率、报价安全度均值、报价相对比均值以及集中竞价场次;
S3、计算得到串谋数据集;
S4、对串谋数据集进行归一化处理,对指标体系中的集中竞价场次进行独热编码处理,再进行扩维,得到处理后的串谋数据集;
S5、使用处理后的串谋数据集对VAEGMM模型进行训练,并得到每个样本在低维空间中的密度估计值;
S6、设置阈值,分离出异常样本,得到预测值;
S7、将预测值逆映射回步骤S3的测算矩阵中,通过异常样本的横纵坐标,得到发生串谋行为的竞价商或者竞价联盟。
2.如权利要求1所述的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,所述步骤S1中,获得某一时期中m家发电企业的原始申报数据
Figure FDA0003061387270000011
Figure FDA0003061387270000012
Figure FDA0003061387270000013
Figure FDA0003061387270000014
分别表示第i个发电企业第j段的申报电价和申报电量。
3.如权利要求2所述的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,所述步骤S2中,
所述申报电量市场份额均值为指标1,计算公式为:
Figure FDA0003061387270000015
式中,Si为市场中第i家发电企业这次竞价的申报电量;Sj为市场中第j家发电企业该次竞价的申报电量;n为本次竞价中参与的竞价商的个数;
所述报价一致性为指标2,计算公式为:
Figure FDA0003061387270000016
式中,pia和pja表示的是第i家和第j家发电企业在这次竞价中的第a段报价;
Figure FDA0003061387270000017
是这次竞价中所有发电企业第a段报价的均值;
所述申报电量一致性为指标3,计算公式为:
Figure FDA0003061387270000021
式中,Sia和Sja表示的是第i家和第j家发电企业在这次竞价中的第a段申报电量;
Figure FDA0003061387270000022
是这次竞价中所有发电企业第a段申报电量的均值;
所述报价曲线差异面积比率为指标4,计算公式为:
Figure FDA0003061387270000023
式中,fi和fj表示的是第i家和第j家发电企业在这次竞价中的报价曲线函数,S′为两家发电企业申报电量中的较小值;
所述报价安全度均值为指标5,计算公式为:
Figure FDA0003061387270000024
式中,
Figure FDA0003061387270000025
Figure FDA0003061387270000026
为第i家和第j家发电企业在这次竞价中的加权平均申报价格;E为市场边际价格的期望值,用历史交易的边际价格计算得到;
所述报价相对比均值为指标6,计算公式为:
Figure FDA0003061387270000027
所述集中竞价场次为指标7,表示两个竞价商是在第几场竞价,表示为:
Figure FDA0003061387270000028
式中,l为第i家和第j家发电企业参与集中竞价的场次,l的选取按照一定的时间周期选取,时间周期包括周、月和季,或者按照一定的变量选取,变量包括同水平电价和进入市场的发电企业;在训练模型前,对该指标进行独热编码,使数据集的维度呈线性增长。
4.如权利要求3所述的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,所述步骤S3中,设某地同一时期的电力市场共有l场集中竞价,参与某一场竞价的发电企业有m家,则:
某一场竞价中,两两发电企业之间第k个指标的数据矩阵为:
Figure FDA0003061387270000031
将矩阵元素按照除对角线外的上三角形依次平铺,得到列向量x(k),即为数据集的一列特征;
Figure FDA0003061387270000032
按照公式(1)至(7)计算出来的7个指标特征,按列组合得到某一场集中竞价的指标集Xi
Xi=(x(1),x(2),...,x(7));
将l场的指标集Xi按行组合并对最后一列特征进行独热编码,即得到用于网络训练的串谋数据集X:
Figure FDA0003061387270000033
5.如权利要求4所述的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,所述步骤S4中,对串谋数据集X进行归一化处理,并且对指标7:集中竞价场次,进行独热编码处理,将数据集维度扩增l维,得到处理后的串谋数据集X。
6.如权利要求5所述的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,所述步骤S5中,设处理后的串谋数据集X={x1,x2,…,xn},所述VAEGMM模型的构建过程如下:
VAEGMM模型的网络结构由表达网络和估计网络构成;其中,表达网络通过VAE对网络的输入进行降维,同时得到潜变量Zl和重构概率Zr,然后将这两个特征整合起来作为估计网络的输入,使用GMM计算得到每个样本在低维空间的密度估计;
VAEGMM模型的表达网络使用VAE对输入样本进行降维,包含编码器和解码器两个部分;
在编码器中,VAE目标是学习潜变量的近似后验分布q(Zl|X),其中Zl|X~N(μ′(X),σ′(X));首先通过网络学习得到函数μ′(X),σ′(X),然后VAE从后验分布q(Zl|X)中采样得到原始样本的潜变量Zl
在解码器中,VAE旨在通过从近似后验分布p(X′|Z)中进行采样,对潜变量Zl进行重建得到重构样本X′;其中,X′|Zl~N(μ(X),σ(X)),首先通过网络学习得到函数μ(X),σ(X),接着通过函数f(X,X′)的计算得到重构样本和输入样本的重构概率Zr
通过表达网络的计算,VAEGMM模型将原始变量的潜变量Zl和与重构样本的重构概率Zr整合起来馈入估计网络中,选取GMM作为估计网络;
Figure FDA0003061387270000041
式(9)中,
Figure FDA0003061387270000042
为整个网络的输出,是对原始变量的潜在表达z的密度估计;θm为估计网络的参数。
7.如权利要求6所述的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,所述VAEGMM模型的联合损失函数为:
Figure FDA0003061387270000043
式中,λ1表示估计网络的损失函数E(z)在联合损失函数J(θ)中的权重。
8.如权利要求6所述的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,所述步骤S6中,设置阈值λ,分离出异常样本:
Figure FDA0003061387270000044
式(15)中,预测值
Figure FDA0003061387270000045
表示该预测样本为正常样本,否则为异常样本。
9.如权利要求7所述的一种基于VAEGMM模型的发电企业串谋行为的智能识别方法,其特征在于,所述步骤S7中,将预测值
Figure FDA0003061387270000046
逆映射回式(8)的测算矩阵当中,通过异常样本的横纵坐标,即判断出发生串谋行为的竞价商或者竞价联盟。
CN202110514066.2A 2021-05-12 2021-05-12 一种基于vaegmm模型的发电企业串谋行为的智能识别方法 Active CN113344589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110514066.2A CN113344589B (zh) 2021-05-12 2021-05-12 一种基于vaegmm模型的发电企业串谋行为的智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110514066.2A CN113344589B (zh) 2021-05-12 2021-05-12 一种基于vaegmm模型的发电企业串谋行为的智能识别方法

Publications (2)

Publication Number Publication Date
CN113344589A true CN113344589A (zh) 2021-09-03
CN113344589B CN113344589B (zh) 2022-10-21

Family

ID=77470852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110514066.2A Active CN113344589B (zh) 2021-05-12 2021-05-12 一种基于vaegmm模型的发电企业串谋行为的智能识别方法

Country Status (1)

Country Link
CN (1) CN113344589B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549026A (zh) * 2022-04-26 2022-05-27 浙江鹏信信息科技股份有限公司 基于算法组件库分析的未知诈骗的识别方法及系统
CN117151867A (zh) * 2023-09-20 2023-12-01 江苏数诚信息技术有限公司 一种基于大数据的企业异常识别方法及系统
CN117151867B (zh) * 2023-09-20 2024-04-30 江苏数诚信息技术有限公司 一种基于大数据的企业异常识别方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232603A1 (en) * 2014-02-11 2016-08-11 Pär O. Holmberg Rationing rules and bidding formats for an efficient auction design
CN108805747A (zh) * 2018-06-13 2018-11-13 山东科技大学 一种基于半监督学习的异常用电用户检测方法
CN109816398A (zh) * 2018-12-29 2019-05-28 昆明电力交易中心有限责任公司 一种甄别发电商串谋行为的方法、装置及介质
CN110033319A (zh) * 2019-03-29 2019-07-19 清华大学 基于市场主体风险厌恶的随机化出清串谋抑制方法及装置
CN110148006A (zh) * 2019-05-20 2019-08-20 国网天津市电力公司 一种电力市场恶意竞价行为识别方法
CN111028004A (zh) * 2019-11-28 2020-04-17 国网吉林省电力有限公司 一种基于大数据技术的市场评估分析方法
CN111797892A (zh) * 2020-05-21 2020-10-20 国电南瑞科技股份有限公司 一种基于随机森林回归的电力市场发电商市场力监测方法
CN111948493A (zh) * 2020-08-21 2020-11-17 兰州理工大学 一种mmc-hvdc直流输电线路故障定位方法
CN112258341A (zh) * 2020-10-20 2021-01-22 广东电力交易中心有限责任公司 一种电力市场力风险监测和防范方法
CN112348090A (zh) * 2020-11-10 2021-02-09 北京航空航天大学 一种基于近邻自编码器的近邻异常检测系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232603A1 (en) * 2014-02-11 2016-08-11 Pär O. Holmberg Rationing rules and bidding formats for an efficient auction design
CN108805747A (zh) * 2018-06-13 2018-11-13 山东科技大学 一种基于半监督学习的异常用电用户检测方法
CN109816398A (zh) * 2018-12-29 2019-05-28 昆明电力交易中心有限责任公司 一种甄别发电商串谋行为的方法、装置及介质
CN110033319A (zh) * 2019-03-29 2019-07-19 清华大学 基于市场主体风险厌恶的随机化出清串谋抑制方法及装置
CN110148006A (zh) * 2019-05-20 2019-08-20 国网天津市电力公司 一种电力市场恶意竞价行为识别方法
CN111028004A (zh) * 2019-11-28 2020-04-17 国网吉林省电力有限公司 一种基于大数据技术的市场评估分析方法
CN111797892A (zh) * 2020-05-21 2020-10-20 国电南瑞科技股份有限公司 一种基于随机森林回归的电力市场发电商市场力监测方法
CN111948493A (zh) * 2020-08-21 2020-11-17 兰州理工大学 一种mmc-hvdc直流输电线路故障定位方法
CN112258341A (zh) * 2020-10-20 2021-01-22 广东电力交易中心有限责任公司 一种电力市场力风险监测和防范方法
CN112348090A (zh) * 2020-11-10 2021-02-09 北京航空航天大学 一种基于近邻自编码器的近邻异常检测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHUYING ZHANG,ETC: "Methods of Preventing Collusion of Generation Enterprises in East China Electricity Market", 《2019 IEEE 3RD INTERNATIONAL ELECTRICAL AND ENERGY CONFERENCE (CIEEC)》 *
史述红等: "市场开放下电力交易全过程违规行为识别探究", 《价格理论与实践》 *
张海生等: "基于AdaBoost-DT算法的电力市场串谋行为识别研究", 《电力工程技术》 *
谢敬东等: "基于分阶段离群点检测的电力市场异常辨识", 《科学技术与工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549026A (zh) * 2022-04-26 2022-05-27 浙江鹏信信息科技股份有限公司 基于算法组件库分析的未知诈骗的识别方法及系统
CN117151867A (zh) * 2023-09-20 2023-12-01 江苏数诚信息技术有限公司 一种基于大数据的企业异常识别方法及系统
CN117151867B (zh) * 2023-09-20 2024-04-30 江苏数诚信息技术有限公司 一种基于大数据的企业异常识别方法及系统

Also Published As

Publication number Publication date
CN113344589B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN112949837A (zh) 一种基于可信网络的目标识别联邦深度学习方法
Hu et al. Research and application of a hybrid model based on Meta learning strategy for wind power deterministic and probabilistic forecasting
CN110956273A (zh) 融合多种机器学习模型的征信评分方法及系统
CN111178611A (zh) 一种日电量预测的方法
CN109214503B (zh) 基于kpca-la-rbm的输变电工程造价预测方法
CN115688024B (zh) 基于用户内容特征和行为特征的网络异常用户预测方法
CN113537469B (zh) 一种基于LSTM网络和Attention机制的城市需水预测方法
CN113762387B (zh) 一种基于混合模型预测的数据中心站多元负荷预测方法
Bongiorno et al. Classification methods for Hilbert data based on surrogate density
CN112529683A (zh) 一种基于cs-pnn的客户信贷风险的评估方法及系统
Wang et al. Short-term load forecasting with LSTM based ensemble learning
Chen et al. House price prediction based on machine learning and deep learning methods
CN115600729A (zh) 一种考虑多属性网格电网负荷预测方法
CN115660855A (zh) 一种融合新闻数据的股票收盘价预测方法
CN115640969A (zh) 一种基于设备状态与运行年限的电网运维成本分配方法
CN115660182A (zh) 基于最大期望样本加权神经网络模型的光伏出力预测方法
CN113344589B (zh) 一种基于vaegmm模型的发电企业串谋行为的智能识别方法
CN112784173B (zh) 一种基于自注意力对抗神经网络的推荐系统评分预测方法
Yang et al. A carbon price hybrid forecasting model based on data multi-scale decomposition and machine learning
CN112330051A (zh) 一种基于Kmeans与FR-DBN的短期负荷预测方法
Li et al. Prediction of Unbalanced Financial Risk Based on GRA-TOPSIS and SMOTE-CNN
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
Feng et al. Evolutionary fuzzy stock prediction system design and its application to the Taiwan stock index
CN114091961A (zh) 一种基于半监督svm的电力企业供应商评价方法
CN113962440A (zh) 一种融合dpc和gru的光伏预测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant