CN116169704A

CN116169704A - 一种基于多类型分布式资源的电动汽车充电站优化方法

Info

Publication number: CN116169704A
Application number: CN202310450370.4A
Authority: CN
Inventors: 宋磊; 鲁宇; 张大弛; 丰顺强; 姚狄; 刘宏业
Original assignee: Economic and Technological Research Institute of State Grid Jilin Electric Power Co Ltd
Current assignee: Economic and Technological Research Institute of State Grid Jilin Electric Power Co Ltd
Priority date: 2023-04-25
Filing date: 2023-04-25
Publication date: 2023-05-26

Abstract

本发明提供一种基于多类型分布式资源的电动汽车充电站优化方法，涉及电网运行技术领域，包括：构建多目标模型并使用潮流计算方法，模拟配电网的运行并计算主要参数用于计算决策变量变化时的目标函数；确定约束条件并对多目标模型中的目标进行分类并使用TOPSIS决策方法进行处理；根据动态规划机制并利用随机参数决策方法和遗传算法求解分布式发电装置和电池储能系统（DG和BESS）位置的方法，通过遗传算法计算出DG和BESS对象的位置；通过粒子群优化算法求解DG和BESS容量的方法以及强化学习进行电动汽车充电站分配的方法，确定电动汽车充电站的最优位置。本申请能根据配电网的变化状态，找到提高电网性能的最优策略。

Description

一种基于多类型分布式资源的电动汽车充电站优化方法

技术领域

本发明属于电网运行技术领域，具体涉及一种基于多类型分布式资源的电动汽车充电站优化方法。

背景技术

发展智能电网的基础是将DER（分布式能源资源）分配到配电网络中，合理规划DER已被证明可以改善电网性能、降低电力损耗、改善电压分布。基于可再生能源的DER虽然更加环保，但可再生能源的间歇性和随机性可能会导致电网崩溃。

智能电网规划模型由于配置对象最优位置的组合性质变得复杂，成为一个混合整数非线性问题，被称为np难问题。此外，组合RES（可再生能源）还面临间歇性和随机性的挑战，这可能会导致潮流反向以及电压下降和越限问题。所以需要将RES输出功率作为不确定性进行处理，但这进一步增加了规划模型的复杂性。此外，大多数规划或配置模型需要多种DER类型，如PV-DG（光伏和分布式发电）、BESS（电池储能系统）。另一个重要的问题是电动汽车充电站（EVCS）加入配电网末端。已有许多研究分别使用范围划分或最优分配策略来完成这一任务。然而，智能电网的规划应该尽可能地全面，使其实施具有成本效益，然而这样却增加了模型的复杂性。

现有技术中为了规避上述缺陷，大多数研究使用静态方法，即配电网带有预先分配的对象，而另一个对象(如BESS)则以最佳方式分配到配电网。另一种形式解决多对象分配问题的静态方法是使用顺序方法，一个对象在另一个对象之前分配。这些方法在降低复杂度方面确实有效，但存在解空间有限的缺点。多对象的优化配置是提高电网运行效率的关键。根据配电网中DG（分布式发电装置）、BESS、电容器等不同对象的分配情况建立规划模型，有助于了解各个对象对电网的影响。然而，虽然上述各单位都有规划模型，但关于将EVCS与其他单位结合的研究很少。

因此，如何降低规划模型得复杂度，提高电网运行效率，是本领域技术人员亟待解决的技术问题。

发明内容

为实现本发明目的提供的一种基于多类型分布式资源的电动汽车充电站优化方法，包括：

步骤S101：构建多目标模型，并使用潮流计算方法，模拟配电网的运行并计算主要参数，用于计算决策变量变化时的目标函数；

步骤S102：以光伏的功率平衡状态、节点电压、支路功率、光伏最大容量、储能运行状态以及电动汽车充电站确定约束条件，对所述多目标模型中的目标进行分类并使用TOPSIS决策方法进行处理；

步骤S103：根据动态规划机制，并利用随机参数决策方法，利用遗传算法求解分布式发电装置和电池储能系统位置的方法，通过遗传算法计算出分布式发电装置和电池储能系统对象的位置；

步骤S104：根据所述分布式发电装置和电池储能系统对象的位置，通过粒子群优化算法求解所述分布式发电装置和电池储能系统容量的方法以及强化学习进行电动汽车充电站分配的方法，确定所述电动汽车充电站的最优位置。

在其中一些具体实施例中，在步骤S101中，所述主要参数根据下式计算：

，

，

，

式中，m、n分别表示线路首端、末端，P、Q、V分别表示有功功率、无功功率和节点电压，R、X分别表示线路（m，n）的电阻和电抗。

在其中一些具体实施例中，所述目标函数根据技术效益、经济效益和环境效益确定。

在其中一些具体实施例中，所述约束条件包括：功率平衡约束、节点电压约束、支路功率约束、光伏最大容量约束以及储能容量约束。

在其中一些具体实施例中，在步骤S102中，所述TOPSIS决策方法包括：

步骤S1021：将所有目标函数转换为无量纲实体，并存储在归一化决策矩阵中，根据下式所示：

，

式中，M表示可选择目标函数的数量，N表示变量总数，

表示第j个目标函数的第i个变量，/>

表示第j个目标函数的第i个变量归一化后值；

步骤S1022：通过给目标函数中的变量分配权重以确定所有目标的重要性级别，决策矩阵中的元素如下式所示：

，

式中，

为第j个目标权重，/>

为第j个目标函数的第i个变量赋予权重后的目标值；/>

步骤S1023：确定目标函数的最优解

和最劣解/>

，如下式所示：

，

，

式中，

、/>

分别表示目标的效益或成本；

步骤S1024：根据所述最优解

和最劣解/>

，计算出所述最优解/>

和最劣解/>

到其替代解之间的欧氏距离，如下式所示：

；

步骤S1025：根据所述欧式距离计算相近指数

，如下式所示：

；

步骤S1026：根据所述相近指数

的表达式，确定/>

的最高值选择最佳解决方案。

在其中一些具体实施例中，按照第一个目标函数进行排序，根据目标函数值产生支配解，再利用非支配遗传算法中的拥挤距离技术从种群中筛选出非支配解，用于消除多余和重复的解。

在其中一些具体实施例中，所述随机参数决策方法包括：根据温度变化和太阳辐射，计算每个光伏板的计算功率，如下式所示：

，

，

式中，

表示每块光伏板输出功率，T表示实时温度，/>

表示参考温度，一般选定为25℃。 />

表示由制造商定义的温度系数，用于模拟温度变化对光伏功率的影响，一般选定为1000W/m2，/>

表示每块光伏板输出的额定功率，/>

表示安装到电网的参考光伏板的数量，/>

表示接入电网的光伏功率。/>

在其中一些具体实施例中，所述步骤S103包括：根据输入的参数初始化分布式发电装置和电池储能系统对象的位置和容量，基于目标函数采用遗传算法优化计算分布式发电装置和电池储能系统对象的位置。

在其中一些具体实施例中，所述步骤S104包括：根据步骤S103计算的所述分布式发电装置和电池储能系统对象的位置，基于目标函数采用粒子群算法优化计算分布式发电装置和电池储能系统对象的容量。

在其中一些具体实施例中，所述步骤S104还包括：基于计算出的所述分布式发电装置和电池储能系统对象的位置和容量，并采用Q-learning算法确定最优电动汽车充电站的位置。

本发明的有益效果：

本发明的一种基于多类型分布式资源的电动汽车充电站优化方法为适应规划模型中对象位置在每次迭代中动态变化，引入了强化学习技术根据PV和BESS位置优化电动汽车充电站位置，使用策略根据配电网的变化状态采取行动，找到提高电网性能最优策略，考虑PV发电功率的不确定性，提出了一种综合考虑PV、BESS和EVCS的配电网协同规划方法优化框架，整合了配电网多类型RES资源，增加更多潜在最优解求解空间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于多类型分布式资源的电动汽车充电站优化方法一些具体实施例的流程示意图；

图2是发明一种基于多类型分布式资源的电动汽车充电站优化方法一些具体实施例中TOPSIS决策方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

所述实施例的示例在附图中示出，其中自始至终相同或类似的符号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

参照图1所示，一种基于多类型分布式资源的电动汽车充电站优化方法，包括：

步骤S101：构建多目标模型，并使用潮流计算方法，模拟配电网的运行并计算主要参数，用于计算决策变量变化时的目标函数。

在本发明一些具体实施例中，主要参数根据下式计算：

，

，

，

具体的，确定目标函数包括：技术效益、经济效益和环境效益。其中，

（1）技术效益

技术收益与各对象配置后电网性能的改善有关，包括最小化功率损耗、提高电压稳定性和最小化电压偏差。

网损：

功率损耗对配电网有重大影响，如下式所示：

，

，

式中，m和n分别表示线路首段、末端，

表示节点m到节点n的支路阻抗，P、Q表示各个节点的有功、无功功率。

电压偏差：

考虑到用户使用的电器和仪表，电压调节和监测是配电网运营商的一项主要但重要的任务。因此，在加入光伏（PV）和储能装置时，测量电压偏差至关重要。电压偏差如下式所示：

，

，

式中，

表示节点基准电压，设为1；/>

表示安装分布式电源与储能对象后的节点电压。

（2）经济效益

经济效益涉及安装成本和运行成本。

安装成本：确定分布式光伏发电系统规模时产生的成本非常重要，因此，需要将其与容量目标同时最小化，安装费用如下式所示：

，

式中，

和/>

分别表示光伏和储能的数量，/>

表示光伏对象的费用。

运行成本：包括分布式电源、储能机组的维护成本和电网供电成本。如下式所示：

，

式中，

表示变电站的电力成本，/>

表示电网供电功率，/>

表示PV机组的运行和维护成本，/>

表示场景s的概率，/>

为贴现率，/>

为PV机组使用寿命。

（3）环境效益

环境效益是排放成本目标，并用变电站的实际功率表示，如下式所示：

，

式中，

表示排放量，单位为kg/kWh，/>

表示变电站的有功功率。

步骤S102：以光伏的功率平衡状态、节点电压、支路功率、光伏最大容量、储能运行状态以及电动汽车充电站确定约束条件，对多目标模型中的目标进行分类并使用TOPSIS决策方法进行处理。

在本发明一些具体实施例中，约束条件包括：功率平衡约束、节点电压约束、支路功率约束、光伏最大容量约束以及储能容量约束。

具体的，每个约束条件的计算如下所示：

（1）功率平衡约束

包括功率损耗在内的每条总线上的功率总和必须等于零，如下式所示：

，

式中，

、/>

表示节点m处除储能系统的充放电功率。

（2）节点电压约束

每个节点电压必须满足一定的范围，节点电压限制如下所示：

，

式中，

表示m节点的电压，/>

和/>

表示节点电压的最大值和最小值，分别为0.98和1.01。

（3）支路功率约束

每条支路功率必须满足一定的范围，支路功率限制如下所示：

，

式中，

表示流过线路（m，n）功率，/>

为允许流过线路（m，n）的最大功率。

（4）PV安装容量约束

，

式中：

为节点m处可安装PV的容量，/>

为节点m处可安装PV的最大容量。

（5）储能运行约束

考虑到铅酸电池的可靠性、经济可行性和耐过充电性，本申请采用铅酸电池。储能对象使用小尺寸进行集成，同时考虑到PV和EVCS将进行优化建模，以提高电网性能同时保持可观的投资成本。由于铅酸电池是基于能源的，储能的大小将以千瓦时（KWh）为单位。即使有过充电能力，该模型必须限制电池的过度充电和放电，如下式所示：

，

式中，

和/>

分别设置为0.9和0.2。电池的充电和放电功率如下式所示：

，

式中，

表示时间t时储能的容量，/>

表示时间t时的充电功率，/>

表示充放电时间间隔，/>

、/>

分别表示储能的充放电效率。储能功率限制如下式所示：

，

式中，

表示时间t时第i个储能的容量；

（6）电动汽车模型

每个EVCS被建模为一个负载，与电动汽车在特定时间充电相关。因此，电动汽车在颗粒时间内通过电动汽车桩中的充电器获得的总功率应在允许的母线功率容量范围内，如下式所示：

，

当连接于一个EVCS的所有电动汽车充电时，不应超过EVCS容量，如下式所示：

，

本发明中每个EVCS模型均为具有恒定的50个电动车辆充电装置，每个充电装置的额定功率为11kW。为了减少部署电动汽车从配电网充电的不确定性，电动汽车的每日充电遵循正态分布。

在本发明一些具体实施例中，为生成实用的规划方案（各对象的位置和容量），综合考虑技术、经济和环境效益反映最优解的综合效益。本发明在处理多目标之前对目标进行分类。在第一个优化阶段采用先验方法，为所有相关目标分配权重，得到次最终值。次最终值表示每个子目标的值，然后使用TOPSIS决策方法进行处理，即正理想解

和负理想解/>

的欧氏距离。到/>

的最短距离和/>

到的最长距离有助于从帕累托最优集中确定最佳折中解。下面解释TOPSIS决策过程。具体过程参照图2所示：

步骤S1021：将所有目标函数转换为无量纲实体，并存储在归一化决策矩阵中。如下式所示：

，

式中，M表示可选择目标函数的数量，N表示变量总数，

表示第j个目标函数的第i个变量，/>

表示第j个目标函数的第i个变量归一化后值；

，

式中，

为第j个目标权重，/>

为第j个目标函数的第i个变量赋予权重后的目标值；

步骤S1023：确定目标函数的最优解

和最劣解/>

，如下式所示：

，/>

，

式中，

、/>

分别表示目标的效益或成本；

步骤S1024：根据所述最优解

和最劣解/>

，计算出所述最优解/>

和最劣解/>

到其替代解之间的欧氏距离，如下式所示：

；

步骤S1025：根据所述欧式距离计算相近指数

，如下式所示：

；

步骤S1026：根据所述相近指数

的表达式，确定/>

的最高值选择最佳解决方案。

根据TOPSIS决策方法，种群按照第一个目标函数进行排序，根据目标函数值产生支配解。然后，利用NSGA-II中的拥挤距离技术从种群中筛选出非支配解。除了消除多余的解，拥挤距离技术还处理了帕累托前沿的重复解。

步骤S103：根据动态规划机制和随机参数决策方法，利用遗传算法求解分布式发电装置和电池储能系统的位置。

在本发明一些具体实施例中，随机参数决策方法包括：根据温度变化和太阳辐射，计算每个光伏板的计算功率，如下式所示：

，

，

式中，

表示每块光伏板输出功率，T表示实时温度，/>

表示参考温度，一般选定为25℃。 />

表示每块光伏板输出的额定功率，/>

表示安装到电网的参考光伏板的数量，/>

表示接入电网的光伏功率。

步骤S104：根据所述分布式发电装置和电池储能系统对象的位置，通过粒子群优化算法求解所述分布式发电装置和电池储能系统的容量，并通过强化学习进行电动汽车充电站的分配，确定所述电动汽车充电站的最优位置。

在本发明一些具体实施例中，根据输入的参数初始化分布式发电装置和电池储能系统对象的位置和容量，基于目标函数采用遗传算法优化计算分布式发电装置和电池储能系统对象的位置。具体的，根据输入的参数初始化分布式发电装置和电池储能系统对象的位置和容量，通过目标函数采用遗传算法优化计算分布式发电装置和电池储能系统对象的位置，并将优化结果传输到下一模块中决策分布式发电装置和电池储能系统对象的容量。

在本发明一些具体实施例中，根据步骤S103计算的所述分布式发电装置和电池储能系统对象的位置，基于目标函数采用粒子群算法优化计算分布式发电装置和电池储能系统对象的容量。具体的，根据遗传算法求解分布式发电装置和电池储能系统位置的方法中获取的数据，将其容量初始化为0，并根据目标函数采用粒子群算法优化计算分布式发电装置和电池储能系统对象的容量。

在本发明一些具体实施例中，基于计算出的所述分布式发电装置和电池储能系统对象的位置和容量，并采用Q-learning算法确定最优电动汽车充电站的位置。具体的，采用Q学习算法对从遗传算法求解分布式发电装置和电池储能系统位置和粒子群优化算法求解分布式发电装置和电池储能系统容量的方法中获得的变量确定最优电动汽车充电站的位置。

具体的，每个对象类型一个接一个地分配，而预分配的对象类型涉及特定对象类型的最佳分配到一个或多个对象类型指定网络中。静态机制的缺点是它无法检查不同对象类型位置的其他可能情况，而重组技术可以搜索这样的场景，因此提出了这种动态机制。本申请提出的规划模型是基于一个全局优化方案，其中的多个对象类型是相互优化的，通过不同对象位置的排列来确保更大的解决空间。

在第二轮迭代中，针对BESS和EVCS检查PV位置，使用内存块指导优化以降低复杂性。内存块包含每个对象的最佳配置，用于在每个分配阶段的每个子迭代期间引用以实现新的优化。该机制节省了计算时间，从而降低了计算复杂度。

采用以粒子群-遗传算法-强化学习(PSO-GA-RL)优化方案为核心的方法规划框架的整体机制，其中以粒子群-遗传算法-强化学习(PSO-GA-RL)优化方案为核心的方法称为多相算法。在规划模型的每一阶段中，第一阶段使用遗传算法（GA算法）生成最优PV和BESS位置，在规定阈值处停止，并将位置变量转移到下一阶段。在第二阶段，每个变量都作为PSO的输入，找到最佳位置。效益函数是两个阶段的目标函数，表明PV和BESS对象的最优分配。第二阶段的结束触发一个子程序，该子程序使用强化学习技术根据从以前阶段获得的变量选择最优EVCS位置。这些过程重复，直到满足停止标准。算法1，称为Co-operativePSOGARL，显示了实现最优解决方案的整体机制。在一次迭代中，每一步交替调用粒子群优化算法（PSO算法）和遗传算法（GA算法）优化器，以找到PV和BESS位置和大小的最优解。在每一次迭代中，采用Q-Learning对每个可能的解使用电动汽车控制策略的最优策略来寻找最优EVCS位置。其中，多相算法的具体步骤如下所示：

步骤S3011：初始化相关参数，最大迭代次数maxIter，最大迭代次数It_max，遗传算法最大迭代次数G_max，令迭代次数t=1。初始化决策变量个数P₁、P₂、P₃，分别表示接入DG、BESS、EVCS接入配电网DE数量，令S₁、S₂、S₃表示为位置求解结果，令S₄、S₅、S₆表示为容量求解结果。初始化目标函数数组

。

步骤S3012：判断t是否大于最大迭代次数maxIter，若是则跳转到步骤S3016。若否，利用GA算法计算DG位置并将结果存在S1中，之后根据已经确定的DG位置确定接入电网的DG容量。利用PSO算法计算得出DG接入容量。将结果存在S₄中。

步骤S3013：根据步骤S3012已经接入电网确定的DG容量和位置，再次利用GA算法计算BESS的接入位置并将结果存在S₂中，之后根据已经确定的BESS位置确定接入电网的BESS容量。利用PSO算法计算得出BESS接入容量。将结果存在S₄中。

步骤S3014：存储最佳DG和BESS分配变量于Vt中，存储于记忆模块MD中。利用机器学习RL算法求解EVCS的接入位置S₃和容量S₆。

步骤S3015：更行迭代变量S₁、S₂、S₃、S₄、S₅、S₆。令t=t+1，返回步骤S3012。

步骤S3016：结束运算，得出优化结果S₁、S₂、S₃、S₄、S₅、S₆。

其中，步骤S3012与步骤S3013中的GA算法的具体步骤如下所示：

步骤1：接收主函数中传递的参数P、

、和G_max。本申请中以DG的接入位置作为自变量，多目标函数为因变量，采用二进制编码方式。染色体长度设置为8*P₁，P₁表示接入配电网DG的数量。设置种群大小为popsize，令g=1，产生初始种群。

步骤2：判断g是否大于G_max，若大于则跳转到步骤6。若不大于，以多目标函数作为种群适应度，进行适应度计算，得到一个种群的所有个体适应度，并保存最大适应度maxfit作为当前一带的最优个体loss。并获得种群最优适应度与最优个体。采用轮盘赌法进行选择算子操作，选择存活到下一代的个体。本实施例中选取10%的淘汰、保护率。

步骤3：对任意两个个体进行单个基因互换操作，随机选择两个染色体作为交叉父代parent，随机产生一个实数p，0≤p≤1。如果p<pcross，即实数p小于交叉概率pcross，则对两个选中的父代进行交叉操作，否则不进行交叉操作。交叉概率0≤pcross≤1，本文设交叉概率pcross=0.6。如果判断需要交叉，接下来就需要随机选择交叉位置，在染色体长度lchrome范围内随机产生一个位置point。最后将非point位置的父代基因原封不动转递给子代child，point位置的基因则进行互换。

步骤4：对一个染色体进行变异操作。首先需要随机得到基因变异的次数n，0≤n≤(m*pmutation)，本实施例中设变异概率pmutation=0.01，m为除去保护个体外的所有个体基因总数。得到变异次数后，需要随机得到n个变异位置，并对选定位置的二进制数字进行变异，即进行1变0或0变1操作。

步骤5：令g=g+1，返回步骤2。

步骤6：得到最优的优化结果，即DG与BESS的接入位置。

其中，步骤S3012与步骤S3013中的PSO算法的具体步骤如下所示：

步骤a：接收主函数中传递的参数P、

、和It_max。设置种群大小为popsize，令p=1，产生初始种群。

步骤b：判断p是否大于It_max，若大于则跳转到步骤e。若否，以多目标函数作为种群适应度，进行适应度计算，得到一个种群的所有个体适应度，并保存最大适应度maxfit作为当前一带的最优个体loss，并获得种群最优适应度与最优个体。

步骤c：对粒子群中粒子位置和速度进行更新，更新公式为：

，

其中，u_ij表示个体i的第j个速度分量，x_ij表示个体i的第j个坐标分量，P_best表示当前迭代中最优个体的坐标，G_best表示前t次迭代中最优个体的坐标，c₁和c₂表示正的学习因子，r₁和r₂为随机数，ω为惯性权重系数，其数值在很大程度上直接决定了粒子局部和全局搜索能力的平衡性，ω越大全局搜索能力越强，局部搜索能力越弱。因此，在使用粒子群算法时必须合理地设置或者不断调整ω的大小，使得粒子能够得到全局最优解而不会陷入局部最优。本发明采用改进的粒子群算法，定义惯性权重系数为：

，

式中，

、/>

分别表示ω的最大值和最小值。

步骤d：令p=p+1，返回步骤b。

步骤e：得到最优优化结果，即DG与BESS的接入容量。

其中步骤d中所述机器学习算法的具体步骤如下所示：

对象分配的连续形式是一种循序渐进的方法，其中每个对象类型一个接一个地分配，而预分配的对象类型涉及特定对象类型的最佳分配到一个或多个对象类型指定网络中。静态机制的缺点是它无法检查不同对象类型位置的其他可能情况，而重组技术可以搜索这样的场景，因此提出了这种动态机制。本实施例提出的规划模型是基于一个全局优化方案，其中的多个对象类型是相互优化的，通过不同对象位置的排列来确保更大的解决空间。

通过寻找电动汽车在不同EVCS位置充电策略，实现配电网中电动汽车充电的子问题。最优策略是基于最优目标函数值来选择的，通过最强学习技术求得最优策略位置，最优策略位置表示最优EVCS位置。

agent寻找配电网中适合某EVCS位置的最优充电计划，agent行动依赖于PV和BESS的位置和大小，迭代产生最优策略，即最优EVCS位置。为了以上述方式分配EVCS位置，将问题建模为马尔可夫决策过程，它由状态、动作、过渡函数组成。然后采用Q-learning技术来寻找最优策略。Q-learning使用配电网的当前状态来执行操作，同时根据所执行操作的质量提供奖励。下面陈述上述提到的术语。

状态：t时刻配电网状态用

表示，其中/>

为t时刻充电的电动汽车集合，d_t为t时刻电动汽车充电需求，假设充电需求与停车或充电时间成正比；因此忽略充电时间，假设所有电动汽车都必须按照核定的充电需求完成充电。/>

行动：agent根据t时刻的电动汽车充电站的当前状态

来求得电动汽车充电站，因此将中央代理动作描述为/>

，表示节点i处EVCS的指标p。

转换函数：该函数负责将配电网环境从当前状态

移动到下一个状态/>

，受当前状态和立即行动的影响。因此，跃迁函数可以表示为/>

。

奖励：由于关注的重点是电网性能，因此根据配电网的电网性能来计算奖励。对智能体的奖励与环境目标密切相关，环境目标是最小化负荷变化和提高电压稳定性。

本发明在配电网中接入PV、BESS、EVCS三种对象，考虑三种不同对象分配之间相对影响，建立了优化配电网中配置PV、BESS、EVCS的规划模型，同时优化配电网技术、经济和环境效益。提出的规划模型采用重组技术，通过在迭代中动态更新PV和BESS对象的位置来生成更多的解决方案，并基于强化学习(RL)技术根据PV和BESS位置优化电动汽车充电站位置。为了解决搜索更大的解空间所带来的复杂性，提出一种多阶段混合优化方法来产生最优配置变量，为同时优化有功网损、电压稳定性、电压偏差、安装运行成本和排放成本等多个目标函数，提出基于分类的多目标框架。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、“一个具体实施例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。