CN114928099A - 面向网络攻击下的虚拟同步发电机自适应控制装置及方法 - Google Patents
面向网络攻击下的虚拟同步发电机自适应控制装置及方法 Download PDFInfo
- Publication number
- CN114928099A CN114928099A CN202210466755.5A CN202210466755A CN114928099A CN 114928099 A CN114928099 A CN 114928099A CN 202210466755 A CN202210466755 A CN 202210466755A CN 114928099 A CN114928099 A CN 114928099A
- Authority
- CN
- China
- Prior art keywords
- unit
- network
- module
- attack
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000002955 isolation Methods 0.000 claims abstract description 20
- 230000002787 reinforcement Effects 0.000 claims abstract description 20
- 238000011217 control strategy Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 57
- 238000013528 artificial neural network Methods 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 47
- 230000000875 corresponding effect Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 34
- 230000006399 behavior Effects 0.000 claims description 32
- 230000009471 action Effects 0.000 claims description 29
- 238000007781 pre-processing Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 12
- 210000004027 cell Anatomy 0.000 claims description 11
- 230000001276 controlling effect Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000013016 damping Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 5
- 230000007123 defense Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 3
- 108010063499 Sigma Factor Proteins 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 8
- 230000007774 longterm Effects 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
- H02M1/00—Details of apparatus for conversion
- H02M1/0003—Details of control, feedback or regulation circuits
- H02M1/0012—Control circuits using digital or numerical techniques
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
- H02M7/00—Conversion of ac power input into dc power output; Conversion of dc power input into ac power output
- H02M7/42—Conversion of dc power input into ac power output without possibility of reversal
- H02M7/44—Conversion of dc power input into ac power output without possibility of reversal by static converters
- H02M7/48—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
- H02M7/00—Conversion of ac power input into dc power output; Conversion of dc power input into ac power output
- H02M7/42—Conversion of dc power input into ac power output without possibility of reversal
- H02M7/44—Conversion of dc power input into ac power output without possibility of reversal by static converters
- H02M7/48—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode
- H02M7/493—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode the static converters being arranged for operation in parallel
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
- Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供一种面向网络攻击下的虚拟同步发电机自适应控制装置及方法，涉及发电机控制技术领域。将虚拟同步发电机(VSG)的自适应及最优化控制问题转化为强化学习问题，并考虑网络攻击中协同以及非协同攻击等系统干扰，设计了一种基于DDPG控制算法的最优控制策略并将其嵌入到虚拟同步发电机(VSG)控制器中，通过虚拟同步发电机模拟，实现对于逆变器(IBDG)以长期无模型的方式获得预期的性能。本发明针对来自公共网络中的协同攻击和非协同攻击，对收到攻击的计算单元或收到共谋攻击的多个计算单元进行隔离过程，使得不影响整体的参数输出。
Description
技术领域
本发明涉及发电机控制技术领域，尤其涉及一种面向网络攻击下的虚拟同步发电机自适应控制装置及方法。
背景技术
环境保护日益增长的压力使得开展有关于研发具有自适应性和高渗透率的可再生能源变得迫在眉睫。面对能源危机形势，将能源技术与先进的信息技术手段融合在世界上被广泛认可，智能电网、能源互联网和综合能源系统等分布式信息能源系统得以快速发展，其主要目的在于通过多种能源之间相互协调转化达到能源利用效率提高以及经济发展最大化；同时适应可再生能源的高渗透率，将新型能源融入传统的能源互联网当中，从而实现碳达峰与碳中和这一重要战略目标。而作为能源系统中占主导地位的电力系统，近年来，人们对于使用基于优化的方法来研究虚拟同步发电机(VSG)的参数设定越来越有兴趣，其中参数的调整是由最优解来驱动，目前主要存在基于规则的方法和基于优化的方法两种。且针对来自公共网络中的额费协同攻击和协同攻击，近期，一个基于分散式信誉梯度管理的鲁棒式方法被提出用于检测消除协同攻击。作为核心问题之一，电力系统中相关参数的最优化求解以及相应防干扰能力对于实现能源效益最大化、社会经济效益最大化都有着十分重要的促进作用。
虚拟同步发电机(VSG)作为目前对于电力系统中角频率、输入功率、系统惯性以及阻尼因子等重要参数的主要控制器，相较于传统的SGS控制器拥有可变的旋转惯性的同时，保持了原有的慢频下降的优势。但是，现有的虚拟同步发电机(VSG)基于优化的方法忽略了虚拟同步发电机(VSG)与其工作环境之间的交互作用，而在复杂电力系统的互联结构中建立相应的精准模型是一件十分困难的事情。虽然这种模型可以建立在某种特殊情况之下，但它一般具有高价、非线性和强耦合的性质。因此，工程师也很难分析虚拟同步发电机(VSG)对电力系统稳定性的影响关系，并且在各种不确定的系统干扰下设计相应的最优控制策略。并且，不同的电力系统需要建立不同的模型去进行控制，这限制了此方法的普适性，应用范围较小。而对于应对来自公共网络中的协同攻击与非协同攻击，这个鲁棒式方法是基于领导者-跟随者算法所研制的，无法以分布式的方式呈现。其次，其中使用的隐私保护聚合算法不够可靠，只保护在追随者之间传递的一些信息，而不能保护由领导者提供的全局信息。再次在这个算法中基于“信心水平”建立了针对不当行为单位的隔离过程。然而，这个“信心水平”的定义是不清楚的，它的价值区间是未知的；最后，这种算法不能处理负荷数据的测量被攻击的场景。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种面向网络攻击下的虚拟同步发电机自适应控制装置及方法，将虚拟同步发电机(VSG)的自适应及最优化控制问题转化为强化学习问题，并考虑网络攻击中协同以及非协同攻击等系统干扰，设计了一种基于DDPG控制算法的最优控制策略并将其嵌入到虚拟同步发电机(VSG)控制器中，通过虚拟同步发电机模拟，实现对于逆变器(IBDG)以长期无模型的方式获得预期的性能。
为解决上述技术问题，本发明所采取的技术方案是：
一方面，本发明提供一种面向网络攻击下的虚拟同步发电机自适应控制装置，包括信号采集单元、数据预处理与转换单元、分布式微型处理器、显示单元和通信单元。
信号采集单元包括三相电压传感器、三相电流传感器和电压电流相角传感器，通过三相电压传感器、三相电流传感器和电压电流相角传感器分别采集电网的三相电压Vin、三相电流Iin和电压电流相角theta(in)信号。信号采集单元将采集到的信号进行简单处理，计算出电路有功输出功率以及角频率的变化率，结合角频率传递给数据预处理与转换单元作为其输入信号。
数据预处理与转换单元，包括降噪处理模块、平滑处理模块和A/D转换模块。数据预处理与转换单元的输入信号经过降噪处理模块进行降噪，平滑处理模块进行平滑处理后输出与输入信号相应的输出信号，这些输出信号作为A/D转换模块的输入，完成模拟信号到数字信号的转换，而后输出到分布式微型处理器的输入端。
分布式微型处理器包括Actor网络模块、Critic网络模块、目标网络模块、数据存储模块和网络攻击检测模块；所述Actor网络模块为强化学习算法中的actor神经网络，主要为根据每一次迭代时的状态在连续的动作空间中选取动作，又因为Actor是基于回合更新的所以学习效率比较慢，这时候我们发现可以使用一个value-based的算法作为Critic就可以实现单步更新，即所述的Critic网络模块。Actor网络神经元基于概率选行为,Critic网络神经元基于Actor网络神经元的行为评判行为的得分,Actor网络神经元根据Critic网络神经元的评分修改选行为的概率。结合已有的深度策略梯度和Q-learning学习算法，解决Actor-Critic模式收敛困难的问题；所述目标网络模块用于相较于Actor和Critic神经网络模块，慢一步进行参数更新，预防因单步参数更新所带来的安全问题。基于数据预处理与转换单元输出的信号执行分布式的强化学习算法，通过信息采集模块所得到的每个迭代周期的状态信号，在动作空间中依照参数化的控制函数选取对应动作，对此次迭代周期的状态和动作两者进行计算奖励值函数，并进行虚拟同步发电机控制函数的参数更新。通过模仿这种行为来达到对于逆变器控制；所述网络攻击检测模块主要应用于对于计算单元数据行为是否异常进行判断，通信单元将能量失配和IC信息通过发送模块传输至分布式微型处理器中的计算单元网络中进行计算能量失配和IC的合理界限，通过发送数据与上一次迭代过程所得出的合理界进行比较，对异常单元发送单元异常信息至通信单元的网络攻击隔离模块进行隔离操作，将行为良好的通信单元的数据正常进行控制行为；同时分布式微型处理器在计算完成后输出信号至显示单元进行显示。分布式微型处理器同时具有数据存储的功能。
显示单元将显示当前时刻系统运行模式、逆变器的有功输出功率、角频率以及角频率的变化速率信息。
通信单元包括接收模块、网络攻击隔离模块和发送模块；所述接收模块包括解密模块和接收串行接口，用于通过接收串行接口接收经过分布式强化学习算法所得到的更新参数数据后，由解密模块进行数据解密；解密后的数据用来控制虚拟同步发电机，通过模拟控制虚拟同步发电机的方式来对逆变器进行控制，所述网络攻击隔离模块用于进行对于行为异常的单元断开其与其他计算单元的连接，更新连接矩阵；所述发送模块包括加密模块和发送串行接口，用于对本次迭代过程的能量失配和IC数据进行加密后通过发送串行接口将加密数据发送到分布式微型处理器，并将更新后的参数进行加密后发送至相邻计算单元进行整个虚拟同步发电机的参数更新。采用串行接口与邻居节点实现通信，进而产生信息交互。通信单元在动态事件触发时刻将发送本地信息至邻居节点或者从邻居节点处接收邻居节点信息。
另一方面，本发明还提供一种面向网络攻击下的虚拟同步发电机自适应控制方法，采用上述的面向网络攻击下的虚拟同步发电机自适应控制装置实现，该方法包括以下步骤：
S1、将全局计算过程划分为k个计算单元，计算机计算单元之间的信息共享由图G＝(V,E,W)描述，其中V＝{vij|i,j＝1,2,......,k}是表示计算单元的节点集；
表示可用的公共链接；
表示邻接矩阵，其具体形式为：
S2、每一个逆变器(IBDG)单元均配备一个虚拟同步发电机(VSG)控制器去观测逆变器的有功输出功率、角频率以及角频率的导数，具体通过信号采集单元采集有功输出功率和角频率并计算角频率导数，有功输出功率、角频率以及角频率的导数分别表示为：Pout.t,ωt,dωt/dt，时刻t的观测集合定义为st：
通过数据预处理和转换单元对于观测集合内部的三个数据进行处理并进行数模转换传入分布式微型处理器中。
S3、自适应参数的调整是调整控制函数u(·)中的参数
和
首先，基于观察到的系统状态st，同时结合每一个actor神经网络计算单元t时刻的控制函数u(·)中的参数
从动作空间中选取t时刻合适的动作at：
为actor网络函数的参数化，u代表actor网络，j代表第j个计算单元。动作值at由
构成，
和
分别为虚拟惯性和阻尼因子，通过调节虚拟惯性以及阻尼因子求得相应的输入功率。
S4、将st、at作为输入，送至第j个对应的critic神经网络，对于st中观测值设计相关特征值函数，并计算相应奖励值。
S5、从状态st所得到的奖励值将进一步计算定义为累计奖励Rt：
表示为0～T时段积累的奖励值，其中T为总时间，γ为衰减系数。
在观测st以及动作
输入至critic神经网络之后，定义
以及
为累计奖励值的期望。其中，
为critic神经网络函数的参数化，Q代表critic神经网络，j代表第j个计算单元。
S6、在actor神经网络通过
选取相关动作后，产生下一个状态st+1，并输入目标网络中，且目标网络中的参数的更新跟随critic神经网络和actor神经网络中的参数更新，定义为
和
并重复步骤S3-S5得到期望
S7、计算用于更新critic和actor神经网络参数的相关损失函数：
S8、对于每一个计算单元进行防御网络攻击中的协同攻击与非协同攻击的检测过程，对异常单元进行隔离；
S9、对于具有良好行为的critic和actor神经网络，进行critic和actor神经网络的参数更新，通过局部计算进一步更新。
S10、对于目标网络中的参数
和
进行如下更新：
τ为更新系数。
S11、将(st,at,rt,st+1)计入记忆池中作为一步强化学习算法的学习过程。
S12、经过大量训练集训练学习之后，虚拟同步发电机自适应控制策略(即上文的u(·))优化学习完毕，针对不同的输出功率需求调整虚拟惯性以及阻尼因子两个参数，基于基本闭环锁相环的工作原理，使用已有的虚拟同步发电机改进型功率解耦控制算法控制并网逆变器，实现通过虚拟同步发电机的操作行为来控制逆变器的输出。
采用上述技术方案所产生的有益效果在于：本发明提供的面向网络攻击下的虚拟同步发电机自适应控制装置及方法，通过采集逆变器数据，将逆变器的最优参数设计转化为深度强化学习任务无需建立相应的精准模型，使得此种优化控制方法适应于各种电力系统模型，并可以稍加改变之后应用于其他能源系统。本发明方法中所引入的奖励值指标，使得critic网络对于每一时刻的状态返回值以及对应的动作值赋予相应奖励值，并通过奖励值的累计从动作空间选出下一时刻的动作。本发明的面向网络攻击下的虚拟同步发电机自适应控制装置，计算速度快，精度高，操作简单，适用范围广。本发明针对来自公共网络中的协同攻击和非协同攻击，对收到攻击的计算单元或收到共谋攻击的多个计算单元进行隔离过程，使得不影响整体的参数输出。
附图说明
图1为本发明实施例提供的面向网络攻击下的虚拟同步发电机自适应控制装置结构示意图；
图2为本发明实施例提供的直流转交流的逆变器电路图；
图3为本发明实施例提供的对于逆变器输出电路相关状态的信号采集电路原理图；
图4为本发明实施例提供的数据平滑处理与转换单元的电路原理图；
图5为本发明实施例提供的分布式微型处理器的电路原理图；
图6为本发明实施例提供的通信单元的电路原理图；
图7为本发明实施例提供的显示单元的电路原理图；
图8为本发明实施例提供的面向网络攻击下的虚拟同步发电机自适应控制方法的总流程图；
图9为本发明实施例提供的应对公共网络攻击时检测异常单元并对异常单元进行隔离过程的流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本实施例提供的面向网络攻击下的虚拟同步发电机自适应控制装置，包括信号采集单元、数据预处理与转换单元、分布式微型处理器、数据存储单元、显示单元和通信单元。
逆变器为本实施例自适应控制装置的控制终端，逆变器如图2所示，内部通过一个误差放大器，一个调节器、振荡器、有死区控制的PWM发生器、低压保护回路及短路保护回路，将12V的直流电压转化为220V的交流电压信号。经强化学习算法得出的虚拟同步发电机更新之后的参数，通过模拟控制虚拟同步发电机的行为模式，对于逆变器进行控制，使其角频率与输出有功功率变化较为平稳、缓慢，使其能够更加安全的汇入大电网中。
如图3所示，信号采集单元通过三相电压传感器、三相电流传感器和电压电流相角传感器采集电网的三相电压Vin，三相电流Iin和电压电流相角theta(in)信号，进行简单处理，计算出电路有功输出功率以及角频率的变化率，结合角频率发送至数据预处理与转换单元。其中电压电流相角传感器由LM393和74HK36及其附加电路构成。信号采集单元将采集到的信号传递给数据预处理与转换单元作为其输入信号。
数据预处理与转换单元如图4所示，包括降噪处理模块，平滑处理模块和A/D转换模块。降噪处理模块由MAX4104及其相应电路构成，平滑处理模块由LTC1562IG及其相应电路构成，A/D转换模块采用TLC2543转换器。数据预处理与转换单元的输入信号(Vin、Iin、theta(in))经过降噪处理模块进行降噪，平滑处理模块进行平滑处理后输出与输入相应的输出信号(Vout、Iout、theta(out))，这些输出信号作为TLC2543的输入，完成模拟信号到数字信号的转换而后进行输出，数据预处理与转换单元的输出信号为D0～D3。
分布式微型处理器包括Actor网络模块、Critic网络模块、目标网络模块、数据存储模块和网络攻击检测模块；所述Actor网络模块为强化学习算法中的actor神经网络，主要为根据每一次迭代时的状态在连续的动作空间中选取动作，又因为Actor是基于回合更新的所以学习效率比较慢，可以使用一个value-based的算法作为Critic就可以实现单步更新，即所述的Critic网络模块。Actor网络神经元基于概率选行为，Critic网络神经元基于Actor网络神经元的行为评判行为的得分，Actor网络神经元根据Critic网络神经元的评分修改选行为的概率。结合已有的深度策略梯度和Q-learning学习算法，解决Actor-Critic模式收敛困难的问题；所述目标网络模块用于相较于Actor和Critic神经网络模块，慢一步进行参数更新，预防因单步参数更新所带来的安全问题。所述数据存储模块为分布式微型处理器中所自带的存储器，主要作为强化学习算法中的记忆池。本实施例中，分布式微型处理器采用STC89C52RC微型处理器，如图5所示，同时其也具有数据存储的功能。经过数据预处理与转换单元进行预处理与转换后的输出信号D0～D3传递至分布式微型处理器STC89C52RC的P3端口，分布式微型处理器STC89C52RC基于此信号执行分布式的强化学习算法，通过信息采集模块所得到的每个迭代周期的状态信号，在动作空间中依照参数化的控制函数选取对应动作，对此次迭代周期的状态和动作两者进行计算奖励值函数，并进行虚拟同步发电机控制函数的参数更新。通过模仿这种行为来达到对于逆变器的控制。网络攻击检测模块主要应用于对于计算单元数据行为是否异常进行判断，通信单元将能量失配和IC信息通过发送模块传输至分布式微型处理器中的计算单元网络中进行计算能量失配和IC的合理界限，通过发送数据与上一次迭代过程所得出的合理界进行比较，对异常单元发送单元异常信息至通信单元的网络攻击隔离模块进行隔离操作，将行为良好的通信单元的数据正常进行控制行为。同时分布式微型处理器AT89C52在计算完成后会输出信号P0～P7送至显示单元进行显示。
显示单元采用HDG12864L-6进行显示，如图6所示。分布式微型处理器STC89C52RC将计算得到的输出信号P0～P7送至显示单元，显示单元HDG12864L-6将显示当前时刻系统运行模式、逆变器的有功输出功率、角频率以及角频率的变化速率信息。
通信单元包括接收模块、网络攻击隔离模块和发送模块；所述接收模块包括解密模块和接收串行接口，用于通过接收串行接口接收经过分布式强化学习算法所得到的更新参数数据后，由解密模块进行数据解密；解密后的数据用来控制虚拟同步发电机，通过模拟控制虚拟同步发电机的方式来对逆变器进行控制，所述网络攻击隔离模块用于进行对于行为异常的单元断开其与其他计算单元的连接，更新连接矩阵；所述发送模块包括加密模块和发送串行接口，用于对本次迭代过程的能量失配和IC数据进行加密后通过发送串行接口将加密数据发送到分布式微型处理器，并将更新后的参数进行加密后发送至相邻计算单元进行整个虚拟同步发电机的参数更新。通信单元采用串行接口COMPIM和SP232EEN与邻居节点实现通信，进而产生信息交互，如图7所示。通信单元在动态事件触发时刻将发送本地信息至邻居节点或者从邻居节点处接收邻居节点信息。并在通信模块中加入了防御网络攻击模块，此模块中进行网络攻击的检测，并将相关信息传输至分布式微型处理器的计算单元网络中进行计算，并对异常单元进行隔离过程，将行为良好的通信单元的数据传输至逆变器中。
一种面向网络攻击下的虚拟同步发电机自适应控制方法，采用上述的面向网络攻击下的虚拟同步发电机自适应控制装置实现，其总流程图如图8所示，具体方法如下所述。
S1、将全局计算过程划分为k个计算单元，从而加快了收敛的速度，计算机计算单元之间的信息共享由图G＝(V,E,W)描述，其中V＝{vij|i,j＝1,2,......,k}是表示计算单元的节点集；
表示可用的公共链接；
表示邻接矩阵，其具体形式为：
S2、为了显示动态特性，每一个逆变器(IBDG)单元都配备了一个虚拟同步发电机(VSG)控制器去观测逆变器的有功输出功率、角频率以及角频率的导数，具体通过信号采集单元采集有功输出功率和角频率并计算角频率导数，有功输出功率、角频率以及角频率的导数分别表示为：Pout.t,ωt,dωt/dt，时刻t的观测集合定义为st：
通过数据预处理和转换单元对于观测集合内部的三个数据进行处理并进行数模转换传入分布式微型处理器中。
S3、自适应参数的调整是调整控制函数u(·)中的参数
和
首先，基于观察到的系统状态st，同时结合每一个actor神经网络计算单元t时刻的控制函数u(·)中的参数
从动作空间中选取t时刻合适的动作at：
为actor网络函数的参数化，u代表actor网络，j代表第j个计算单元。动作值at由
构成，
和
分别为虚拟惯性和阻尼因子，通过调节虚拟惯性以及阻尼因子求得相应的输入功率。
S4、将st、at作为输入，送至第j个对应的critic神经网络，对于st中观测值设计相关特征值函数，并计算相应奖励值。
S4.1、对于角频率设计奖励值特征函数，设ψω＝|ωt-ωn|为角频率偏差的绝对值，则角频率奖励值特征函数为：
其中，ωn为标准角频率，ρω为小惩罚系数，σω为大惩罚系数，
为所能接受的角频率偏差绝对值的最大值。
S4.2、对于角频率变化速率设计奖励值特征函数如下：
其中，ρdω为一个小惩罚系数，具体惩罚系数的设定需结合每个发电厂对于角频率稳定性的需求。
S4.3、对于有功输出功率设计奖励值特征函数，设ψP＝|Pout.t-Pref|为当前时刻有功输出功率与实际需求输出功率偏差的绝对值，其中，Pref为参考有功功率，则有功输出功率奖励值特征函数为：
其中，ρP为相应的惩罚系数，且大于1。
S4.4、根据预期表现和上述定义的特征函数，t时刻的奖励表示为：
其中，bω,bdω,bP＞0，为权重系数，设计不同的权重系数可以得到不同的输出特性，则通过输入st而得到的奖励值定义为rt。
S5、有功功率和角频率调节的动态性能是通过一个相对较长的时间奖励来衡量的，动态性能是否会更好取决于一段时间的累计。
为此，从状态st所得到的奖励值将进一步计算定义为累计奖励Rt：
表示为0～T时段积累的奖励值，其中T为总时间，γ为衰减系数。
在观测st以及动作
输入至critic神经网络之后，定义
以及
为累计奖励值的期望。其中，
为critic神经网络函数的参数化(Q代表critic神经网络，j代表第j个计算单元)。
S6、在actor神经网络通过
选取相关动作后，产生下一个状态st+1，并输入目标网络中，单独的目标网络被广泛应用于稳定强化算法，且目标网络中的参数的更新会缓慢的跟随critic神经网络和actor神经网络中的参数更新，定义为
和
并重复步骤S3-S5得到期望
S7、计算用于更新critic和actor神经网络参数的相关损失函数：
S7.1、计算用于更新critic神经网络参数的损失函数：
其中，
为critic网络针对于控制参数的损失函数，
表示针对后续表达式的期望采样空间为记忆池D中的数据，
表示目标空间中对应的期望。并计算相关梯度
其中
表示针对critic网络中控制函数参数进行梯度计算。
S7.2、计算用于更新actor神经网络参数的损失函数：
式中，J是近似值函数，
表示对于后续表达式的期望求解的采样空间为t时刻的状态，
和
表示通过链式法则对于actor网络中控制函数参数进行梯度计算，参数
和
根据其自身和邻居的信息，通过局部计算进一步更新。
S8、对于每一个计算单元进行防御网络攻击中的协同攻击与非协同攻击的检测过程，如图9所示。
S8.1：引入协商一致协定变量y、λ；定义λ为第一项协商一致协定书，λ(h+1)＝Mλ(h)+ηy(h)，其中λ表示IC的列堆栈向量；η是收敛点系数，它是一个足够小的正常数；M是针对第一项协商一致协定的更新共识矩阵。y为第二项协商一致协定书，y(h+1)＝Ny(h)-(x(h+1)-x(h))，其中y为局部估计能量失配的列堆栈向量；x为能量输出的列堆栈向量；N是针对第二项协商一致协定的更新共识矩阵。
S8.2、对于相关判断信息进行计算。通过除疑似受攻击单元之外的计算单元来计算相关信息的合理界。
S8.2.1，对于第二项协商一致协定y的计算：在下次迭代中，第v个计算单元局部估计能量失配的合理界为
其中，Y(h,R)是由迭代h和R确定的检测阈值函数，R是表示各种能源设备的斜坡速率极限的最大值的公共参数，D+、D-分别代表正负值函数。
S8.2.2、对于第一项协商一致协定λ的计算：在下一次迭代中，第v个计算单元的IC的有理界限为：
式中
其中，l代表物理传输线，
分别代表第一项协商一致协议书取上界、下界时的传输线；
为第v个计算单元数据输出所连接的计算单元集合，λl(h)代表在此单元物理传输线所连接单元第h次迭代所得到的的实际IC值，σ是第一项协商一致协定限制系数。
S8.3、将接收到的局部能量失配实际值yv(h)与计算单元v局部估计能量失配的合理界进行比较；若实际值yv(h)满足
则转至步骤S8.4；否则，计算单元v被判断为行为不端，转至步骤S8.5。这里转到S8.5是为了更新检测结果变量，需将检测到的结果变量传输至相邻计算单元，隔离是一个传输线两侧都需要进行的操作，即传输线两端的计算单元都需要将其连接矩阵进行更改，所以需要转到S8.5。
S8.4、将实际的电力增量成本λv(h)与理论估算范围进行比较；若
则判定计算单元v行为良好；否则，判定计算单元v为行为不良单元；对于
不存在的单元，则直接判断计算单元v行为不当。
S8.5、按下式更新计算单元v的检测结果变量dv(h)：
将更新后的检测结果变量送至相邻的计算单元。通过设置dv(h)，使得异常单元的相邻单元不参加通信检测，但仍可识别行为不端的单元并激活隔离过程。
S8.6、非协同攻击下的隔离过程：网络攻击只针对某一个计算单元进行攻击。
S8.6.1、计数规则定义为：
其中，dv(h)为第h次迭代更新计算单元v的检测结果变量，Tiv(h)为第h次迭代之后行为良好的计算单元数量。
S8.6.2、设计信誉值为判定计算单元是否隔离的一个阈值，如下式：
其中，ωh＞0是一个名为声誉系数的时变参数，用于动态调整适应率。当所有单元都行为良好时，repiv(h)将始终为e；出现行为不良的单元时，repiv(h)＜e。当连接到异常单元的所有通信线路的信誉值下降到阈值以下时，异常单元与通信网络断开链接。
S8.7、协同攻击下的隔离过程：公共网络对于两个及以上的计算单元同时发动共谋攻击。
S8.7.1、当行为不良的异常单元已通过步骤S8.6的过程将其隔离之后，将连接信息记录在观测子网中，并对链接矩阵进行更新，如下式：
其中，fiv(h)代表第h次迭代过程之后，第i个计算单元与第v个计算单元连接矩阵对应的值，E'为观测网络拓扑的边缘集，
为第v个计算单元数据输出所连接的计算单元集合，Nv -为第v个计算单元数据输入所连接的计算单元集合。
S8.7.2、链接矩阵F(h)＝[fij]n×n，如果链接矩阵的第v行出现了非零元素，则表示行为不正常的计算单元v未完全隔离，即通信网络中存在共谋攻击。与第v个计算单元相邻的第c个计算单元很容易被判断为计算单元v的共谋单元，被认为是行为不端的计算单元，则将计算单元c重复步骤S8.2-S8.5中的检测过程，并将检测结果上传进行步骤S8.6的相关隔离过程。
S8.7.3、重复步骤S8.7.1-S8.7.2，直至所有异常单元被隔离。
S9、对于具有良好行为的critic和actor神经网络，进行critic和actor神经网络的参数更新，通过局部计算进一步更新。
S9.1、对于critic神经网络相关参数进行更新：
并对共k个计算单元的参数进行求平均值：
其中ζQ是critic神经网络的学习速率。
S9.2，对于actor神经网络相关参数进行更新：
并对共k个计算单元的参数进行求平均值：
其中ζu是actor神经网络的学习速率。
S10、对于目标网络中的参数
和
进行更新：
τ为更新系数，其由具体实际应用时所需的更新效率所定。综上，完成一步强化学习过程。
S11、将(st,at,rt,st+1)计入记忆池中作为一步强化学习算法的学习过程。
S12、经过大量训练集训练学习之后，虚拟同步发电机自适应控制策略(即上文的u(·))优化学习完毕，可以针对不同的输出功率需求调整虚拟惯性以及阻尼因子两个参数，基于基本闭环锁相环的工作原理，使用已有的虚拟同步发电机改进型功率解耦控制算法控制并网逆变器，减少功率震荡以及冲击电流，实现通过虚拟同步发电机的操作行为来控制逆变器的输出。
本发明将虚拟同步发电机的控制算法转化为强化学习问题，引入两组神经网络，对于逆变器(IBDG)连续状态进行观测，对于控制器连续动作进行奖励。以数据驱动的方式，以实时观测到的数据来调整相应参数的设计，实现了逆变器以无模型的方式获得预期性能的目标。在利用数据驱动时引入相应的奖励值指标，对于每一状态的控制策略以及观测到的相应状态值进行相应奖励值的回馈，并依照此奖励值指标来调整下一时刻的虚拟同步发电机控制器的控制动作。将基于分布型的深度强化学习算法的以数据驱动的虚拟同步发电机自适应最优化控制策略嵌入到虚拟同步发电机(VSG)控制器当中，组装成相应的面向网络攻击下的虚拟同步发电机自适应控制装置。通过对于计算单元的通信网络进行拓扑，并通过设计信誉值和链接矩阵，针对来自公共网络中的协同攻击和非协同攻击进行防御，保证系统的平稳安全运行。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (7)
1.一种面向网络攻击下的虚拟同步发电机自适应控制装置，其特征在于：该装置包括信号采集单元、数据预处理与转换单元、分布式微型处理器、显示单元和通信单元；
信号采集单元包括三相电压传感器、三相电流传感器和电压电流相角传感器，通过三相电压传感器、三相电流传感器和电压电流相角传感器分别采集电网的三相电压Vin、三相电流Iin和电压电流相角theta(in)信号；信号采集单元将采集到的信号进行简单处理，计算出电路有功输出功率以及角频率的变化率，结合角频率传递给数据预处理与转换单元作为其输入信号；
数据预处理与转换单元，包括降噪处理模块、平滑处理模块和A/D转换模块；数据预处理与转换单元的输入信号经过降噪处理模块进行降噪，平滑处理模块进行平滑处理后输出与输入信号相应的输出信号，这些输出信号作为A/D转换模块的输入，完成模拟信号到数字信号的转换，而后输出到分布式微型处理器的输入端；
分布式微型处理器包括actor网络模块、Critic网络模块、目标网络模块、数据存储模块和网络攻击检测模块；所述actor网络模块为分布式强化学习算法中的actor神经网络，为根据每一次迭代时的状态在连续的动作空间中选取动作；所述Critic网络模块用于通过value-based的算法作为Critic实现单步更新；actor网络神经元基于概率选行为，Critic网络神经元基于actor网络神经元的行为评判行为的得分，actor网络神经元根据Critic网络神经元的评分修改选行为的概率；所述目标网络模块相较于Actor和Critic神经网络模块，慢一步进行参数更新，用于预防因单步参数更新所带来的安全问题；通过信息采集模块所得到的每个迭代周期的状态信号，在动作空间中依照参数化的控制函数选取对应动作，对此次迭代周期的状态和动作两者进行计算奖励值函数，并进行虚拟同步发电机控制函数的参数更新，通过模仿这种行为来达到对于逆变器的控制；所述网络攻击检测模块主要应用于对于计算单元数据行为是否异常进行判断，通信单元将能量失配和IC信息通过发送模块传输至分布式微型处理器中的计算单元网络中进行计算能量失配和IC的合理界限，通过发送数据与上一次迭代过程所得出的合理界进行比较，对异常单元发送单元异常信息至通信单元的网络攻击隔离模块进行隔离操作，将行为良好的通信单元的数据正常进行控制行为；同时分布式微型处理器在计算完成后输出信号至显示单元进行显示；数据存储模块用于存储计算过程中的数据；
显示单元用于显示当前时刻系统运行模式、逆变器的有功输出功率、角频率以及角频率的变化速率信息；
通信单元采用串行接口与邻居节点实现通信，进而产生信息交互，在动态事件触发时刻将发送本地信息至邻居节点或者从邻居节点处接收邻居节点信息；通信单元包括接收模块、网络攻击隔离模块和发送模块；所述接收模块包括解密模块和接收串行接口，用于通过接收串行接口接收经过分布式强化学习算法所得到的更新参数数据后，由解密模块进行数据解密；解密后的数据用来控制虚拟同步发电机，通过模拟控制虚拟同步发电机的方式来对逆变器进行控制；所述网络攻击隔离模块用于对于行为异常的单元断开其与其他计算单元的连接，更新连接矩阵；所述发送模块包括加密模块和发送串行接口，用于对本次迭代过程的能量失配和IC数据进行加密后通过发送串行接口将加密数据发送到分布式微型处理器，并将更新后的参数进行加密后发送至相邻计算单元进行整个虚拟同步发电机的参数更新。
2.根据权利要求1所述的面向网络攻击下的虚拟同步发电机自适应控制装置，其特征在于：所述电压电流相角传感器包括LM393和74HK36及其附加电路；
所述降噪处理模块包括MAX4104及其相应附加电路，平滑处理模块包括LTC1562IG及其相应附加电路，A/D转换模块采用TLC2543转换器；数据预处理与转换单元的输出信号为D0～D3；
所述分布式微型处理器采用STC89C52RC微型处理器；经过数据预处理与转换单元进行预处理与转换后的输出信号D0～D3传递至分布式微型处理器STC89C52RC的P3端口，分布式微型处理器STC89C52RC基于此信号执行分布式的强化学习算法；分布式微型处理器AT89C52在计算完成后会输出信号P0～P7送至显示单元进行显示；
显示单元采用HDG12864L-6进行显示；
通信单元采用串行接口COMPIM和SP232EEN与邻居节点实现通信。
3.一种面向网络攻击下的虚拟同步发电机自适应控制方法，其特征在于：该方法采用权利要求1所述的面向网络攻击下的虚拟同步发电机自适应控制装置实现，包括以下步骤：
S1、将全局计算过程划分为k个计算单元，计算机计算单元之间的信息共享由图G＝(V,E,W)描述，其中V＝{vij|i,j＝1,2,......,k}是表示计算单元的节点集；
表示可用的公共链接；
表示邻接矩阵，其具体形式为：
S2、每一个逆变器(IBDG)单元均配备一个虚拟同步发电机(VSG)控制器去观测逆变器的有功输出功率、角频率以及角频率的导数，具体通过信号采集单元采集有功输出功率和角频率并计算角频率导数，有功输出功率、角频率以及角频率的导数分别表示为：Pout.t,ωt,dωt/dt，时刻t的观测集合定义为st：
通过数据预处理和转换单元对于观测集合内部的三个数据进行处理并进行数模转换传入分布式微型处理器中；
S3、自适应参数的调整是调整控制函数u(·)中的参数
和
首先，基于观察到的系统状态st，同时结合每一个actor神经网络计算单元t时刻的控制函数u(·)中的参数
从动作空间中选取t时刻合适的动作at：
为actor网络函数的参数化，u代表actor网络，j代表第j个计算单元；动作值at由
构成，
和
分别为虚拟惯性和阻尼因子，通过调节虚拟惯性以及阻尼因子求得相应的输入功率；
S4、将st、at作为输入，送至第j个对应的critic神经网络，对于st中观测值设计相关特征值函数，并计算相应奖励值；
S5、从状态st所得到的奖励值将进一步计算定义为累计奖励Rt：
表示为0～T时段积累的奖励值，其中T为总时间，γ为衰减系数；
在观测st以及动作
输入至critic神经网络之后，定义
以及
为累计奖励值的期望；其中，
为critic神经网络函数的参数化，Q代表critic神经网络，j代表第j个计算单元；
S6、在actor神经网络通过
选取相关动作后，产生下一个状态st+1，并输入目标网络中，且目标网络中的参数的更新跟随critic神经网络和actor神经网络中的参数更新，定义为
和
并重复步骤S3-S5得到期望
S7、计算用于更新critic和actor神经网络参数的相关损失函数；
S8、对于每一个计算单元进行防御网络攻击中的协同攻击与非协同攻击的检测过程，对异常单元进行隔离；
S9、对于具有良好行为的critic和actor神经网络，进行critic和actor神经网络的参数更新，通过局部计算进一步更新；
S10、对于目标网络中的参数
和
进行如下更新：
τ为更新系数；
S11、将(st,at,rt,st+1)计入记忆池中作为一步强化学习算法的学习过程；
S12、经过大量训练集训练学习之后，虚拟同步发电机自适应控制策略(即上文的u(·))优化学习完毕，针对不同的输出功率需求调整虚拟惯性以及阻尼因子两个参数，基于基本闭环锁相环的工作原理，使用已有的虚拟同步发电机改进型功率解耦控制算法控制并网逆变器，实现通过虚拟同步发电机的操作行为来控制逆变器的输出。
4.根据权利要求3所述的面向网络攻击下的虚拟同步发电机自适应控制方法，其特征在于：所述步骤S4的具体方法为：
S4.1、对于角频率设计奖励值特征函数，设ψω＝|ωt-ωn|为角频率偏差的绝对值，则角频率奖励值特征函数为：
其中，ωn为标准角频率，ρω为小惩罚系数，σω为大惩罚系数，
为所能接受的角频率偏差绝对值的最大值；
S4.2、对于角频率变化速率设计奖励值特征函数如下：
其中，ρdω为一个小惩罚系数，具体惩罚系数的设定需结合每个发电厂对于角频率稳定性的需求；
S4.3、对于有功输出功率设计奖励值特征函数，设ψP＝|Pout.t-Pref|为当前时刻有功输出功率与实际需求输出功率偏差的绝对值，其中，Pref为参考有功功率，则有功输出功率奖励值特征函数为：
其中，ρP为相应的惩罚系数，且大于1；
S4.4、根据预期表现和上述定义的特征函数，t时刻的奖励表示为：
其中，bω,bdω,bP＞0，为权重系数，设计不同的权重系数得到不同的输出特性，则通过输入st而得到的奖励值定义为rt。
5.根据权利要求4所述的面向网络攻击下的虚拟同步发电机自适应控制方法，其特征在于：所述步骤S7的具体方法为：
S7.1、计算用于更新critic神经网络参数的损失函数：
其中，
为critic网络针对于控制参数的损失函数，
表示针对后续表达式的期望采样空间为记忆池D中的数据，
表示目标空间中对应的期望；并计算相关梯度
其中
表示针对critic网络中控制函数参数进行梯度计算；
S7.2、计算用于更新actor神经网络参数的损失函数：
式中，J是近似值函数，
表示对于后续表达式的期望求解的采样空间为t时刻的状态，
和
表示通过链式法则对于actor网络中控制函数参数进行梯度计算，参数
和
根据其自身和邻居的信息，通过局部计算进一步更新。
6.根据权利要求5所述的面向网络攻击下的虚拟同步发电机自适应控制方法，其特征在于：所述步骤S8的具体方法为：
S8.1：引入协商一致协定变量y、λ；定义λ为第一项协商一致协定书，λ(h+1)＝Mλ(h)+ηy(h)，其中λ表示IC的列堆栈向量；η是收敛点系数，它是一个足够小的正常数；M是针对第一项协商一致协定的更新共识矩阵；y为第二项协商一致协定书，y(h+1)＝Ny(h)-(x(h+1)-x(h))，其中y为局部估计能量失配的列堆栈向量；x为能量输出的列堆栈向量；N是针对第二项协商一致协定的更新共识矩阵；
S8.2、对于相关判断信息进行计算；通过除疑似受攻击单元之外的计算单元来计算相关信息的合理界；具体方法为：
S8.2.1，对于第二项协商一致协定y的计算：在下次迭代中，第v个计算单元局部估计能量失配的合理界为：
其中，Y(h,R)是由迭代h和R确定的检测阈值函数，R是表示各种能源设备的斜坡速率极限的最大值的公共参数，D+、D-分别代表正负值函数；
S8.2.2、对于第一项协商一致协定λ的计算：在下一次迭代中，第v个计算单元的IC的有理界限为：
式中
其中，l代表物理传输线，
分别代表第一项协商一致协议书取上界、下界时的传输线；
为第v个计算单元数据输出所连接的计算单元集合，λl(h)代表在此单元物理传输线所连接单元第h次迭代所得到的的实际IC值，σ是第一项协商一致协定限制系数；
S8.3、将接收到的局部能量失配实际值yv(h)与计算单元v局部估计能量失配的合理界进行比较；若实际值yv(h)满足
则转至步骤S8.4；否则，计算单元v被判断为行为不端，转至步骤S8.5；
S8.4、将实际的电力增量成本λv(h)与理论估算范围进行比较；若
则判定计算单元v行为良好；否则，判定计算单元v为行为不良单元；对于
不存在的单元，则直接判断计算单元v行为不当；
S8.5、按下式更新计算单元v的检测结果变量dv(h)：
将更新后的检测结果变量送至相邻的计算单元；
S8.6、非协同攻击下的隔离过程：网络攻击只针对某一个计算单元进行攻击；具体如下：
S8.6.1、计数规则定义为：
其中，dv(h)为第h次迭代更新计算单元v的检测结果变量，Tiv(h)为第h次迭代之后行为良好的计算单元数量；
S8.6.2、设计信誉值为判定计算单元是否隔离的一个阈值，如下式：
其中，ωh＞0是一个名为声誉系数的时变参数，用于动态调整适应率；当所有单元都行为良好时，repiv(h)将始终为e；出现行为不良的单元时，repiv(h)＜e；当连接到异常单元的所有通信线路的信誉值下降到阈值以下时，异常单元与通信网络断开链接；
S8.7、协同攻击下的隔离过程：公共网络对于两个及以上的计算单元同时发动共谋攻击，具体如下：
S8.7.1、当行为不良的异常单元已通过步骤S8.6的过程将其隔离之后，将连接信息记录在观测子网中，并对链接矩阵进行更新，如下式：
其中，fiv(h)代表第h次迭代过程之后，第i个计算单元与第v个计算单元连接矩阵对应的值，E'为观测网络拓扑的边缘集，
为第v个计算单元数据输出所连接的计算单元集合，
为第v个计算单元数据输入所连接的计算单元集合；
S8.7.2、链接矩阵F(h)＝[fij]n×n，如果链接矩阵的第v行出现了非零元素，则表示行为不正常的计算单元v未完全隔离，即通信网络中存在共谋攻击；与第v个计算单元相邻的第c个计算单元很容易被判断为计算单元v的共谋单元，被认为是行为不端的计算单元，则将计算单元c重复步骤S8.2-S8.5中的检测过程，并将检测结果上传进行步骤S8.6的相关隔离过程；
S8.7.3、重复步骤S8.7.1-S8.7.2，直至所有异常单元被隔离。
7.根据权利要求6所述的面向网络攻击下的虚拟同步发电机自适应控制方法，其特征在于：所述步骤S9的具体方法为：
S9.1、对于critic神经网络相关参数进行更新：
并对共k个计算单元的参数进行求平均值：
其中ζQ是critic神经网络的学习速率；
S9.2，对于actor神经网络相关参数进行更新：
并对共k个计算单元的参数进行求平均值：
其中ζu是actor神经网络的学习速率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210466755.5A CN114928099A (zh) | 2022-04-29 | 2022-04-29 | 面向网络攻击下的虚拟同步发电机自适应控制装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210466755.5A CN114928099A (zh) | 2022-04-29 | 2022-04-29 | 面向网络攻击下的虚拟同步发电机自适应控制装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114928099A true CN114928099A (zh) | 2022-08-19 |
Family
ID=82807314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210466755.5A Pending CN114928099A (zh) | 2022-04-29 | 2022-04-29 | 面向网络攻击下的虚拟同步发电机自适应控制装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114928099A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117034659A (zh) * | 2023-10-07 | 2023-11-10 | 南京航空航天大学 | 一种面向冲击波形发生装置阻尼孔的优化设计方法 |
-
2022
- 2022-04-29 CN CN202210466755.5A patent/CN114928099A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117034659A (zh) * | 2023-10-07 | 2023-11-10 | 南京航空航天大学 | 一种面向冲击波形发生装置阻尼孔的优化设计方法 |
| CN117034659B (zh) * | 2023-10-07 | 2024-01-30 | 南京航空航天大学 | 一种面向冲击波形发生装置阻尼孔的优化设计方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | Distributed Nash equilibrium seeking in an aggregative game on a directed graph | |
| CN110324332A (zh) | 一种用于微电网在网络攻击下的安全控制方法 | |
| US20230208719A1 (en) | Distributed secure state reconstruction method based on double-layer dynamic switching observer | |
| CN109167349A (zh) | 一种计及负荷优化重配的电力cps可生存性量化评估方法 | |
| CN106684885B (zh) | 基于多场景分析的风电机组配电网无功优化方法 | |
| CN114217524A (zh) | 一种基于深度强化学习的电网实时自适应决策方法 | |
| CN114928099A (zh) | 面向网络攻击下的虚拟同步发电机自适应控制装置及方法 | |
| CN111988786B (zh) | 一种基于高维多目标分解算法的传感器网络覆盖方法及系统 | |
| Zhang et al. | Deep reinforcement learning for load shedding against short-term voltage instability in large power systems | |
| TWI452529B (zh) | Combined with the system equivalent model of the system and its computer program products | |
| CN117910516A (zh) | 一种基于深度雅克比的网络攻击弹性检测恢复方法及系统 | |
| CN114421499A (zh) | 一种多区域负荷频率系统的攻击重构与弹性控制方法 | |
| CN114036506A (zh) | 一种基于lm-bp神经网络的检测和防御虚假数据注入攻击的方法 | |
| CN117057623A (zh) | 一种综合性电网安全优化调度方法、装置、存储介质 | |
| US20240006890A1 (en) | Local volt/var controllers with stability guarantees | |
| CN112560352A (zh) | 一种基于am-lstm神经网络的系统频率响应模型建模方法 | |
| Ma et al. | Prediction model of BP neural network based on improved genetic algorithm optimization for infectious diseases | |
| CN115313510A (zh) | 一种自适应无功补偿的光伏逆变器控制方法与系统 | |
| CN115133540A (zh) | 一种配电网无模型的实时电压控制方法 | |
| CN111749847B (zh) | 一种风力发电机桨距在线控制方法、系统和设备 | |
| CN114386331B (zh) | 基于多智能体宽大强化学习的电力安全经济调度方法 | |
| CN116405333B (zh) | 一种安全高效的电力系统异常状态检测终端 | |
| CN113792481B (zh) | 基于人工神经网络的vsg多机系统暂态稳定评估方法 | |
| CN115483704A (zh) | 双馈风机电压穿越控制参数整定值评估方法、介质及系统 | |
| Lu et al. | A Detection Based on Particle Filtering and Multivariate Time-series Anomaly Detection via Graph Attention Network for Automatic Voltage Control Attack in Smart Grid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230531 Address after: 110819 No.11, Lane 3, Wenhua Road, Heping District, Shenyang City, Liaoning Province Applicant after: Northeastern University Applicant after: Foshan Graduate School of Innovation, Northeastern University Address before: 110819 No.11, Lane 3, Wenhua Road, Heping District, Shenyang City, Liaoning Province Applicant before: Northeastern University |