CN111596255A - 一种强化学习算法的计量误差远程在线检测方法 - Google Patents

Abstract

本发明属于变电站计量技术领域，涉及一种强化学习算法的计量误差远程在线检测方法。误差检测与评估过程利用计量功率采集样本与标准电表值进行误差比较，优化标准化误差专家库数值；再利用Q‑Learning函数强化学习算法构建电量不平衡的映射模型，对专家库更新数值指导Q迭代网络的初始值定义，通过实时采集的电量数据变化过程准确预测出下一时刻的电量值，实现电量值预测功能，并与专家库中标准值进行比差计算，获取平均预测误差值，当误差范围超出误差置信区间，则立即发出预警信息。本发明优势在可以远程测试计量系统整体误差，具有强自适应调整能力，符合误差产生的动态特性，评估结论准确，系统易于实现。

Description

一种强化学习算法的计量误差远程在线检测方法

技术领域

本发明涉及一种强化学习算法的计量误差远程在线检测方法，属于电力计量设备运行状态检测与评估领域。

背景技术

智能变电站计量系统属于高压计量范畴，计量的准确性直接影响着大电网电费结算结果，产生误差幅度要比家用电能计量系统要高出一定比例，造成的电量误差也是相当可观的。因此针对变电站计量误差应采取相应检测手段，将运行误差及时发现、及时补偿。

智能变电站计量系统会涉及到不同的计量装置，包括电流/电压互感器、电量特征采集模块、互感器回路、时钟同步模块、合并单元等，电能数据在经过不同节点位置时都有可能因装置自身原因、或者运行过程中干扰因素的影响等而引起多类型误差， 这种误差的节点及因素较多，属于隐蔽性误差，不易被定位和察觉。目前针对这种现象已采取了一定的检测措施，大致可以分为两种类型：1.采用单点式检测仪在现场对各节点设备进行误差排查，这种方式虽然能够定位到误差引起的设备位置，但系统误差是具有联动性的，某一个设备产生了误差，在计量回路中误差会不断的放大，因此单点检测出来的误差值一般是不准确的；并且不同设备的检测仪类型不一样，现场检测时需佩戴多种类型的检测设备，不利于便携出行。面对无人值守变电站一般位于偏远地方，携带大量检测设备来回处理，是不易实现的操作方案。2.现场采集大量计量数据，定期对存储的数据进行周期性分析，计算误差幅度，再一次性调整。这种方法存在两个弊端，一则无法实现实时的误差调整，在引起误差较长的时间间隔中会导致电量结算错误资金流失。如果是设备自身原因引起的误差没有及时维护，可能会导致误差影响的无限放大；二则在信息采集过程中，会产生大量的计量数据需存储与传输，需要光纤资源将数据传输到计量管理后台，现场光纤资源稀缺，且不易敷设，投入大量建设与维护成本传输计量数据。后台需要部署存储服务器，为现场数据提供冗余较大的存储空间，整体来看投资成本成效很低，也不符合后期变电站扩展建设需求。

基于目前计量系统检测与评估水平的现状，需要设计一种能在线化、实时性、整体性的计量误差检测与评估系统，能够对现场变电站计量系统性数据实时采集、传输到远端，通过自动化、高效计算的方法对计量误差进行在线检测、传输、计算与评估。

发明内容

本发明设计一种强化学习算法的计量误差远程在线检测方法，主要将设计方法应用在智能变电站计量系统误差监控领域中，通过现场采样处理装置将计量特征提取出来，通过无线方式安全传输到远距离计量管理平台中，选择一种合适的模型拟合方法计算出电量参考误差，并评估误差值是否在可容忍的范围内，对误差值进行补偿与调整。

一种强化学习算法的计量误差远程在线检测方法，设计了一种远程在线的计量误差检测模型，在变电站计量系统中通过在电能表后端增加光电采样模块，将电表采集的功率数据及电量特征数据通过无线通信模块传输到计量管理平台中，计量管理平台中内嵌强化学习算法程序，当数据进入到计量管理平台后就启动计量误差评估及调整，通过采样数据修正标准电表误差数值，并预测出电表能量变化趋势，通过计算预测能量与标准数值误差，判断是否在误差可控范围内，如误差小于置信区间，则进行误差补偿，如误差超出置信区间，则发出预警信息，定位误差产生的节点，调整系统性能，保障整个计量过程的误差数值平稳性。

进一步地，所述计量误差检测模型为：根据现场已有公网的通信资源，选择4/5G通信机制，在光电采样模块中内嵌通信模块及加密芯片，在远端的通信接收模块中也同样部署一套通信模块及解密芯片；变电站计量系统通过标准的电压互感器 TV的一次绕组与电子式电压互感器升压器一次绕组并联，输出二次绕组电压值接至电压采样控制单元输入接口；同理，标准电流互感器 TA的一次绕组与电子式电流互感器及升流器的一次绕组串联，标准电流互感器的二次绕组接至电流采样控制单元输入接口，通过时间同步调整后，将电压及电流值输入合并单元，利用乘法器转换成电量功率值输入到智能电表进行电量测量，光电采样模块直接安装在智能电能表上，对准电能量脉冲输出LED发光管，将采样值通过4/5G无线通信模块传输到远端的通信接收模块上，最终将数据输入到计量管理平台中，计量数据加密后在空中以模拟电磁波信号承载方式安全到达远端的计量管理平台中，通过解密过程读取计量数据，进行下一步的计量功率预测及误差评估过程。

进一步地，所述强化学习算法，选择Q-Learning函数进行自我学习，通过当前状态和执行的动作策略中预估出下一个状态，并且网络还会产生一定动作收益值，也影响着下一个状态和动作，通过这种推理方法将计量数据函数

拟合出来；Q-Learning算法开始时会设置合适的状态初始化值，在Q学习当中采用状态概率转移方式将

值进行动态规划，迭代求解，直到找到一条能够到达终点获得最大奖赏的策略，这时可以计算得到Q值和原来的Q值存在一个增量，并求其最大化；将γ衰变值定义为步长因子，起到自学习控制作用，

表示下一个状态当中最好的动作，r为采取动作a到达下一个状态得到的收益，在多次实验中最优化Q值。

进一步地，所述计量误差评估及调整具体为：先将标准电表计量数据与部分采样数据进行标准误差库数据的更新与优化，计算出更新的误差值及计量功率值；并依据现有计量系统的数据条件初始化计量评估Q-Learning算法的初始值，进入数值迭代优化过程，最终推算出与真实数据最接近的电能量功率预测Q值，并利用随机梯度下降测量法，保证两者的误差最小，算法输出下一时刻预测的功率值；通过多次预测计算，形成下一时间段内的功率值集合，与标准计量误差专家库中的数值进行比较，求出下一时间段的平均误差，如误差小于置信区间，则进行误差补偿；如超过，则要发出预警信息并对计量系统进行故障检查与调整。

本发明的有益效果是：

本发明设计的方法优势在于不同于目前单体式校验仪，无需前往现场测试，并可以远程测试计量系统整体误差，误差计算过程具有自适应调整能力，符合误差产生的动态特性，评估结论准确，传输安全高效，系统易于实现。

附图说明

图1是智能变电站计量误差在线检测原理图；

图2是智能变电站计量数据远程传输工作方案图；

图3是基于Q-Learning函数强化学习算法原理图；

图4是基于Q-Learning函数的误差计算与评估流程图；

图5是变电站电能计量装置整体计量误差的在线评估方法的流程示意图。

具体实施方式

下面结合附图，详细说明本发明的设计原理及实施方案。

本发明中设计的一种强化学习算法的计量误差远程在线检测方法，结合了计量光电采集、4/5G无线通信和大数据强化学习等技术原理，共同实现了计量误差的在线检测与评估方案，解决了目前无人值守变电站计量误差无法实时检测而导致计量数据错误的问题，为整个电网交易电量提供了准确的数据参考，保障了电网经济营收效益，方案实施是具有较高的应用价值。

方案部署主要分为硬件和软件部分，硬件部分主要包括计量数据采集及远传通信，软件部分为强化学习算法实现误差检测与评估，其中软件部分为核心，硬件为计算前端的辅助工具。

本发明设计了一种远程在线的计量误差检测模型，如图1和图2所示，变电站通过并联变压及串联变流方式从互感器中采集到高压电压及电流分量，经过合并单元输出电量功率值，电量功率直接反应变电站处理电量的数值，并通过智能电表记录。为了将电表数据采集到远程计量管理平台，依据变电站现场与远传的传输资源与环境设计一套计量数据传输方案，计量数据安全级别较高，应选择安全性较高的传输方式。光纤具有实时性高、单通道独立传输等特征为首选方式，光纤可满足站内有限距离的敷设，因此站内采用光纤模式，按照变电站IEC61850协议标标准完成站内数据的传输；对于站外较远距离单独敷设需要投入较大前期开挖管道的成本，在新建站址处一般没有现成的光纤资源可直接利用，因此无线通信被选择为合适的通信方式。通过深度分析变电站计量数据对通信通道的性能需求，从带宽、时延、可靠性及实际部署现状等多个方面确定可以匹配的通信方案，4/5G无线专网通信方式可利用现有的公网通信资源，无需重新布网，减少了建设投资成本，4/5G无线通信机制基于OFDM技术、MIMO及软件无线电等核心技术可实现大带宽、低时延等传输特性，通信技术性能与计量业务需求完全匹配情况下后确定4/5G无线通信方式是适用于计量信号的传输，4/5G无线专网承载方式能满足的实时性、距离性和安全性等所有要求。无线通信一般收发成对出现，因此在光电采样模块中内嵌通信模块及加密芯片，在远端的通信接收模块中也同样部署一套通信模块及解密芯片，租用公网独立的频段和通道，通道上不复用其他业务，不会产生业务传输冲突及干扰，保证计量数据的完整性和有效性；加密芯片可以保障数据传输过程中无法恶意截取，计量数据在空中以模拟电磁波信号承载方式安全到达远端的计量管理平台中，通过解密过程读取计量数据，进行下一步的计量功率预测及误差评估过程。为了验证4/5G无线通信技术满足变电站计量数据传输需求的匹配性，进行参数匹配过程深度的分析与说明：

变电站计量数据属于高级计量数据范畴，数值准确性直接影响电力现货交易水平，从主变高压侧直采电流、电压信号，监测变电量功率大小，当功率误差超过所设定定值时，采取先报警提示后调整方式，保护用电线路的监测控制技术。

（1）数据流向：计量检测单元进行每分钟周期性轮抄采集，并主动发起事件上报信息，数据流向从本地智能电表传输到远端误差计量模块中，采集频次每分钟一次，采集数据包括电量功率、电流及电压数据。并且根据计算结果产生的控制信息能回传到智能电表及合并单元，形成双向的数据流向，4/5G无线通信具有逻辑上独立的双向通道，可满足数据的上下行传输；

（2）数据带宽：采集频次每分钟采集一次、通信带宽10kbps-100kbps，假设区域范围内存在10个变电站，带宽扩大10倍，4G通信n*20M的带宽，在数据量或并发数增加的情况下，仍然完全符合带宽需求；

（3）通信时延：轮询采集状态，常规召测和设置响应时间小于15s，历史召测时间小于30s，遥控时延小于5s。4G网络实测时延一般为50ms，满足通信时延需求；

（4）可靠性：要求较高，远程一次采集成功率不小于97%；远程周期采集成功率不小于99.8%；遥控正确率不小于99.99%，由于采用独立虚拟通道，计量数据在传输时无其他数据传输的干扰，4G网络连接成功率95%，基本满足了传输的可靠性。

5G通信网络性能远比4G网络大幅度提升，并且以上参数都是基于多业务同时并发测量的网络数据，针对单通道单数据业务的传输网络，性能也会更加良好。以此得出结论4/5G无线专网通信是完全满足通信需求。本发明中设计的变电站计量数据实时远传方法采用无线专网方式是完全可行性的，而且也是最优方案。

数据传输到主站系统后进入数据处理阶段，计量管理平台中已保存有标准电表计量数据作为误差计算的参考数值，这个数值并非完全精准，它也是处于一个动态调整的过程。通过采样数据集合与标准数据库中数值比较，自适应调整参考值，会根据参考值来定义自学习网络的初始参数。继续采样需要检测的数据，经过强化学习后拟合出电量不平衡的映射模型，然后训练出下一时刻的计量数值，与标准数值比较后，得到实时误差，通过实时误差值状态对原标准专家进行评估，自动实现一个动态调整过程。将评估检测出的误差与标准误差之间的差异性，根据门限值做出下一步的误差调整方案。

本发明设计的误差计算与评估方法重点在图1中虚线框内实现，以软件算法的形式嵌入在计量管理平台中，主要目的是通过现场采样的电量功率数据误差情况预测计量误差的变化趋势，从而决策出误差评估方案。计量数据间从时间轴上具有一定的关联性，变化的幅度会直接影响下一个计量数值，因此通过这种数值状态的关联性特点可对误差动态模型进行规划，选择强化学习中的Q-Learning函数最符合数据计算需求。Q-Learning算法中包含3个要素：状态(state)、动作(action)、奖赏(reward)，根据当前运行状态督促执行动作，并获得相应的奖赏之后，再依据奖赏值去改进过去的动作，使得下次到达相同状态时，系统能自动获取更优的动作状态。可分析出Q-Learning算法主要思想是将状态与动作构建成一张Q-表来存储Q值，形成一个Q值库，然后根据Q值来选取能够获得最大收益的动作。Q-Learning算法为无监督算法，主体思想完全符合本发明应用需求。

所述的Q-Learning函数强化学习算法原理，可以类似一个马尔科夫决策过程，将一个格子看成一个状态，从当前状态s采取动作a策略达到下一个状态，在这个行动执行过程中会自动产生一定的收益，收益值与动作有关，可以用动作值函数

表示，这就是所谓的Q函数：

（1）

从这里我们能看出来γ衰变值对Q函数的影响，γ越接近于1代表它越有远见会着重考虑后续状态的价值，当γ接近0的时候就会变得近视只考虑当前的利益的影响，所以从0到1，算法就会越来越会考虑后续回报的影响。算法开始时会设置合适的状态初始化值，在Q学习当中采用状态概率转移方式将

值进行动态规划，迭代求解，直到找到一条能够到达终点获得最大奖赏的策略。这时可以计算得到Q值和原来的Q值存在一个增量，并求其最大化。将γ衰变值定义为步长因子，起到自学习控制作用，

表示下一个状态当中最好的动作，r为采取动作a到达下一个状态得到的收益，在多次实验中最优化Q值为：

（2）

在状态s下通过多次的实验可以得到多个状态Q值，当实验次数T接近与无穷的时候，这个期望值是最接近真实的

。通过引入最短路径方程算子对Q值进行评估，主要目的弱化方程对Q值的估计与实际网络对Q值估计间的误差，最终用随机梯度下降法进行求导，更新差值表示如下：

（3）

Q-Learning函数自学习过程通过算法对实际网络的不断认识，能够自我完善学习能力，在Q值不断的更新过程中，学习网络已经对Q值变化动态有了基本了解，因此真实值与估值曲线会随着输入值的持续增加，两者间误差会越来越小。

智能变电站计量误差在线检测及评估过程核心基于以上Q-Learning函数对计量电量功率进行预测，预测出的下一段时间内电量平均值，并与标准电量功率值进行比较，求出误差，误差在置信区间内，则说明计量系统数据运行较稳定；如超出，则需要立即故障研判对系统进行调整。Q-Learning函数的自学习能力很强，可以应对多种复杂多变的运行环境，根据寻找数据本体与数据变化过程间的关系，可以较准确的拟合出数据变化趋势，相比传统的函数逼近、曲线拟合等方法更加灵活，适应性更强。

计量数据采集通过变电站互感器感应及电压/电流变换将电量特征参量采集到合并单元，利用乘法器转换成电量功率值输入到智能电表进行电量计量，光电采样模块直接安装在智能电能表上，对准电能量脉冲输出LED发光管，将采样值通过4/5G无线通信模块传输到远端的通信接收模块上，最终将数据输入到计量管理平台中。通信方式的选择根据变电站所处位置当地公网资源现状，4G和5G均能满足业务传输需求，因此可任意选择通信资源较空余的通信方式，并向运营商租用独立的一个通道单独承载计量数据，避免其他业务复用通道时引起的干扰和时延，保证数据传输的安全性和实时性。当数据进入到计量管理平台后就启动计量误差评估程序，具体方案原理及流程如图3、图4和图5所示。

（1）计量数据预处理流程：现场采样数据中在经过一段距离的传输后，可能会存在一些线路上的噪声或者外部干扰数据，通过常规的数据清洗、重复数据删除等步骤，对计量数据进行特征提取；

（2）优化标准误差专家库：每个变电站使用的互感器及合并单元等装置厂家不一致，产生的误差特征均不一致，应在实时误差判定前对标准误差库进行调整优化。原始标准库中保存有变电站标准电表计量数据E，采集部分现场电量功率数据

，计算每个采集点误差，形成误差集合

，判断每个节点误差与标准误差值是否均小于0：

（4）

将大于0的误差节点去除，保留小于0的误差，形成新的误差集合

，使误差在可控范围内，并可将平均误差重定义为

，计算平均误差及平均计量数据：

（5）

（6）

一般标准误差值会比较宽泛，但随着装备设计逐步精益化，可按照实际平均误差优化误差标准库，提升整个计量系统的精准度；

（3）赋予Q-Learning函数初始值：根据新误差值

及误差曲线图定义Q学习网络的初始值，包括初始化动作a ₀ 、迭代计算次数T、概率值步长因子γ等；

（4）Q-Learning函数增量计算，能量值估计：从电表采集能量e ₁ ，计算下一个时刻电量功率值e ₂ ，本时刻能量状态可以用下一个时刻的最好动作及动作收益来表示，Q＇是表示经过多次实验中得到的最优Q函数，表达如下式：

（7）

通过转换，可以表达如式（2）类似的递推算子，如下：

（8）

（5）为了保证训练网络中估值数据与真实数据间差异性最小，引入损失函数算子，估计e _t+1 与e _t 之间的差值最小化，算子定义如下：

（9）

当在计算y _t 值的时候，使用的是上一次网络更新以后的参数

。

（6）随机梯度法求导，逼近最优误差值：在用随机梯度下降法进行预估能量值求导，y _t 当中的网络参数做常数处理，所以在进行求导时只对其中

求导，而不对上一时刻的参数求导：

（10）

当结果逼近y _t 时，y _t 可以作为下一个状态的输出e _t+1 ：

（11）

（7）计算误差预测与评估：依照以上流程分别推算一段时间内的计量功率数值，并将预测出的能量值与标准库中平均能量值分别进行比差计算：

（12）

并将所有误差值取平均：

（13）

并判断误差是否在平均误差范围内，当

时，说明误差在可容忍范围内并对误差值进行补偿；否则，需发出预警信号，定位误差原因，进行修补。

利用上述方法，可对变电站计量系统中产生的不可控的误差因素识别出来，检测并预估出误差趋势，针对误差在置信空间内的预测值，说明计量系统仍然保持在稳定计量检测水平下，当出现较大误差值时，说明计量系统某些设备出现了严重的干扰情况，应立即调整。

本实施方案中，计量误差评估模型基于Q-Learning强化学习函数建立误差映射模型，多组电能量数据对应的电量功率值作为样本，将训练样本与参考样本在自学习网络中进行训练，得到最贴近实际电量的预测值，将实际测量误差与预设误差进行条件比较，综合判断计量误差的评估状态，最终给出计量系统调整决策结果。整个过程软硬件设施协同运行、高效传输，精准处理，是一套适应于变电站计量系统的整体检测方案。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种强化学习算法的计量误差远程在线检测方法，其特征在于：设计了一种远程在线的计量误差检测模型，在变电站计量系统中通过在电能表后端增加光电采样模块，将电表采集的功率数据及电量特征数据通过无线通信模块传输到计量管理平台中，计量管理平台中内嵌强化学习算法程序，当数据进入到计量管理平台后就启动计量误差评估及调整，通过采样数据修正标准电表误差数值，并预测出电表能量变化趋势，通过计算预测能量与标准数值误差，判断是否在误差可控范围内，如误差小于置信区间，则进行误差补偿，如误差超出置信区间，则发出预警信息，定位误差产生的节点，调整系统性能，保障整个计量过程的误差数值平稳性。

2.根据权利要求1所述的一种强化学习算法的计量误差远程在线检测方法，其特征在于：所述计量误差检测模型为：根据现场已有公网的通信资源，选择4/5G通信机制，在光电采样模块中内嵌通信模块及加密芯片，在远端的通信接收模块中也同样部署一套通信模块及解密芯片；变电站计量系统通过标准的电压互感器 TV的一次绕组与电子式电压互感器升压器一次绕组并联，输出二次绕组电压值接至电压采样控制单元输入接口；同理，标准电流互感器 TA的一次绕组与电子式电流互感器及升流器的一次绕组串联，标准电流互感器的二次绕组接至电流采样控制单元输入接口，通过时间同步调整后，将电压及电流值输入合并单元，利用乘法器转换成电量功率值输入到智能电表进行电量测量，光电采样模块直接安装在智能电能表上，对准电能量脉冲输出LED发光管，将采样值通过4/5G无线通信模块传输到远端的通信接收模块上，最终将数据输入到计量管理平台中，计量数据加密后在空中以模拟电磁波信号承载方式安全到达远端的计量管理平台中，通过解密过程读取计量数据，进行下一步的计量功率预测及误差评估过程。

3.根据权利要求1所述的一种强化学习算法的计量误差远程在线检测方法，其特征在于：所述强化学习算法，选择Q-Learning函数进行自我学习，通过当前状态和执行的动作策略中预估出下一个状态，并且网络还会产生一定动作收益值，也影响着下一个状态和动作，通过这种推理方法将计量数据函数

拟合出来；Q-Learning算法开始时会设置合适的状态初始化值，在Q学习当中采用状态概率转移方式将

值进行动态规划，迭代求解，直到找到一条能够到达终点获得最大奖赏的策略，这时可以计算得到Q值和原来的Q值存在一个增量，并求其最大化；将γ衰变值定义为步长因子，起到自学习控制作用，表示下一个状态当中最好的动作，r为采取动作a到达下一个状态得到的收益，在多次实验中最优化Q值。

4.根据权利要求3所述的一种强化学习算法的计量误差远程在线检测方法，其特征在于：所述计量误差评估及调整具体为：先将标准电表计量数据与部分采样数据进行标准误差库数据的更新与优化，计算出更新的误差值及计量功率值；并依据现有计量系统的数据条件初始化计量评估Q-Learning算法的初始值，进入数值迭代优化过程，最终推算出与真实数据最接近的电能量功率预测Q值，并利用随机梯度下降测量法，保证两者的误差最小，算法输出下一时刻预测的功率值；通过多次预测计算，形成下一时间段内的功率值集合，与标准计量误差专家库中的数值进行比较，求出下一时间段的平均误差，如误差小于置信区间，则进行误差补偿；如超过，则要发出预警信息并对计量系统进行故障检查与调整。

Images