CN117708735A - 一种基于多点校核的量测数据拟合方法、介质及系统 - Google Patents
一种基于多点校核的量测数据拟合方法、介质及系统 Download PDFInfo
- Publication number
- CN117708735A CN117708735A CN202311685724.XA CN202311685724A CN117708735A CN 117708735 A CN117708735 A CN 117708735A CN 202311685724 A CN202311685724 A CN 202311685724A CN 117708735 A CN117708735 A CN 117708735A
- Authority
- CN
- China
- Prior art keywords
- data
- fitting
- abnormality
- indication
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005259 measurement Methods 0.000 title claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 65
- 230000005856 abnormality Effects 0.000 claims abstract description 47
- 230000002441 reversible effect Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013502 data validation Methods 0.000 claims description 2
- 238000009472 formulation Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000008014 freezing Effects 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于多点校核的量测数据拟合方法、介质及系统,属于电能量量测数据采集与校核拟合技术领域,包括:收集市场化交易用户的正、反向有功电能示值曲线数据,以及相关历史数据;运用四分位距规则对曲线数据进行异常值判定,判定越界值、示值突大、示值突小、示值倒走、曲线非递增和示值缺失;根据异常的类型和特点,将异常分为单一时刻异常、连续时刻异常、零点时刻异常;根据不同的异常场景,采用相应的拟合规则进行数据修复;执行具体的拟合公式,计算出异常时刻的拟合示值或拟合电量;对拟合后的数据,检查是否存在倒走现象,存在则进行异常拟合数据的修复;以及对高风险数据进行处理。
Description
技术领域
本发明属于电能量量测数据采集与校核拟合技术领域,具体而言,涉及一种基于多点校核的量测数据拟合方法、介质及系统。
背景技术
电能量数据的获取与应用在电力行业中十分重要。智能电表作为电力系统重要设备之一,承担着国家对电能量计量、互感器匹配及功率因数监测等功能,并可实时采集电量、电压、电流、功率等参数,将数据通过通信网络发送至信息系统,为用户用电分析、用电监测以及计费进行提供依据。在新一代信息化系统中,对用户收费业务数据、市场化交易数据以及系统分析类数据提出了更高要求。然而,在实际应用中,由于供电的不稳定、通信网络传输误码、仪器故障等原因,电能量曲线上常常会出现各种异常数据,主要包括:示值突增、突降、越限以及重复上报等。这类异常数据如果直接用于用户用电分析、结算等场景中,会带来较大误差。严重影响决策系统的绩效。
根据国网关于电力现货交易市场建设要求,市场化交易用户需参加电力现货交易,要求新一代用电信息采集系统对市场化交易用户采集的正、反向有功电能示值曲线数据进行拟合,保证曲线数据完整性与合理性。当前缺乏一种能够实现市场化交易用户采集的正、反向有功电能示值曲线数据进行拟合的高效方法。
发明内容
有鉴于此,本发明提供一种基于多点校核的量测数据拟合方法、介质及系统,能够解决现有技术缺乏能够实现市场化交易用户采集的正、反向有功电能示值曲线数据进行拟合的高效方法的技术问题。
本发明是这样实现的:
本发明的第一方面提供一种基于多点校核的量测数据拟合方法,其中,包括以下步骤:
数据准备:收集市场化交易用户的正、反向有功电能示值曲线数据,以及相关历史数据;
异常判定:运用四分位距规则对曲线数据进行异常值判定,判定越界值、示值突大、示值突小、示值倒走、曲线非递增和示值缺失;
异常分类:根据异常的类型和特点,将异常分为单一时刻异常、连续时刻异常、零点时刻异常;
异常拟合:根据不同的异常场景,采用相应的拟合规则进行数据修复;
拟合计算:执行具体的拟合公式,计算出异常时刻的拟合示值或拟合电量;
拟合修正:对拟合后的数据,检查是否存在倒走现象,存在则进行异常拟合数据的修复;
数据确认:对不拟合的数据场景,记录为异常数据,等待现场消缺确认;
高风险数据处理:存在突大、突小、倒走异常但次数少于10次的数据,如果拟合数据走向出现递减情况,则剔除拟合数据,视为不拟合。
在上述技术方案的基础上,本发明的一种基于多点校核的量测数据拟合方法还可以做如下改进:
其中,所述数据准备步骤包括:连接电力用户侧的智能电表,采集近一周的正、反向有功电能示值曲线原始数据;在电力用户基本信息数据库中,查询出参与市场化交易的用户列表;根据市场化交易用户列表,从收集到的全部用户的原始示值曲线数据中,筛选出符合列表内用户编号的正、反向有功电能示值曲线数据集;基于上一步获得的正、反向有功电能示值曲线数据集,连接拟合模型的训练数据库,检索过去2年的该用户的正、反向有功电能示值曲线历史数据集。
进一步的,所述异常检测步骤包括:基于四分位距理论,设置电能示值的上下阈值;遍历电能示值曲线中各个数据点,判断每个点的值是否在正常区间内;设定突增异常、突降异常和倒走异常的逻辑判断规则;判断电能示值曲线在时间轴上是否呈递增态势;
所述异常分类步骤包括:识别单点异常;识别连续多点异常;识别零点时刻异常;识别包含特殊时刻的连续多点异常;识别整日异常。
进一步的,所述拟合规则制定步骤包括:制定单点缺失、多点连续缺失、零点时刻数据缺失、包含非零点特殊时刻数据缺失和整日数据缺失的情况的拟合规则。
进一步的,所述拟合计算步骤包括:针对各种异常情况,调用Numpy数学计算库,利用Python语言编写程序,实现拟合规则的运算与数据替代。
进一步的,所述拟合检验步骤包括:依次取出每个时刻的数据,判断相邻两个时刻的数据变化关系;统计不合理的数据对的数量,判定是否需要进行修正;遍历不合理的数据对,调整拟合数据使其维持递增关系。
进一步的,所述特殊情况标识步骤包括:对抄表失败、特殊算法用户、数据波动标识以及同期空缺标识的情况,添加不同的特殊符号进行标识;
所述高风险数据识别步骤包括:统计数据的异常次数;检验拟合数据的走势;设置异常次数与降幅的参数模型识别高风险数据;将高风险数据剔除并记录日志。
进一步的,所述高风险数据处理步骤之后还包括总体检验的步骤,具体是:重新排序规范化数据集;进行值域校验、时间线校验、采样检验;如果全部检验通过,则数据集满足质量要求,形成拟合数据。
本发明的第二方面提供一种计算机可读存储介质,其中,所述计算机可读存储介质中存储有程序指令,所述程序指令运行时,用于执行上述的一种基于多点校核的量测数据拟合方法。
本发明的第三方面提供一种基于多点校核的量测数据拟合系统,其中,包含上述的计算机可读存储介质。
与现有技术相比较,本发明提供的一种基于多点校核的量测数据拟合方法、介质及系统的有益效果是:拥有较高的拟合精度:通过设置分层准则与规则,对常见电量异常类型进行有监督约束,拟合结果能有效拟合曲线的真实趋势,拟合过程全流程数据化,所有中间态势、多样规则及补偿结果均有迹可循,经过拟合,保证曲线数据完整性与合理性。解决了现有技术缺乏能够实现市场化交易用户采集的正、反向有功电能示值曲线数据进行拟合的高效方法的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的方法的流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述。
如图1所示,是本发明第一方面提供一种基于多点校核的量测数据拟合方法的流程图,本方法包括以下步骤:
数据准备
本步骤的目的在于收集市场化交易用户的正、反向有功电能示值曲线数据,以及相关的历史数据。
首先,连接电力用户侧的智能电表,采集近一周的正、反向有功电能示值曲线原始数据。示值曲线的数据格式为“时刻,示值”,时刻为整数分钟级,示值为电能数据。
然后,在电力用户基本信息数据库中,查询出参与市场化交易的用户列表。该列表中主要包含用户编号、用户名称、用户类型等信息。
其次,根据市场化交易用户列表,从收集到的全部用户的原始示值曲线数据中,筛选出符合列表内用户编号的正、反向有功电能示值曲线数据集。
最后,基于上一步获得的正、反向有功电能示值曲线数据集,连接拟合模型的训练数据库,检索过去2年的该用户的正、反向有功电能示值曲线历史数据集。该历史数据集将用于构建数据的分布特征。
经过上述步骤,完成市场化交易用户近期和历史正、反向有功电能示值曲线数据的提取。这些数据集将用于后续的异常检测和数据拟合过程。
异常检测
本步骤的目的在于对提取的电能示值曲线数据进行统计学分析,检测并定位数据中的异常情况。
首先,基于四分位距理论,设置电能示值的上下阈值。四分位距指将整个样本量按值大小排序分成四份,通过整个样本量的上下四分位数的差值确定样本量较为密集的区间,每一分位数之间距离为四分位距。其中上四分位数与下四分位数的差值为四分位距的3倍,作为是否属于异常值的判断标准。
然后,遍历电能示值曲线中各个数据点,判断每个点的值是否在正常区间内。如果高于上阈值或低于下阈值,则判定该点为越界异常。依次完成所有点的越界异常检测。
接下来,设定突增异常、突降异常和倒走异常的逻辑判断规则。如果第t个点的值高于其前后两个相邻点,则认为存在突增异常。如果第t个点的值低于其前后两个相邻点,则认为存在突降异常。如果第t个点的值低于其前一点且高于其后一点,则认为存在倒走异常。
最后,判断电能示值曲线在时间轴上是否呈递增态势。如果存在任一点的时间靠后而数值更大的情况,则判定为曲线非递增异常。
通过统计学分析方法,对原始电能示值曲线数据进行全面而细致的异常识别,为后续拟合过程提供依据。
异常分类
本步骤的目的在于根据已识别的各类异常的位置和数量特征,将不同类型的异常情况分类,为拟合规则的制定提供参考。
首先,识别单点异常。根据前述异常检测结果,如果只有单一时刻的一个数据点被检测出异常,则分类为单点异常。
然后,识别连续多点异常。如果存在两个或两个以上连续时刻的异常数据点,则分类为连续多点异常。
其次,识别零点时刻异常。零点时刻指一天中电能计量重新开始计数的时刻,通常为当天零点。如果零点时刻的数据点被检测出异常,则分类为零点时刻异常。
再者,识别包含特殊时刻的连续多点异常。如果连续多点异常情况包含当天最后一个采集点即23:45时刻,则将其作为一种特殊的连续多点异常分类。
最后,识别整日异常。如果当天所有数据点均被检测为异常,则分类为整日异常。
通过对不同异常情况的定性和定量特征进行判别,将异常准确分类,为制定符合实际情况的拟合规则提供支持。
拟合规则制定
本步骤的目的在于根据前述的异常类型,分别制定相应的数学拟合规则,为后续的替代数据生成提供方法基础。
首先,制定单点缺失的拟合规则。如果存在单个时刻的数据缺失,则取用该点前后两个时刻的电能示值的算术平均数,作为该点的替代数据。该规则能够平滑数据的变化趋势。
然后,制定多点连续缺失的拟合规则。如果存在两个或两个以上时刻的数据缺失,则收集该用户最近一周的对应时间段内的数据,计算一周内对应时间段数据的算术平均数作为该时间段的拟合数据。通过周同期数据的统计规律来模拟数据的变动趋势。
其次,制定零点时刻数据缺失的拟合规则。如果零点时刻数据缺失,优先使用前一日的零点冻结数据进行替代。如果前一日数据也缺失,则追溯使用前两日的冻结数据。如果仍无法获知,则尝试使用临近时刻的数据进行单点拟合。该规则通过数据的冻结测量值和相邻关系进行补足。
然后,制定包含非零点特殊时刻数据缺失的拟合规则。对于包含当日最后采集时刻即23:45的情况,可以尝试使用后一日的零点数据、数据的环比关系或者通过功率数据定量映射的方法进行拟合。该规则综合多种数据关系对重要时间节点进行弥补。
最后,制订整日数据缺失的拟合规则。如果所有数据均丢失,则直接沿用前一日最后采集时刻的数据替代整日数据。该规则依赖于数据连续性进行拓展利用。
通过针对不同异常情况建立定制化的拟合规则,形成了完备的规范化数据修复方案。
拟合计算
本步骤的目的在于依据前述步骤制定的数学拟合规则,通过编程的方法实现数据拟合,得到规范化的替代性数据。
首先,针对单点缺失情况,编写程序遍历所有数据点,判断前后两个点是否存在空缺,如果存在,则应用取前后点均值的拟合公式,使用Numpy的mean方法计算均值,替代空缺点处的数据,完成单点拟合计算。
然后,针对多点连续缺失情况,编写程序对缺失时间段内的数据进行判断,如果被检测为连续缺失,则查找最近一周内相应时间段的数据,使用mean方法计算一周内对应时间段数据的算术平均值,并代入已建立的多点缺失拟合公式,计算出缺失时间段的拟合数据,完成多点拟合计算。
接下来,针对零点时刻数据缺失情况,编写程序对零点时刻数据进行判断,如果发生缺失,则优先检查前一日的冻结数据,如果前一日冻结数据存在则直接替代,否则获取前两日冻结数据并结合公式计算。如果仍无数据则应用单点拟合方法进行零点拟合计算。
然后,针对包含23:45时刻的多点连续缺失情况,编写程序对23:45前后的数据进行判断捕捉该情况,则优先尝试应用后一日零点数据、数据的环比关系或者功率数据计算替代方法进行23:45时刻的拟合计算。
最后,针对整日数据缺失情况,编写程序判断是否所有数据点均为空缺,如果判断为真,则直接复制前一日最后一个有效数据点覆盖替代整日的数据。
通过调用Numpy数学计算库的函数,利用Python语言进行数据处理与代数运算,有效实践了预设定的数学拟合规则,使得规范化数据修复工作系统化、专业化。
拟合检验
本步骤的目的在于对拟合生成的数据进行全面的校验,以发现和修正可能出现的次优问题。
首先,依次取出每个时刻的数据,判断相邻两个时刻的数据变化关系是否为递增,如果后一时刻的数据不大于前一时刻,则将该对数据标识为不合理的数据对。
然后,统计所有不合理的数据对的数量,如果数量超过设置的阈值,则判定为拟合失效,需要进行修正。
接下来,遍历所有不合理的数据对,如果存在拟合生成的数据,则需要修正该拟合数据。修正方法为调整该拟合数据使其维持与后一原始数据点的递增关系。
最后,重复该检验和修正过程,直至不合理的数据对数量低于设置阈值。至此完成了拟合数据的质量检验与校正工作。
通过对生成数据的错误排查,有效避免了拟合过程中引入的次优问题,保证了数据结果的准确性。
特殊情况标识
本步骤的目的在于对于某些无法直接进行数据拟合的异常情况,进行特殊标识,以便采取备选方案。
首先,依次检索每一条数据,判断最近一次抄表操作失败的数据点数量是否严重,如果抄表失败的数据点数量超过设定的限值,则在该数据的结尾处加入一个特殊符号,表示抄表失败标识。
然后,判断数据是否属于特殊算法用户,特殊算法用户意味着其数据具有个性化的变动模式,难以应用通用的拟合方案。如果检测到特殊算法用户,同样在数据尾端添加不同的特殊符号,表示特殊算法用户标识。
接下来,统计数据中出现突增、突降、倒走等异常情况的次数,如果超过阈值上限,说明数据波动过于复杂,标识为波动标识。
最后,如果发现所有历史同期数据均为空缺,则在数据末尾添加同期空缺标识。
通过添加特殊符号标识那些难以直接数据拟合的异常数据,便于采取替代性数据获取方案。
高风险数据识别
本步骤的目的在于区分出拟合过程中可能产生误导结果的数据,进行隔离和标识,避免误用。
首先,依次取出每个数据,判断数据是否存在突增、突降以及倒走情况,如果存在则累加异常次数。
然后,统计所有数据的异常次数,如果异常次数小于10次,则检验其拟合数据的走势,如果发现拟合数据变化趋势为递减,则会产生数据风险。
接下来,设定一个异常次数与降幅的参数模型,当高危数据满足上述两个条件时,对其添加高风险数据标识,并从拟合数据集中剔除,不予使用。
最后,将所有被标识为高风险的数据汇总输出,记录到日志中,同时发送预警通知。
通过评估拟合数据的风险准确性,有效防范了潜在的数据引用误区,保证了结果的权威性。
总体检验
本步骤的目的在于完成所有数据拟合工作后,对结果集进行全局的质量检验,保证产出数据的精度可靠性。
首先,将经过拟合计算和多个环节质量检验后得到的大数据集,按照原始数据的时间顺序重新排序排列,形成时间线连续、值域平滑的规范化数据集。
然后,进行值域校验,判断数据集中的最大值、最小值、中位数、上下四分位数等统计参数是否匹配原始值域的数量级特征。
接下来,进行时间线校验,验证排序后的数据时间戳是否连续递增,是否存在空窗或异常交叉。
其次,进行采样检验,从数据集中随机抽取部分样本,直接与原始数据进行比对,查看重要统计特征是否一致。
最后,如果检验结果全部通过,则说明经过处理的规范化数据集满足质量要求,可以进行后续的存储、分发和投入实际业务分析应用。
通过全局的数据集检验,确保最终结果的严谨性,为后续应用提供可靠保障。
本发明的第二方面提供一种计算机可读存储介质,其中,所述计算机可读存储介质中存储有程序指令,所述程序指令运行时,用于执行上述的一种基于多点校核的量测数据拟合方法。
本发明的第三方面提供一种基于多点校核的量测数据拟合系统,其中,包含上述的计算机可读存储介质。
下面是本发明的一个具体的实施例:
1电能示值曲线异常判定规则
1.1异常1:曲线越界值
判断规则:利用四分位距(IQR)对越界异常值进行判断。
一组数据按照从小到大顺序排列后,把该组数据四等分的数,称为四分位数。下四分位数(Q1)、中位数(Q2)和上四分位数(Q3)分别等于该样本中所有数值由小到大排列后第25%、第50%和第75%的数字。四分位距(IQR)就是Q3与Q1的差值。通过IQR的3倍为标准,规定:大于Q3+3*IQR或者小于Q1-3*IQR的点为越界异常值点。
1.2异常2:示值突大
判断规则:t点>t-1点且t点>t+1点且t+1点>=t-1点,判定t点示值突大。
1.3异常3:示值突小
判断规则:t点<t-1点且t点<t+1点且t+1点>=t-1点,判定t点示值突小。
1.4异常4:示值倒走
判断规则:t点<t-1点且t+1点<t点,判定t点示值倒走。
1.5异常5:曲线非递增
判定规则:如果存在任意一个点的t点>t+1点,就判定此示值曲线数据非递增。对于非递增示值曲线,对曲线数据进行最小二乘线性拟合,计算每个点到拟合直线的距离,按照异常1的判定规则找出距离越界值,识别出发生异常的时刻点。
1.6异常6:示值缺失
当前示值缺失共分为图中五种场景。(场景5标识某一日均采集失败,图中没有标出)
2电能示值曲线异常拟合规则
对于参与市场化交易的零售用户,采集系统无法采集到其完整示值曲线数据,则需要提供示值拟合数据用于市场化结算,各种场景具体拟合规则如下:
2.1场景1:单一时刻示值异常
单一时刻示值异常(非00:00时刻),取该点前后时刻示值的平均值拟合出电能示值。
拟合公式:01:00拟合示值=(00:45示值+01:15示值)/2
2.2场景2:连续时刻示值异常
2.2.1按同期数据拟合
连续缺失2个及以上点数据,按周同期数据拟合,取前7日同时刻示值曲线进行拟合;缺失整点数据大于12个点优先进行现场消缺(掌机补抄、采集消缺),若在规定时间(14:30时前完成)内未完成消缺,取前7日同时刻示值曲线进行拟合(在拟合时前七日中的数据点数有哪几个日期的数据就除以几天的天数)。
拟合公式:
1)平均电量
00:45-01:00平均电量=T-1日至T-7日时间节点为00:45-01:00电量和/7
01:00-01:15平均电量=T-1日至T-7日时间节点为01:00-01:15电量和/7
01:15-01:30平均电量=T-1日至T-7日时间节点为01:15-01:30电量和/7
2)拟合电量
00:45-01:00拟合电量=(9月5日01:30示数-9月5日00:45示数)*综合倍率*00:45-01:00平均电量/(00:45-01:00平均电量+01:00-01:15平均电量+01:15-01:30平均电量)
01:00-01:15拟合电量=(9月5日01:30示数-9月5日00:45示数)*综合倍率*01:00-01:15平均电量/(00:45-01:00平均电量+01:00-01:15平均电量+01:15-01:30平均电量)
01:15-01:30拟合电量=(9月5日01:30示数-9月5日00:45示数)*综合倍率*01:15-01:30平均电量/(00:45-01:00平均电量+01:00-01:15平均电量+01:15-01:30平均电量)
3)拟合示值
9月5日01:00拟合示值=9月5日00:45示值+00:45-01:00拟合电量/综合倍率
9月5日01:15拟合示值=9月5日01:00拟合示值+01:00-01:15拟合电量/综合倍率
2.2.2按环比数据拟合
当天采集有部分时刻示值异常,无同期历史电量数据但有环比电量数据时,示值拟合按昨日正常采集平均电量环比比例拟合。
例如:9月5日1:00和1:15缺数,但系统中无同期历史电量数据,则按9月4日正常采集环比电量数据的比例进行拟合,再还原示值数据。
拟合公式:
1)环比电量
9月5日00:45-01:00电量=(9月4日01:00示数-00:45示数)*综合倍率
9月5日01:00-01:15电量=(9月4日01:15示数-01:00示数)*综合倍率
9月5日01:30-01:15电量=(9月4日01:30示数-01:15示数)*综合倍率
2)拟合电量
00:45-01:00拟合电量=(9月5日01:30示数-00:45示数)*综合倍率*
9月4日00:45-01:00电量/(9月4日00:45-01:00电量+9月4日01:00-01:15电量+9月4日01:15-01:30电量)
01:00-01:15拟合电量=(9月5日01:30示数-00:45示数)*综合倍率*
9月4日01:00-01:15电量/(9月4日00:45-01:00电量+9月4日01:00-01:15电量+9月4日01:15-01:30电量)
01:15-01:30拟合电量=(9月5日01:30示数-00:45示数)*综合倍率*
9月4日01:15-01:30电量/(9月4日00:45-01:00电量+9月4日01:00-01:15电量+9月4日01:15-01:30电量)
3)拟合示值
9月5日01:00拟合示值=00:45示值+00:45-01:00拟合电量/综合倍率
9月5日01:15拟合示值=01:00拟合示值+01:00-01:15拟合电量/综合倍率
2.2.3场景3:零点时刻示值异常
当电能示值曲线的零点缺失时,按以下规则进行拟合:
拟合规则1:使用T-1日冻结底码拟合。
拟合公式:T-1日零点拟合示值=T-1日冻结底码。
拟合规则2:如果T-1日冻结底码异常,使用T-2日冻结底码拟合。
拟合公式:T-1日零点拟合示值=T-2日冻结底码+T-2日拟合日电量/综合倍率。
拟合规则3:如果T-1与T-2日冻结底码均存在异常,通过查找零点示值前后时刻数据,若零点前后时刻示值数据正常(前一时刻是T-2日23:45的示值数据,后一时刻是T-1日00:15的示值数据),可以按照场景1规则进行拟合;如果零点前后时刻示值数据存在异常,可以按照场景2规则进行拟合。
拟合顺序优先级为规则1、规则2、规则3。
2.2.4场景4:连续时刻异常且包含23:45
拟合规则1:T-1日23:45前后时刻示值数据正常(前一时刻为T-1日23:30示值数据,后一时刻为T日00:00示值数据),可以按照场景1规则进行拟合。
拟合规则2:T-1日23:45前后时刻示值数据异常且能找到T日正常采集的时刻点(向后顺延至T日3:00),可以按照场景2规则进行拟合。
拟合规则3:T-1日23:45前后时刻示值数据异常但是找不到T日正常采集的点,按照如下方法进行拟合:
方法1:使用T日冻结底码作为T日零点时刻的示值数据,再判断23:45时刻左边是否存在示值异常,如果不存在异常按照场景1规则进行拟合,存在异常按照场景2规则进行拟合。
方法2:如果T日冻结底码数据也存在异常,考虑使用T-1日功率曲线数据,功率比值等于对应时刻的电量比值,通过电量比值拟合出异常时刻的电量数据,再还原示值数据。
例如T-1日23:45缺失,T日截止到3:00无正常采集示值数据,T日冻结底码数据也存在异常,可以使用功率曲线比值数据进行拟合。
拟合公式:
23:30-23:45拟合电量=23:15-23:30电量*23:45功率/23:30功率
T-1日23:45拟合示值=23:30示值+23:30-23:45拟合电量/综合倍率
拟合规则4:以上均拟合不成功,找出T-1日23:45前最近一个正常采集的时刻点数据平推至23:45。
拟合顺序优先级为规则1、规则2、规则3、规则4。
2.2.5场景5:均采集失败
如果某天数据均采集失败,则按照昨日最后一个正常采集的时刻点示值数据进行平推拟合。
拟合公式:9月5日00:00-23:45拟合示值=9月4日23:45示值
2.2.6拟合数据异常修复
如果拟合示值和正常示值发生倒走情形,需要对异常拟合数据进行修复。
判断规则:t时刻示值大于t+1时刻示值,t时刻为拟合示值,t+1时刻为正常示值。
拟合规则:从t时刻向前追溯拟合示值,删除所有大于t+1时刻的拟合示值,并全都拟合成t+1时刻的示值。
2.2.7不拟合数据说明
目前不拟合的示值曲线数据包括以下三种:
T-1日、当日在拟合任务执行时,抄表失败超过12个整点及以上的不予拟合。
拟合标识为大用户、特殊算法的用户不予拟合。
突大、突小、倒走发生的异常数总和超过10次的曲线数据。
连续多点失败,且前七天同时都失败的不拟合。
当天正常采集上报的数据中有部分时刻示值异常(示值突大、突小、倒走、曲线非递增情况),连续发生大于等于1个点且少于10个点的数据,记录为异常数据,有现场消缺确认,程序暂不拟合。
高风险数据:此类是对情况2的补充。存在突大、突小、倒走发生的异常和小于10次,但拟合数据走向出现递减情况,将拟合数据剔除,视为不拟合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于多点校核的量测数据拟合方法,其特征在于,包括以下步骤:
数据准备:收集市场化交易用户的正、反向有功电能示值曲线数据,以及相关历史数据;
异常判定:运用四分位距规则对曲线数据进行异常值判定,判定越界值、示值突大、示值突小、示值倒走、曲线非递增和示值缺失;
异常分类:根据异常的类型和特点,将异常分为单一时刻异常、连续时刻异常、零点时刻异常;
异常拟合:根据不同的异常场景,采用相应的拟合规则进行数据修复;
拟合计算:执行具体的拟合公式,计算出异常时刻的拟合示值或拟合电量;
拟合修正:对拟合后的数据,检查是否存在倒走现象,存在则进行异常拟合数据的修复;
数据确认:对不拟合的数据场景,记录为异常数据,等待现场消缺确认;
高风险数据处理:存在突大、突小、倒走异常但次数少于10次的数据,如果拟合数据走向出现递减情况,则剔除拟合数据,视为不拟合。
2.根据权利要求1所述的一种基于多点校核的量测数据拟合方法,其特征在于,所述数据准备步骤包括:连接电力用户侧的智能电表,采集近一周的正、反向有功电能示值曲线原始数据;在电力用户基本信息数据库中,查询出参与市场化交易的用户列表;根据市场化交易用户列表,从收集到的全部用户的原始示值曲线数据中,筛选出符合列表内用户编号的正、反向有功电能示值曲线数据集;基于上一步获得的正、反向有功电能示值曲线数据集,连接拟合模型的训练数据库,检索过去2年的该用户的正、反向有功电能示值曲线历史数据集。
3.根据权利要求2所述的一种基于多点校核的量测数据拟合方法,其特征在于,所述异常检测步骤包括:基于四分位距理论,设置电能示值的上下阈值;遍历电能示值曲线中各个数据点,判断每个点的值是否在正常区间内;设定突增异常、突降异常和倒走异常的逻辑判断规则;判断电能示值曲线在时间轴上是否呈递增态势;
所述异常分类步骤包括:识别单点异常;识别连续多点异常;识别零点时刻异常;识别包含特殊时刻的连续多点异常;识别整日异常。
4.根据权利要求3所述的一种基于多点校核的量测数据拟合方法,其特征在于,所述拟合规则制定步骤包括:制定单点缺失、多点连续缺失、零点时刻数据缺失、包含非零点特殊时刻数据缺失和整日数据缺失的情况的拟合规则。
5.根据权利要求4所述的一种基于多点校核的量测数据拟合方法,其特征在于,所述拟合计算步骤包括:针对各种异常情况,调用Numpy数学计算库,利用Python语言编写程序,实现拟合规则的运算与数据替代。
6.根据权利要求5所述的一种基于多点校核的量测数据拟合方法,其特征在于,所述拟合检验步骤包括:依次取出每个时刻的数据,判断相邻两个时刻的数据变化关系;统计不合理的数据对的数量,判定是否需要进行修正;遍历不合理的数据对,调整拟合数据使其维持递增关系。
7.根据权利要求6所述的一种基于多点校核的量测数据拟合方法,其特征在于,所述特殊情况标识步骤包括:对抄表失败、特殊算法用户、数据波动标识以及同期空缺标识的情况,添加不同的特殊符号进行标识;
所述高风险数据识别步骤包括:统计数据的异常次数;检验拟合数据的走势;设置异常次数与降幅的参数模型识别高风险数据;将高风险数据剔除并记录日志。
8.根据权利要求7所述的一种基于多点校核的量测数据拟合方法,其特征在于,所述高风险数据处理步骤之后还包括总体检验的步骤,具体是:重新排序规范化数据集;进行值域校验、时间线校验、采样检验;如果全部检验通过,则数据集满足质量要求,形成拟合数据。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序指令,所述程序指令运行时,用于执行权利要求1-8任一项所述的一种基于多点校核的量测数据拟合方法。
10.一种基于多点校核的量测数据拟合系统,其特征在于,包含权利要求9所述的计算机可读存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311685724.XA CN117708735A (zh) | 2023-12-08 | 2023-12-08 | 一种基于多点校核的量测数据拟合方法、介质及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311685724.XA CN117708735A (zh) | 2023-12-08 | 2023-12-08 | 一种基于多点校核的量测数据拟合方法、介质及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117708735A true CN117708735A (zh) | 2024-03-15 |
Family
ID=90158178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311685724.XA Pending CN117708735A (zh) | 2023-12-08 | 2023-12-08 | 一种基于多点校核的量测数据拟合方法、介质及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117708735A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117928047A (zh) * | 2024-03-25 | 2024-04-26 | 西安航天动力试验技术研究所 | 一种厂房温度数据处理方法、系统、设备及存储介质 |
-
2023
- 2023-12-08 CN CN202311685724.XA patent/CN117708735A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117928047A (zh) * | 2024-03-25 | 2024-04-26 | 西安航天动力试验技术研究所 | 一种厂房温度数据处理方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109765883B (zh) | 配电自动化终端运行状态评价与故障诊断方法 | |
CN106779505B (zh) | 一种基于大数据驱动的输电线路故障预警方法及系统 | |
US20130173322A1 (en) | Energy Management with Correspondence Based Data Auditing Signoff | |
CN108898311A (zh) | 一种面向智能配电网抢修调度平台的数据质量检测方法 | |
CN117708735A (zh) | 一种基于多点校核的量测数据拟合方法、介质及系统 | |
CN111999692B (zh) | 一种多表误差的校准方法和装置 | |
CN114004137A (zh) | 一种多源气象数据融合与预处理方法 | |
CN110738346A (zh) | 一种基于威布尔分布的批次电能表可靠度预测方法 | |
CN111881124A (zh) | 一种基于改进算法的状态估计的数据处理方法及系统 | |
CN111999691B (zh) | 一种计量传感器装置的误差校准方法和误差校准装置 | |
CN113721182B (zh) | 一种电力互感器性能在线监测结果可靠度评估方法及系统 | |
CN111612019A (zh) | 一种基于大数据模型对智能电表故障异常辨识分析的方法 | |
CN111080484A (zh) | 一种配电网异常数据监测方法及装置 | |
CN112345972A (zh) | 基于停电事件的配电网线变关系异常诊断方法、装置及系统 | |
CN116467551B (zh) | 一种基于相关系数的供水管网漏损定位方法及系统 | |
CN117195451A (zh) | 一种基于图论的桥梁监测数据修复方法 | |
CN115619106A (zh) | 一种考虑性能退化的激光陀螺仪备件数量确定方法及系统 | |
CN106682383A (zh) | 一种计量系统中对采集表码值精确的统计处理方法 | |
CN110956330A (zh) | 一种基于多维影响量对输电线路线损进行预测的方法及系统 | |
CN115809805A (zh) | 基于边缘计算的电网多源数据处理方法 | |
CN115374646A (zh) | 在运电表寿命预测方法及在运电表寿命预测装置 | |
CN114090562A (zh) | 一种电力营销数据的清洗方法及装置 | |
CN114168662A (zh) | 一种基于多数据源的配电网问题梳理分析方法及系统 | |
Alquthami et al. | Importance of smart meters data processing–case of saudi arabia | |
CN106547690A (zh) | 基于新拟合判定标准下的软件可靠性建模方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |