CN110659273A - 分布式大数据采集平台的数据异常监控及修复方法 - Google Patents

分布式大数据采集平台的数据异常监控及修复方法 Download PDF

Info

Publication number
CN110659273A
CN110659273A CN201910893778.2A CN201910893778A CN110659273A CN 110659273 A CN110659273 A CN 110659273A CN 201910893778 A CN201910893778 A CN 201910893778A CN 110659273 A CN110659273 A CN 110659273A
Authority
CN
China
Prior art keywords
data
abnormal
repairing
acquisition platform
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910893778.2A
Other languages
English (en)
Other versions
CN110659273B (zh
Inventor
钱斌
周密
赵云
肖勇
蔡梓文
杨劲锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Co Ltd
Research Institute of Southern Power Grid Co Ltd
Original Assignee
China Southern Power Grid Co Ltd
Research Institute of Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Co Ltd, Research Institute of Southern Power Grid Co Ltd filed Critical China Southern Power Grid Co Ltd
Priority to CN201910893778.2A priority Critical patent/CN110659273B/zh
Publication of CN110659273A publication Critical patent/CN110659273A/zh
Application granted granted Critical
Publication of CN110659273B publication Critical patent/CN110659273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了分布式大数据采集平台的数据异常监控及修复方法，包括：利用大数据采集平台实时收集客户设备的上传数据；根据数据质量校验规则库对所述数据进行数据质量分析，生成异常清单，计算得到实时数据质量指标并发布；其中，所述数据质量校验规则库是在注册数据模型时预设的；利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复。本发明提供的分布式大数据采集平台的数据异常监控及修复方法，适用于基于海量数据采集的用电信息大数据处理和分析，主要解决海量用电数据采集过程中数据出现异常且不能及时处理，导致数据分析结果不可用的问题。

Description

分布式大数据采集平台的数据异常监控及修复方法
技术领域
本发明涉及大数据处理领域，尤其涉及分布式大数据采集平台的数据异常监控及修复方法。
背景技术
随着国内智能电网技术的发展，大型电力企业在推广智能电能表全面覆盖的过程中也开展了低压集中自动抄表系统的建设。通过建设大数据平台实现了发电、输电、变电、配电、用电等各个环节的电能量数据采集，为电力系统的建设、运行、规划提供了强力的数据支撑。
当前，各类企业通过信息系统的集约化管理实现了业务模型、数据模型的统一，但由于各地系统建设、运维、应用水平参差不齐，容易发生数据缺失、异常等各类问题，不利于在海量信息中开展数据挖掘，无法高效的实现大数据分析，削弱了对公司业务决策支撑力度。
现有技术主要是在采集数据存入数据库后直接进行业务分析，将处理结果与预设的规则库进行比较，当发现分析结果异常时系统自动生成异常工单，通过工单的流转由现场人员发现并处理问题。
现有方案以业务应用为支撑，当发现业务分析结果不可用时通过判据回溯数据问题原因。这种方式在传统的单一线条业务流程上具有较好的处理能力。但是在大数据应用场合下，对现场装置的数据采集频度较高，数据规模大，数据的应用方较多，原有的处理方式处理能力低，时效性较差。
发明内容
本发明提供的分布式大数据采集平台的数据异常监控及修复方法，适用于基于海量数据采集的用电信息大数据处理和分析，主要解决海量用电数据采集过程中数据出现异常且不能及时处理，导致数据分析结果不可用的问题。
为实现上述目的，本发明提供的分布式大数据采集平台的数据异常监控及修复方法，包括：
利用大数据采集平台实时收集客户设备的上传数据；
根据数据质量校验规则库对所述数据进行数据质量分析，生成异常清单，计算得到实时数据质量指标并发布；其中，所述数据质量校验规则库是在注册数据模型时预设的；
利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复。
可选的，根据数据质量校验规则对所述数据进行数据质量分析，生成异常清单进一步包括：
S1：检查所述数据是否完整，若否生成异常清单，若是转到执行S2；
S2：检查所述数据的数据项是否规范，若否生成异常清单，若是数据自动入库，转到执行S3；
S3：检查所述数据是否合理，若否生成异常清单。
可选的，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，对所述异常数据的空值、零值、连续恒定值和异常倍增值进行辨识。
可选的，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，在只有少量异常数据时，可利用关联分析法对所述异常数据进行处理。
可选的，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，结合历史数据、采集点上下游关系、总分关系对所述异常清单中的异常数据进行修复。
可选的，对数据模型注册后进行一致性和合规性审核，设置所述数据模型的数据质量校验规则库。
可选的，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复之后还包括，对平台处理的数据异常和修复值进行实时发布。
可选的，根据数据质量校验规则对所述数据进行数据检查，生成异常清单进一步包括：所述数据质量校验规则库可以为：数据完整性规则，数据项规范性规则和数据合理性规则。
可选的，计算得到实时数据质量指标并发布进一步包括，利用大数据采集平台对计算后的实时数据质量指标通过消息进行发布。
可选的，异常数据修复后提供可追溯的方式对原始采集数据和修复后数据进行标识。
从以上技术方案可以看出，本发明具有以下优点：
本发明公开了分布式大数据采集平台的数据异常监控及修复方法，包括：利用大数据采集平台实时收集客户设备的上传数据；根据数据质量校验规则库对所述数据进行数据质量分析，生成异常清单，计算得到实时数据质量指标并发布；其中，所述数据质量校验规则库是在注册数据模型时预设的；利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复。本发明提供的分布式大数据采集平台的数据异常监控及修复方法，适用于基于海量数据采集的用电信息大数据处理和分析，主要解决海量用电数据采集过程中数据出现异常且不能及时处理，导致数据分析结果不可用的问题，通过合理校验机制的设计和流计算方法的引入，实现数据质量的实时监控，有助于系统第一时间完成异常数据的清洗，提升数据分析的精准度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明分布式大数据采集平台的数据异常监控及修复方法的数据模型设计流程图；
图2为本发明实施例提供的分布式大数据采集平台的数据异常监控及修复方法的业务交互总体流程示意图；
图3为本发明分布式大数据采集平台的数据异常监控及修复方法的的数据模型注册示意图；
图4为本发明实施例提供的分布式大数据采集平台的数据异常监控及修复方法的的新增数据模型图；
图5为本发明分布式大数据采集平台的数据异常监控及修复方法的的分布式数据采集示意图；
图6为本发明分布式大数据采集平台的数据异常监控及修复方法的的数据质量分析示意图；
图7为本发明实施例提供的分布式大数据采集平台的数据异常监控及修复方法的的异常数据修复示意图。
具体实施方式
本发明实施例提供了分布式大数据采集平台的数据异常监控及修复方法，基于海量数据采集的用电信息大数据分析和处理，主要解决海量用电数据采集过程中出现的数据异常及不能及时处理，导致数据分析结果不可用的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
对用电信息大数据采集系统的数据质量监控包括数据模型设计、数据模型注册、数据采集、数据质量分析，数字质量指标发布，异常数据修复、消息订阅等。
设计数据模型时，根据大数据系统的业务应用为向导，结合系统开发所遵循的技术规范，按照档案管理、数据采集、统计分析、业务应用的维度分层分域梳理数据模型进行数据模型设计。如附图1所示，数据模型具体分为基础数据模型、业务数据模型两大部分，其中基础数据模型包括客户域、电网域、计量设备域、采集数据域、统计数据域等，业务数据模型主要包括电子化结算、计量装置运维域、停电时间统计域、需求侧管理、线损统计域等。
数据模型设计流程分为3部分：
(1)分析大数据分析系统中的成熟业务应用，梳理典型业务场景，细化每一项业务活动的交互流程，本发明实施例以居民电能表费控业务为例：
首先，定义典型业务场景；居民电能表费控业务，包含计费与控制两项业务，其中计费业务模式可分为本地计费和远程计费，控制业务模式可分为电能表本地拉合闸与计量自动化主站远程拉合闸，本地费控的场景为卡表售电与本地拉合闸，远程费控的场景为远程售电与远程拉合闸，具体细分业务场景如表所示1。
Figure BDA0002209598950000051
表1
然后，梳理业务活动列表；例如本地费控的卡表售电场景，包括的业务活动有：读写卡、售电写卡、卡表充值和电能表远程充值，具体业务活动列表如表2所示。
Figure BDA0002209598950000061
表2
最后，明确业务交互总体流程；如附图2所示，用户有多种缴费渠道，用户缴费完成后，缴费信息经营销系统售电平台发送至计量自动化系统、终端采集系统。
(2)从交互流程中提炼业务活动涉及的实体、数据流，参考公共信息模型(CIM)建模方法构建实体和数据流的模型数据对象及其关联关系，本发明实施例以居民电能表控业务为例。
首先，提取业务对象列表，包括实体对象和关联对象；如表3所示，居民电能表费控业务的实体对象有客户、用电卡、费控表、计量点、采集终端等，客户与用电卡、费控表与用电卡、客户与计量点、计量点与采集终端等之间存在关联关系。
Figure BDA0002209598950000071
表3
其次，提取实体对象信息，包括设备、文档、任务、客户等实体对象的属性信息。以用电客户为例，如表4所示，有客户编号、客户名称、客户类型、用电状态、供电电压和报装容量等属性。以用户卡为例，如表5所示，有用户卡编号、客户名称、用电卡类型、购电次数、购电金额、电价信息、密钥信息等属性。
属性名 属性代码 数据类型
客户编号 KHBH String
客户名称 KHMC String
客户类型 KHLX String
用电状态 YDZT String
供电电压 GDDY String
报装容量 BZRL String
…… …… ……
表4
属性名 属性代码 数据类型
用户卡编号 YHKBH String
客户名称 KHMC String
用户卡类型 GDKLX String
购电次数 GDCS String
购电金额 GDJE String
参数信息 CSXX String
电价信息 DJXX String
密钥信息 MYXX String
…… …… ……
表5
最后，根据设计的数据模型，在数据库中建立相应的概念模型和物理模型。
数据模型注册，如附图3所示，在大数据采集系统的管理节点对新增、修改、删除的数据模型进行注册和审批，以及对新增数据模型的合规性测试，设置数据模型的数据质量校验规则库等步骤。
根据居民电能表费控业务流程，开展费控业务需要增加“费控信息”这一数据模型，需要在采集系统的管理节点对新增的数据模型进行注册。所需注册信息如下：
(1)提交的“费控信息”的模型参数，如表6所示：
名称 代码 数据类型 强制
费控装置编码 YXDNBBS Variable characters(20) TRUE
费控装置类型 FKZZLX Variable characters(20) TRUE
保电状态 BDZT Variable characters(5) FALSE
拉合闸状态 LZZT Variable characters(5) FALSE
费控模式 FKMS Variable characters(5) FALSE
合闸允许状态 HZYXZT Variable characters(5) FALSE
表6
(2)列明新增数据模型与已有模型之间的关联，如表7所示：
Figure BDA0002209598950000091
表7(3)模型注册后，提交系统进行一致性和合规性审核，其中，一致性是指新注册的数据模型中，涉及到对已有模型的引用或继承时，其名称、代码、数据类型等应和已有模型保持一致；合规性审核是指，新提交的数据模型字段长度、强制类型、编码规则是否满足现有规定要求。
(4)设置新增模型的数据质量校验规则库(RuleBase)。比如，保电状态(BDZT)的取值只能为1(保电状态)和2(保电解除)，拉合闸状态的取值只能为1(拉闸)和0(合闸)等。
分布式数据采集，是大数据采集平台利用Kafka消息系统集群实时收集区域采集前置机转发的客户设备上传数据，如附图5所示。
数据质量分析，是大数据采集平台中的SPARK流处理集群利用各类Rule Base数据质量模型对Kafka集群采集的数据流进行计算得到实时数据质量指标。
例如，上面提到的“费控信息”档案，Spark集群在读取“费控信息”文件的同时，根据预设的数据质量校验规则库(RuleBase)对其进行数据检查，如附图6所示：
检查数据完整性：
“费控信息”包含6条属性记录，档案文件解析时应检查上传文件所含数据的数据项是否完整，如不完整，说明文件丢失或档案存在缺漏，提示异常，生成异常清单。
检查数据规范性：
“费控信息”的前两个字段“费控装置编码”、“费控装置类型”的强制类型为TRUE，说明该字段取值不能为Null(空值)，为空则说明该模型数据不规范，为错误档案，提示异常，生成异常清单。
检查数据合理性：
检查“费控信息”的保电状态(BDZT)取值是否是1或2，拉合闸状态取值是否是1和0。如果为非正常值，说明数据不合理，提示异常，生成异常清单。
进行数据质量指标发布，利用大数据采集平台对计算后的实时数据质量指标通过消息进行发布，相关运维部门订阅相关消息后，获取异常数据清单并生成现场处理工单派工处理。
异常数据修复，是大数据采集平台通过人工智能算法对不良数据(包括空点数据、零点数据、连续恒定值、异常倍增阶跃值)等进行辨识和修正，修复过程结合历史数据、采集点上下游关联数据、总分关系等影响因素。数据修复后提供可追溯的方式对原始采集数据和修复后数据进行标识。
利用大数据采集平台对所异常数据进行辨识，对所采集的不良数据包括空点数据、零值数据、连续恒定值、异常倍增值等进行辨识。
已知M×N维原始数据集A(M，N)，其数据预处理过程如下：
以采集ID为主键，去掉数据矩阵中的重复数据；
识别数据集中的空值“null”，对记录中的缺失数据进行标记Snull(i,j)＝-1234；
利用四分位数分析法对数据集中的零点数据、连续恒定值、异常倍增阶跃值进行筛选，具体方法如下：
对某一采集数据记录Xj(x1,x2…xi，…xN)，其中j为正整数且0<j≤M。将Xj从小到大重新排序并计算其四分位数(下四分位数QL、中位数QM、上四分位数QH)和四分位距IQR＝QH-QL；
对数据进行异常分析：若|QH-QL|<1e-6，则判定Xj为连续恒定值，标记为Sconst(i，j)＝x1；特别的，若Xj为连续恒定值，且x1＝0，则判定Xj为零值数据；
若x<(QL-1.5IQR)或x>(QH+1.5IQR)，则判定x为异常倍增值。
异常数据修复，经分析实际运行的用电大数据采集系统发现，通常终端、电表的在线率和数据采集完整率均超过98％，遇到大停电、自然灾害等极端情况才会导致数据大面积出现缺失或异常。在仅有较少量数据出现异常的情况下，可利用关联分析法对异常数据进行处理。
如图7所示，某一母线A下有一分支线路B用于给用户1到n供电。总表W总记录分支线B上的用电量，用户侧电表W1……Wn记录用户1到n的用电量，所有电表数据通过自动抄表系统上传给主站。
结合物理拓扑关系和能量守恒可知，总分表存在以下数学关系：
Figure BDA0002209598950000111
其中，ai表示用户i电表Wi与总表W总之间的相关性系数，该系数与电表Wi的准确度εi和总表准确度ε总有关；βW总代表在物理线路上的电能损耗；W常代表该物理系统的固定损耗，比如，所有电能表运行产生的电量损耗等。
该方程中ai和β是未知量，通过历史采集的(n+1)组完整数据可建立多元线性回归方程：
Figure BDA0002209598950000121
Figure BDA0002209598950000122
……
Figure BDA0002209598950000123
用最小二乘法可以求出ai和β的取值并建立电表Wi与总表W总之间的数学关系。当有缺失或异常数据Wi,j存在时，利用该数据关系可以计算出该异常值的估计值W估i,j。
进一步，通过对Wi,j产生的时间和档案所反映物理空间分布情况分析，可以及时发现现场采集设备运维的薄弱环节。
消息订阅，是指数据采集平台用户可通过消息订阅的方式对平台处理的数据进行实时消费。
本发明实施例适用于基于海量数据采集的大数据处理和分析，本专利主要解决海量数据采集过程中数据出现异常且不能及时处理，导致数据分析结果不可用的问题。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.分布式大数据采集平台的数据异常监控及修复方法，其特征在于，包括：
利用大数据采集平台实时收集客户设备的上传数据；
根据数据质量校验规则库对所述数据进行数据质量分析，生成异常清单，计算得到实时数据质量指标并发布；其中，所述数据质量校验规则库是在注册数据模型时预设的；
利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复。
2.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，根据数据质量校验规则对所述数据进行数据质量分析，生成异常清单进一步包括：
S1：检查所述数据是否完整，若否生成异常清单，若是转到执行S2；
S2：检查所述数据的数据项是否规范，若否生成异常清单，若是数据自动入库，转到执行S3；
S3：检查所述数据是否合理，若否生成异常清单。
3.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，对所述异常数据的空值、零值、连续恒定值和异常倍增值进行辨识。
4.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，在只有少量异常数据时，可利用关联分析法对所述异常数据进行处理。
5.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，结合历史数据、采集点上下游关系、总分关系对所述异常清单中的异常数据进行修复。
6.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，对数据模型注册后进行一致性和合规性审核，设置所述数据模型的数据质量校验规则库。
7.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复之后还包括，对平台处理的数据异常和修复值进行实时发布。
8.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，根据数据质量校验规则对所述数据进行数据检查，生成异常清单进一步包括：所述数据质量校验规则库可以为：数据完整性规则，数据项规范性规则和数据合理性规则。
9.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，计算得到实时数据质量指标并发布进一步包括，利用大数据采集平台对计算后的实时数据质量指标通过消息进行发布。
10.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，异常数据修复后提供可追溯的方式对原始采集数据和修复后数据进行标识。
CN201910893778.2A 2019-09-20 2019-09-20 分布式大数据采集平台的数据异常监控及修复方法 Active CN110659273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910893778.2A CN110659273B (zh) 2019-09-20 2019-09-20 分布式大数据采集平台的数据异常监控及修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910893778.2A CN110659273B (zh) 2019-09-20 2019-09-20 分布式大数据采集平台的数据异常监控及修复方法

Publications (2)

Publication Number Publication Date
CN110659273A true CN110659273A (zh) 2020-01-07
CN110659273B CN110659273B (zh) 2022-07-12

Family

ID=69038265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910893778.2A Active CN110659273B (zh) 2019-09-20 2019-09-20 分布式大数据采集平台的数据异常监控及修复方法

Country Status (1)

Country Link
CN (1) CN110659273B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539604A (zh) * 2020-04-13 2020-08-14 国家电网有限公司 一种依托电力数据的企业复工复产指数测算监控方法
CN111930882A (zh) * 2020-06-30 2020-11-13 国网电力科学研究院有限公司 一种服务器异常溯源方法、系统及存储介质
CN112001562A (zh) * 2020-09-02 2020-11-27 中国灌溉排水发展中心 一种灌溉用水数据校验方法及装置
CN112288585A (zh) * 2020-11-20 2021-01-29 中国人寿保险股份有限公司 保险业务精算数据处理方法、装置及电子设备
CN112506900A (zh) * 2020-11-27 2021-03-16 中广核工程有限公司 核电厂通风管三维数据检查方法、装置、设备及存储介质
CN113379275A (zh) * 2021-06-22 2021-09-10 南方电网数字电网研究院有限公司 一种基于电能量的数据管理方法、系统、设备及存储介质
CN113641667A (zh) * 2021-08-12 2021-11-12 深圳市润迅通投资有限公司 一种分布式大数据采集平台的数据异常监控系统及方法
WO2022020093A1 (en) * 2020-07-20 2022-01-27 Cigna Intellectual Property, Inc. Computer-automated analysis and validation systems for data models
CN114356998A (zh) * 2022-01-08 2022-04-15 浙江力石科技股份有限公司 一种大数据旅游资源数据补偿方法
CN116186501A (zh) * 2023-04-20 2023-05-30 四川中电启明星信息技术有限公司 一种用户电表采集数据修复方法、系统、电子设备及介质
CN116501706A (zh) * 2023-06-28 2023-07-28 中国人民解放军总医院 用于医学人工智能模型检测的数据配置方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161138A (zh) * 2016-06-17 2016-11-23 贵州电网有限责任公司贵阳供电局 一种智能自动计量方法及装置
CN109597014A (zh) * 2018-11-30 2019-04-09 国网上海市电力公司 一种基于人工智能技术的电能表误差诊断方法
CN110009525A (zh) * 2019-04-02 2019-07-12 国网新疆电力有限公司电力科学研究院 用电信息采集系统及使用方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161138A (zh) * 2016-06-17 2016-11-23 贵州电网有限责任公司贵阳供电局 一种智能自动计量方法及装置
CN109597014A (zh) * 2018-11-30 2019-04-09 国网上海市电力公司 一种基于人工智能技术的电能表误差诊断方法
CN110009525A (zh) * 2019-04-02 2019-07-12 国网新疆电力有限公司电力科学研究院 用电信息采集系统及使用方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539604A (zh) * 2020-04-13 2020-08-14 国家电网有限公司 一种依托电力数据的企业复工复产指数测算监控方法
CN111930882B (zh) * 2020-06-30 2024-04-02 国网电力科学研究院有限公司 一种服务器异常溯源方法、系统及存储介质
CN111930882A (zh) * 2020-06-30 2020-11-13 国网电力科学研究院有限公司 一种服务器异常溯源方法、系统及存储介质
WO2022020093A1 (en) * 2020-07-20 2022-01-27 Cigna Intellectual Property, Inc. Computer-automated analysis and validation systems for data models
CN112001562A (zh) * 2020-09-02 2020-11-27 中国灌溉排水发展中心 一种灌溉用水数据校验方法及装置
CN112288585A (zh) * 2020-11-20 2021-01-29 中国人寿保险股份有限公司 保险业务精算数据处理方法、装置及电子设备
CN112288585B (zh) * 2020-11-20 2024-05-28 中国人寿保险股份有限公司 保险业务精算数据处理方法、装置及电子设备
CN112506900A (zh) * 2020-11-27 2021-03-16 中广核工程有限公司 核电厂通风管三维数据检查方法、装置、设备及存储介质
CN113379275A (zh) * 2021-06-22 2021-09-10 南方电网数字电网研究院有限公司 一种基于电能量的数据管理方法、系统、设备及存储介质
CN113641667A (zh) * 2021-08-12 2021-11-12 深圳市润迅通投资有限公司 一种分布式大数据采集平台的数据异常监控系统及方法
CN113641667B (zh) * 2021-08-12 2022-05-20 深圳市润迅通投资有限公司 一种分布式大数据采集平台的数据异常监控系统及方法
CN114356998A (zh) * 2022-01-08 2022-04-15 浙江力石科技股份有限公司 一种大数据旅游资源数据补偿方法
CN116186501A (zh) * 2023-04-20 2023-05-30 四川中电启明星信息技术有限公司 一种用户电表采集数据修复方法、系统、电子设备及介质
CN116501706A (zh) * 2023-06-28 2023-07-28 中国人民解放军总医院 用于医学人工智能模型检测的数据配置方法和装置
CN116501706B (zh) * 2023-06-28 2023-09-19 中国人民解放军总医院 用于医学人工智能模型检测的数据配置方法和装置

Also Published As

Publication number Publication date
CN110659273B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110659273B (zh) 分布式大数据采集平台的数据异常监控及修复方法
CN113159339B (zh) 一种基于大数据的一台区一指标线损管理方法及系统
CN107123982B (zh) 一种基于设备异动的配电网可靠性经济效益分析方法
CN113822547B (zh) 一种精细化需求侧管理综合信息平台系统及管理方法
CN107832927B (zh) 基于灰色关联分析法的10kV线路线变关系评价方法
CN111507013A (zh) 一种面向电力系统线损故障定位实现方法
CN111738573A (zh) 一种基于电能表全寿命周期数据的健康评价方法
CN113033617A (zh) 一种基于大数据台区线损数据深度挖掘分析方法
CN115330404A (zh) 用于电力营销稽查的系统及方法
CN116894156B (zh) 基于mcmc算法的电力采集终端数据预处理方法
Jiang et al. A bottom-up method for probabilistic short-term load forecasting based on medium voltage load patterns
CN103217958A (zh) 基于gis平台的电量购供售一体化系统及方法
CN111127186A (zh) 一种基于大数据技术的客户信用等级评价体系的使用方法
CN112611997B (zh) 一种台区关口表挂接关系在线校验方法和系统
CN116029579A (zh) 一种继电保护设备采购评价方法及系统
CN113947273A (zh) 一种基于大数据的多途径配网成本核算系统
CN112016631A (zh) 一种低电压治理相关的改进方案
Ardito et al. A survey on smart grid technologies in Europe
Sun et al. Design of Automatic Management System of Electric Power Marketing Charges and Accounts Based on Robot Process Automation
CN111178763A (zh) 一种企业能效数据管理方法和装置
Zatsarinnaya et al. An automated software package creation for energy consumption accounting
CN114564474B (zh) 一种光伏台账数据自动校验方法及相关装置
Zhang et al. The risk of power sales revenue in power retail market based on VAR model
Huang An Analysis of Artificial Intelligence Engineering Cost Information Management Platform
Bing et al. Construction of power data products based on STP theory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant