CN114218318A - 一种用于电力大数据的数据处理系统及方法 - Google Patents

一种用于电力大数据的数据处理系统及方法 Download PDF

Info

Publication number
CN114218318A
CN114218318A CN202210154298.6A CN202210154298A CN114218318A CN 114218318 A CN114218318 A CN 114218318A CN 202210154298 A CN202210154298 A CN 202210154298A CN 114218318 A CN114218318 A CN 114218318A
Authority
CN
China
Prior art keywords
data
electric power
power data
preset
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210154298.6A
Other languages
English (en)
Other versions
CN114218318B (zh
Inventor
于淞
林海龙
任之豪
王文龙
黄建会
于晓东
郝海光
鲁晓涛
杜吉超
宋恩稼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rushan City Power Supply Company State Grid Shandong Electric Power Co
Original Assignee
Rushan City Power Supply Company State Grid Shandong Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rushan City Power Supply Company State Grid Shandong Electric Power Co filed Critical Rushan City Power Supply Company State Grid Shandong Electric Power Co
Priority to CN202210154298.6A priority Critical patent/CN114218318B/zh
Publication of CN114218318A publication Critical patent/CN114218318A/zh
Application granted granted Critical
Publication of CN114218318B publication Critical patent/CN114218318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Bioethics (AREA)
  • Public Health (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种用于电力大数据的数据处理系统及方法，主要涉及数据处理技术领域，用以解决现有的电力数据处理技术存在隐私数据泄露的风险以及处理速度较慢等技术问题。包括：算法下发模块，用于下发数据预处理单元至电力数据采集设备，获得电力数据包；数据分配模块，用于读取包头数据中的设备编号，确定电力数据包对应的边缘计算模块；边缘计算模块，用于确定电力数据包是否存在预设隐私类型的电力数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。本申请通过上述方法实现了规避了隐私电力数据被泄露的风险，提高了处理速度。

Description

一种用于电力大数据的数据处理系统及方法
技术领域
本申请涉及数据处理技术领域，尤其涉及一种用于电力大数据的数据处理系统及方法。
背景技术
电力大数据主要指电力设备在运行过程中生成的大量电力数据，针对大数据时代下电力数据体量大、类型多、速度快的特点，传统的属性约简方法已经无法满足电力大数据的数据处理需求。
现阶段，电力大数据处理的主要方法为：（1）普通电力数据：收集大量电力数据，导入数据处理系统，通过系统中预设数据格式统一不同来源的电力大数据的格式，进而通过若干规则处理格式统一后的电力大数据。（2）隐私电力数据：将数据加密传输至数据处理系统，系统基于某种预设破解方法，获得该隐私电力数据，进而将隐私数据作为普通电力数据进行处理。
但是，目前的电网信息资源融合程度较低。不同来源电力数据的数据格式各不相同，服务器需要事先统一化电力数据格式，导致服务器的处理速度较低。且现有的隐私数据盗取技术发展迅速，在隐私电力数据的上传处理过程中，依然存在被窃取的风险。
发明内容
针对现有技术的上述不足，本发明提供一种用于电力大数据的数据处理系统及方法，以解决上述技术问题。
第一方面，本申请实施例提供了一种用于电力大数据的数据处理系统，系统包括：算法下发模块，用于下发数据预处理算法至电力数据采集设备，以通过数据预处理算法，获得电力数据包；其中，电力数据包包括：包头数据以及预设格式的电力数据；且电力数据包中的预设隐私类型的电力数据为乱码数据；数据分配模块，用于读取包头数据中的设备编号，确定电力数据包对应的边缘计算模块；边缘计算模块，用于确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。
进一步地，算法下发模块包括算法下发单元、数据预处理单元；算法下发单元，用于确定进行电力数据处理的电力数据采集设备；确定电力数据采集设备中是否存在数据预处理单元；当不存在时，下发数据预处理单元至电力数据采集设备；数据预处理单元，用于确定电力数据采集设备中是否存在预设隐私类型的电力数据；当存在时，调用预设乱码处理算法，获得按照预设打乱规则打乱的电力数据；进而调用预设格式统一算法，获得预设格式的电力数据包；当不存在时，直接调用预设格式统一算法，获得预设格式的电力数据包。
进一步地，边缘计算模块还包括：数据计算单元以及算法训练单元；数据计算单元，用于确定包头数据是否存在预设隐私键值，当存在预设隐私键值时，确定存在乱码数据，进而确定预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果；算法训练单元，用于获取标记好最终计算结果的包含乱码数据的电力数据作为训练样本；基于训练样本数据对预设乱码计算算法进行训练，以确定预设乱码计算算法对应的权重和偏置，进而完成预设乱码计算算法的训练。
进一步地，边缘计算模块还包括：存储分配单元以及计算分流单元；存储分配单元，用于基于预设分配原则，确定电力数据包对应的备用边缘计算模块；以将电力数据包备份存储至备用边缘计算模块；并在预设日志中生成电力数据备份记录；计算分流单元，用于实时确定等待进行数据计算的电力数据包的等待数量；当等待数量大于预设数量阈值时，基于预设日志，确定后续新增的电力数据包对应的备用边缘计算模块；生成计算指令至备用边缘计算模块，以获得备用边缘计算模块计算的最终计算结果。
进一步地，系统还包括：数据分析模块；数据分析模块，用于确定最终计算结果对应的数据类型；确定数据类型对应的分析结论数据库；进而确定最终计算结果对应的分析结论；其中，数据结论数据库中包含最终计算结果、分析语句以及最终计算结果与分析语句之间的对应关系。
第二方面，本申请实施例提供了一种用于电力大数据的数据处理方法，方法包括：服务器下发数据预处理算法至电力数据采集设备，以通过数据预处理算法，获得电力数据包，其中，电力数据包包括包头数据以及预设格式的电力数据；且电力数据包中的隐私类型的电力数据为乱码数据；服务器通过读取包头数据中的设备编号，确定电力数据包对应的边缘计算节点；边缘计算节点确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。
进一步地，方法还包括：服务器确定最终计算结果对应的数据类型；确定数据类型对应的分析结论数据库；其中，数据结论数据库中包含最终计算结果、分析语句以及最终计算结果与分析语句之间的对应关系；确定最终计算结果对应的分析结论。
进一步地，边缘计算节点确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果，具体包括：确定包头数据是否存在预设隐私键值，当存在预设隐私键值时，确定存在乱码数据；确定预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果。
本领域技术人员能够理解的是，本发明至少具有如下有益效果：
通过算法下发模块，实现了将数据预处理过程下发到各个电力数据采集设备，使电力数据采集设备通过运行数据预处理单元自行实现预设隐私类型的电力数据的乱码处理以及格式的统一，无需占用数据处理系统的运行空间、无需消耗数据处理系统的运行能耗，且电力数据采集设备自行运行处理数据较小，处理时间大幅降低。无需考虑提高算力以及降低运行负载的问题。
通过数据分配模块，实现了将数据预处理后的电力数据包发送至对应边缘计算模块。由于本发明公开的电力数据的表现形式为电力数据包，其具有包头数据（也叫数据包头），由于包头数据具有字节短易识别的特性，数据分配模块无需读取电力数据包对应的全部数据，只需识别包头数据即可实现电力数据包的分配，提高了数据的分配效率。
通过边缘计算模块，实现了将乱码处理后的预设隐私类型的电力数据直接导入训练好的预设乱码计算算法，以使乱码的电力数据直接参与计算，无需将乱码的电力数据装换为原电力数据，有效避免了具有隐私性的电力数据的泄漏。
附图说明
下面参照附图来描述本公开的部分实施例，附图中：
图1是本申请实施例提供的一种用于电力大数据的数据处理系统内部结构示意图。
图2是本申请实施例提供的一种用于电力大数据的数据处理方法流程图。
具体实施方式
本领域技术人员应当理解的是，下文所描述的实施例仅仅是本公开的优选实施例，并不表示本公开仅能通过该优选实施例实现，该优选实施例仅仅是用于解释本公开的技术原理，并非用于限制本公开的保护范围。基于本公开提供的优选实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本公开的保护范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
图1为本申请实施例提供的一种用于电力大数据的数据处理系统。如图1所示，本申请实施例提供的数据处理系统，主要包括：算法下发模块110、数据分配模块120以及边缘计算模块130。
其中，算法下发模块110可以为任意可行的具有下发功能的设备或装置等，主要用于下发数据预处理单元112至电力数据采集设备，以通过数据预处理单元112，获得电力数据包；其中，电力数据包包括：包头数据以及预设格式的电力数据；且电力数据包中的预设隐私类型的电力数据为乱码数据。
需要说明的是，数据预处理单元112为任意可行的能够进行乱码处理以及格式统一的软件或硬件等。通过数据预处理单元112，获得对预设隐私类型的电力数据进行乱码处理以及格式为预设格式的电力数据包，可以具体为：数据预处理单元112中保存了预设隐私类型；使得数据预处理单元112在采集电力数据时能够确定该电力数据中是否存在具有预设隐私类型的电力数据。当确定存在具有预设隐私类型的电力数据时，将该电力数据导入预设乱码处理算法，以将该电力数据安装预设乱码规则进行乱码处理，以获取乱码后的电力数据。最后将乱码处理后的具有预设隐私类型的电力数据或不具有预设隐私类型的电力数据，按照预设格式进行封装处理，获得一个电力数据包。其中，该电力数据包包括暴露在外部的包头数据以及封装在内部的电力数据。预设乱码规则可以为任意可行的能够打乱电力数据顺序的方法，其具体内容可由本领域技术人员根据实际情况确定。预设隐私类型可以为任意可行类型，如，身份证编号类型等。
作为示例地，算法下发模块110包括算法下发单元111、数据预处理单元112。
具体地，算法下发单元111，用于确定进行电力数据处理的电力数据采集设备；确定电力数据采集设备中是否存在数据预处理单元112；当不存在时，下发数据预处理单元112至电力数据采集设备。数据预处理单元112，用于确定电力数据采集设备中是否存在预设隐私类型的电力数据；当存在时，调用预设乱码处理算法，获得按照预设打乱规则打乱的电力数据；进而调用预设格式统一算法，获得预设格式的电力数据包；当不存在时，直接调用预设格式统一算法，获得预设格式的电力数据包。
需要说明的是，预设乱码处理算法为任意可行的能够打乱数据排列顺序和/或打乱数据类型的软件或硬件等。预设格式统一算法为任意可行的能够将数据格式设置为预设格式的软件或硬件等。其中，预设格式可以为任意可行的格式。
其中，数据分配模块120，用于读取包头数据中的设备编号，确定电力数据包对应的边缘计算模块130；
需要说明的是，设备编号具有唯一性，能够区别不同电力数据采集设备。数据分配模块120预存了设备编号与边缘计算模块130之间的对应关系。
其中，边缘计算模块130为任意可行的能够进行边缘计算的设备或装置等，主要用于确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。
作为示例地，边缘计算模块130还包括：数据计算单元131以及算法训练单元132。具体地，数据计算单元131，用于确定包头数据是否存在预设隐私键值，当存在预设隐私键值时，确定预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果；需要说明的是，预设隐私键值存在于包头数据中，用于表示该电力数据包存在预设隐私类型的电力数据。预设计算公式为该电力数据对应的计算过程，其具体内容可由本领域技术人员根据实际情况而定。算法训练单元132为任意可行的能够进行算法训练的设备或装置等，主要用于获取标记好最终计算结果的乱码的电力数据作为训练样本；基于训练样本数据对预设乱码计算算法进行训练，以确定预设乱码计算算法对应的权重和偏置，进而完成预设乱码计算算法的训练。
此外，本实施提供的边缘计算模块130还能够在自身算力不足时，将新增的电力数据包转送至其他边缘计算模块130处理。
作为示例地，边缘计算模块130还包括：存储分配单元133以及计算分流单元134；存储分配单元133，用于确定电力数据包对应的备用边缘计算模块；以将电力数据包备份存储至备用边缘计算模块；并在预设日志中生成电力数据备份记录；预设日志为任意可行格式的文本，主要用于记录数据，例如，TXT格式日志等。需要说明的是，存储分配单元133中预存了电力数据包与备用边缘计算模块之间的对应关系。电力数据备份记录中包含电力数据包分配的备用边缘计算模块等信息。计算分流单元134，用于实时确定等待进行数据计算的电力数据包的等待数量；当等待数量大于预设数量阈值时，基于预设日志，确定后续新增的电力数据包对应的备用边缘计算模块；生成计算指令至备用边缘计算模块，以获得备用边缘计算模块计算的最终计算结果。预设数量阈值可以为任意可行数值，可由本领域技术人员经过多次试验获得。
此外，本实施例还可以对最终计算结果进行分析。
作为示例地，系统还包括：数据分析模块140；数据分析模块140，用于确定最终计算结果对应的数据类型；确定数据类型对应的分析结论数据库；进而确定最终计算结果对应的分析结论；其中，数据结论数据库中包含最终计算结果、分析语句以及最终计算结果与分析语句之间的对应关系。
除此之外，本申请实施例还提供了一种用于电力大数据的数据处理方法，如图2所示，本申请实施例提供的数据处理方法，主要包括以下步骤：
步骤210、服务器下发数据预处理算法至电力数据采集设备，以通过数据预处理算法，获得电力数据包。
其中，电力数据包包括包头数据以及预设格式的电力数据；且电力数据包中的隐私类型的电力数据为乱码数据。
步骤220、服务器通过读取包头数据中的设备编号，确定电力数据包对应的边缘计算节点。
步骤230、边缘计算节点确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。
其中，边缘计算节点确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果，可以具体为：确定包头数据是否存在预设隐私键值，当存在预设隐私键值时，确定存在乱码数据；确定预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果。
此外，本申请实施例还可以对最终计算结果进行分析。
作为示例地，服务器确定最终计算结果对应的数据类型；确定数据类型对应的分析结论数据库；其中，数据结论数据库中包含最终计算结果、分析语句以及最终计算结果与分析语句之间的对应关系；确定最终计算结果对应的分析结论。
至此，已经结合前文的多个实施例描述了本公开的技术方案，但是，本领域技术人员容易理解的是，本公开的保护范围并不仅限于这些具体实施例。在不偏离本公开技术原理的前提下，本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合，也可以对相关技术特征作出等同的更改或替换，凡在本公开的技术构思和/或技术原理之内所做的任何更改、等同替换、改进等都将落入本公开的保护范围之内。

Claims (8)

1.一种用于电力大数据的数据处理系统，其特征在于，所述系统包括：
算法下发模块，用于下发数据预处理单元至电力数据采集设备，以通过数据预处理单元，获得电力数据包；其中，所述电力数据包包括：包头数据以及预设格式的电力数据；且电力数据包中的预设隐私类型的电力数据为乱码数据；
数据分配模块，用于读取包头数据中的设备编号，确定电力数据包对应的边缘计算模块；
边缘计算模块，用于确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。
2.根据权利要求1所述的用于电力大数据的数据处理系统，其特征在于，所述算法下发模块包括算法下发单元、数据预处理单元；
所述算法下发单元，用于确定进行电力数据处理的电力数据采集设备；确定所述电力数据采集设备中是否存在数据预处理单元；当不存在时，下发所述数据预处理单元至电力数据采集设备；
所述数据预处理单元，用于确定电力数据采集设备中是否存在预设隐私类型的电力数据；当存在时，调用预设乱码处理算法，获得按照预设打乱规则打乱的电力数据；进而调用预设格式统一算法，获得预设格式的电力数据包；当不存在时，直接调用预设格式统一算法，获得预设格式的电力数据包。
3.根据权利要求1所述的用于电力大数据的数据处理系统，其特征在于，所述边缘计算模块还包括：数据计算单元以及算法训练单元；
所述数据计算单元，用于确定包头数据是否存在预设隐私键值，当存在所述预设隐私键值时，确定存在乱码数据，进而确定所述预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果；
算法训练单元，用于获取标记好最终计算结果的包含乱码数据的电力数据作为训练样本；基于所述训练样本数据对预设乱码计算算法进行训练，以确定预设乱码计算算法对应的权重和偏置，进而完成预设乱码计算算法的训练。
4.根据权利要求3所述的用于电力大数据的数据处理系统，其特征在于，所述边缘计算模块还包括：存储分配单元以及计算分流单元；
所述存储分配单元，用于基于预设分配原则，确定电力数据包对应的备用边缘计算模块；以将电力数据包备份存储至所述备用边缘计算模块；并在预设日志中生成电力数据备份记录；
所述计算分流单元，用于实时确定等待进行数据计算的电力数据包的等待数量；当所述等待数量大于预设数量阈值时，基于所述预设日志，确定后续新增的电力数据包对应的备用边缘计算模块；生成计算指令至备用边缘计算模块，以获得备用边缘计算模块计算的最终计算结果。
5.根据权利要求1所述的用于电力大数据的数据处理系统，其特征在于，所述系统还包括：数据分析模块；
所述数据分析模块，用于确定所述最终计算结果对应的数据类型；确定所述数据类型对应的分析结论数据库；进而确定最终计算结果对应的分析结论；其中，所述数据结论数据库中包含最终计算结果、分析语句以及最终计算结果与分析语句之间的对应关系。
6.一种用于电力大数据的数据处理方法，其特征在于，所述方法包括：
服务器下发数据预处理算法至电力数据采集设备，以通过数据预处理算法，获得电力数据包，其中，电力数据包包括包头数据以及预设格式的电力数据；且所述电力数据包中的隐私类型的电力数据为乱码数据；
服务器通过读取包头数据中的设备编号，确定电力数据包对应的边缘计算节点；
边缘计算节点确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。
7.根据权利要求6所述的用于电力大数据的数据处理方法，其特征在于，所述方法还包括：
服务器确定所述最终计算结果对应的数据类型；确定所述数据类型对应的分析结论数据库；其中，所述数据结论数据库中包含最终计算结果、分析语句以及最终计算结果与分析语句之间的对应关系；确定最终计算结果对应的分析结论。
8.根据权利要求6所述的用于电力大数据的数据处理方法，其特征在于，边缘计算节点确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果，具体包括：
确定包头数据是否存在预设隐私键值，当存在所述预设隐私键值时，确定存在乱码数据；
确定所述预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果。
CN202210154298.6A 2022-02-21 2022-02-21 一种用于电力大数据的数据处理系统及方法 Active CN114218318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210154298.6A CN114218318B (zh) 2022-02-21 2022-02-21 一种用于电力大数据的数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210154298.6A CN114218318B (zh) 2022-02-21 2022-02-21 一种用于电力大数据的数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN114218318A true CN114218318A (zh) 2022-03-22
CN114218318B CN114218318B (zh) 2022-05-17

Family

ID=80708934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210154298.6A Active CN114218318B (zh) 2022-02-21 2022-02-21 一种用于电力大数据的数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN114218318B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553610A (zh) * 2022-04-27 2022-05-27 国网山东省电力公司潍坊市寒亭区供电公司 一种用于隐私数据的电力数据分析系统及方法
CN115062348A (zh) * 2022-08-19 2022-09-16 国网山东省电力公司滨州供电公司 一种电力数据预处理系统及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070000A1 (en) * 2010-09-22 2012-03-22 Alcatel-Lucent Usa Inc Securing Two-Party Computation Against Malicious Adversaries
US20130073060A1 (en) * 2011-09-15 2013-03-21 Electronic Systems Protection, Inc. Power-centric system management
CN108595946A (zh) * 2018-03-29 2018-09-28 维沃移动通信有限公司 一种保护隐私的方法及终端
CN109582861A (zh) * 2018-10-29 2019-04-05 复旦大学 一种数据隐私信息检测系统
CN110084067A (zh) * 2019-05-07 2019-08-02 欢动无限(北京)科技有限公司 一种基于隐私链的隐私保护方法及装置
CN110728111A (zh) * 2018-07-17 2020-01-24 珠海金山办公软件有限公司 一种文档内容的乱码修复方法、装置、终端设备和服务器
CN110909356A (zh) * 2018-09-18 2020-03-24 百度在线网络技术（北京）有限公司 安全多方计算方法、装置、设备及计算机可读介质
CN111079174A (zh) * 2019-11-21 2020-04-28 中国电力科学研究院有限公司 基于匿名化及差分隐私技术的用电数据脱敏方法及系统
CN111401320A (zh) * 2020-04-15 2020-07-10 支付宝(杭州)信息技术有限公司 保护隐私的生物特征图像处理方法及装置
CN111600296A (zh) * 2020-01-09 2020-08-28 浙江中新电力工程建设有限公司自动化分公司 基于边缘计算的电力负荷预测系统及其预测方法
CN111786978A (zh) * 2020-06-22 2020-10-16 深圳市赛为智能股份有限公司 电力数据聚合采集方法、装置、计算机设备及存储介质
CN112257425A (zh) * 2020-09-29 2021-01-22 国网天津市电力公司 一种基于数据分级模型的电力数据分析方法及系统
US20210051008A1 (en) * 2018-08-14 2021-02-18 Advanced New Technologies Co., Ltd. Multi-party security computing method and apparatus, and electronic device
US20210192068A1 (en) * 2019-12-21 2021-06-24 Microsoft Technology Licensing, Llc Analytics interface with privacy management

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070000A1 (en) * 2010-09-22 2012-03-22 Alcatel-Lucent Usa Inc Securing Two-Party Computation Against Malicious Adversaries
US20130073060A1 (en) * 2011-09-15 2013-03-21 Electronic Systems Protection, Inc. Power-centric system management
CN108595946A (zh) * 2018-03-29 2018-09-28 维沃移动通信有限公司 一种保护隐私的方法及终端
CN110728111A (zh) * 2018-07-17 2020-01-24 珠海金山办公软件有限公司 一种文档内容的乱码修复方法、装置、终端设备和服务器
US20210051008A1 (en) * 2018-08-14 2021-02-18 Advanced New Technologies Co., Ltd. Multi-party security computing method and apparatus, and electronic device
CN110909356A (zh) * 2018-09-18 2020-03-24 百度在线网络技术（北京）有限公司 安全多方计算方法、装置、设备及计算机可读介质
CN109582861A (zh) * 2018-10-29 2019-04-05 复旦大学 一种数据隐私信息检测系统
CN110084067A (zh) * 2019-05-07 2019-08-02 欢动无限(北京)科技有限公司 一种基于隐私链的隐私保护方法及装置
CN111079174A (zh) * 2019-11-21 2020-04-28 中国电力科学研究院有限公司 基于匿名化及差分隐私技术的用电数据脱敏方法及系统
US20210192068A1 (en) * 2019-12-21 2021-06-24 Microsoft Technology Licensing, Llc Analytics interface with privacy management
CN111600296A (zh) * 2020-01-09 2020-08-28 浙江中新电力工程建设有限公司自动化分公司 基于边缘计算的电力负荷预测系统及其预测方法
CN111401320A (zh) * 2020-04-15 2020-07-10 支付宝(杭州)信息技术有限公司 保护隐私的生物特征图像处理方法及装置
CN111786978A (zh) * 2020-06-22 2020-10-16 深圳市赛为智能股份有限公司 电力数据聚合采集方法、装置、计算机设备及存储介质
CN112257425A (zh) * 2020-09-29 2021-01-22 国网天津市电力公司 一种基于数据分级模型的电力数据分析方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YIWEN NIE ET AL.: "A privacy preserving scheme for change increment of electricity big data base on symmetric cryptography", 《2014 IEEE 3RD INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTELLIGENCE SYSTEMS》 *
张铭凯等: "多数据源下机器学习的隐私保护研究", 《网络空间安全》 *
朱克等: "电力用户信息脱敏研究", 《电脑知识与技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553610A (zh) * 2022-04-27 2022-05-27 国网山东省电力公司潍坊市寒亭区供电公司 一种用于隐私数据的电力数据分析系统及方法
CN114553610B (zh) * 2022-04-27 2022-07-29 国网山东省电力公司潍坊市寒亭区供电公司 一种用于隐私数据的电力数据分析系统及方法
CN115062348A (zh) * 2022-08-19 2022-09-16 国网山东省电力公司滨州供电公司 一种电力数据预处理系统及方法

Also Published As

Publication number Publication date
CN114218318B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN114218318B (zh) 一种用于电力大数据的数据处理系统及方法
CN102598007A (zh) 有效检测采指纹数据和信息的系统和方法
CN114143020A (zh) 一种基于规则的网络安全事件关联分析方法和系统
CN113486392B (zh) 一种基于大数据平台的敏感数据识别与脱敏方法
CN103942292A (zh) 虚拟机镜像文件处理方法、装置及系统
CN111708794B (zh) 基于大数据平台的数据比对方法、装置和计算机设备
CN112799897B (zh) 一种基于大数据的信息管理方法、管理系统、存储介质
CN110096363A (zh) 一种网络事件与进程的关联方法及装置
CN111899821A (zh) 处理医疗机构数据的方法、构建数据库的方法和装置
CN112559526A (zh) 数据表导出方法、装置、计算机设备及存储介质
CN113535677B (zh) 数据分析查询管理方法、装置、计算机设备及存储介质
CN117093619A (zh) 一种规则引擎处理方法、装置、电子设备及存储介质
CN113535739B (zh) 一种基于电网能源数据的数据集市层表建立方法
CN112199347B (zh) 一种供电服务知识共享平台系统
EP3929787A1 (en) Detecting sensitive data records using a data format analysis
CN113297617A (zh) 权限数据获取方法、装置、计算机设备和存储介质
CN112910923A (zh) 一种智能金融大数据处理系统
CN114428704A (zh) 全链路分布式监控的方法、装置、计算机设备和存储介质
Zhao et al. Research and Design of Power Big Data Desensitization System Based on K-means++ Clustering Algorithm
CN117112846B (zh) 一种多信息源证照信息管理方法、系统及介质
CN113630425B (zh) 一种多电力主体的财务数据安全传输方法
CN116383883B (zh) 一种基于大数据的数据管理权限处理方法及系统
CN111309683B (zh) 扫描全盘数据的方法及装置
RU2665915C1 (ru) Система и способ определения текста, содержащего конфиденциальные данные
CN115860665A (zh) 工单处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant