CN113766026B - 一种应用于能源工业网的数据处理方法及系统 - Google Patents

一种应用于能源工业网的数据处理方法及系统 Download PDF

Info

Publication number
CN113766026B
CN113766026B CN202111055801.4A CN202111055801A CN113766026B CN 113766026 B CN113766026 B CN 113766026B CN 202111055801 A CN202111055801 A CN 202111055801A CN 113766026 B CN113766026 B CN 113766026B
Authority
CN
China
Prior art keywords
data
mode
interaction
access request
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111055801.4A
Other languages
English (en)
Other versions
CN113766026A (zh
Inventor
王帅
孙喜民
刘丹
贾江凯
李慧超
王明达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Digital Technology Holdings Co ltd
State Grid E Commerce Technology Co Ltd
Original Assignee
State Grid Digital Technology Holdings Co ltd
State Grid E Commerce Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Digital Technology Holdings Co ltd, State Grid E Commerce Technology Co Ltd filed Critical State Grid Digital Technology Holdings Co ltd
Priority to CN202111055801.4A priority Critical patent/CN113766026B/zh
Publication of CN113766026A publication Critical patent/CN113766026A/zh
Application granted granted Critical
Publication of CN113766026B publication Critical patent/CN113766026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2212/00—Encapsulation of packets

Abstract

本发明公开了一种应用于能源工业网的数据处理方法及系统，包括：获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口；生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理，实现了数据的统一处理，提升了数据共享和交互的高效性。

Description

一种应用于能源工业网的数据处理方法及系统
技术领域
本发明涉及数据处理技术领域，特别是涉及一种应用于能源工业网的数据处理方法及系统。
背景技术
能源工业云网是工业互联网在能源领域的应用和具体体现，可以说能源工业云网的基础是工业互联网，其数据标准也是基于工业互联网的数据标准的，其节点的接入情况同样是以工业互联网的接入为基础的。
工业互联网的接入一般都是产品端按照物联网的接入标准进行接入，通过用户应用或企业的相关信息系统进行工厂外部数据接入网关的。但是，现有的能源工业网会接收到不同标准、不同处理条件的数据，无法实现数据的统一处理，从而提升了数据共享和交互的难度。
发明内容
针对于上述问题，本发明提供一种应用于能源工业网的数据处理方法及系统，实现了数据的统一处理，提升了数据共享和交互的高效性。
为了实现上述目的，本发明提供了如下技术方案：
一种应用于能源工业网的数据处理方法，包括：
获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口，以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输；
生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；
确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；
基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。
可选地，所述获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式封装，获得数据接口，包括：
获取接入能源工业网的数据的数据类型；
确定与所述数据类型相匹配的转换格式；
确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；
基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
可选地，所述方法还包括：
利用所述目标数据模型对数据进行管理，包括：
基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；
确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；
将所述存储信息进行存储。
可选地，所述方法还包括：
基于所述目标数据模型对访问请求进行处理，包括：
对所述访问请求进行解析；
若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；
若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
可选地，所述方法还包括：
响应于接收到访问请求，对所述访问请求对应的访问权限进行验证；
若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
一种应用于能源工业网的数据处理系统，包括：
接口获取单元，用于获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口，以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输；
交互模式确定单元，用于生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；
管理模式确定单元，用于确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；
模型创建单元，用于基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。
可选地，所述接口获取单元包括：
第一获取子单元，用于获取接入能源工业网的数据的数据类型；
第一确定子单元，用于确定与所述数据类型相匹配的转换格式；
第二确定子单元，用于确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；
封装子单元，用于基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
可选地，所述系统还包括：
数据管理单元，用于利用所述目标数据模型对数据进行管理，所述数据管理单元包括：
预处理子单元，用于基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；
第三确定子单元，用于确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；
存储子单元，用于将所述存储信息进行存储。
可选地，所述系统还包括：
访问请求处理单元，用于基于所述目标数据模型对访问请求进行处理，所述访问请求处理单元包括：
解析子单元，用于对所述访问请求进行解析；
第一响应子单元，用于若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；
第二响应子单元，用于若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
可选地，所述访问请求处理单元还包括：
权限验证子单元，用于响应于接收到访问请求，对所述访问请求对应的访问权限进行验证；
资源获取子单元，用于若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
相较于现有技术，本发明提供了一种应用于能源工业网的数据处理方法及系统，包括：获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口；生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理，实现了数据的统一处理，提升了数据共享和交互的高效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种应用于能源工业网的数据处理方法的流程示意图；
图2为本发明实施例提供的一种目标数据模型的应用示意图；
图3为本发明实施例提供的一种设备通信协议智能分析模型的示意图；
图4为本发明实施例提供的一种应用于能源工业网的数据处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在本发明实施例中提供了一种应用于能源工业网的数据处理方法，参见图1，包括：
S101、获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口。
以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输。数据接口是连接外接系统与处理中心的接口，用于对不同类型的访问数据进行解析和获取，以便能够被处理中心所处理。具体的，数据接口负责对外接系统(这里主要指电网系统、供应商、生产系统、电力应急指挥中心等数据源模块)进行数据交换操作。
S102、生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式。
其中，共享交互模式是依据不同数据访问请求对应的响应模式确定，能够实现数据、消息的交互，即对外接系统的各种数据请求进行服务服务。应急交互模式用于实现应急交互服务，主要用于电力公司应急指挥平台的应急电力数据的快速交互。
S103、确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储。
数据管理模式用于对外接系统与数据请求服务进行组织管理，如实现相关数据的预处理、匹配和存储等。
S104、基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型。
以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。其中，该目标数据模型可以理解为是一种数据共享交互模式，即是一种对数据进行加工、变换的数据处理机制，能源工业云网在对数据进行统一化的过程中，基于标准化建模的数据共享机制是核心架构。
在本发明实施例中，不仅可以对基础数据进行处理，还可以对边缘数据进行处理，对应的，所述获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式封装，获得数据接口，包括：获取接入能源工业网的数据的数据类型；确定与所述数据类型相匹配的转换格式；确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
在一种实施方式中，当利用目标模型对数据进行管理时，该过程主要包括：基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；将所述存储信息进行存储。
在另一种实施方式中，本发明实施例对不同的访问请求会利用与之对应的响应模式进行响应，以使得能够输出更加匹配的交互消息。具体的，基于所述目标数据模型对访问请求进行处理，包括：对所述访问请求进行解析；若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
为了保证数据传输以及资源调用的安全性，在接收到访问请求后，会对所述访问请求对应的访问权限进行验证；若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
本发明通过基于标准化建模的数据共享交互模型的方式将不同的数据模型进行标准化，以实现能源工业云网终端数据存证、鉴证和溯源及统一标准等核心问题。接口负责对外接系统进行数据交换操作；共享交互消息是模型中进行交互的封装数据；共享交互服务负责实现外接系统的各种数据请求服务；应急交互服务负责实现电力公司应急指挥平台的应急电力数据的快速交互；控制管理负责对模型中外接系统与数据请求服务进行组织管理，从而为协议解析与数据分析的统一性和高效性奠定了基础，为多种类感知设备的数据接入提供了统一标准。
为了便于对本发明实施例进行说明，现将相关术语进行解释。
能源工业云网(Energy industry cloud network，EICN)：是工业互联网在能源电力领域的具体实践和重要载体，核心是以电为中心创新价值链，以数为要素贯通业务链，以智为要义升级产业链，赋能各类市场主体，服务政府行业管理，具有“全域链接、开源开放、智能可信、价值驱动和广域应用”等特色功能。
设备接入：基于工业以太网、工业总线等工业通信协议，以太网、光纤等通用协议，4G/5G、NB-IOT等无线协议将工业现场设备接入到平台边缘层。
协议转换：一方面运用协议解析、中间件等技术兼容ModBus、OPC、CAN、Profibus等各类工业通信协议和软件通信接口，实现数据格式转换和统一。另一方面利用HTTP、MQTT等方式从边缘侧将采集到的数据传输到云端，实现数据的远程接入。
边缘数据处理：基于高性能计算芯片、实时操作系统、边缘分析算法等技术支撑，在靠近设备或数据源头的网络边缘侧进行数据预处理、存储以及智能分析应用，提升操作响应灵敏度、消除网络堵塞，并与云端分析形成协同。
数据预处理：运用数据冗余剔除、异常检测、归一化等方法对原始数据进行清洗，为后续存储、管理与分析提供高质量数据来源。
数据存储与管理：通过分布式文件系统、NoSQL数据库、关系数据库、时序数据库等不同的数据管理引擎实现海量工业数据的分区选择、存储、编目与索引等。
数据分析算法：运用数学统计、机器学习及最新的人工智能算法实现面向历史数据、实时数据、时序数据的聚类、关联和预测分析。
数据机理建模：利用机械、电子、物理、化学等领域专业知识，结合工业生产实践经验，基于已知工业机理构建各类模型，实现分析应用。
模式识别：用计算的方法根据样本的特征将样本划分到一定的类别中去，其本质就是通过计算机用数学技术方法来研究模式的自动处理和判读，把环境与客体统称为“模式”。
多源异构：是指一个整体由多个不同来源的成分而构成，既有混合型数据(包括结构化和非结构化)又有离散性数据(数据分布在不同的系统或平台)，互联网就是一个典型的异构网络，融合传播矩阵就是一个典型的多源异构数据网络。
参见图2，其示出了本发明实施例提供的一种目标数据模型的应用示意图。其中，该目标数据模型为数据共享交互模型，数据接口实现对外接系统数据的调用、传输和相关格式转换、协议转换等。共享交互服务通过共享交互模式实现，主要可以基于数据的相关请求完成数据的检索、订阅、发布、获取、校验和数据转换等处理过程。共享交互信息是指共享交互服务中传输的信息或者应用的信息，主要包括参数信息、数据包摘要、数据交互数据包。应急交互服务通过应急交互模式实现，主要可以对应急请求进行处理，当接收到应急请求后会以较高的优先级进行响应，保证数据的快速传输。数据中心可以完成数据的处理、分析以及相关数据的存储等处理过程。
在图2中本发明实施例中的目标数据模型是以数据共享交互模型的展现形式进行说明的。该模型主要由接口、共享交互消息、共享交互服务、应急交互服务和管理控制四部分组成。其中接口负责对外接系统(这里主要指电网系统、供应商、生产系统、电力应急指挥中心等数据源模块)进行数据交换操作；共享交互消息是模型中进行交互的封装数据(主要包括：ECP\ERP等的参数信息、供应商相关的数据包摘要及一些共享交互数据包等)；共享交互服务负责实现外接系统的各种数据请求服务；应急交互服务负责实现电力公司应急指挥平台的应急电力数据的快速交互；控制管理负责对模型中外接系统与数据请求服务进行组织管理。
具体的，接口的主要功能通过接口模块实现，接口模块主要负责对外接系统进行数据交换操作，完成数据对外交换任务。共享交互服务主要功能通过共享交互服务模块实现，共享交互服务模块是完成和实现模型中封装数据任务功能的模块。应急交互服务通过应急交互服务模块实现，应急交互服务模块具体负责实现对诸多电力公司应急指挥平台的应急电力数据的快速交互信息和数据搜集和交互任务的功能模块。控制管理的主要功能通过控制管理模块实现，控制管理模块则负责对模型中外接系统与数据请求服务进行组织管理的功能实现的功能模块。
在本发明实施例中创建数据共享交互模型的过程中还包括：
(1)数据集成与边缘处理过程：
协议转换：首先运用协议解析、中间件等技术兼容ModBus、OPC、CAN、Profibus等各类工业通信协议和软件通信接口，实现数据格式转换和统一。其次利用HTTP、MQTT等方式从边缘侧将采集到的数据传输到云端，实现数据的远程接入。
边缘数据处理：基于实时操作系统、边缘分析算法等技术支撑，在靠近设备或数据源头的网络边缘侧进行数据预处理、存储以及智能分析应用，提升操作响应灵敏度、消除网络堵塞，并与云端分析形成协同。
(2)数据管理处理：
数据处理框架：借助Hadoop、Spark、Storm等分布式处理架构，满足海量数据的批处理和流处理计算需求。数据预处理：运用数据冗余剔除、异常检测、归一化等方法对原始数据进行清洗，为后续存储、管理与分析提供高质量数据来源。
数据存储与管理：通过分布式文件系统、NoSQL数据库、关系数据库、时序数据库等不同的数据管理引擎实现海量工业数据的分区选择、存储、编目与索引等。
微服务架构：提供涵盖服务注册、发现、通信、调用的管理机制和运行环境，支撑基于微型服务单元集成的“松耦合”应用开发和部署。
图形化编程：通过类似Labview的图形化编程工具，简化开发流程，支持用户采用拖拽方式进行应用创建、测试、扩展等。
(3)结合构建的构建标准化数据模型，建立统一的访问机制，限制用户的访问权限和所能使用的计算资源和网络资源实现对云平台重要资源的访问控制和管理，防止非法访问。从而形成统一数据标准。
进一步地，标准模型构建及算法的融入是解决数据标准化和规范化问题的核心所在，该发明是对接口交换所得不同结构数据通过标准模型进行统一化的核心环节，将也是不同的数据处理模块与数据中进行对接的核心处理单元，针对不同的信息源构建统一的设备通信协议智能分析模型(见图3)，然后结合相对统一的基础数据模型，形成标准模型，继而将来自于不同渠道的不同类型的数据进行相应模块的加工处理，形成统一标准和规范的数据。
本发明实施例提供了一种应用于能源工业网的数据处理方法，包括：获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口；生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理，实现了数据的统一处理，提升了数据共享和交互的高效性。
在本发明实施例中还提供了一种应用于能源工业网的数据处理系统，参见图4，包括：
接口获取单元10，用于获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口，以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输；
交互模式确定单元20，用于生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；
管理模式确定单元30，用于确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；
模型创建单元40，用于基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。
可选地，所述接口获取单元包括：
第一获取子单元，用于获取接入能源工业网的数据的数据类型；
第一确定子单元，用于确定与所述数据类型相匹配的转换格式；
第二确定子单元，用于确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；
封装子单元，用于基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
可选地，所述系统还包括：
数据管理单元，用于利用所述目标数据模型对数据进行管理，所述数据管理单元包括：
预处理子单元，用于基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；
第三确定子单元，用于确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；
存储子单元，用于将所述存储信息进行存储。
可选地，所述系统还包括：
访问请求处理单元，用于基于所述目标数据模型对访问请求进行处理，所述访问请求处理单元包括：
解析子单元，用于对所述访问请求进行解析；
第一响应子单元，用于若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；
第二响应子单元，用于若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
可选地，所述访问请求处理单元还包括：
权限验证子单元，用于响应于接收到访问请求，对所述访问请求对应的访问权限进行验证；
资源获取子单元，用于若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
本发明实施例提供了一种应用于能源工业网的数据处理系统，包括：获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口；生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理，实现了数据的统一处理，提升了数据共享和交互的高效性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种应用于能源工业网的数据处理方法，其特征在于，包括：
获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口，以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输；
生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；
确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；
基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。
2.根据权利要求1所述的方法，其特征在于，所述获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式封装，获得数据接口，包括：
获取接入能源工业网的数据的数据类型；
确定与所述数据类型相匹配的转换格式；
确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；
基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述目标数据模型对数据进行管理，包括：
基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；
确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；
将所述存储信息进行存储。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述目标数据模型对访问请求进行处理，包括：
对所述访问请求进行解析；
若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；
若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
响应于接收到访问请求，对所述访问请求对应的访问权限进行验证；
若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
6.一种应用于能源工业网的数据处理系统，其特征在于，包括：
接口获取单元，用于获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口，以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输；
交互模式确定单元，用于生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；
管理模式确定单元，用于确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；
模型创建单元，用于基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。
7.根据权利要求6所述的系统，其特征在于，所述接口获取单元包括：
第一获取子单元，用于获取接入能源工业网的数据的数据类型；
第一确定子单元，用于确定与所述数据类型相匹配的转换格式；
第二确定子单元，用于确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；
封装子单元，用于基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
8.根据权利要求6所述的系统，其特征在于，所述系统还包括：
数据管理单元，用于利用所述目标数据模型对数据进行管理，所述数据管理单元包括：
预处理子单元，用于基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；
第三确定子单元，用于确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；
存储子单元，用于将所述存储信息进行存储。
9.根据权利要求6所述的系统，其特征在于，所述系统还包括：
访问请求处理单元，用于基于所述目标数据模型对访问请求进行处理，所述访问请求处理单元包括：
解析子单元，用于对所述访问请求进行解析；
第一响应子单元，用于若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；
第二响应子单元，用于若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
10.根据权利要求9所述的系统，其特征在于，所述访问请求处理单元还包括：
权限验证子单元，用于响应于接收到访问请求，对所述访问请求对应的访问权限进行验证；
资源获取子单元，用于若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
CN202111055801.4A 2021-09-09 2021-09-09 一种应用于能源工业网的数据处理方法及系统 Active CN113766026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111055801.4A CN113766026B (zh) 2021-09-09 2021-09-09 一种应用于能源工业网的数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111055801.4A CN113766026B (zh) 2021-09-09 2021-09-09 一种应用于能源工业网的数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN113766026A CN113766026A (zh) 2021-12-07
CN113766026B true CN113766026B (zh) 2023-10-03

Family

ID=78794280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111055801.4A Active CN113766026B (zh) 2021-09-09 2021-09-09 一种应用于能源工业网的数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN113766026B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513553A (zh) * 2022-02-16 2022-05-17 北京恒安嘉新安全技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN116781423B (zh) * 2023-08-18 2023-11-03 山东省信息技术产业发展研究院(中国赛宝(山东)实验室) 一种工业互联网数据的共享方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281368A (zh) * 2013-05-22 2013-09-04 河海大学 一种基于云计算的数据共享交换模型及方法
WO2020168692A1 (zh) * 2019-02-22 2020-08-27 全球能源互联网研究院有限公司 海量数据共享方法、开放共享平台及电子设备
CN112187632A (zh) * 2020-09-23 2021-01-05 大唐广电科技（武汉）有限公司 工业设备一体化模型及构建方法、边缘网关装置、工业设备一体化系统
CN112308538A (zh) * 2020-12-03 2021-02-02 国网福建省电力有限公司厦门供电公司 一种多类型园区用户主动服务数据交互方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639297B2 (en) * 2012-03-30 2017-05-02 Commvault Systems, Inc Shared network-available storage that permits concurrent data access
US10264066B2 (en) * 2016-05-10 2019-04-16 Sap Portals Israel Ltd Peer-to-peer data sharing between internet-of-things platforms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281368A (zh) * 2013-05-22 2013-09-04 河海大学 一种基于云计算的数据共享交换模型及方法
WO2020168692A1 (zh) * 2019-02-22 2020-08-27 全球能源互联网研究院有限公司 海量数据共享方法、开放共享平台及电子设备
CN112187632A (zh) * 2020-09-23 2021-01-05 大唐广电科技（武汉）有限公司 工业设备一体化模型及构建方法、边缘网关装置、工业设备一体化系统
CN112308538A (zh) * 2020-12-03 2021-02-02 国网福建省电力有限公司厦门供电公司 一种多类型园区用户主动服务数据交互方法

Also Published As

Publication number Publication date
CN113766026A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN109889551B (zh) 一种智能硬件接入的物联网云平台的方法
CN109709811B (zh) 一种面向智能制造的边缘计算控制器及其工作方法
US10482063B2 (en) Modular control manifest generator for cloud automation
CN112925660B (zh) 一种工业互联的信息交互系统
CN113766026B (zh) 一种应用于能源工业网的数据处理方法及系统
CN111861424A (zh) 一种工业管理平台及工业管理系统
CN110601876A (zh) 一种智能物联网平台
CN115102827B (zh) 一种中小型制造业的数字产品实时监测通用互联网平台
CN113868081A (zh) 一种用于电网物联管理平台的边缘计算框架及其工作方法
Teslyuk et al. Architecture and models for system-level computer-aided design of the management system of energy efficiency of technological processes at the enterprise
Grevenitis et al. A hybrid framework for industrial data storage and exploitation
CN111181773A (zh) 面向异构边云协同智能系统的多组件应用的延迟预测方法
KR102345082B1 (ko) 클라우드 기반 iec61850 정보 처리 방법
Jiang et al. Design of software-defined gateway for industrial interconnection
CN111338247A (zh) 一种基于物联网的模拟控制系统及方法
CN114169579A (zh) 核电工业互联网综合智能平台
WO2022056927A1 (zh) 一种网关、数据收集方法、电子设备、存储介质和程序
Prist et al. Cyber-physical manufacturing systems: An architecture for sensor integration, production line simulation and cloud services
CN112817539A (zh) 一种工业数据存储方法、系统、电子设备及存储介质
CN116599983A (zh) 一种物联网中台操作系统
CN112486666A (zh) 一种模型驱动的参考架构方法及平台
CN111212093A (zh) 数据处理系统及控制设备
KR101757259B1 (ko) Ｃｉｍ 기반 실시간 데이터 교환을 위한 통합관리 시스템
CN114567568A (zh) 基于边缘计算的电力物联网数据处理方法和装置
Zhao et al. Service-oriented IoT resources access and provisioning framework for IoT context-aware environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100053 room 8018, 8 / F, building 7, Guangyi street, Xicheng District, Beijing

Applicant after: State Grid Digital Technology Holdings Co.,Ltd.

Applicant after: State Grid E-Commerce Technology Co.,Ltd.

Address before: 311 guanganmennei street, Xicheng District, Beijing 100053

Applicant before: STATE GRID ELECTRONIC COMMERCE Co.,Ltd.

Applicant before: State Grid E-Commerce Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant