CN106528880A - 一种多源电力业务数据的数据结构格式的规整方法和系统 - Google Patents
一种多源电力业务数据的数据结构格式的规整方法和系统 Download PDFInfo
- Publication number
- CN106528880A CN106528880A CN201611152134.0A CN201611152134A CN106528880A CN 106528880 A CN106528880 A CN 106528880A CN 201611152134 A CN201611152134 A CN 201611152134A CN 106528880 A CN106528880 A CN 106528880A
- Authority
- CN
- China
- Prior art keywords
- data
- power business
- structure format
- business data
- data structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000013523 data management Methods 0.000 claims abstract description 27
- 238000007726 management method Methods 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims description 15
- 238000013501 data transformation Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000012517 data analytics Methods 0.000 claims description 9
- 238000013506 data mapping Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 2
- 238000004140 cleaning Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 7
- 235000006719 Cassia obtusifolia Nutrition 0.000 description 4
- 235000014552 Cassia tora Nutrition 0.000 description 4
- 244000201986 Cassia tora Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种多源电力业务数据的数据结构格式的规整方法和系统，其中，规整方法用于主站系统，包括：使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。本发明的技术方案能够为电力业务数据提供统一的数据结构格式，能够提高清洗效率。
Description
技术领域
本发明涉及电力技术领域，更为具体地说，涉及一种多源电力业务数据的数据结构格式的规整方法和系统。
背景技术
电力网络包括子站系统和主站系统，一个主站系统可能连接多个子站系统，从而对不同子站系统上传的电力业务数据进行集成，例如：通过不同的电流互感器/电压互感器从具体电力设备采集电力信息的二次装置作为子站系统，会向作为主站系统的信息业务系统传递电力业务数据。
由于一个主站系统可能连接多个子站系统，子站系统之间相互独立，并且即使是同一子站系统前、后上传至主站系统的电力业务数据也可能相互重叠，导致主站系统接收到的电力业务数据可能存在冗余；同时，由于子站系统与主站系统之间的信息传递往往缺乏统一的建模和传输规范，导致主站系统接收到的电力业务数据可能为存在数据错误、缺失的“脏”数据。因此为了减少数据的冗余、错误和缺失问题，通常在主站系统集成数据之前，需要对数据进行清洗。
然而，主站系统接收到的电力业务数据的数据源类型繁多，往往包括：数据库类数据源、web-services数据源以及文本格式txt、xls和XML等文本数据源等多种类型；不同数据源的电力业务数据，其数据结构格式往往不同。并且由于主站系统往往连接多个子站系统，子站系统与主站系统之间的信息传输缺乏统一的建模与传输规范，导致主站系统获取到的电力业务数据的数据结构格式的差异较大。由于上述原因，在对电力业务数据清洗时，会导致数据的清洗效率下降，甚至导致数据无法清洗的问题。
发明内容
本发明的目的是提供一种多源电力业务数据的规整的技术方案，以解决背景技术中所介绍的现有技术中电力业务数据清洗效率下降，甚至数据无法清洗的问题。
为了解决上述技术问题，本发明提供如下技术方案：
根据本发明的第一方面，提供了一种多源电力业务数据的数据结构格式的规整方法，该数据结构格式的规整方法用于主站系统，包括：
使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；
使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；
使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。
优选地，所述数据结构格式的规整方法还包括：
将所述CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；
确定与所述电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。
优选地，所述使用数据管理规范对多个数据源的电力业务数据进行接入管理，包括：
使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。
优选地，所述使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为CIM形式的电力业务数据，包括：
使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；
将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。
优选地，所述数据源类型包括：数据库类型、文件类型和规约数据流类型；
所述数据管理规范包括：与所述数据库类型对应的数据库处理规范、与所述文件类型对应的文件传输协议FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。
根据本发明的第二方面，还提供了一种多源电力业务数据的数据结构格式的规整系统，用于主站系统，所述规整系统包括：
数据接入管理模块，用于使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；
数据统一抽取模块，用于使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；
数据统一解析模块，用于使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。
优选地，所述数据结构格式的规整系统还包括：
数据映射模块，用于将所述CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；
数据统一接口模块，用于确定与所述电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。
优选地，所述数据接入管理模块，具体用于使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。
优选地，所述数据统一解析模块，包括：
第一数据转换子模块，用于使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；
第二数据转换子模块，用于将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。
优选地，所述数据源类型包括：数据库类型、文件类型和规约数据流类型；
所述数据管理规范包括：与所述数据库类型对应的数据库处理规范、与所述文件类型对应的文件传输协议FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。
通过上述工作过程可以得出，本发明提供的多源电力业务数据的数据结构格式的规整方案，通过使用数据管理规范对多个数据源中的电力业务数据进行接入管理，然后通过格式数据转换模型抽取电力业务数据，使用与电力业务数据的数据结构格式对应的模型处理规范，将电力业务数据的数据结构格式转换为匹配主站系统的数据结构格式，然后将电力业务数据转换为通用信息模型CIM形式的电力业务数据，能够建立电力业务数据的统一的数据结构格式，从而方便电力业务数据在子站系统和主站系统之间的传输，并方便对电力业务数据进行清洗，提高数据清洗效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一示例性实施例示出的第一种多源电力业务数据的数据结构格式的规整方法的流程图；
图2是图1所示实施例示出的一种电力业务数据转换方法的流程图；
图3是本发明一示例性实施例示出的第二种多源电力业务数据的数据结构格式的规整方法的流程图；
图4是本发明一示例性实施例示出的第一种多源电力业务数据的数据结构格式的规整系统的结构图；
图5是图4所示实施例示出的一种数据统一解析模块的结构图；
图6是本发明一示例性实施例示出的第二种多源电力业务数据的数据结构格式的规整系统的结构图；
图7是本发明一示例性实施例示出的一种多源电力业务数据的数据结构格式的规整系统的架构图。
具体实施方式
本发明实施例提供的多源电力业务数据的数据结构格式的规整方案，解决了背景技术中所介绍的电力业务数据的数据结构格式的差异较大，导致数据的清洗效率下降，甚至导致数据无法清洗的问题。
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中的技术方案作进一步详细的说明。
请参考附图1，图1是本发明一示例性实施例示出的一种多源电力业务数据的数据结构格式的规整方法的流程示意图。如图1所示，本发明实施例提供的多源电力业务数据的数据结构格式的规整方法包括：
S110：使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；
电力业务数据的数据源包括数据库类数据源；网络服务web-services、aop类数据源；文件系统类数据源；iec 61850和iec61870等多种数据源类型。总体来讲，可将电力业务数据的数据源划分为数据库类型、文件类型和规约数据流类型三部分。并且与数据源类型对应的数据管理规范包括与所述数据库类型对应的数据库处理规范、与所述文件类型对应的文件传输协议FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。
在本发明实施例中，具体使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。主站系统接收到的电力业务数据主要为子站系统发送的，也包括从数据库等其他存储器件中获取到的。
S120：使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；
在本实施例中数据转换模型至少包括CIM/RDF模型、XML模型和特定格式模型三种类型，该三种模型可对应于主站系统的数据结构格式，如CIM、RDF或XML格式等。
通过将电力业务数据的数据结构格式转换为匹配主站系统的数据结构格式，能够方便主站系统对电力业务数据进行数据规范，减小数据结构格式不统一导致的清洗速度下降的情况。
S130：使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。
在本发明实施例中，模型处理规范可包括Jena处理方法、DOM处理方法和SAX处理方法，通过四种方法对不同的模型数据进行解析，并将解析后的数据封装为统一的JavaBean接口模式。
在本发明实施例中，该步骤S130：使用与电力业务数据的数据结构格式对应的模型处理规范，将电力业务数据转换为CIM形式的电力业务数据包括：
S131：使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；
S132：将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。
在本发明实施例中，解析包括对电力业务数据的语法进行解析，通过解析语法，将电力业务数据转化为内存中的变量或对象数据，然后再转换为标准CIM模型数据。相应地，格式转换即通过解析元数据在内存中构建的对象数据转换为标准的CIM模型数据的过程。
虽然电力业务的数据结构格式经过了转换，能够方便对数据进行统一的清洗等处理，然而由于不同电力业务数据具有不同的传输规范，因此在电力业务数据传输时可能会出现传输效率低下，甚至无法传输的情况。如将电力业务数据传输入数据库中，由于没有统一的传输接口会导致数据传输效率低下。
在将电力业务数据转换为CIM形式的电力业务数据后，如图3所示，图1中的数据结构格式的规整方法还包括：
S140：将CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；
S150：确定与电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。
具体地，需要将CIM形式的电力业务数据封装为统一的JavaBean结构格式，然后为该电力业务数据提供统一的接口，实现对象到关系数据库数据的映射，以供数据清洗使用。
本发明实施例提供的多源电力业务数据的数据结构格式的规整方法，通过使用数据管理规范对多个数据源中的电力业务数据进行接入管理，然后通过格式数据转换模型抽取电力业务数据，使用与电力业务数据的数据结构格式对应的模型处理规范，将电力业务数据的数据结构格式转换为匹配主站系统的数据结构格式，然后将电力业务数据转换为通用信息模型CIM形式的电力业务数据，能够建立电力业务数据的统一的数据结构格式，从而方便电力业务数据在子站系统和主站系统之间的传输，并方便对电力业务数据进行清洗，提高数据清洗效率。
基于同一发明构思，本申请实施例还提供了多源电力业务数据的数据结构格式的规整系统，由于所述系统对应的方法是本申请实施例中的多源电力业务数据的数据结构的规整方法，并且该系统解决问题的原理与方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。
请参见图4，本发明实施例还提供了一种多源电力业务数据的数据结构格式的规整系统，该数据结构格式的规整系统用于主站系统，所述规整系统包括：
数据接入管理模块401，用于使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；
其中，数据源类型包括：数据库类型、文件类型和规约数据流类型；所述数据管理规范包括：与所述数据库类型对应的数据库处理规范、与所述文件类型对应的FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。
其中，所述数据接入管理模块401，具体用于使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。
数据统一抽取模块402，用于使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；
数据统一解析模块403，用于使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。
如图5所示，图4所示的数据统一解析模块403，包括：
第一数据转换子模块4031，用于使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；
第二数据转换子模块4032，用于将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。
本发明实施例提供的多源电力业务数据的数据结构格式的规整系统，通过使用数据管理规范对多个数据源中的电力业务数据进行接入管理，然后通过格式数据转换模型抽取电力业务数据，使用与电力业务数据的数据结构格式对应的模型处理规范，将电力业务数据的数据结构格式转换为匹配主站系统的数据结构格式，然后将电力业务数据转换为通用信息模型CIM形式的电力业务数据，能够建立电力业务数据的统一的数据结构格式，从而方便电力业务数据在子站系统和主站系统之间的传输，并方便对电力业务数据进行清洗，提高数据清洗效率。
请参见图6，图4所示的数据结构格式的规整系统还包括：
数据映射模块404，用于将所述CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；
数据统一接口模块405，用于确定与所述电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。
请参见图7，图7为本发明一示例性实施例提供的一种多源电力业务数据的数据结构格式的规整系统的架构图。如图7所示，该多源电力业务数据的数据结构格式的规整系统，包括：数据源管理模块71、数据统一抽取模块72、数据统一解析模块73以及数据统一接口模块74四部分组成。
其中，数据源管理模块71由数据库处理模块711、网络服务web-services处理模块712、文件系统处理模块713、协议处理模块714组成；数据统一抽取模块72由通用信息/资源描述CIM/RDF模型721、可扩展标记语言XML模型722、特定格式数据模型723组成；数据统一解析模块73由工具包Jena处理模块731、文档对象DOM处理模块732、推模型SAX处理模块715、特定格式处理模块734组成；数据统一接口模块74由集成模块741和数据接口742组成。
首先，使用数据源管理模块71对需要接入的数据进行数据源配置管理，可以通过数据库处理模块711、网络服务web-services处理模块712、文件系统处理模块713和协议处理模块714分别完成对数据库类数据源、网络服务协议web-services和面向行为aop类数据源；文件系统类数据源、iec 61850和iec61870等类数据源的接入管理。
然后，由数据源管理模块71管理的数据源直接交由数据统一抽取模块72进行抽取，数据统一抽取模块72通过通用信息/资源描述CIM/RDF模型721、可扩展标记语言XML模型722和特定格式数据模型723这三种模型抽取各数据源中的数据。
再次，数据统一抽取模块72抽取到各模型数据后交由数据统一解析模块73进行处理，分别通过Jena处理模块731、文档对象DOM处理模块732、推模型SAX处理模块733和特定格式处理模块734这四个模块对上述数据统一抽取模块抽取的不同模型的电力业务数据进行解析，并将其封装为统一的JavaBean结构格式，通过JavaBean完成格式转换后交由最终数据统一接口模块74处理，由数据接口742其提供统一接口。
在本发明中，数据获取主要是根据各自不同的数据来源制定相应的数据获取策略，总结现有电网中的数据获取方式，数据源类型可划分为数据库、文件、规约数据流三种方式，各自不同的方式所需要的获取方式是不同的，区别对待；数据解析是对获取到的源数据进行语法解析，转换为内存中的变量或者对象数据。根据源数据格式的不同，将其分为三种：通用信息/资源描述CIM/RDF格式、普通的可扩展标记语言XML格式、特定格式的文本文件；格式转换是通过解析源数据在内存中构建的对象数据转换为标准的通用信息CIM模型的过程。格式的转换和数据的解析构建在一个程序模块中，直接将内存中的对象按照CIM模型进行定义；对象-关系映射以中间件(CIM模型)的形式存在，实现对象到关系数据库数据的映射。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种多源电力业务数据的数据结构格式的规整方法，其特征在于，所述规整方法用于主站系统，包括：
使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；
使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；
使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。
2.根据权利要求1所述的数据结构格式的规整方法，其特征在于，还包括：
将所述CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；
确定与所述电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。
3.根据权利要求1所述的数据结构格式的规整方法，其特征在于，所述使用数据管理规范对多个数据源的电力业务数据进行接入管理，包括：
使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。
4.根据权利要求1所述的数据结构格式的规整方法，其特征在于，所述使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为CIM形式的电力业务数据，包括：
使用所述模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；
将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。
5.根据权利要求1所述的数据结构格式的规整方法，其特征在于，
所述数据源类型包括：数据库类型、文件类型和规约数据流类型；
所述数据管理规范包括：与所述数据库类型对应的数据库处理规范、与所述文件类型对应的文件传输协议FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。
6.一种多源电力业务数据的数据结构格式的规整系统，其特征在于，用于主站系统，所述规整系统包括：
数据接入管理模块，用于使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；
数据统一抽取模块，用于使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；
数据统一解析模块，用于使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。
7.根据权利要求6所述的数据结构格式的规整系统，其特征在于，还包括：
数据映射模块，用于将所述CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；
数据统一接口模块，用于确定与所述电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。
8.根据权利要求6所述的数据结构格式的规整系统，其特征在于，所述数据接入管理模块，具体用于使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。
9.根据权利要求6所述的数据结构格式的规整系统，其特征在于，所述数据统一解析模块，包括：
第一数据转换子模块，用于使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；
第二数据转换子模块，用于将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。
10.根据权利要求6所述的数据结构格式的规整系统，其特征在于，所述数据源类型包括：数据库类型、文件类型和规约数据流类型；
所述数据管理规范包括：与所述数据库类型对应的数据库处理规范、与所述文件类型对应的文件传输协议FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611152134.0A CN106528880B (zh) | 2016-12-14 | 2016-12-14 | 一种多源电力业务数据的数据结构格式的规整方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611152134.0A CN106528880B (zh) | 2016-12-14 | 2016-12-14 | 一种多源电力业务数据的数据结构格式的规整方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106528880A true CN106528880A (zh) | 2017-03-22 |
| CN106528880B CN106528880B (zh) | 2019-12-10 |
Family
ID=58339347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611152134.0A Active CN106528880B (zh) | 2016-12-14 | 2016-12-14 | 一种多源电力业务数据的数据结构格式的规整方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106528880B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107391596A (zh) * | 2017-06-29 | 2017-11-24 | 中国电力科学研究院 | 一种配电网海量数据融合方法及装置 |
| CN107909493A (zh) * | 2017-12-04 | 2018-04-13 | 泰康保险集团股份有限公司 | 保单信息处理方法、装置、计算机设备和存储介质 |
| CN108449407A (zh) * | 2018-03-14 | 2018-08-24 | 中煤科工集团重庆研究院有限公司 | 多源异构煤矿安全监测数据采集方法 |
| CN109213752A (zh) * | 2018-08-06 | 2019-01-15 | 国网福建省电力有限公司信息通信分公司 | 一种基于cim的数据清洗转换方法 |
| CN109525563A (zh) * | 2018-10-31 | 2019-03-26 | 哈尔滨电工仪表研究所有限公司 | Dl/t 698.45协议中读取对象属性的解析方法 |
| CN109639766A (zh) * | 2018-11-19 | 2019-04-16 | 山东新海软件股份有限公司 | 一种基于云存储技术的存储箱 |
| CN109949877A (zh) * | 2019-03-15 | 2019-06-28 | 北京科技大学 | 一种基于材料科学实验的数据融合方法及系统 |
| CN109992615A (zh) * | 2019-02-25 | 2019-07-09 | 贵州力创科技发展有限公司 | 一种通用导出方法、装置和存储介质 |
| CN110033285A (zh) * | 2019-03-12 | 2019-07-19 | 平安城市建设科技(深圳)有限公司 | 房源信息发布方法、装置、设备及计算机可读存储介质 |
| CN110060071A (zh) * | 2019-03-12 | 2019-07-26 | 平安城市建设科技(深圳)有限公司 | 房源信息验证方法、装置、设备及计算机可读存储介质 |
| CN110941656A (zh) * | 2019-09-23 | 2020-03-31 | 新奥数能科技有限公司 | 基于泛能cim的物联网数据接入方法及装置 |
| CN115794795A (zh) * | 2022-12-08 | 2023-03-14 | 湖北华中电力科技开发有限责任公司 | 一种配电台区用电数据规范化清洗方法、装置、系统及存储介质 |
| CN116015951A (zh) * | 2022-12-31 | 2023-04-25 | 北京天融信网络安全技术有限公司 | 时间对象匹配方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101272051A (zh) * | 2008-05-06 | 2008-09-24 | 江苏省电力公司南京供电公司 | 电网生产控制大区和管理信息大区的信息系统集成方法 |
| CN101593113A (zh) * | 2009-06-30 | 2009-12-02 | 深圳市科陆电子科技股份有限公司 | 接口应用系统及用web service实现数据接口的方法 |
| CN102184209A (zh) * | 2011-04-29 | 2011-09-14 | 中国电力科学研究院 | 一种基于cim电网模型接口的仿真数据接入方法 |
| CN103546469A (zh) * | 2013-10-24 | 2014-01-29 | 杭州智光一创科技有限公司 | 一种电力通用数据交换方法 |
| US20140279890A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Data migration framework |
| CN104361425A (zh) * | 2014-10-14 | 2015-02-18 | 许继电气股份有限公司 | 基于代理的智能变电站全景信息综合集成展示方法 |
-
2016
- 2016-12-14 CN CN201611152134.0A patent/CN106528880B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101272051A (zh) * | 2008-05-06 | 2008-09-24 | 江苏省电力公司南京供电公司 | 电网生产控制大区和管理信息大区的信息系统集成方法 |
| CN101593113A (zh) * | 2009-06-30 | 2009-12-02 | 深圳市科陆电子科技股份有限公司 | 接口应用系统及用web service实现数据接口的方法 |
| CN102184209A (zh) * | 2011-04-29 | 2011-09-14 | 中国电力科学研究院 | 一种基于cim电网模型接口的仿真数据接入方法 |
| US20140279890A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Data migration framework |
| CN103546469A (zh) * | 2013-10-24 | 2014-01-29 | 杭州智光一创科技有限公司 | 一种电力通用数据交换方法 |
| CN104361425A (zh) * | 2014-10-14 | 2015-02-18 | 许继电气股份有限公司 | 基于代理的智能变电站全景信息综合集成展示方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107391596A (zh) * | 2017-06-29 | 2017-11-24 | 中国电力科学研究院 | 一种配电网海量数据融合方法及装置 |
| CN107391596B (zh) * | 2017-06-29 | 2023-09-22 | 中国电力科学研究院 | 一种配电网海量数据融合方法及装置 |
| CN107909493B (zh) * | 2017-12-04 | 2020-07-17 | 泰康保险集团股份有限公司 | 保单信息处理方法、装置、计算机设备和存储介质 |
| CN107909493A (zh) * | 2017-12-04 | 2018-04-13 | 泰康保险集团股份有限公司 | 保单信息处理方法、装置、计算机设备和存储介质 |
| CN108449407A (zh) * | 2018-03-14 | 2018-08-24 | 中煤科工集团重庆研究院有限公司 | 多源异构煤矿安全监测数据采集方法 |
| CN108449407B (zh) * | 2018-03-14 | 2021-03-23 | 中煤科工集团重庆研究院有限公司 | 多源异构煤矿安全监测数据采集方法 |
| CN109213752A (zh) * | 2018-08-06 | 2019-01-15 | 国网福建省电力有限公司信息通信分公司 | 一种基于cim的数据清洗转换方法 |
| CN109525563A (zh) * | 2018-10-31 | 2019-03-26 | 哈尔滨电工仪表研究所有限公司 | Dl/t 698.45协议中读取对象属性的解析方法 |
| CN109639766A (zh) * | 2018-11-19 | 2019-04-16 | 山东新海软件股份有限公司 | 一种基于云存储技术的存储箱 |
| CN109992615A (zh) * | 2019-02-25 | 2019-07-09 | 贵州力创科技发展有限公司 | 一种通用导出方法、装置和存储介质 |
| CN110033285A (zh) * | 2019-03-12 | 2019-07-19 | 平安城市建设科技(深圳)有限公司 | 房源信息发布方法、装置、设备及计算机可读存储介质 |
| CN110060071A (zh) * | 2019-03-12 | 2019-07-26 | 平安城市建设科技(深圳)有限公司 | 房源信息验证方法、装置、设备及计算机可读存储介质 |
| CN109949877A (zh) * | 2019-03-15 | 2019-06-28 | 北京科技大学 | 一种基于材料科学实验的数据融合方法及系统 |
| CN110941656A (zh) * | 2019-09-23 | 2020-03-31 | 新奥数能科技有限公司 | 基于泛能cim的物联网数据接入方法及装置 |
| CN115794795A (zh) * | 2022-12-08 | 2023-03-14 | 湖北华中电力科技开发有限责任公司 | 一种配电台区用电数据规范化清洗方法、装置、系统及存储介质 |
| CN115794795B (zh) * | 2022-12-08 | 2023-09-22 | 湖北华中电力科技开发有限责任公司 | 一种配电台区用电数据规范化清洗方法、装置、系统及存储介质 |
| CN116015951A (zh) * | 2022-12-31 | 2023-04-25 | 北京天融信网络安全技术有限公司 | 时间对象匹配方法、装置、电子设备及存储介质 |
| CN116015951B (zh) * | 2022-12-31 | 2023-08-29 | 北京天融信网络安全技术有限公司 | 时间对象匹配方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106528880B (zh) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106528880A (zh) | 一种多源电力业务数据的数据结构格式的规整方法和系统 | |
| CN104699801B (zh) | 一种二次设备关联配置的方法及装置 | |
| CN102750406B (zh) | 一种基于模型集和差异模型的电网模型多版本管理方法 | |
| CN103955789B (zh) | 一种基于调配用一体化模型的供电路径分析方法 | |
| CN102801213B (zh) | 一种变电站scd配置文件的集成方法和装置 | |
| CN103544352B (zh) | 基于scd文件的虚端子连接图形化方法 | |
| CN103927698B (zh) | 一种智能变电站虚端子关联设备自动识别方法 | |
| CN107292003A (zh) | 一种电网厂站接线图自动生成方法 | |
| CN105162252B (zh) | 基于cid文件的即插即用配电终端信息实现自动映射的方法 | |
| CN107844466B (zh) | 一种故障录波文件分析模型自动生成系统及方法 | |
| CN103049431B (zh) | 基于模型对象化语义的icd检验方法 | |
| CN107515741A (zh) | 一种变电站与主站间数据的轻量化传输方法和装置 | |
| KR101743904B1 (ko) | Iec61850과 dnp3.0 변환용 게이트웨이 및 iec61850 클라이언트에서 dnp3.0 슬레이브에 요청하는 서비스를 처리하는 방법 | |
| CN112217805B (zh) | 一种配电物联网多模协议适配方法 | |
| CN102231107B (zh) | 基于autosar的电控单元通信数据格式的自动生成方法 | |
| CN107193917A (zh) | 基于iid的全站系统配置文件无损数据更新方法 | |
| CN105760272A (zh) | 基于插件的监控后台业务定制方法及其系统 | |
| CN107463706A (zh) | 一种基于Hadoop的海量录波数据存储和解析方法及系统 | |
| CN106528961A (zh) | 一种基于系统描述自动生成二次设备关联配置的方法 | |
| CN107332702A (zh) | 一种基于网络拓扑的scd文件可视化解析自动生成方法 | |
| CN106910143A (zh) | 配电网图模多版本控制方法和系统 | |
| CN114398567A (zh) | 一种多时态电网拓扑图数据管理方法、装置及计算机设备 | |
| CN104750468B (zh) | 一种服务端拓扑数据转换方法和转换装置 | |
| CN104050265A (zh) | 基于iec61968标准的总线通用适配器构建方法 | |
| CN106844819B (zh) | 智能站二次图模库设计工具数据库采集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |