CN104217003A - 一种数据建模系统 - Google Patents

一种数据建模系统 Download PDF

Info

Publication number
CN104217003A
CN104217003A CN201410468329.0A CN201410468329A CN104217003A CN 104217003 A CN104217003 A CN 104217003A CN 201410468329 A CN201410468329 A CN 201410468329A CN 104217003 A CN104217003 A CN 104217003A
Authority
CN
China
Prior art keywords
data
modeling
service metadata
module
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410468329.0A
Other languages
English (en)
Inventor
李霆
苏运东
蔡宇翔
肖琦敏
赵群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Fujian Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Fujian Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Fujian Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201410468329.0A priority Critical patent/CN104217003A/zh
Publication of CN104217003A publication Critical patent/CN104217003A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据建模系统，包括：业务数据建模模块，用于对来自下线系统的结构化数据中的业务元数据进行重新建模，生成统一标准格式的业务元数据，并传给文档数据归集模块；文档数据归集模块，用于接收来自下线系统的非结构化数据以及文档数据归集模块传来的重新建模的业务元数据，然后调用非结构化数据管理平台提供的数据接口，将接收到的数据传给非结构化数据管理平台，以对下线系统的历史数据进行统一存储、管理。该系统有利于将不同格式的历史数据重新建模成统一标准格式数据。

Description

一种数据建模系统
技术领域
本发明涉及数据建模技术领域，特别涉及一种对电力系统中不同格式的历史数据进行重新建模的系统。
背景技术
随着电力业务的快速发展，电力企业早期自建的一些系统已无法满足当前业务管理的需要；同时，下级公司早期自建的系统在功能上与上级公司统推系统存在重复，因此，信息系统整合工作势在必行。随着信息系统下线，将会产生大量的历史数据，这些历史数据格式各不相同，缺乏统一标准。为规范下线系统历史数据格式标准，保护公司数据资产，消除“自转”和“两张皮”现象， 亟需开发一种可以将下线系统不同格式历史数据重新建模成统一标准格式的数据建模系统。
发明内容
本发明的目的在于提供一种数据建模系统，该系统有利于将不同格式的历史数据重新建模成统一标准格式数据。
为实现上述目的，本发明采用的技术方案是：一种数据建模系统，包括：
业务数据建模模块，用于对来自下线系统的结构化数据中的业务元数据进行重新建模，生成统一标准格式的业务元数据，并传给文档数据归集模块；
文档数据归集模块，用于接收来自下线系统的非结构化数据以及文档数据归集模块传来的重新建模的业务元数据，然后调用非结构化数据管理平台提供的数据接口，将接收到的数据传给非结构化数据管理平台，以对下线系统的历史数据进行统一存储、管理。
进一步的，所述业务数据建模模块通过groovy脚本语言实现对业务元数据重新建模，生成统一标准格式的功能。
本发明的有益效果是提供了一种数据建模系统，该系统对下线系统历史数据中的结构化数据进行重新建模，生成统一标准格式数据，并将其与下线系统历史数据中的非结构化数据一起传给非结构化数据管理平台进行统一存储、管理，实现了将不同下线系统中不同格式的历史数据重新建模成统一标准格式数据，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明实施例的系统结构示意图。
图2是本发明实施例的数据流转示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明数据建模系统，如图1所示，包括业务数据建模模块和文档数据归集模块。
业务数据建模模块，用于对来自下线系统的结构化数据中的业务元数据进行重新建模，生成统一标准格式的业务元数据，并传给文档数据归集模块。结构化数据分为公共元数据和业务元数据，其中公共元数据是对文件的基本信息进行描述，如：大小、日期等；而业务元数据则赋予该数据业务含义，如：是否合同？隶属项目等。本系统的业务数据建模模块通过groovy脚本语言实现对业务元数据重新建模、生成统一标准格式的功能。Groovy 是用于Java虚拟机的一种敏捷的动态语言，根据groovy语言动态类型特性，开发人员仅需对脚本做轻量开发并封装，其中的属性值均可实现灵活、动态变化。
文档数据归集模块，用于接收来自下线系统的非结构化数据以及文档数据归集模块传来的重新建模的业务元数据，然后调用非结构化数据管理平台提供的Webservices数据接口，将接收到的数据传给非结构化数据管理平台，以对下线系统的历史数据进行统一存储、管理。文档数据归集是基于非结构化数据管理平台，对下线系统历史数据进行统一存储、统一管理。传给非结构化数据管理平台的非结构化数据不仅包含文件本身，还包含前面通过重新建模的业务元数据信息。文档数据归集模块通过调用非结构化数据管理平台提供的Webservices接口实现，它是一种构建应用程序的普遍模型，可以在任何支持网络通信的操作系统中实施运行，它逻辑性的为其他应用程序提供数据与服务.各应用程序通过网络协议和规定的一些标准数据格式（Http，XML，Soap)来访问WebService，通过WebService内部执行得到所需结果。
实施例：同业对标系统历史数据建模
本发明的数据建模系统包括：业务数据建模模块、文档数据归集模块。
首先，对下线系统的原始数据进行梳理与分析，将其转换为excel表格文件，再结合业务部门对历史数据的展现需求，从原始数据库中提取相应的数据信息，如图2所示。
getExcelContent方法为获取原始数据excel文件中的数据内容，并提取数据信息，获取的数据数据内容可以根据需要各种类型之间的转换都会自动发生，比如在这些类型之间的转换：字符串（String），基本类型(如int) 和类型的包装类 (如Integer)之间，可以把不同的基本类型添加到同一数组（collections）中。
获取原始数据信息后，该模块会将这些数据信息按标准数据格式重新生产excel表格，并将该excel表格的名称、路径信息传给文档数据归集模块。
其次，文档数据归集模块调用非结构化数据管理平台提供的Webservices服务接口，通过add方法将文档及对应业务元数据写入。非结构化数据管理平台。fileProperty属性值为Json字符串，本方法中将其设置为动态属性，属性值由前面业务数据建模模块处理后的结果决定。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (2)

1.一种数据建模系统，其特征在于，包括：
业务数据建模模块，用于对来自下线系统的结构化数据中的业务元数据进行重新建模，生成统一标准格式的业务元数据，并传给文档数据归集模块；
文档数据归集模块，用于接收来自下线系统的非结构化数据以及文档数据归集模块传来的重新建模的业务元数据，然后调用非结构化数据管理平台提供的数据接口，将接收到的数据传给非结构化数据管理平台，以对下线系统的历史数据进行统一存储、管理。
2.根据权利要求1所述的一种数据建模系统，其特征在于，所述业务数据建模模块通过groovy脚本语言实现对业务元数据重新建模，生成统一标准格式的功能。
CN201410468329.0A 2014-09-15 2014-09-15 一种数据建模系统 Pending CN104217003A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410468329.0A CN104217003A (zh) 2014-09-15 2014-09-15 一种数据建模系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410468329.0A CN104217003A (zh) 2014-09-15 2014-09-15 一种数据建模系统

Publications (1)

Publication Number Publication Date
CN104217003A true CN104217003A (zh) 2014-12-17

Family

ID=52098493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410468329.0A Pending CN104217003A (zh) 2014-09-15 2014-09-15 一种数据建模系统

Country Status (1)

Country Link
CN (1) CN104217003A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547918A (zh) * 2016-11-30 2017-03-29 长城计算机软件与系统有限公司 一种统计数据的整合方法及系统
CN107124465A (zh) * 2017-05-12 2017-09-01 国网江苏省电力公司电力科学研究院 面向大规模接入的分布式光伏远程数据采集系统架构方法
CN108009290A (zh) * 2017-12-25 2018-05-08 国电南瑞科技股份有限公司 一种轨道交通指挥中心线网大数据的数据建模和存储方法
CN108197192A (zh) * 2017-12-26 2018-06-22 重庆信联达软件有限公司 用于实现企业内部数据标准化的主数据系统
CN109408688A (zh) * 2018-10-17 2019-03-01 珠海市智图数研信息技术有限公司 一种非结构化数据标注管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1570910A (zh) * 2003-07-11 2005-01-26 北京直真节点技术开发有限公司 一种通用对象建模方法及通用对象管理系统
CN101908176A (zh) * 2010-08-02 2010-12-08 国电南瑞科技股份有限公司 一种基于电力信息数据建模及元数据管理应用方法
US20110219038A1 (en) * 2010-03-02 2011-09-08 International Business Machines Corporation Simplified entity relationship model to access structure data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1570910A (zh) * 2003-07-11 2005-01-26 北京直真节点技术开发有限公司 一种通用对象建模方法及通用对象管理系统
US20110219038A1 (en) * 2010-03-02 2011-09-08 International Business Machines Corporation Simplified entity relationship model to access structure data
CN101908176A (zh) * 2010-08-02 2010-12-08 国电南瑞科技股份有限公司 一种基于电力信息数据建模及元数据管理应用方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
戴浩: "基于业务元数据的多维建模系统设计与实现", 《计算机工程与设计》 *
韦琳 等: "E-learning非结构化数据管理系统的构建与实现", 《中国科学技术大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547918A (zh) * 2016-11-30 2017-03-29 长城计算机软件与系统有限公司 一种统计数据的整合方法及系统
CN106547918B (zh) * 2016-11-30 2020-06-09 长城计算机软件与系统有限公司 一种统计数据的整合方法及系统
CN107124465A (zh) * 2017-05-12 2017-09-01 国网江苏省电力公司电力科学研究院 面向大规模接入的分布式光伏远程数据采集系统架构方法
CN108009290A (zh) * 2017-12-25 2018-05-08 国电南瑞科技股份有限公司 一种轨道交通指挥中心线网大数据的数据建模和存储方法
CN108009290B (zh) * 2017-12-25 2022-03-15 国电南瑞科技股份有限公司 一种轨道交通指挥中心线网大数据的数据建模和存储方法
CN108197192A (zh) * 2017-12-26 2018-06-22 重庆信联达软件有限公司 用于实现企业内部数据标准化的主数据系统
CN109408688A (zh) * 2018-10-17 2019-03-01 珠海市智图数研信息技术有限公司 一种非结构化数据标注管理方法及系统

Similar Documents

Publication Publication Date Title
CN105843182B (zh) 一种基于oms的电力调度事故预案系统及方法
CN108932588B (zh) 一种前后端分离的水电站群优化调度系统及方法
US11423358B2 (en) Electric power software development platform
CN105046327B (zh) 一种基于机器学习技术的智能电网信息系统及方法
CN104217003A (zh) 一种数据建模系统
CN103607466B (zh) 一种基于云计算的广域多级分布式并行电网分析方法
CN105550268A (zh) 大数据流程建模分析引擎
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN104573184B (zh) 高速列车产品元模型构建方法和装置
CN103729732A (zh) 一种分布式能源信息建模及信息交互方法
CN111008762A (zh) 一种电力营销服务系统业务中台设计方法
CN103914307A (zh) 一种基于可复用库的交互界面快速实现方法
CN111524027B (zh) 一种电力信息统计方法、装置、设备及存储介质
CN110780856B (zh) 一种基于微服务的用电数据发布平台
CN104361457A (zh) 配电网生产检修管理的信息建模方法、交互系统及方法
CN103064670A (zh) 基于位置网的创新平台数据管理方法及系统
KR20220012935A (ko) 도메인 간 데이터 상호작용 방법 및 장치
CN103353857A (zh) 一种变电站综合监测单元的通信测试方法
CN116594836A (zh) 一种基于云原生的多云异构资源统一监控方法及装置
CN104268194A (zh) 一种动态生成舆情简报的方法
CN115794078A (zh) 无代码ai模型开发系统和方法
CN112532432B (zh) 一种基于ltu终端的自动成图方法及系统
CN104809664A (zh) 一种配电主站的信息集成方法
Qayyum et al. Energy Trading Framework Based on IoT and Digital Twin for Nanogrid Environment
Derzko et al. Optimal exploration and consumption of a national resource-stochastic case

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141217