CN104715051B - 一种面向电站系统异构数据融合的一体化处理方法 - Google Patents
一种面向电站系统异构数据融合的一体化处理方法 Download PDFInfo
- Publication number
- CN104715051B CN104715051B CN201510142365.2A CN201510142365A CN104715051B CN 104715051 B CN104715051 B CN 104715051B CN 201510142365 A CN201510142365 A CN 201510142365A CN 104715051 B CN104715051 B CN 104715051B
- Authority
- CN
- China
- Prior art keywords
- data
- isomeric
- processing platform
- subsystem
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种面向电站系统异构数据融合的一体化处理方法，包括以下步骤：所述数据库将数据实时传输到所述服务器中；所述服务器将接收到的数据实时传输到所述异构数据一体化存储与处理平台中；所述异构数据一体化存储与处理平台将接收到的数据进行存储和处理；所述异构数据一体化存储与处理平台将处理后的数据传输到各个所述数据源系统中。本发明的方法与现有技术相比，实现了不同的业务系统中的异构数据在异构数据处理平台EXA中能够进行融合，避免了同一信息的多次重复输入及数据失真的情况，保证了数据可同步更新，提高了系统的可维护性，提高了数据的实时性、一致性和准确性；帮助企业实现数据共享，提高管理与决策的科学性、合理性。
Description
技术领域
本发明属于数字信息传输与处理技术领域，涉及一种异构数据融合的一体化处理方法，具体是涉及一种面向电站系统的异构数据融合的一体化处理方法。
背景技术
传统电站中存在多个不同的业务系统，这些分散的业务系统可能来自不同厂商，所以每个业务系统都有各自的数据库，导致数据之间存在异构，这些异构数据彼此之间数据信息不能共享、互相孤立，容易形成当前企业信息化建设中普遍存在的现象——信息孤岛；分散的不同的业务系统导致数据信息的多口采集，同一数据可能在不同的业务系统中不一样；同时同一信息需要多次重复的输入，不仅增加额外的劳动，也容易出现数据失真的情况；不同的业务系统还导致企业需要多样性使用和维护，信息更新的同步性差，严重影响数据的实时性、一致性和正确性；由于缺乏业务系统之间的功能交互与信息共享，企业内不同业务流程容易出现脱节，影响业务和经营管理的顺利进行；孤立的信息系统无法提供跨部门、跨系统的综合性信息，各类数据不能形成有价值的信息，局部的信息不能提升为管理知识，无法从整体上提供企业运营数据，也就无法支持企业管理层的科学决策。
综上所述，传统电站的异构数据影响数据的实时性、一致性和准确性；影响业务和经营的管理的顺利进行；影响科学决策。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种实时、准确且系统维护性高的面向电站系统的异构数据融合的一体化处理方法。
技术方案：为实现上述目的，本发明的一种面向电站系统异构数据融合的一体化处理方法，提供面向电站系统异构数据融合的一体化处理系统，所述系统包括若干个数据源系统、服务器和异构数据一体化存储与处理平台，所述数据源系统与所述服务器连接，所述服务器与所述异构数据一体化存储与处理平台连接，所述异构数据一体化存储与处理平台与所述数据源系统连接，所述数据源系统包括与该数据源系统对应的数据库和网络交换机；
所述方法包括以下步骤：
(1)所述数据库将数据实时传输到所述服务器中；
(2)所述服务器将接收到的数据实时传输到所述异构数据一体化存储与处理平台中；
(3)所述异构数据一体化存储与处理平台将接收到的数据进行存储和处理；
(4)所述异构数据一体化存储与处理平台将处理后的数据传输到各个所述数据源系统中。
进一步地，所述异构数据一体化存储与处理平台为异构数据处理平台EXA。
进一步地，所述步骤(3)中，所述异构数据处理平台EXA中设有数据属性，所述数据属性包括数据点名、组别、描述、单位、历史和附录信息，所述异构数据处理平台EXA将接收到的数据分别根据所述数据属性对各数据进行存储和处理。
进一步地，所述异构数据处理平台EXA包括4个子系统，4个子系统分别为：EXANow子系统、EXAOne子系统、EXATime子系统和EXAEvent子系统，所述EXANow子系统用于针对实时信息的网络化内存键值对系统，为整套系统提供全局统一的实时数据中心、数据交换中心和跨网络高速缓存；所述EXAOne子系统用于针对非实时数据、非周期性数据之外的所有数据提供数据持久化和无结构存储与访问；所述EXATime子系统用于周期性地存储所述EXANow子系统中的数据，将该数据形成历史数据；所述EXAEvent子系统是面向事件的存储系统，用于存储所述历史数据。
进一步地，所述EXANow子系统中网络化内存键值包括Name-Value和Key-Value。
进一步地，所述服务器为OPC或ModBus服务器。
有益效果：本发明的方法与现有技术比较，具有的优点是：
(1)不同的业务系统中的异构数据在异构数据处理平台EXA中能够进行融合，避免了同一信息的多次重复输入及数据失真的情况，保证了数据可同步更新，提高了系统的可维护性，提高了数据的实时性、一致性和准确性；
(2)本发明提供的系统和方法可以实现不用业务系统之间的功能交互与信息共享，可以实现不同业务系统的共同经营管理，从而可实现管控一体化；
(3)本发明提供的系统和方法可提供跨部门、跨系统的综合信息，将各类数据形成有价值的信息，将局部的信息提升为管理知识，从整体上提供企业的运营质量，支持实现企业管理层科学决策，实现了决策的科学性、合理性。
附图说明
图1是本发明中面向电站系统异构数据融合的一体化处理系统结构示意图；
图2是本发明中数据库与异构数据处理平台EXA之间的传输结构示意图。
具体实施方式
下面结合实施例和附图对本发明作更进一步的说明。
参照图1，一种面向电站系统异构数据融合的一体化处理系统，包括若干个不同的数据源系统、服务器和异构数据一体化存储与处理平台，所述数据源系统与所述服务器连接，所述服务器与所述异构数据一体化存储与处理平台连接，所述异构数据一体化存储与处理平台最后再与所述数据源系统连接，所述数据源系统与所述服务器连接是通过所述数据源系统的数据输出接口与所述服务器的数据采集接口连接实现的，所述服务器与所述异构数据一体化存储与处理平台连接是通过所述服务器的数据输出接口与所述异构数据一体化存储与处理平台的数据采集接口连接实现的，所述异构数据一体化存储与处理平台与所述数据源系统连接是通过所述异构数据一体化存储与处理平台的数据输出接口与所述数据源系统再连接实现的，最终目的是将所述异构数据一体化存储与处理平台最终处理的数据传给需要的数据库，其中所述数据源系统对应不同的业务系统，所述数据源系统包括与该数据源系统对应的数据库和网络交换机，这样就有若干个不同的数据库作为数据源提供数据，不同的数据源系统导致数据都是海量的异构数据，异构数据源是关键决策信息，异构数据特点是：异构数据可能是海量的、低密度的和关系型的；异构数据可能是海量的、高密度的和非关系型的；异构数据可能是高速的、时变的和高密度的；异构数据还可能是非连续的文档格式的；这些异构数据需要经过后期的处理，比如数据校正、参数软测量、数据集成、数据融合、数据重构和数据协调，这些涉及到数字化管理、数字化控控制和数字化工程。
实施例：
在本发明实施例中，所述服务器为OPC或ModBus服务器，所述异构数据一体化存储与处理平台采用异构数据处理平台EXA对异构数据进行一体化存储和处理，所述异构数据处理平台EXA包括4个子系统，4个子系统分别应对不同的应用需求，4个子系统分别为：EXANow子系统、EXAOne子系统、EXATime子系统和EXAEvent子系统，所述EXANow子系统针对实时信息的网络化内存键值对系统，用于为整套系统提供全局统一的实时数据中心、数据交换中心和跨网络高速缓存，所述EXANow子系统中网络化内存键值包括Name-Value和Key-Value；所述EXAOne子系统针对非实时数据、非周期性数据之外的所有数据提供提供数据存储与访问系统，用于提供数据持久化和无结构存储与访问，可以存储一切格式的数据；所述EXATime子系统是针对EXANow子系统中的数据进行持久化存储，可用于周期性地存储所述EXANow子系统中的数据，该数据从而形成历史数据；所述EXAEvent子系统是一套面向事件的存储系统，用于存储复杂结构的所述历史数据。
所述数据源系统对应的不同的业务系统包括DCS系统、MIS系统、SIS系统、FSSS系统和FCS系统等，这些系统为电站中已建的系统，也是异构数据源的来源，所述异构数据处理平台EXA可以对这些系统中的异构数据源的结构及数据元特点进行详细分析，并以机组与典型设备为对象，确定异构数据源之间的关联的数据源及异构数据源的融合需求，分析异构数据之间的分布、异构、动态特性以及完整性等特点，全面获得并建立统一的数据结构，并将其进行抽取、加工与集成操作。
参照图2，在本发明实施例中，根据数据特点各个数据源系统中的数据库分为实时数据库、关系型数据库、文本文件和Web页面，实时数据库包括PI数据库、eDNA数据库、Industrial SQL Server数据库和iHistorian数据库，关系型数据库包括SQL Server数据库、Oracle数据库、DB2数据库和Sybase数据库，文本文件包括SYLK、CSV和其它特殊格式文本文件；
一种面向电站系统异构数据融合的一体化处理方法，包括以下步骤：
(1)上述各个数据库将其数据实时导入到数据预处理工具中的OPC或ModBus服务器中；其中文本文件数据类型中：SYLK文本文件通过ODBC驱动工具将数据传输到后续的数据预处理工具中、CSV文本文件通过ODBC驱动工具将数据传输到后续的数据预处理工具中、特殊格式文本文件通过文本转换工具将数据传输到后续的数据预处理工具中；Web页面数据类型中：HTML数据依次通过XML工具形成XML数据、XSL样式表形成XML文档和XML解析工具将数据传输到后续的数据预处理工具中，实时数据库和关系型数据库中的各个数据库均通过各自的服务器将数据传输到后续的数据预处理工具中；
(2)所述OPC或ModBus服务器将接收到的各个数据库中的数据实时传输到数据预处理工具中的所述异构数据处理平台EXA中；
(3)所述异构数据处理平台EXA中设有数据属性，所述数据属性为与各点数据对应的数据点名、组别、描述、单位、历史和附录信息，所述异构数据处理平台EXA将接收到的异构数据分别根据所述数据属性对各异构数据进行存储和处理；所述异构数据处理平台EXA可以对这些系统中的异构数据源的结构及数据元特点进行详细分析，并以机组与典型设备为对象，确定异构数据源之间的关联的数据源及异构数据源的融合需求，分析异构数据之间的分布、异构、动态特性以及完整性等特点，全面获得并建立统一的数据结构，并将其进行抽取、加工与集成操作；
(4)所述异构数据处理平台EXA将处理后的数据最终传输到各个所述数据源系统中。上述数据均为实时不断传输。
本发明使用的方法将不同系统中的异构数据在异构数据处理平台EXA中进行融合，然后最终将融合处理后的数据传输到各个不同的业务系统中，避免了同一数据的多次重复输入及数据失真的情况，保证了数据可同步更新，提高了系统的可维护性，提高了数据的实时性、一致性和准确性。
本发明中异构数据处理平台EXA具有百万级测点容量、支持数学、模拟等各种计算函数、具备报警机制、支持WEB管理，远程访问企业信息、可进行跨平台设计，具有良好的兼容性。其性能指标通过如下表所示，在表3中，点号的个数是指数据库中点的个数，赋值用时是指数据库中数据传输到所述异构数据处理平台EXA中，所述异构数据处理平台EXA对异构数据进行融合处理前的延时，取值时间是指所述异构数据处理平台EXA对异构数据进行融合处理这一过程所用的时间；从表3中可以看出，当数据库的个数越来越多时，即电站系统的数目越来越多，异构数据源越来越多，异构数据的数目也越来越多时，所述异构数据处理平台EXA对异构数据进行融合处理前的延时时间越长，所述异构数据处理平台EXA对异构数据进行融合处理这一过程所用的时间也越来越长。
表3
| 点号的个数 | 赋值用时(ms) | 取值用时(ms) |
| 30 | <1 | 1.4 |
| 120 | <1 | 1.9 |
| 2000 | 10.1 | 8 |
| 7000 | 21.7 | 20.2 |
| 15000 | 53.6 | 50.8 |
| 30000 | 104.9 | 119.2 |
| 50000 | 53.6 | 169.4 |
| 70000 | 242.6 | 265.5 |
| 100000 | 371.9 | 400.9 |
| 180000 | 594.6 | 659.1 |
上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种面向电站系统异构数据融合的一体化处理方法，其特征在于：提供面向电站系统异构数据融合的一体化处理系统，所述系统包括若干个数据源系统、服务器和异构数据一体化存储与处理平台，所述数据源系统与所述服务器连接，所述服务器与所述异构数据一体化存储与处理平台连接，所述异构数据一体化存储与处理平台与所述数据源系统连接，所述数据源系统包括与该数据源系统对应的数据库和网络交换机；其中，所述数据源系统对应不同的业务系统，所述数据源系统对应的不同的业务系统包括DCS系统、MIS系统、SIS系统、FSSS系统和FCS系统；所述数据源系统中的数据库包括实时数据库、关系型数据库、文本文件和Web页面；
所述方法包括以下步骤：
(1)所述各个数据库将其数据实时传输到所述服务器中；
(2)所述服务器将接收到的数据实时传输到所述异构数据一体化存储与处理平台中；
(3)所述异构数据一体化存储与处理平台将接收到的数据进行存储和处理；
(4)所述异构数据一体化存储与处理平台将处理后的数据传输到各个所述数据源系统中；
其中，所述异构数据一体化存储与处理平台为异构数据处理平台EXA，所述异构数据处理平台EXA包括4个子系统，分别为：EXANow子系统、EXAOne子系统、EXATime子系统和EXAEvent子系统，所述EXANow子系统用于针对实时信息的网络化内存键值对系统，为整套系统提供全局统一的实时数据中心、数据交换中心和跨网络高速缓存；所述EXAOne子系统用于针对非实时数据、非周期性数据之外的所有数据提供数据持久化和无结构存储与访问；所述EXATime子系统用于周期性地存储所述EXANow子系统中的数据，将该数据形成历史数据；所述EXAEvent子系统是面向事件的存储系统，用于存储所述历史数据。
2.根据权利要求1所述的面向电站系统异构数据融合的一体化处理方法，其特征在于：所述步骤(3)中，所述异构数据处理平台EXA中设有数据属性，所述数据属性包括数据点名、组别、描述、单位、历史和附录信息，所述异构数据处理平台EXA将接收到的数据分别根据所述数据属性对各数据进行存储和处理。
3.根据权利要求1所述的面向电站系统异构数据融合的一体化处理方法，其特征在于：所述EXANow子系统中网络化内存键值包括Name-Value和Key-Value。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510142365.2A CN104715051B (zh) | 2015-03-30 | 2015-03-30 | 一种面向电站系统异构数据融合的一体化处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510142365.2A CN104715051B (zh) | 2015-03-30 | 2015-03-30 | 一种面向电站系统异构数据融合的一体化处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104715051A CN104715051A (zh) | 2015-06-17 |
| CN104715051B true CN104715051B (zh) | 2019-02-15 |
Family
ID=53414377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510142365.2A Active CN104715051B (zh) | 2015-03-30 | 2015-03-30 | 一种面向电站系统异构数据融合的一体化处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104715051B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389131A (zh) * | 2015-11-23 | 2016-03-09 | 江苏瑞中数据股份有限公司 | 一种流程工业生产系统数据采集方法 |
| CN106777104A (zh) * | 2016-12-15 | 2017-05-31 | 国云科技股份有限公司 | 一种获取异构软件系统数据的系统及实现方法 |
| CN108416043A (zh) * | 2018-03-14 | 2018-08-17 | 中煤科工集团重庆研究院有限公司 | 多平台空间数据融合与同步方法 |
| CN110716952A (zh) * | 2019-09-24 | 2020-01-21 | 中国电子科技集团公司电子科学研究院 | 一种多源异构数据处理方法、装置和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452450A (zh) * | 2007-11-30 | 2009-06-10 | 上海市电力公司 | 一种多源数据转换服务方法及其装置 |
| CN101539931A (zh) * | 2009-04-21 | 2009-09-23 | 中国民航大学 | 一种航班动态信息数据整合器及处理方法 |
| CN102567334A (zh) * | 2010-12-15 | 2012-07-11 | 上海杉达学院 | 基于异构数据的办公自动化系统 |
| CN103136249A (zh) * | 2011-11-30 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 多模态异构数据整合系统及方法 |
-
2015
- 2015-03-30 CN CN201510142365.2A patent/CN104715051B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452450A (zh) * | 2007-11-30 | 2009-06-10 | 上海市电力公司 | 一种多源数据转换服务方法及其装置 |
| CN101539931A (zh) * | 2009-04-21 | 2009-09-23 | 中国民航大学 | 一种航班动态信息数据整合器及处理方法 |
| CN102567334A (zh) * | 2010-12-15 | 2012-07-11 | 上海杉达学院 | 基于异构数据的办公自动化系统 |
| CN103136249A (zh) * | 2011-11-30 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 多模态异构数据整合系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 异构数据融合中间件的研究与应用;朱好好;《中国优秀硕士学位论文全文数据库信息科技辑》;20130815;第I138-495页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104715051A (zh) | 2015-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103955502B (zh) | 一种可视化olap的应用实现方法及系统 | |
| CN104715051B (zh) | 一种面向电站系统异构数据融合的一体化处理方法 | |
| CN103345508B (zh) | 一种适用于社会网络图的数据存储方法及系统 | |
| CN103218517B (zh) | 基于gis的区域网格化人口密度空间化计算方法 | |
| CN105069025A (zh) | 一种大数据的智能聚合可视化与管控系统 | |
| CN112291706A (zh) | 一种基于大数据和人工智能的网络优化方法 | |
| CN103929759B (zh) | 一种基于病历的移动网网络优化方法及网络优化系统 | |
| CN106873945A (zh) | 基于批处理和流式处理的数据处理架构及数据处理方法 | |
| CN105760449A (zh) | 一种面向多源异构数据的云推送方法 | |
| CN106208043B (zh) | 一种中低压配电网关键耗能环节辨识方法 | |
| CN103326904A (zh) | 一种基于多参数认知的快速网络拓扑推断方法 | |
| CN106484758A (zh) | 一种基于网格和聚类优化的实时数据流核密度估计方法 | |
| CN106600240A (zh) | 供电企业基于大数据精益辅助的电网调控运营管理系统 | |
| CN103593435A (zh) | 不确定数据PT-TopK查询近似处理系统和方法 | |
| CN108647860A (zh) | 基于OpenStack的电力设备状态监测与评估云平台 | |
| CN103793757A (zh) | 一种层级式模块化电网规划方案优化方法 | |
| CN113553312A (zh) | 一种基于电梯生产工艺的数字孪生建设方法 | |
| CN111368060A (zh) | 对话机器人的自学习方法、装置、系统、电子设备及介质 | |
| Gong et al. | Rank‐based analysis method to determine OWA weights and its application in group decision making | |
| CN202309752U (zh) | 一种网络负载均衡的系统 | |
| CN114995342A (zh) | 一种基于大数据技术的c3无线通信超时分析方法及系统 | |
| CN108666928B (zh) | 一种电力通信站巡视优化方法 | |
| CN109742856B (zh) | 台区电能表网络三维物理拓扑结构图生成方法 | |
| CN115705400A (zh) | 话务量预测模型构建方法、装置及计算机可读存储介质 | |
| CN111178763A (zh) | 一种企业能效数据管理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Four pailou Nanjing Xuanwu District of Jiangsu Province, No. 2 210018 Applicant after: Southeast University Applicant after: DATANG SUZHOU CO-GENERATION POWER CO., LTD. Address before: Four pailou Nanjing Xuanwu District of Jiangsu Province, No. 2 210018 Applicant before: Southeast University |
|
| CB02 | Change of applicant information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhou Jianxin Inventor after: Si Fengqi Inventor after: Cui Yanfeng Inventor after: Wang Ben Inventor after: Li Jiawei Inventor before: Wang Ben |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |