CN107506443A - 一种跨平台的智能数据传输方法 - Google Patents

一种跨平台的智能数据传输方法 Download PDF

Info

Publication number
CN107506443A
CN107506443A CN201710739070.2A CN201710739070A CN107506443A CN 107506443 A CN107506443 A CN 107506443A CN 201710739070 A CN201710739070 A CN 201710739070A CN 107506443 A CN107506443 A CN 107506443A
Authority
CN
China
Prior art keywords
data
weather
weather data
service
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710739070.2A
Other languages
English (en)
Inventor
王磊
李萌
李钊
金成明
丛培贤
乔林
黄文思
李金湖
杨智斌
陈坤
徐海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Liaoning Electric Power Co Ltd
Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Liaoning Electric Power Co Ltd
Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, State Grid Liaoning Electric Power Co Ltd, Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201710739070.2A priority Critical patent/CN107506443A/zh
Publication of CN107506443A publication Critical patent/CN107506443A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Public Health (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Water Supply & Treatment (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种跨平台的智能数据传输方法，属于电力系统智能传输领域，通过运用FTP技术和ETL技术相结合进行进行跨平台智能传输，主要步骤如下：(1)通过外部数据接口，从广域网中获取外部天气数据信息；(2)通过反向隔离写入技术，将外部天气数据，写入指定的内网共享位置；(3)通过数据智能传输模块中定时任务调度功能进行智能传输；(4)跟据要求将天气数据和电力其他相关数据共同抽取至业务应用数据存储服务器；(5)业务需求人员基于应用数据储存的天气数据和电力信息采集数据、档案数据、窃电案例数据等开展线损计算、窃电分析预测等业务。从而解决现有技术，效率低、安全性差的问题。

Description

一种跨平台的智能数据传输方法
技术领域
本发明涉电力系统数据传输领域，特别涉及一种跨平台的智能数据传输方法。
背景技术
随着电力系统的迅猛发展，计算机技术在电网系统中的应用也越来越广泛，外部数据资产对电力系统的发展有着一定的参考和指导价值，而且对数据的安全性要求比较高，有一部分重要的外部数据为外部天气数据，其存储格式为文本文档格式，且存储位置为远端服务器，出于对电力系统数据的安全性考虑，此远程服务器不允许直接向其他服务加载本地数据，或者直接连接生产服务器。根据全业务统一数据中心建设需求，需将天气数据由远端服务器抽取至全业务统一数据中心关系型数据库中，常规的技术路线是由数据管理人员，通过安全存储设备将该部分数据拷贝至缓冲服务器，再通过数据抽取工具将缓冲服务器中的文本文档数据抽取至关系型数据库，无法实现将远端服务器内的文本文件直接抽取至关系型数据库。该方法存在准确性差，实效性低，工作人员工作量大且效率不高，很难适应当下需求。
发明内容
本发明研究目的为：通过ETL技术与FTP技术相结合的方式，将远端服务器内的文本文件抽取至关系型数据库的技术方法，来解决当前在迁移天气数据时，需要人工参与才能完成外部数据的接入相应数据库，为后续的数据统计、分析提供技术支撑，指导相关业务工作开展。传统实现方式主要为“人工硬件拷贝+人工ETL文件入库”和“人工下载+人工ETL文件入库”，均需要人工参与，消耗人力成本，效率较低，且实时性较低，在传统的人工参与方式中，可能存在由于操作人员疏忽，而导致在数据拷贝或下载过程中，少拷贝或少下载文件，可能由于安全存储设备损坏，而导致数据无法拷贝等多种问题导致的影响数据传递质量差、时效性差等缺点。
本发明通过运用FTP技术和ETL技术相结合，实现了数据“智能拷贝、智能入库”，减少了人力成本，提升外部数据迁移的效率，为业务人员基于数据分析指导开展相关业务争取了宝贵时间。一种跨平台的智能数据传输方法，所述包括如下步骤：
步骤1通过外部数据接口，从广域网(中国天气网)中获取外部天气数据信息(城市、最高温度、最低温度、实际温度、相对湿度、降水量、风力、风向、日期、时间等)；
步骤2通过反向隔离数据接入技术，将在FTP服务器上的天气数据写入信息安全反向隔离装置指定的内网共享位置(只允许外部服务把数据写入到内网的指定存储服务中，不允许从外网读取信息)；
步骤3全业务统一数据中心侧通过数据智能传输模块中定时从共享位置智能下载，并将外部天气数据加载至全业务统一数据中心的缓冲区中；
步骤4根据全业务统一数据中间建设情况将天气数据和电力其他相关数据共同抽取至业务应用数据存储服务器(当前统一为数据仓库服务器)；
步骤5业务需求人员基于应用数据储存的天气数据和电力信息采集数据、档案数据、窃电案例数据等开展线损计算、窃电分析预测工作，并根据分析结果，指导相关业务开展；
与现有技术相比有益效果：跟传统技术相比有效减少了人力成本，提升数据迁移的效率，节省数据传输时间，数据安全性更高。
附图说明
图1数据传输架构图
图2智能传输模型结构图
具体的实施方式
对上述一种跨平台的智能数据传输方法，具体实施步骤如下：
步骤1通过外部数据接口，从广域网(中国天气网)中获取外部天气数据信息(城市、最高温度、最低温度、实际温度、相对湿度、降水量、风力、风向、日期、时间等)，将其暂时存在外部数据FTP服务器上；
步骤2通过反向隔离数据接入技术，将在FTP服务器上的天气数据写入信息安全反向隔离装置指定的内网共享位置(即一级数据存储服务器中且只允许外部服务把数据写入到内网的指定存储服务中，不允许从外网读取信息)；
步骤3通过数据智能传输模块中定时任务调度功能，通过对定时任务模块采取一天一次的定时任务指定智能传输模块会以ftp方式，定时登录一级数据存储服务器指定位置拷贝下载天气数据存储文件，将天气数据存储文件下载至ETL工具所在服务器。智能传输模块利用ETL工具，解析下载后的天气数据，并将外部天气数据抽取至全业务统一数据中心缓冲区中；
步骤4根据全业务统一数据中间建设情况将天气数据和电力其他相关数据共同抽取至业务应用数据存储服务器(当前统一为数据仓库服务器)；
步骤5业务人员根据业务需要利用数据仓库中天气数据器其他数据开展业务进展分析，并根据分析结果开展线损降损和防窃电预测等工作。

Claims (3)

1.一种跨平台的智能数据传输方法，其特征在于，包括如下步骤：
步骤1通过外部数据接口，从广域网即中国天气网中获取外部天气数据信息；
步骤2通过反向隔离数据接入技术，将在FTP服务器上的天气数据写入信息安全反向隔离装置指定的共享位置且只允许外部服务把数据写入到内网的指定存储服务中，不允许从外网读取信息；
步骤3通过数据智能传输模块中定时任务调度功能进行外部天气数据的智能传输；
步骤4根据全业务统一数据中间建设情况将天气数据和电力其他相关数据共同抽取至业务应用数据存储服务器即当前统一为数据仓库服务器；
步骤5业务需求人员基于应用数据储存的天气数据和电力信息采集数据、档案数据、窃电案例数据等开展线损计算、窃电分析预测工作，并根据分析结果，指导相关业务开展。
2.根据权利要求1中所述，一种跨平台的智能数据传输方法，其特征在于，步骤1中，获取外部数据包括：城市、最高温度、最低温度、实际温度、相对湿度、降水量、风力、风向、日期、时间等。
3.根据权利要求1中所述，一种跨平台的智能数据传输方法，其特征在于，步骤3中的智能传输，其特征在于，通过数据智能传输模块中定时任务调度功能，通过对定时任务模块采取一天一次的定时任务指定智能传输模块会以ftp方式，定时登录一级数据存储服务器指定位置拷贝下载天气数据存储文件，将天气数据存储文件下载至ETL工具所在服务器，智能传输模块利用ETL工具，解析下载后的天气数据，并将外部天气数据抽取至全业务统一数据中心缓冲区中。
CN201710739070.2A 2017-08-25 2017-08-25 一种跨平台的智能数据传输方法 Pending CN107506443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710739070.2A CN107506443A (zh) 2017-08-25 2017-08-25 一种跨平台的智能数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710739070.2A CN107506443A (zh) 2017-08-25 2017-08-25 一种跨平台的智能数据传输方法

Publications (1)

Publication Number Publication Date
CN107506443A true CN107506443A (zh) 2017-12-22

Family

ID=60692810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710739070.2A Pending CN107506443A (zh) 2017-08-25 2017-08-25 一种跨平台的智能数据传输方法

Country Status (1)

Country Link
CN (1) CN107506443A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212910A1 (en) * 2002-03-29 2003-11-13 Rowland Craig H. Method and system for reducing the false alarm rate of network intrusion detection systems
CN101867620A (zh) * 2010-07-02 2010-10-20 南京南瑞继保电气有限公司 一种跨安全区查看前置报文的方法
CN102088393A (zh) * 2009-12-02 2011-06-08 南京南瑞继保电气有限公司 一种跨安全区正反向数据传输方法
CN103383798A (zh) * 2012-05-04 2013-11-06 山西省电力公司阳泉供电公司 一种基于电网gis山火灾害监测与预警分析方法及系统
CN103383744A (zh) * 2012-05-04 2013-11-06 山西省电力公司阳泉供电公司 公网气象数据在电网防灾减灾中应用的方法及系统
US20140056126A1 (en) * 2012-08-27 2014-02-27 Verizon Patent And Licensing Inc. Method and system for providing fault isolation for a service path in an ethernet-based network
CN103810542A (zh) * 2014-03-07 2014-05-21 北京动力京工科技有限公司 风电场风功率预测系统及实现方法
CN103825241A (zh) * 2014-03-18 2014-05-28 贵州电网公司六盘水供电局 一种电网元件零序参数的自动获取方法
CN105577785A (zh) * 2015-12-22 2016-05-11 华立科技股份有限公司 一种跨区网络通信系统及其实现方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212910A1 (en) * 2002-03-29 2003-11-13 Rowland Craig H. Method and system for reducing the false alarm rate of network intrusion detection systems
CN102088393A (zh) * 2009-12-02 2011-06-08 南京南瑞继保电气有限公司 一种跨安全区正反向数据传输方法
CN101867620A (zh) * 2010-07-02 2010-10-20 南京南瑞继保电气有限公司 一种跨安全区查看前置报文的方法
CN103383798A (zh) * 2012-05-04 2013-11-06 山西省电力公司阳泉供电公司 一种基于电网gis山火灾害监测与预警分析方法及系统
CN103383744A (zh) * 2012-05-04 2013-11-06 山西省电力公司阳泉供电公司 公网气象数据在电网防灾减灾中应用的方法及系统
US20140056126A1 (en) * 2012-08-27 2014-02-27 Verizon Patent And Licensing Inc. Method and system for providing fault isolation for a service path in an ethernet-based network
CN103810542A (zh) * 2014-03-07 2014-05-21 北京动力京工科技有限公司 风电场风功率预测系统及实现方法
CN103825241A (zh) * 2014-03-18 2014-05-28 贵州电网公司六盘水供电局 一种电网元件零序参数的自动获取方法
CN105577785A (zh) * 2015-12-22 2016-05-11 华立科技股份有限公司 一种跨区网络通信系统及其实现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘金锁: "基于单向隔离技术的电力内外网信息安全交互平台研究", 《电力信息化》 *
宋卫平: "四川省电力公司双网隔离环境下内外网交互平台的设计与实现", 《万方学位数据库》 *
方圆: "一种内外网隔离的移动应用架构安全风险分析", 《数字技术与应用》 *

Similar Documents

Publication Publication Date Title
CN102722764A (zh) 一体化电网优化辅助决策分析系统
CN107404674A (zh) 一种用电信息采集终端采集任务优先级调度控制方法
WO2005029364A8 (en) System and method for managing dynamic content assembly
WO2004046878A3 (en) Method, system and storage medium for creating and maintaining an enterprise architecture
CN104951857A (zh) 基于电网gis的气象数据调用与预处理方法及系统
CN106066849A (zh) 一种模板页面编辑系统及方法
CN102508919A (zh) 数据处理方法及系统
CN109165915A (zh) 基于lbs和物联网的户外作业人员自动考勤系统及方法
CN202600765U (zh) 智能化供电系统数据综合管理系统
CN104361128A (zh) 一种基于水工巡检业务的pc端与移动端数据同步方法
CN107506443A (zh) 一种跨平台的智能数据传输方法
CN201667083U (zh) 配电巡检系统
CN102739966A (zh) 一种远程集控系统中的节目单编辑的方法及装置
CN101826178A (zh) 配电巡检系统
CN102332111A (zh) 一种人事管理系统
CN102495897A (zh) 印鉴卡智能管控系统及方法
CN104392506B (zh) 一种支持多终端平台的水电站水工巡检数据同步和数据管理方法
CN112258149B (zh) 一种线路可转供电率的确定方法、装置、设备及存储介质
CN108108925B (zh) 一种受限环境下干警交接班系统及方法
CN104252159A (zh) 交管物联网高效巡检云系统
CN205356414U (zh) 一种跨平台的语音和手下答题过程录制系统
CN202486856U (zh) 安全巡更装置
CN201910667U (zh) 巡视管理系统
CN206164530U (zh) 一种电力管井数据采录系统
CN109669974A (zh) 移动终端气象数据保存处理方法、移动终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171222

RJ01 Rejection of invention patent application after publication