CN107204892A - 电力通信网运行数据处理方法及装置 - Google Patents

电力通信网运行数据处理方法及装置 Download PDF

Info

Publication number
CN107204892A
CN107204892A CN201710236961.6A CN201710236961A CN107204892A CN 107204892 A CN107204892 A CN 107204892A CN 201710236961 A CN201710236961 A CN 201710236961A CN 107204892 A CN107204892 A CN 107204892A
Authority
CN
China
Prior art keywords
data
network
power telecom
hdfs
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710236961.6A
Other languages
English (en)
Other versions
CN107204892B (zh
Inventor
张春光
赵景宏
孙乔
胡宇
刘春宇
刘世民
李祉岐
孙磊
赵峰
冷曼
肖海龙
付兰梅
金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central university of finance and economics
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Beijing Guodiantong Network Technology Co Ltd
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Information and Telecommunication Branch of State Grid East Inner Mogolia Electric Power Co Ltd
Original Assignee
Central university of finance and economics
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Beijing Guodiantong Network Technology Co Ltd
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
East Inner Mongolia Electric Power Co Ltd
Beijing Fibrlink Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central university of finance and economics, State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Beijing Guodiantong Network Technology Co Ltd, Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd, East Inner Mongolia Electric Power Co Ltd, Beijing Fibrlink Communications Co Ltd filed Critical Central university of finance and economics
Priority to CN201710236961.6A priority Critical patent/CN107204892B/zh
Publication of CN107204892A publication Critical patent/CN107204892A/zh
Application granted granted Critical
Publication of CN107204892B publication Critical patent/CN107204892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/30Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种电力通信网运行数据处理方法及装置,包括:获取电力通信网运维业务的多数据源数据;根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理,得到可存储数据;从所述可存储数据中抽取出多数据源增量数据;根据数据安全评估指标对所述多数据源增量数据进行安全审计。本发明提供的电力通信网运行数据处理方法及装置,解决了现有技术需要对全部数据进行更新而浪费资源的问题。

Description

电力通信网运行数据处理方法及装置
技术领域
本发明涉及电力技术领域,特别是指一种电力通信网运行数据处理方法及装置。
背景技术
随着数字信息化时代的迅猛发展,信息量也呈爆炸性增长态势,电力行业中数据量也具有体量大、类型多、速度快的特点。目前电力通信网络正朝着大规模、分布式的方向发展,网络的攻击行为也向着复杂化、规模化的方向发展。
为了保证电力通信网络的安全运营,必须对网络安全态势进行感知和评估,从而对攻击行为做出实时响应。电力通信网络的数据来源较多,数据类型繁多,因此需要对其进行数据采集和提取才可以为电力通信网络安全态势预测提供有价值的数据。
但是,在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
在实现电力通信网络安全态势预测的过程中,需要对电力通信网络进行完整的数据采集和全部数据的提取与分析,这样会造成资源消耗过大的问题。
发明内容
有鉴于此,本发明的目的在于提出一种电力通信网运行数据处理方法及装置,以解决现有技术对全部数据进行更新而浪费资源的问题。
基于上述目的本发明提供的电力通信网运行数据处理方法,包括:
获取电力通信网运维业务的多数据源数据;
根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理,得到可存储数据;
从所述可存储数据中抽取出多数据源增量数据;
根据数据安全评估指标对所述多数据源增量数据进行安全审计。
在一些可选实施方式中,所述获取电力通信网运维业务的多数据源数据的步骤包括:
通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据。
在一些可选实施方式中,所述通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据的步骤具体包括:
对于能够序列化的结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于不能够序列化的结构性数据,通过ETL统一抽取并存放在分布式数据库环境中,作为数据的中转站;进行数据质量检查和处理后,再经过序列化后,存放到大数据分布式存储平台的HDFS中;经处理后还不能序列化的结构性数据,则通过数据接口直接存放到大数据分布式存储平台的HDFS中;
对于能够序列化的半结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于非结构性数据,直接存放到大数据分布式存储平台的HDFS中。
在一些可选实施方式中,所述多数据源增量数据的抽取标识为时间戳。
在一些可选实施方式中,所述多数据源增量数据包括建设类基础数据和运行类基础数据;所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据,所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据、运维工作质量数据。
本发明实施例的另一方面,提供了一种电力通信网运行数据处理装置,包括:
数据获取模块,用于获取电力通信网运维业务的多数据源数据;
数据融合模块,用于根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理,得到可存储数据;
数据抽取模块,用于从所述可存储数据中抽取出多数据源增量数据;
数据审计模块,用于根据数据安全评估指标对所述多数据源增量数据进行安全审计。
在一些可选实施方式中,所述数据获取模块,具体用于通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据。
在一些可选实施方式中,所述数据获取模块,具体用于:
对于能够序列化的结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于不能够序列化的结构性数据,通过ETL统一抽取并存放在分布式数据库环境中,作为数据的中转站;进行数据质量检查和处理后,再经过序列化后,存放到大数据分布式存储平台的HDFS中;经处理后还不能序列化的结构性数据,则通过数据接口直接存放到大数据分布式存储平台的HDFS中;
对于能够序列化的半结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于非结构性数据,直接存放到大数据分布式存储平台的HDFS中。
在一些可选实施方式中,所述多数据源增量数据的抽取标识为时间戳。
在一些可选实施方式中,所述多数据源增量数据包括建设类基础数据和运行类基础数据;所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据,所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据、运维工作质量数据。
从上面所述可以看出,本发明提供的电力通信网运行数据处理方法及装置,通过对获取的多数据源数据进行合并处理得到可存储数据,再根据可存储数据得到增量数据,并对增量数据进行安全审计,使得无需对全部获取的多数据源数据进行分析就能进行安全审计,从而减少了资源浪费。
附图说明
图1为本发明提供的电力通信网运行数据处理方法的一个实施例的流程示意图;
图2为本发明提供的电力通信网运行数据处理装置的一个实施例的模块结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
基于上述目的,本发明实施例的第一个方面,提供了一种能够解决现有技术对全部数据进行更新而浪费资源的问题的电力通信网运行数据处理方法。如图1所示,为本发明提供的电力通信网运行数据处理方法的一个实施例的流程示意图。
所述电力通信网运行数据处理方法,包括以下步骤:
步骤101:获取电力通信网运维业务的多数据源数据;可选的,通过大数据分布式存储平台进行所述多数据源数据的获取。
所述多数据源数据包括建设类基础数据和运行类基础数据。
所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据,这四个大类;具体而言,所述网络规模数据包括:通信站规模、光缆规模、通信设备规模、租用资源规模和出租资源规模,这5个小类;所述网络覆盖数据包括:光纤覆盖率和业务网覆盖率,这2个小类;所述网络投资数据包括:年度计划投资、五年规划投资和投资后评估,这3个小类;所述网络资源数据包括光缆资源、传输网资源、业务网资源、支撑网资源、无线电频率资源,这5个小类。
所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据和运维工作质量数据,这4个大类;具体而言,所述通信网业务规模数据包括业务通道数量和通信业务使用情况,这2个小类;所述通信网运行情况数据包括设备运行情况和业务运行情况,这2个小类;所述通信网网络性能数据包括业务抗风险能力和网络抗风险能力,这2个小类;所述运维工作质量数据包括调度、检修、方式、维护、保障和客服,这6个小类。
可选的,所述获取电力通信网运维业务的多数据源数据的步骤101还可具体包括以下步骤:
所述大数据分布式存储平台通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据。
进一步的,所述通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据的步骤还可具体包括以下步骤:
通常大数据分布式存储平台各个关系型数据库中存放的是实体关系数据,这些实体关系数据中,关于电力通信网运维业务的结构化数据则可以通过数据接口和序列化文件的方式与大数据分布式存储平台的HDFS(HadoopDistributed File System,哈杜普分布式文件系统)传输同步数据。
具体地,对于能够序列化的结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于不能够序列化的结构性数据,通过ETL(Extract-Transform-Load,抽取-转换-加载)统一抽取并存放在分布式数据库环境中,作为数据的中转站;进行数据质量检查和处理后,再经过序列化后,存放到大数据分布式存储平台的HDFS中;经前述处理后还不能序列化的结构性数据,则通过数据接口直接存放到大数据分布式存储平台的HDFS中。
针对电力通信网运维业务的半结构化及非结构化数据,例如:报告、日志信息和点击流日志、其他数据接口、图片等弱格式的数据,经过数据质量检查及处理后,序列化后上传到所述大数据分布式存储平台的HDFS中。
具体地,对于能够序列化的半结构性数据(例如,各种日志数据、点击流和数据接口中的数据),通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于非结构性数据,直接存放到大数据分布式存储平台的HDFS中。
步骤102:根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理,得到可存储数据;
可选的,上述步骤102可具体包括以下步骤:
分析电力通信网运维业务逻辑,针对不同业务的多数据源数据的业务数据,可以通过数据抽取后进行业务数据的合并融合,来得到所述可存储数据。例如,在一个完整业务分散存储在多数据库环境中时,针对该业务的大数据抽取和加载时,对多数据源数据的业务数据进行整合或者创建聚集,整合或创建聚集得到的数据即为所述可存储数据。
可选的,所述步骤102之后还可进一步包括步骤103:将可存储数据存储至大数据分布式存储平台的HDFS中,并创建索引。具体地,电力通信网运维业务数据经过抽取和数据质量检查和处理后,统一存储在所述大数据分布式存储平台的HDFS中,针对某些格式较强的数据(通常为结构性数据),为了提高查询性能为关键字创建索引。
步骤104:从所述可存储数据中抽取出多数据源增量数据;
具体地,所述步骤104还可进一步包括以下步骤:
确定电力通信网运维业务多数据源的数据源个数,深入了解每一个数据源的内容和数据可获取的难易度,并制定数据增量抽取的策略,通常通过时间戳的方式作为数据抽取的标识,为数据增量抽取提供依据。当数据源的原始数据发生变化时,确保电力通信网大数据平台数据的完整性。
步骤105:根据数据安全评估指标对所述多数据源增量数据进行安全审计。
具体地,所述步骤105还可进一步包括以下步骤:
建立面向电力通信网运维业务大数据平台的数据审计、数据安全评估指标体系,并对抽取的多数据源增量数据进行安全审计。需要了解运维和综合业务数据出自哪个系统,以及对什么内容的数据进行操作,并结合电力通信网的数据审计要求,对数据进行安全审计和记录。
从上述实施例可以看出,本发明实施例提供的电力通信网运行数据处理方法,通过对获取的多数据源数据进行合并处理得到可存储数据,再根据可存储数据得到增量数据,并对增量数据进行安全审计,使得无需对全部获取的多数据源数据进行分析就能进行安全审计,从而减少了资源浪费。
基于上述目的,本发明实施例的第二个方面,提供了一种能够解决现有技术对全部数据进行更新而浪费资源的问题的电力通信网运行数据处理装置。如图2所示,为本发明提供的电力通信网运行数据处理装置的一个实施例的模块结构示意图。
所述电力通信网运行数据处理装置,包括:
数据获取模块201,用于获取电力通信网运维业务的多数据源数据;可选的,所述数据获取模块201,用于通过大数据分布式存储平台进行所述多数据源数据的获取。
所述多数据源数据包括建设类基础数据和运行类基础数据。
所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据,这四个大类;具体而言,所述网络规模数据包括:通信站规模、光缆规模、通信设备规模、租用资源规模和出租资源规模,这5个小类;所述网络覆盖数据包括:光纤覆盖率和业务网覆盖率,这2个小类;所述网络投资数据包括:年度计划投资、五年规划投资和投资后评估,这3个小类;所述网络资源数据包括光缆资源、传输网资源、业务网资源、支撑网资源、无线电频率资源,这5个小类。
所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据和运维工作质量数据,这4个大类;具体而言,所述通信网业务规模数据包括业务通道数量和通信业务使用情况,这2个小类;所述通信网运行情况数据包括设备运行情况和业务运行情况,这2个小类;所述通信网网络性能数据包括业务抗风险能力和网络抗风险能力,这2个小类;所述运维工作质量数据包括调度、检修、方式、维护、保障和客服,这6个小类。
可选的,所述数据获取模块201,还可具体用于实现以下步骤:
通常大数据分布式存储平台各个关系型数据库中存放的是实体关系数据,这些实体关系数据中,关于电力通信网运维业务的结构化数据则可以通过数据接口和序列化文件的方式与大数据分布式存储平台的HDFS(Hadoop Distributed File System,哈杜普分布式文件系统)传输同步数据。
具体地,对于能够序列化的结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于不能够序列化的结构性数据,通过ETL(Extract-Transform-Load,抽取-转换-加载)统一抽取并存放在分布式数据库环境中,作为数据的中转站;进行数据质量检查和处理后,再经过序列化后,存放到大数据分布式存储平台的HDFS中;经前述处理后还不能序列化的结构性数据,则通过数据接口直接存放到大数据分布式存储平台的HDFS中。
针对电力通信网运维业务的半结构化及非结构化数据,例如:报告、日志信息和点击流日志、其他数据接口、图片等弱格式的数据,经过数据质量检查及处理后,序列化后上传到所述大数据分布式存储平台的HDFS中。
具体地,对于能够序列化的半结构性数据(例如,各种日志数据、点击流和数据接口中的数据),通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于非结构性数据,直接存放到大数据分布式存储平台的HDFS中。
数据融合模块202,用于根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理,得到可存储数据;
可选的,上述数据融合模块202,可具体用于实现以下步骤:
分析电力通信网运维业务逻辑,针对不同业务的多数据源数据的业务数据,可以通过数据抽取后进行业务数据的合并融合,来得到所述可存储数据。例如,在一个完整业务分散存储在多数据库环境中时,针对该业务的大数据抽取和加载时,对多数据源数据的业务数据进行整合或者创建聚集,整合或创建聚集得到的数据即为所述可存储数据。
可选的,所述电力通信网运行数据处理装置,还可进一步包括数据存储模块203,用于将可存储数据存储至大数据分布式存储平台的HDFS中,并创建索引。可选的,数据存储模块203,具体用于:电力通信网运维业务数据经过抽取和数据质量检查和处理后,统一存储在所述大数据分布式存储平台的HDFS中,针对某些格式较强的数据(通常为结构性数据),为了提高查询性能为关键字创建索引。
数据抽取模块204,用于从所述可存储数据中抽取出多数据源增量数据;
具体地,所述数据抽取模块204,还可用于进一步实现以下步骤:
确定电力通信网运维业务多数据源的数据源个数,深入了解每一个数据源的内容和数据可获取的难易度,并制定数据增量抽取的策略,通常通过时间戳的方式作为数据抽取的标识,为数据增量抽取提供依据。当数据源的原始数据发生变化时,确保电力通信网大数据平台数据的完整性。
数据审计模块205,用于根据数据安全评估指标对所述多数据源增量数据进行安全审计。
具体地,所述数据审计模块205,还可进一步用于实现以下步骤:
建立面向电力通信网运维业务大数据平台的数据审计、数据安全评估指标体系,并对抽取的多数据源增量数据进行安全审计。需要了解运维和综合业务数据出自哪个系统,以及对什么内容的数据进行操作,并结合电力通信网的数据审计要求,对数据进行安全审计和记录。
从上述实施例可以看出,本发明实施例提供的电力通信网运行数据处理装置,通过对获取的多数据源数据进行合并处理得到可存储数据,再根据可存储数据得到增量数据,并对增量数据进行安全审计,使得无需对全部获取的多数据源数据进行分析就能进行安全审计,从而减少了资源浪费。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种电力通信网运行数据处理方法,其特征在于,包括:
获取电力通信网运维业务的多数据源数据;
根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理,得到可存储数据;
从所述可存储数据中抽取出多数据源增量数据;
根据数据安全评估指标对所述多数据源增量数据进行安全审计。
2.根据权利要求1所述的方法,其特征在于,所述获取电力通信网运维业务的多数据源数据的步骤包括:
通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据。
3.根据权利要求2所述的方法,其特征在于,所述通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据的步骤具体包括:
对于能够序列化的结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于不能够序列化的结构性数据,通过ETL统一抽取并存放在分布式数据库环境中,作为数据的中转站;进行数据质量检查和处理后,再经过序列化后,存放到大数据分布式存储平台的HDFS中;经处理后还不能序列化的结构性数据,则通过数据接口直接存放到大数据分布式存储平台的HDFS中;
对于能够序列化的半结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于非结构性数据,直接存放到大数据分布式存储平台的HDFS中。
4.根据权利要求1所述的方法,其特征在于,所述多数据源增量数据的抽取标识为时间戳。
5.根据权利要求1所述的方法,其特征在于,所述多数据源增量数据包括建设类基础数据和运行类基础数据;所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据,所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据、运维工作质量数据。
6.一种电力通信网运行数据处理装置,其特征在于,包括:
数据获取模块,用于获取电力通信网运维业务的多数据源数据;
数据融合模块,用于根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理,得到可存储数据;
数据抽取模块,用于从所述可存储数据中抽取出多数据源增量数据;
数据审计模块,用于根据数据安全评估指标对所述多数据源增量数据进行安全审计。
7.根据权利要求6所述的装置,其特征在于,所述数据获取模块,具体用于通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据。
8.根据权利要求7所述的装置,其特征在于,所述数据获取模块,具体用于:
对于能够序列化的结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于不能够序列化的结构性数据,通过ETL统一抽取并存放在分布式数据库环境中,作为数据的中转站;进行数据质量检查和处理后,再经过序列化后,存放到大数据分布式存储平台的HDFS中;经处理后还不能序列化的结构性数据,则通过数据接口直接存放到大数据分布式存储平台的HDFS中;
对于能够序列化的半结构性数据,通过数据质量检查和处理后,直接存放到大数据分布式存储平台的HDFS中;
对于非结构性数据,直接存放到大数据分布式存储平台的HDFS中。
9.根据权利要求6所述的装置,其特征在于,所述多数据源增量数据的抽取标识为时间戳。
10.根据权利要求6所述的装置,其特征在于,所述多数据源增量数据包括建设类基础数据和运行类基础数据;所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据,所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据、运维工作质量数据。
CN201710236961.6A 2017-04-12 2017-04-12 电力通信网运行数据处理方法及装置 Active CN107204892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710236961.6A CN107204892B (zh) 2017-04-12 2017-04-12 电力通信网运行数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710236961.6A CN107204892B (zh) 2017-04-12 2017-04-12 电力通信网运行数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107204892A true CN107204892A (zh) 2017-09-26
CN107204892B CN107204892B (zh) 2020-07-21

Family

ID=59905521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710236961.6A Active CN107204892B (zh) 2017-04-12 2017-04-12 电力通信网运行数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107204892B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784079A (zh) * 2019-01-28 2019-05-21 广州供电局有限公司 一种用于电力行业的用户数据保护方法
CN112115121A (zh) * 2020-11-20 2020-12-22 陕西云基华海信息技术有限公司 一种数据治理实时数据质量检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317928A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种基于分布式数据库的业务etl方法及系统
CN104391989A (zh) * 2014-12-16 2015-03-04 浪潮电子信息产业股份有限公司 一种分布式etl一体机系统
CN104516989A (zh) * 2015-01-26 2015-04-15 北京京东尚科信息技术有限公司 增量数据推送系统和方法
CN105049223A (zh) * 2015-05-29 2015-11-11 国家电网公司 一种电力通信网缺陷故障处理决策辅助分析方法
CN105471638A (zh) * 2015-11-23 2016-04-06 国网智能电网研究院 一种电力数据通信网业务质量测量与评估方法
CN105893212A (zh) * 2016-04-28 2016-08-24 北京数智源科技股份有限公司 审计数据安全管控及展示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317928A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种基于分布式数据库的业务etl方法及系统
CN104391989A (zh) * 2014-12-16 2015-03-04 浪潮电子信息产业股份有限公司 一种分布式etl一体机系统
CN104516989A (zh) * 2015-01-26 2015-04-15 北京京东尚科信息技术有限公司 增量数据推送系统和方法
CN105049223A (zh) * 2015-05-29 2015-11-11 国家电网公司 一种电力通信网缺陷故障处理决策辅助分析方法
CN105471638A (zh) * 2015-11-23 2016-04-06 国网智能电网研究院 一种电力数据通信网业务质量测量与评估方法
CN105893212A (zh) * 2016-04-28 2016-08-24 北京数智源科技股份有限公司 审计数据安全管控及展示系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
许涛: "电力系统安全稳定的智能挖掘", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *
郎大鹏: "联网审计中增量数据处理技术的研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784079A (zh) * 2019-01-28 2019-05-21 广州供电局有限公司 一种用于电力行业的用户数据保护方法
CN112115121A (zh) * 2020-11-20 2020-12-22 陕西云基华海信息技术有限公司 一种数据治理实时数据质量检测系统
CN112115121B (zh) * 2020-11-20 2023-12-12 陕西云基华海信息技术有限公司 一种数据治理实时数据质量检测系统

Also Published As

Publication number Publication date
CN107204892B (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
CN105787089B (zh) 一种配电网规划基础数据集成方法
Zhang et al. Geographic distribution patterns and status assessment of threatened plants in China
CN109086325A (zh) 基于区块链的数据处理方法和装置
CN101894134B (zh) 一种基于空间布局的钓鱼网页检测及其实现方法
CN107124325A (zh) 一种电力通信网运行安全评估方法及系统
CN107957957A (zh) 测试用例的获取方法和装置
Macdonald et al. Predicting biodiversity richness in rapidly changing landscapes: climate, low human pressure or protection as salvation?
CN103530347B (zh) 一种基于大数据挖掘的互联网资源质量评估方法及系统
CN102196478B (zh) 一种网管系统故障的诊断方法和系统
CN107633050A (zh) 一种基于大数据分析用电行为判定窃电概率的方法
CN106600103A (zh) 面向规划计划决策的统计数据模型构建方法
CN110489407A (zh) 数据补采方法、装置、计算机设备及存储介质
CN106446085A (zh) 一种大数据管理系统
CN106886517A (zh) 业务选址方法、装置以及系统
CN104750826A (zh) 一种结构化数据资源元数据自动甄别与动态注册方法
CN110222934A (zh) 自然资源资产的审计方法、装置、设备及可读介质
CN109597766A (zh) 一种测试报告的处理方法和系统
CN106789347A (zh) 一种基于告警数据实现告警关联和网络故障诊断的方法
CN107204892A (zh) 电力通信网运行数据处理方法及装置
CN105069665A (zh) 多渠道站外广告报表数据的排序展示方法及装置
CN114140123A (zh) 一种用于以太坊二层网络交易溯源的方法及系统
CN107291922B (zh) 一种数据分配方法及装置
CN103368790B (zh) 一种针对电子交易系统的性能延迟监测方法及其系统
CN108090157A (zh) 一种热点新闻挖掘方法、装置及服务器
CN106169974A (zh) 本地邮件数据的搜集方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant after: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant after: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant after: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION BRANCH

Applicant after: CENTRAL University OF FINANCE AND ECONOMICS

Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant before: State Grid Corporation of China

Applicant before: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd.

Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant before: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION BRANCH

Applicant before: CENTRAL University OF FINANCE AND ECONOMICS

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190902

Address after: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant after: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant after: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION BRANCH

Applicant after: CENTRAL University OF FINANCE AND ECONOMICS

Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant before: STATE GRID CORPORATION OF CHINA

Applicant before: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd.

Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant before: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION BRANCH

Applicant before: CENTRAL University OF FINANCE AND ECONOMICS

GR01 Patent grant
GR01 Patent grant