CN107204892B - 电力通信网运行数据处理方法及装置 - Google Patents

电力通信网运行数据处理方法及装置 Download PDF

Info

Publication number
CN107204892B
CN107204892B CN201710236961.6A CN201710236961A CN107204892B CN 107204892 B CN107204892 B CN 107204892B CN 201710236961 A CN201710236961 A CN 201710236961A CN 107204892 B CN107204892 B CN 107204892B
Authority
CN
China
Prior art keywords
data
communication network
serialized
power communication
hdfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710236961.6A
Other languages
English (en)
Other versions
CN107204892A (zh
Inventor
张春光
赵景宏
孙乔
胡宇
刘春宇
刘世民
李祉岐
孙磊
赵峰
冷曼
肖海龙
付兰梅
金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central university of finance and economics
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Beijing Guodiantong Network Technology Co Ltd
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Information and Telecommunication Branch of State Grid East Inner Mogolia Electric Power Co Ltd
Original Assignee
Central university of finance and economics
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Beijing Guodiantong Network Technology Co Ltd
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Information and Telecommunication Branch of State Grid East Inner Mogolia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central university of finance and economics, State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Beijing Guodiantong Network Technology Co Ltd, Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd, Information and Telecommunication Branch of State Grid East Inner Mogolia Electric Power Co Ltd filed Critical Central university of finance and economics
Priority to CN201710236961.6A priority Critical patent/CN107204892B/zh
Publication of CN107204892A publication Critical patent/CN107204892A/zh
Application granted granted Critical
Publication of CN107204892B publication Critical patent/CN107204892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种电力通信网运行数据处理方法及装置，包括：获取电力通信网运维业务的多数据源数据；根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理，得到可存储数据；从所述可存储数据中抽取出多数据源增量数据；根据数据安全评估指标对所述多数据源增量数据进行安全审计。本发明提供的电力通信网运行数据处理方法及装置，解决了现有技术需要对全部数据进行更新而浪费资源的问题。

Description

电力通信网运行数据处理方法及装置
技术领域
本发明涉及电力技术领域，特别是指一种电力通信网运行数据处理方法及装置。
背景技术
随着数字信息化时代的迅猛发展，信息量也呈爆炸性增长态势，电力行业中数据量也具有体量大、类型多、速度快的特点。目前电力通信网络正朝着大规模、分布式的方向发展，网络的攻击行为也向着复杂化、规模化的方向发展。
为了保证电力通信网络的安全运营，必须对网络安全态势进行感知和评估，从而对攻击行为做出实时响应。电力通信网络的数据来源较多，数据类型繁多，因此需要对其进行数据采集和提取才可以为电力通信网络安全态势预测提供有价值的数据。
但是，在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
在实现电力通信网络安全态势预测的过程中，需要对电力通信网络进行完整的数据采集和全部数据的提取与分析，这样会造成资源消耗过大的问题。
发明内容
有鉴于此，本发明的目的在于提出一种电力通信网运行数据处理方法及装置，以解决现有技术对全部数据进行更新而浪费资源的问题。
基于上述目的本发明提供的电力通信网运行数据处理方法，包括：
获取电力通信网运维业务的多数据源数据；
根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理，得到可存储数据；
从所述可存储数据中抽取出多数据源增量数据；
根据数据安全评估指标对所述多数据源增量数据进行安全审计。
在一些可选实施方式中，所述获取电力通信网运维业务的多数据源数据的步骤包括：
通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据。
在一些可选实施方式中，所述通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据的步骤具体包括：
对于能够序列化的结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于不能够序列化的结构性数据，通过ETL统一抽取并存放在分布式数据库环境中，作为数据的中转站；进行数据质量检查和处理后，再经过序列化后，存放到大数据分布式存储平台的HDFS中；经处理后还不能序列化的结构性数据，则通过数据接口直接存放到大数据分布式存储平台的HDFS中；
对于能够序列化的半结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于非结构性数据，直接存放到大数据分布式存储平台的HDFS中。
在一些可选实施方式中，所述多数据源增量数据的抽取标识为时间戳。
在一些可选实施方式中，所述多数据源增量数据包括建设类基础数据和运行类基础数据；所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据，所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据、运维工作质量数据。
本发明实施例的另一方面，提供了一种电力通信网运行数据处理装置，包括：
数据获取模块，用于获取电力通信网运维业务的多数据源数据；
数据融合模块，用于根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理，得到可存储数据；
数据抽取模块，用于从所述可存储数据中抽取出多数据源增量数据；
数据审计模块，用于根据数据安全评估指标对所述多数据源增量数据进行安全审计。
在一些可选实施方式中，所述数据获取模块，具体用于通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据。
在一些可选实施方式中，所述数据获取模块，具体用于：
对于能够序列化的结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于不能够序列化的结构性数据，通过ETL统一抽取并存放在分布式数据库环境中，作为数据的中转站；进行数据质量检查和处理后，再经过序列化后，存放到大数据分布式存储平台的HDFS中；经处理后还不能序列化的结构性数据，则通过数据接口直接存放到大数据分布式存储平台的HDFS中；
对于能够序列化的半结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于非结构性数据，直接存放到大数据分布式存储平台的HDFS中。
在一些可选实施方式中，所述多数据源增量数据的抽取标识为时间戳。
在一些可选实施方式中，所述多数据源增量数据包括建设类基础数据和运行类基础数据；所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据，所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据、运维工作质量数据。
从上面所述可以看出，本发明提供的电力通信网运行数据处理方法及装置，通过对获取的多数据源数据进行合并处理得到可存储数据，再根据可存储数据得到增量数据，并对增量数据进行安全审计，使得无需对全部获取的多数据源数据进行分析就能进行安全审计，从而减少了资源浪费。
附图说明
图1为本发明提供的电力通信网运行数据处理方法的一个实施例的流程示意图；
图2为本发明提供的电力通信网运行数据处理装置的一个实施例的模块结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
基于上述目的，本发明实施例的第一个方面，提供了一种能够解决现有技术对全部数据进行更新而浪费资源的问题的电力通信网运行数据处理方法。如图1所示，为本发明提供的电力通信网运行数据处理方法的一个实施例的流程示意图。
所述电力通信网运行数据处理方法，包括以下步骤：
步骤101：获取电力通信网运维业务的多数据源数据；可选的，通过大数据分布式存储平台进行所述多数据源数据的获取。
所述多数据源数据包括建设类基础数据和运行类基础数据。
所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据，这四个大类；具体而言，所述网络规模数据包括：通信站规模、光缆规模、通信设备规模、租用资源规模和出租资源规模，这5个小类；所述网络覆盖数据包括：光纤覆盖率和业务网覆盖率，这2个小类；所述网络投资数据包括：年度计划投资、五年规划投资和投资后评估，这3个小类；所述网络资源数据包括光缆资源、传输网资源、业务网资源、支撑网资源、无线电频率资源，这5个小类。
所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据和运维工作质量数据，这4个大类；具体而言，所述通信网业务规模数据包括业务通道数量和通信业务使用情况，这2个小类；所述通信网运行情况数据包括设备运行情况和业务运行情况，这2个小类；所述通信网网络性能数据包括业务抗风险能力和网络抗风险能力，这2个小类；所述运维工作质量数据包括调度、检修、方式、维护、保障和客服，这6个小类。
可选的，所述获取电力通信网运维业务的多数据源数据的步骤101还可具体包括以下步骤：
所述大数据分布式存储平台通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据。
进一步的，所述通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据的步骤还可具体包括以下步骤：
通常大数据分布式存储平台各个关系型数据库中存放的是实体关系数据，这些实体关系数据中，关于电力通信网运维业务的结构化数据则可以通过数据接口和序列化文件的方式与大数据分布式存储平台的HDFS(HadoopDistributed File System，哈杜普分布式文件系统)传输同步数据。
具体地，对于能够序列化的结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于不能够序列化的结构性数据，通过ETL(Extract-Transform-Load，抽取-转换-加载)统一抽取并存放在分布式数据库环境中，作为数据的中转站；进行数据质量检查和处理后，再经过序列化后，存放到大数据分布式存储平台的HDFS中；经前述处理后还不能序列化的结构性数据，则通过数据接口直接存放到大数据分布式存储平台的HDFS中。
针对电力通信网运维业务的半结构化及非结构化数据，例如：报告、日志信息和点击流日志、其他数据接口、图片等弱格式的数据，经过数据质量检查及处理后，序列化后上传到所述大数据分布式存储平台的HDFS中。
具体地，对于能够序列化的半结构性数据(例如，各种日志数据、点击流和数据接口中的数据)，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于非结构性数据，直接存放到大数据分布式存储平台的HDFS中。
步骤102：根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理，得到可存储数据；
可选的，上述步骤102可具体包括以下步骤：
分析电力通信网运维业务逻辑，针对不同业务的多数据源数据的业务数据，可以通过数据抽取后进行业务数据的合并融合，来得到所述可存储数据。例如，在一个完整业务分散存储在多数据库环境中时，针对该业务的大数据抽取和加载时，对多数据源数据的业务数据进行整合或者创建聚集，整合或创建聚集得到的数据即为所述可存储数据。
可选的，所述步骤102之后还可进一步包括步骤103：将可存储数据存储至大数据分布式存储平台的HDFS中，并创建索引。具体地，电力通信网运维业务数据经过抽取和数据质量检查和处理后，统一存储在所述大数据分布式存储平台的HDFS中，针对某些格式较强的数据(通常为结构性数据)，为了提高查询性能为关键字创建索引。
步骤104：从所述可存储数据中抽取出多数据源增量数据；
具体地，所述步骤104还可进一步包括以下步骤：
确定电力通信网运维业务多数据源的数据源个数，深入了解每一个数据源的内容和数据可获取的难易度，并制定数据增量抽取的策略，通常通过时间戳的方式作为数据抽取的标识，为数据增量抽取提供依据。当数据源的原始数据发生变化时，确保电力通信网大数据平台数据的完整性。
步骤105：根据数据安全评估指标对所述多数据源增量数据进行安全审计。
具体地，所述步骤105还可进一步包括以下步骤：
建立面向电力通信网运维业务大数据平台的数据审计、数据安全评估指标体系，并对抽取的多数据源增量数据进行安全审计。需要了解运维和综合业务数据出自哪个系统，以及对什么内容的数据进行操作，并结合电力通信网的数据审计要求，对数据进行安全审计和记录。
从上述实施例可以看出，本发明实施例提供的电力通信网运行数据处理方法，通过对获取的多数据源数据进行合并处理得到可存储数据，再根据可存储数据得到增量数据，并对增量数据进行安全审计，使得无需对全部获取的多数据源数据进行分析就能进行安全审计，从而减少了资源浪费。
基于上述目的，本发明实施例的第二个方面，提供了一种能够解决现有技术对全部数据进行更新而浪费资源的问题的电力通信网运行数据处理装置。如图2所示，为本发明提供的电力通信网运行数据处理装置的一个实施例的模块结构示意图。
所述电力通信网运行数据处理装置，包括：
数据获取模块201，用于获取电力通信网运维业务的多数据源数据；可选的，所述数据获取模块201，用于通过大数据分布式存储平台进行所述多数据源数据的获取。
所述多数据源数据包括建设类基础数据和运行类基础数据。
所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据，这四个大类；具体而言，所述网络规模数据包括：通信站规模、光缆规模、通信设备规模、租用资源规模和出租资源规模，这5个小类；所述网络覆盖数据包括：光纤覆盖率和业务网覆盖率，这2个小类；所述网络投资数据包括：年度计划投资、五年规划投资和投资后评估，这3个小类；所述网络资源数据包括光缆资源、传输网资源、业务网资源、支撑网资源、无线电频率资源，这5个小类。
所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据和运维工作质量数据，这4个大类；具体而言，所述通信网业务规模数据包括业务通道数量和通信业务使用情况，这2个小类；所述通信网运行情况数据包括设备运行情况和业务运行情况，这2个小类；所述通信网网络性能数据包括业务抗风险能力和网络抗风险能力，这2个小类；所述运维工作质量数据包括调度、检修、方式、维护、保障和客服，这6个小类。
可选的，所述数据获取模块201，还可具体用于实现以下步骤：
通常大数据分布式存储平台各个关系型数据库中存放的是实体关系数据，这些实体关系数据中，关于电力通信网运维业务的结构化数据则可以通过数据接口和序列化文件的方式与大数据分布式存储平台的HDFS(Hadoop Distributed File System，哈杜普分布式文件系统)传输同步数据。
具体地，对于能够序列化的结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于不能够序列化的结构性数据，通过ETL(Extract-Transform-Load，抽取-转换-加载)统一抽取并存放在分布式数据库环境中，作为数据的中转站；进行数据质量检查和处理后，再经过序列化后，存放到大数据分布式存储平台的HDFS中；经前述处理后还不能序列化的结构性数据，则通过数据接口直接存放到大数据分布式存储平台的HDFS中。
针对电力通信网运维业务的半结构化及非结构化数据，例如：报告、日志信息和点击流日志、其他数据接口、图片等弱格式的数据，经过数据质量检查及处理后，序列化后上传到所述大数据分布式存储平台的HDFS中。
具体地，对于能够序列化的半结构性数据(例如，各种日志数据、点击流和数据接口中的数据)，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于非结构性数据，直接存放到大数据分布式存储平台的HDFS中。
数据融合模块202，用于根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理，得到可存储数据；
可选的，上述数据融合模块202，可具体用于实现以下步骤：
分析电力通信网运维业务逻辑，针对不同业务的多数据源数据的业务数据，可以通过数据抽取后进行业务数据的合并融合，来得到所述可存储数据。例如，在一个完整业务分散存储在多数据库环境中时，针对该业务的大数据抽取和加载时，对多数据源数据的业务数据进行整合或者创建聚集，整合或创建聚集得到的数据即为所述可存储数据。
可选的，所述电力通信网运行数据处理装置，还可进一步包括数据存储模块203，用于将可存储数据存储至大数据分布式存储平台的HDFS中，并创建索引。可选的，数据存储模块203，具体用于：电力通信网运维业务数据经过抽取和数据质量检查和处理后，统一存储在所述大数据分布式存储平台的HDFS中，针对某些格式较强的数据(通常为结构性数据)，为了提高查询性能为关键字创建索引。
数据抽取模块204，用于从所述可存储数据中抽取出多数据源增量数据；
具体地，所述数据抽取模块204，还可用于进一步实现以下步骤：
确定电力通信网运维业务多数据源的数据源个数，深入了解每一个数据源的内容和数据可获取的难易度，并制定数据增量抽取的策略，通常通过时间戳的方式作为数据抽取的标识，为数据增量抽取提供依据。当数据源的原始数据发生变化时，确保电力通信网大数据平台数据的完整性。
数据审计模块205，用于根据数据安全评估指标对所述多数据源增量数据进行安全审计。
具体地，所述数据审计模块205，还可进一步用于实现以下步骤：
建立面向电力通信网运维业务大数据平台的数据审计、数据安全评估指标体系，并对抽取的多数据源增量数据进行安全审计。需要了解运维和综合业务数据出自哪个系统，以及对什么内容的数据进行操作，并结合电力通信网的数据审计要求，对数据进行安全审计和记录。
从上述实施例可以看出，本发明实施例提供的电力通信网运行数据处理装置，通过对获取的多数据源数据进行合并处理得到可存储数据，再根据可存储数据得到增量数据，并对增量数据进行安全审计，使得无需对全部获取的多数据源数据进行分析就能进行安全审计，从而减少了资源浪费。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种电力通信网运行数据处理方法，其特征在于，包括：
获取电力通信网运维业务的多数据源数据；所述获取电力通信网运维业务的多数据源数据的步骤包括：通过数据接口和序列化文件的方式获取所述电力通信网运维业务的多数据源数据；
根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理，得到可存储数据；
从所述可存储数据中抽取出多数据源增量数据；
根据数据安全评估指标对所述多数据源增量数据进行安全审计；
其中，所述通过数据接口和序列化文件的方式获取所述电力通信网运维业务的多数据源数据的步骤具体包括：
对于能够序列化的结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于不能够序列化的结构性数据，通过ETL统一抽取并存放在分布式数据库环境中，作为数据的中转站；进行数据质量检查和处理后，再经过序列化后，存放到大数据分布式存储平台的HDFS中；经处理后还不能序列化的结构性数据，则通过数据接口直接存放到大数据分布式存储平台的HDFS中；
对于能够序列化的半结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于非结构性数据，直接存放到大数据分布式存储平台的HDFS中。
2.根据权利要求1所述的方法，其特征在于，所述多数据源增量数据的抽取标识为时间戳。
3.根据权利要求1所述的方法，其特征在于，所述多数据源增量数据包括建设类基础数据和运行类基础数据；所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据，所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据、运维工作质量数据。
4.一种电力通信网运行数据处理装置，其特征在于，包括：
数据获取模块，用于获取电力通信网运维业务的多数据源数据；
数据融合模块，用于根据电力通信网运维业务逻辑对所述多数据源数据进行合并处理，得到可存储数据；
数据抽取模块，用于从所述可存储数据中抽取出多数据源增量数据；
数据审计模块，用于根据数据安全评估指标对所述多数据源增量数据进行安全审计；
所述数据获取模块，具体用于通过数据接口和/或序列化文件的方式获取所述电力通信网运维业务的多数据源数据；
所述数据获取模块，具体用于：
对于能够序列化的结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于不能够序列化的结构性数据，通过ETL统一抽取并存放在分布式数据库环境中，作为数据的中转站；进行数据质量检查和处理后，再经过序列化后，存放到大数据分布式存储平台的HDFS中；经处理后还不能序列化的结构性数据，则通过数据接口直接存放到大数据分布式存储平台的HDFS中；
对于能够序列化的半结构性数据，通过数据质量检查和处理后，直接存放到大数据分布式存储平台的HDFS中；
对于非结构性数据，直接存放到大数据分布式存储平台的HDFS中。
5.根据权利要求4所述的装置，其特征在于，所述多数据源增量数据的抽取标识为时间戳。
6.根据权利要求4所述的装置，其特征在于，所述多数据源增量数据包括建设类基础数据和运行类基础数据；所述建设类基础数据包括网络规模数据、网络覆盖数据、网络投资数据和网络资源数据，所述运行类基础数据包括通信网业务规模数据、通信网运行情况数据、通信网网络性能数据、运维工作质量数据。
CN201710236961.6A 2017-04-12 2017-04-12 电力通信网运行数据处理方法及装置 Active CN107204892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710236961.6A CN107204892B (zh) 2017-04-12 2017-04-12 电力通信网运行数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710236961.6A CN107204892B (zh) 2017-04-12 2017-04-12 电力通信网运行数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107204892A CN107204892A (zh) 2017-09-26
CN107204892B true CN107204892B (zh) 2020-07-21

Family

ID=59905521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710236961.6A Active CN107204892B (zh) 2017-04-12 2017-04-12 电力通信网运行数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107204892B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784079A (zh) * 2019-01-28 2019-05-21 广州供电局有限公司 一种用于电力行业的用户数据保护方法
CN112115121B (zh) * 2020-11-20 2023-12-12 陕西云基华海信息技术有限公司 一种数据治理实时数据质量检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317928A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种基于分布式数据库的业务etl方法及系统
CN104391989A (zh) * 2014-12-16 2015-03-04 浪潮电子信息产业股份有限公司 一种分布式etl一体机系统
CN104516989A (zh) * 2015-01-26 2015-04-15 北京京东尚科信息技术有限公司 增量数据推送系统和方法
CN105049223A (zh) * 2015-05-29 2015-11-11 国家电网公司 一种电力通信网缺陷故障处理决策辅助分析方法
CN105471638A (zh) * 2015-11-23 2016-04-06 国网智能电网研究院 一种电力数据通信网业务质量测量与评估方法
CN105893212A (zh) * 2016-04-28 2016-08-24 北京数智源科技股份有限公司 审计数据安全管控及展示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317928A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种基于分布式数据库的业务etl方法及系统
CN104391989A (zh) * 2014-12-16 2015-03-04 浪潮电子信息产业股份有限公司 一种分布式etl一体机系统
CN104516989A (zh) * 2015-01-26 2015-04-15 北京京东尚科信息技术有限公司 增量数据推送系统和方法
CN105049223A (zh) * 2015-05-29 2015-11-11 国家电网公司 一种电力通信网缺陷故障处理决策辅助分析方法
CN105471638A (zh) * 2015-11-23 2016-04-06 国网智能电网研究院 一种电力数据通信网业务质量测量与评估方法
CN105893212A (zh) * 2016-04-28 2016-08-24 北京数智源科技股份有限公司 审计数据安全管控及展示系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
电力系统安全稳定的智能挖掘;许涛;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20040915;正文第15页至第23页 *
联网审计中增量数据处理技术的研究与应用;郎大鹏;《中国优秀硕士学位论文全文数据库信息科技辑》;20090615;正文第10页至第35页 *

Also Published As

Publication number Publication date
CN107204892A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
CN107122297B (zh) 用于测试接口的请求消息生成的方法及设备
CN107818120B (zh) 基于大数据的数据处理方法和装置
CN106815125A (zh) 一种日志审计方法及平台
CN114116065B (zh) 获取拓扑图数据对象的方法、装置、及电子设备
CN111949850B (zh) 多源数据的采集方法、装置、设备及存储介质
CN104156365A (zh) 一种文件的监控方法、装置及系统
CN107391596B (zh) 一种配电网海量数据融合方法及装置
US20200042424A1 (en) Method, apparatus and system for processing log data
CN111400288A (zh) 数据质量检查方法及系统
CN105095330A (zh) 一种基于压缩包内容的文件格式识别方法及系统
CN107204892B (zh) 电力通信网运行数据处理方法及装置
CN110895534A (zh) 一种数据拼接方法、装置、介质及电子设备
CN117332134A (zh) 遥感卫星原始数据处理和管理方法、装置、设备及介质
CN109710667A (zh) 一种基于大数据平台的多源数据融合共享实现方法及系统
CN113094415B (zh) 数据抽取方法、装置、计算机可读介质及电子设备
CN114625407A (zh) 一种ab实验的实现方法、系统、设备及存储介质
CN115858320A (zh) 操作日志记录方法、装置、介质及产品
CN113051323B (zh) 一种水环境大数据交换方法
CN111597156A (zh) 民航数据处理方法、装置、电子设备及存储介质
US20140074869A1 (en) Autoclassifying compound documents for enhanced metadata search
Xiaobing et al. An insight into traffic safety management system platform based on cloud computing
KR101865317B1 (ko) 데이터 분산처리 시스템을 위한 빅 데이터의 전처리 장치 및 방법
CN104252355A (zh) 一种获取Net程序集间差异信息的方法和装置
CN112364284B (zh) 基于上下文进行异常侦测的方法、装置及相关产品
CN113676840B (zh) 数据处理方法、装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant after: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant after: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant after: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION BRANCH

Applicant after: CENTRAL University OF FINANCE AND ECONOMICS

Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant before: State Grid Corporation of China

Applicant before: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd.

Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant before: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION BRANCH

Applicant before: CENTRAL University OF FINANCE AND ECONOMICS

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190902

Address after: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant after: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant after: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION BRANCH

Applicant after: CENTRAL University OF FINANCE AND ECONOMICS

Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant before: STATE GRID CORPORATION OF CHINA

Applicant before: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd.

Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant before: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION BRANCH

Applicant before: CENTRAL University OF FINANCE AND ECONOMICS

GR01 Patent grant
GR01 Patent grant