CN110533320A - 一种基于Hadoop平台的电力设备停电计划编制方法 - Google Patents
一种基于Hadoop平台的电力设备停电计划编制方法 Download PDFInfo
- Publication number
- CN110533320A CN110533320A CN201910802493.3A CN201910802493A CN110533320A CN 110533320 A CN110533320 A CN 110533320A CN 201910802493 A CN201910802493 A CN 201910802493A CN 110533320 A CN110533320 A CN 110533320A
- Authority
- CN
- China
- Prior art keywords
- power failure
- equipment
- data
- file
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000007726 management method Methods 0.000 claims abstract description 5
- 238000005192 partition Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000007547 defect Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 230000005611 electricity Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000012804 iterative process Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 3
- 238000013500 data storage Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Water Supply & Treatment (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Public Health (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于Hadoop平台的电力设备停电计划编制方法，该方法通过构建Hadoop分布式文件系统和设计MapReduce并行化编程模型，实现了对区域电网中，各方对电力设备停电需求的高效并行化处理。该方法采用Hadoop分布式文件系统和MapReduce并行化编程模型，可以充分利用Hadoop分布式文件系统和并行化编程模型所提供的强大的数据存储能力和计算能力，实现对区域电网中各级管理单位所提交的设备停电需求的高效处理，并按照电网运行的稳定性原则编制最优停电计划。
Description
技术领域
本发明涉及电力系统设备停电计划编制领域，更具体地，涉及一种基于Hadoop平台的电力设备停电计划编制方法。
背景技术
智能电网的提出和发展对电网的经济、高效运行提出了更高的要求。相应的，如何编制最优的停电计划，在满足设备计划性检修和改造更换的同时减少设备停电次数和停电时间，并维持电力系统稳定运行性一直是电网运维单位研究和关注的重点问题。在当前模式下，电力系统停电计划的主要编制方式是：层层收集各方的停电需求，包括设备计划检修、改造更换工程等等，然后依靠具有丰富现场经验的管理人员进行汇总、梳理，再层层上报，层层梳理和整合，最终形成地调、中调、网调的停电计划。在这个过程中，不仅涉及大量数据结构相对复杂的停电需求需要梳理，同时也依赖各级管理人员根据电网结构和稳定运行原则合理安排停电计划。然而，电网的设备和线路是互联互通的，一项设备停电计划的变更或错报往往“牵一发而动全身”，造成后续大量的沟通和协调的工作，恶劣天气或突发的意外因素也常常需要整体协调停电计划，耗费大量的人力资源。截止目前，尚没有一个有效的技术手段为电力系统设备停电计划的编制提供支持。
发明内容
本发明提供一种基于Hadoop平台的电力设备停电计划编制方法，该方法可以对区域电网中广泛收集到的各类设备的停电需求进行存储和高效并行化处理。
为了达到上述技术效果，本发明的技术方案如下：
一种基于Hadoop的电力设备停电计划编制方法，具体包括以下步骤：
步骤1：从主网接线方式图中提取电力系统各设备图形文件，实现图模转换，建立模型文件，并将模型文件输出为以设备ID为键值(Key)，以“电气连接信息”为值(Value)的字段数据；
步骤2：从资产管理系统中设备台账模块与缺陷模块提取各电力设备的状态信息，并生成以设备ID为键值(Key)，以“状态信息”为值(Value)的字段数据；
步骤3：搭建Hadoop分布式文件系统(HDFS)。Hadoop大数据处理平台的分布式文件系统包括Hadoop客户端和Hadoop集群，Hadoop集群包括名称节点(Namenode)、备用名称节点(SecondaryNamenode)以及用于管理存储数据的数据节点(Datanodes)。在HDFS中，客户端通过名称节点(Namenode)获取数据节点(Datanodes)和文件块的映射关系。名称节点对文件、目录进行创建、删除和重命名等操作，管理数据节点和文件块的映射关系。数据节点的数据保存在本地Linux文件系统中，每个数据节点会周期性地向名称节点发送“心跳”信号，报告自己的状态；
步骤4：定制第一个MapReduce作业，对电网中各级设备的运行信息(电气连接、状态信息)以及停电需求记录进行汇编。MapReduce是一种并行化编程模型，用于大规模数据的并行计算。与HDFS的主从节点结构相对应，MapReduce框架也包括一个Master和若干个Slave，对应于HDFS的名称节点和数据节点。Master上运行JobTracker，Slave上运行TaskTracker。用户提交的每个计算作业，都会被划分成若干个任务。JobTracker负责作业和任务的调度，监控他们的执行，并重新调度已经失败的任务。TaskTracker负责执行JobTracker指派的任务；
步骤4.1：InputSplit——对待处理文件进行逻辑切分。将系统采集数据并生成的以文本文件类型为扩展名的本地文件通过InputFormat模块来做Map前的预处理。在验证了文件的输入格式是否符合输入定义后，待处理文件就会在逻辑上被分成若干个InputSplit，这种逻辑切分并不是进行了实际的文件切割，而是记录了要处理的数据的位置和长度。本发明中涉及处理的是停电需求记录，InputSplit所记录的数据位置信息为设备ID，选取的待分析数据长度为步骤1和步骤2中生成的记录以及设备的停电需求记录(设备停电需求记录以设备ID为键(Key)，以停电需求的其他相关信息为值(Value))；
步骤4.2：Record Reader:——将待分析数据解析成记录，并转换成键值对的形式，传递给Map任务。这里我们使用Record Reader的默认解析功能，产生的键是数据在文件中的位置，值是组成这条记录的数据块；
步骤4.3：Map——定制Map，对Record Reader传入的记录进行基本Map处理，利用默认的分区器将键相同(即设备ID相同)的记录传递给同一个Reduce端进行处理；
步骤4.4：Reduce——以步骤4.3中输出的<key,value-list>形式的中间结果作为输入，在迭代器中，将步骤1和步骤2中输出的“电气连接信息”、“状态信息”以及“停电需求信息”进行归并整合，如无“停电需求信息”则对应记录“null”；
步骤4.5：OutputFormat——获取Reduce端输出的最终键值对，首先验证输出目录是否已经存在，以及输出结果的类型是否符合配置文件中的设置，如果均满足，就输出Reduce结果到分布式文件系统进行保存；
步骤5：定制第二个MapReduce作业，对步骤4中汇编得到输出文件进行处理，在考虑电网运行稳定的必要前提下，生成各级设备停电计划；
步骤5.1：InputSplit——以步骤4的输出文件作为输入。InputSplit所记录的数据位置信息为设备ID，待分析的数据长度为该记录的全长；
步骤5.2：Record Reader:——将待分析数据解析成记录，并转换成键值对的形式，传递给Map任务。这里我们使用Record Reader的默认解析功能，产生的键是数据在文件中的位置，值是组成这条记录的数据块；
步骤5.3：Map——定制Map，对Record Reader传入的记录进行并行处理。在Hadoop框架下，Map处理后的中间结果会传递给Partition。根据需求，定制Map输出的中间结果是以设备ID和计划停电时间组成的组合键(CombinedKey)，输出中间结果的值(Value)中则包含：计划停电时间、所需工期、工作内容、工作班组、电气连接信息、状态信息；
步骤5.4：Partition——定制Partition和WritableComparator对Map任务的输出结果以组合键第一个字段(也即设备ID)为组(Group)，按照第二字段(计划停电时间)进行排序(也称为二次排序)。在这个过程中，同步校验各停电需求中是否有需要同停的设备，或由于电网稳定性要求绝对不能同停的设备。如果存在同停或不能同停的情况，则将涉及到的成对记录的键(Key)修改为如下格式(“A设备ID-B设备ID同停”或“A设备ID-B设备ID不同停”)。
步骤5.5：Shuffle——通过Shuffle过程将所有的Partition输出的键值对拉取到Reduce任务本地机上，按照这些数据的键进行排序并写入一个较大的List中。
步骤5.6：Reduce——以Shuffle过程输出的<key,value-list>形式的中间结果作为输入，在迭代器中：(1)对同一设备涉及多项工作内容的停电需求，选取各项工作计划停电时间中的共同时段输出为该设备的停电时段，以最长所需工期时间输出为该设备此次停电的时间。(2)对于设备同停或不同停的记录重新修改键(Key),并相应的将所涉及的两个设备的停电时间安排为同一时段或不同时段。(3)对“状态信息”中需要停电消缺的设备，尽量将停电时间安排在计划消缺时间内。
步骤5.7：OutputFormat——获取Reduce端输出的最终键值对，首先验证输出目录是否已经存在，以及输出结果的类型是否符合配置文件中的设置，如果均满足，就输出Reduce结果到分布式文件系统进行保存。
步骤6：对Reduce分布存储的各个子文件进行汇总整合，生成停电计划。
与现有技术相比，本发明具有以下优点：
(1)采用Hadoop分布式文件系统，数据可以形成多个副本，数据读取速度快，数据丢失或错误能够及时回复，记录文件可靠高效；数据存储可根据采样数据的大小动态增加Datanode；
(2)采用MapReduce并行化编程模型，以移动程序的方式来取代之前传统的移动数据的做法，降低网络开销；
(3)采用Hadoop平台可以实现电气设备接线、设备台账信息以及停电需求的联动处理；
(4)借助Hadoop平台进行停电需求的统一并行化处理，可以避免在层层上报过程中，人为处理造成的信息缺失或错误，大大提高停电计划编制的效率，节省人力及物力；
(5)当停电计划因为不可控因素，例如天气变化、设备突发缺陷等原因被迫需要作出调整时，可以将变化时间点后的需求数据重新提交MapReduce作业进行处理，快速制定新的计划，节省大量的沟通和协调的时间。
附图说明
图1是可用于编制电力设备停电计划的Hadoop平台架构设计；
图2是Hadoop分布式文件系统的体系结构；
图3是Hadoop运行MapReduce作业的工作原理图；
图4是Hadoop运行MapReduce作业工作流程的各个执行阶段；
图5是停电需求编制的流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示是可用于编制电力设备停电计划的Hadoop平台架构设计。具体如下：
(1)搭建Hadoop分布式文件系统。
HDFS用于存储超大文件，包括多个计算机节点，配置一个Namenode(名称节点)、一个备用名称节点(SecondaryNamenode)和若干个Datanode(数据节点)。具体节点的配置信息如表1所示：
表1节点配置信息
相应的硬件和软件配置信息如表2所示：
表2硬件与软件配置信息
(2)安装和配置Hadoop。
Hadoop的基本安装配置步骤概括如下：创建Hadoop用户、安装Java、设置SSH登陆权限、安装Hadoop和分布式安装配置。具体操作如下：
创建Hadoop用户：“sudo useradd-m hadoop-s/bin/bash”并设置密码更新apt；
安装Java：“sudo apt-get install openjdk-7-jre openjdk-7-jdk”配置JAVA_HOME环境变量；
设置SSH登录权限：“sudo apt-get install openssh-server；ssh localhost”退出ssh，在终端窗口中利用ssh-keygen生成密钥，并将密钥加入到授权中；
安装Hadoop：“cat～/下载/hadoop-2.6.0.tar.gz.mds|grep‘MD5’；md5sum～/下载/hadoop-2.6.0.tar.gz|tr“a-z”“A-Z””将Hadoop安装至/usr/local/中；
分布式安装配置：修改位于/usr/local/hadoop/etc/hadoop/中的配置文件core-site.xml、hdfs-site.xml和mapredsite.xml，执行“./bin/hdfs namenode-format”格式化Namenode后即可开启Namenode和Datanode守护进程。
(3)获取设备相关信息并定制MapReduce作业。
步骤1：从主网接线方式图中提取电力系统各设备图形文件，实现图模转换，建立模型文件，并将模型文件输出为以设备ID为键值(Key)，以“电气连接信息”为值(Value)的字段数据；
步骤2：从资产管理系统中设备台账模块与缺陷模块提取各电力设备的状态信息，并生成以设备ID为键值(Key)，以“状态信息”为值(Value)的字段数据；
步骤3：定制第一个MapReduce作业，对电网中各级设备的运行信息(电气连接、状态信息)以及停电需求记录进行汇编。MapReduce是一种并行化编程模型，用于大规模数据的并行计算。与HDFS的主从节点结构相对应，MapReduce框架也包括一个Master和若干个Slave，对应于HDFS的名称节点和数据节点。Master上运行JobTracker，Slave上运行TaskTracker。用户提交的每个计算作业，都会被划分成若干个任务。JobTracker负责作业和任务的调度，监控他们的执行，并重新调度已经失败的任务。TaskTracker负责执行JobTracker指派的任务；
步骤3.1：InputSplit——对待处理文件进行逻辑切分。将系统采集数据并生成的以文本文件类型为扩展名的本地文件通过InputFormat模块来做Map前的预处理。在验证了文件的输入格式是否符合输入定义后，待处理文件就会在逻辑上被分成若干个InputSplit，这种逻辑切分并不是进行了实际的文件切割，而是记录了要处理的数据的位置和长度。本发明中涉及处理的是停电需求记录，InputSplit所记录的数据位置信息为设备ID，选取的待分析数据长度为步骤1和步骤2中生成的记录以及设备的停电需求记录(设备停电需求记录以设备ID为键(Key)，以停电需求的其他相关信息为值(Value))；
步骤3.2：Record Reader:——将待分析数据解析成记录，并转换成键值对的形式，传递给Map任务。这里我们使用Record Reader的默认解析功能，产生的键是数据在文件中的位置，值是组成这条记录的数据块；
步骤3.3：Map——定制Map，对Record Reader传入的记录进行基本Map处理，利用默认的分区器将键相同(即设备ID相同)的记录传递给同一个Reduce端进行处理；
步骤3.4：Reduce——以步骤3.3中输出的<key,value-list>形式的中间结果作为输入，在迭代器中，将步骤1和步骤2中输出的“电气连接信息”、“状态信息”以及“停电需求信息”进行归并整合，如无“停电需求信息”则对应记录“null”；
步骤3.5：OutputFormat——获取Reduce端输出的最终键值对，首先验证输出目录是否已经存在，以及输出结果的类型是否符合配置文件中的设置，如果均满足，就输出Reduce结果到分布式文件系统进行保存；
步骤4：定制第二个MapReduce作业，对步骤3中汇编得到输出文件进行处理，在考虑电网运行稳定的必要前提下，生成各级设备停电计划；
步骤4.1：InputSplit——以步骤3的输出文件作为输入。InputSplit所记录的数据位置信息为设备ID，待分析的数据长度为该记录的全长；
步骤4.2：Record Reader:——将待分析数据解析成记录，并转换成键值对的形式，传递给Map任务。这里我们使用Record Reader的默认解析功能，产生的键是数据在文件中的位置，值是组成这条记录的数据块；
步骤4.3：Map——定制Map，对Record Reader传入的记录进行并行处理。在Hadoop框架下，Map处理后的中间结果会传递给Partition。根据需求，定制Map输出的中间结果是以设备ID和计划停电时间组成的组合键(CombinedKey)，输出的中间结果的值则包含：计划停电时间、所需工期、工作内容、工作班组、电气连接信息、状态信息；
步骤4.4：Partition——定制Partition和WritableComparator对Map任务的输出结果以组合键第一个字段(也即设备ID)为组(Group)，按照第二字段(计划停电时间)进行排序(也称为二次排序)。对本发明中设定的组合键分区需要自定义一个分区处理器来取代Hadoop MapReduce框架下，默认提供的分区器功能。因此需要通过继承Partition类来定制按照组合键中的第一个字段(设备ID)进行分区的分区函数。分区操作完成之后，调用自定义的排序器(通过继承WritableComparator类来实现)对组合键中的第二个字段(计划停电时间)进行排序。在这个过程中，同步校验各停电需求中是否有需要同停的设备，或由于电网稳定性要求绝对不能同停的设备。如果存在同停或不能同停的情况，则将涉及到的成对记录的键(Key)修改为如下格式(“A设备ID-B设备ID同停”或“A设备ID-B设备ID不同停”)。
步骤4.5：Shuffle——通过Shuffle过程将所有的Partition输出的键值对拉取到Reduce任务本地机上，按照这些数据的键进行排序并写入一个较大的List中。
步骤4.6：Reduce——以Shuffle过程输出的<key,value-list>形式的中间结果作为输入，在迭代器中：(1)对同一设备涉及多项工作内容的停电需求，选取各项工作计划停电时间中的共同时段输出为该设备的停电时段，以最长所需工期时间输出为该设备此次停电的时间。(2)对于设备同停或不同停的记录重新修改键(Key),并相应的将所涉及的两个设备的停电时间安排为同一时段或不同时段。(3)对“状态信息”中需要停电消缺的设备，尽量将停电时间安排在计划消缺时间内。
步骤4.7：OutputFormat——获取Reduce端输出的最终键值对，首先验证输出目录是否已经存在，以及输出结果的类型是否符合配置文件中的设置，如果均满足，就输出Reduce结果到分布式文件系统进行保存。
步骤5：对Reduce分布存储的各个子文件进行汇总整合，生成停电计划。相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种基于Hadoop平台的电力设备停电计划编制方法，其特征在于，包括以下步骤：
S1：从主网接线方式图中提取电力系统各设备图形文件，实现图模转换，建立模型文件，并将模型文件输出为以设备ID为键值，以“电气连接信息”为值Value的字段数据；
S2：从资产管理系统中设备台账模块与缺陷模块提取各电力设备的状态信息，并生成以设备ID为键值，以“状态信息”为值的字段数据；
S3：搭建Hadoop分布式文件系统，Hadoop大数据处理平台的分布式文件系统包括Hadoop客户端和Hadoop集群，Hadoop集群包括名称节点、备用名称节点以及用于管理存储数据的数据节点，在HDFS中，客户端通过名称节点获取数据节点和文件块的映射关系，名称节点对文件、目录进行创建、删除和重命名等操作，管理数据节点和文件块的映射关系，数据节点的数据保存在本地Linux文件系统中，每个数据节点会周期性地向名称节点发送“心跳”信号，报告自己的状态；
S4：定制第一个MapReduce作业，对电网中各级设备的运行信息以及停电需求记录进行汇编，MapReduce是一种并行化编程模型，用于大规模数据的并行计算，与HDFS的主从节点结构相对应，MapReduce框架也包括一个Master和若干个Slave，对应于HDFS的名称节点和数据节点，Master上运行JobTracker，Slave上运行TaskTracker，用户提交的每个计算作业，都会被划分成若干个任务，JobTracker负责作业和任务的调度，监控他们的执行，并重新调度已经失败的任务，TaskTracker负责执行JobTracker指派的任务；
S5：定制第二个MapReduce作业，对步骤S4中汇编得到输出文件进行处理，在考虑电网运行稳定的必要前提下，生成各级设备停电计划；
S6：对Reduce分布存储的各个子文件进行汇总整合，生成停电计划，
2.根据权利要求1所述的基于Hadoop平台的电力设备停电计划编制方法，其特征在于，所述步骤S4的具体过程是：
S41：对待处理文件进行逻辑切分，将系统采集数据并生成的以文本文件类型为扩展名的本地文件通过InputFormat模块来做Map前的预处理，在验证了文件的输入格式是否符合输入定义后，待处理文件就会在逻辑上被分成若干个InputSplit，这种逻辑切分并不是进行了实际的文件切割，而是记录了要处理的数据的位置和长度，InputSplit所记录的数据位置信息为设备ID，选取的待分析数据长度为步骤S1和步骤S2中生成的记录以及设备的停电需求记录；
S42：将待分析数据解析成记录，并转换成键值对的形式，传递给Map任务，使用RecordReader的默认解析功能，产生的键是数据在文件中的位置，值是组成这条记录的数据块；
S43：定制Map，对Record Reader传入的记录进行基本Map处理，利用默认的分区器将键相同的记录传递给同一个Reduce端进行处理；
S44：以步骤S43中输出的结果作为输入，在迭代器中，将步骤S1和步骤S2中输出的“电气连接信息”、“状态信息”以及“停电需求信息”进行归并整合，如无“停电需求信息”则对应记录“null”；
S45：定制第二个MapReduce作业，对步骤S4中汇编得到输出文件进行处理，在考虑电网运行稳定的必要前提下，生成各级设备停电计划。
3.根据权利要求2所述的基于Hadoop平台的电力设备停电计划编制方法，其特征在于，所述步骤S5的过程是：
S51：以步骤S4的输出文件作为输入，将待分析数据解析成记录，并转换成键值对的形式，传递给Map任务，使用Record Reader的默认解析功能，产生的键是数据在文件中的位置，值是组成这条记录的数据块；
S52：定制Map，对Record Reader传入的记录进行并行处理，在Hadoop框架下，Map处理后的中间结果会传递给Partition，根据需求，定制Map输出的中间结果是以设备ID和计划停电时间组成的组合键，输出中间结果的值中则包含：计划停电时间、所需工期、工作内容、工作班组、电气连接信息、状态信息；
S53：定制Partition和WritableComparator对Map任务的输出结果以组合键第一个字段为组，按照第二字段进行排序，在这个过程中，同步校验各停电需求中是否有需要同停的设备，或由于电网稳定性要求绝对不能同停的设备，如果存在同停或不能同停的情况，则将涉及到的成对记录的键修改为如下格式：“A设备ID-B设备ID同停”或“A设备ID-B设备ID不同停”。
4.根据权利要求3所述的基于Hadoop平台的电力设备停电计划编制方法，其特征在于，所述步骤S5的过程还包括：
S54：通过Shuffle过程将所有的Partition输出的键值对拉取到Reduce任务本地机上，按照这些数据的键进行排序并写入一个较大的List中；
S55：以Shuffle过程输出的结果作为输入，在迭代器中迭代；
S56：获取Reduce端输出的最终键值对，首先验证输出目录是否已经存在，以及输出结果的类型是否符合配置文件中的设置，如果均满足，就输出Reduce结果到分布式文件系统进行保存。
5.根据权利要求4所述的基于Hadoop平台的电力设备停电计划编制方法，其特征在于，所述步骤S55中的迭代过程是：
1)对同一设备涉及多项工作内容的停电需求，选取各项工作计划停电时间中的共同时段输出为该设备的停电时段，以最长所需工期时间输出为该设备此次停电的时间；
2)对于设备同停或不同停的记录重新修改键,并相应的将所涉及的两个设备的停电时间安排为同一时段或不同时段；
3)对“状态信息”中需要停电消缺的设备，尽量将停电时间安排在计划消缺时间内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802493.3A CN110533320B (zh) | 2019-08-28 | 2019-08-28 | 一种基于Hadoop平台的电力设备停电计划编制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802493.3A CN110533320B (zh) | 2019-08-28 | 2019-08-28 | 一种基于Hadoop平台的电力设备停电计划编制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533320A true CN110533320A (zh) | 2019-12-03 |
| CN110533320B CN110533320B (zh) | 2023-05-02 |
Family
ID=68664858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910802493.3A Active CN110533320B (zh) | 2019-08-28 | 2019-08-28 | 一种基于Hadoop平台的电力设备停电计划编制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533320B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463769A (zh) * | 2020-12-11 | 2021-03-09 | 中国人寿保险股份有限公司 | 一种HBase大批量数据删除方法、装置、电子设备和存储介质 |
| CN112529374A (zh) * | 2020-11-26 | 2021-03-19 | 国网山东省电力公司建设公司 | 一种变电站的停电处理方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090276771A1 (en) * | 2005-09-15 | 2009-11-05 | 3Tera, Inc. | Globally Distributed Utility Computing Cloud |
| CN104156810A (zh) * | 2014-07-31 | 2014-11-19 | 国网山东省电力公司 | 一种基于云计算的电力调度生产管理系统及其实现方法 |
| CN104536830A (zh) * | 2015-01-09 | 2015-04-22 | 哈尔滨工程大学 | 一种基于MapReduce的KNN文本分类方法 |
| CN206294207U (zh) * | 2016-12-30 | 2017-06-30 | 国网山西省电力公司 | 基于“大运行”多约束条件的电网停电计划结构优化平台 |
| CN107330008A (zh) * | 2017-06-13 | 2017-11-07 | 广东电网有限责任公司佛山供电局 | 一种基于Hadoop平台的电力系统谐波监测方法 |
| CN108389026A (zh) * | 2017-12-28 | 2018-08-10 | 广州建软科技股份有限公司 | 一种停电计划编制管理系统及方法 |
| CN111860940A (zh) * | 2020-06-02 | 2020-10-30 | 山西潞安环保能源开发股份有限公司 | 一种基于逻辑回归算法的煤矿配电网络停电事故预测方法 |
-
2019
- 2019-08-28 CN CN201910802493.3A patent/CN110533320B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090276771A1 (en) * | 2005-09-15 | 2009-11-05 | 3Tera, Inc. | Globally Distributed Utility Computing Cloud |
| CN104156810A (zh) * | 2014-07-31 | 2014-11-19 | 国网山东省电力公司 | 一种基于云计算的电力调度生产管理系统及其实现方法 |
| CN104536830A (zh) * | 2015-01-09 | 2015-04-22 | 哈尔滨工程大学 | 一种基于MapReduce的KNN文本分类方法 |
| CN206294207U (zh) * | 2016-12-30 | 2017-06-30 | 国网山西省电力公司 | 基于“大运行”多约束条件的电网停电计划结构优化平台 |
| CN107330008A (zh) * | 2017-06-13 | 2017-11-07 | 广东电网有限责任公司佛山供电局 | 一种基于Hadoop平台的电力系统谐波监测方法 |
| CN108389026A (zh) * | 2017-12-28 | 2018-08-10 | 广州建软科技股份有限公司 | 一种停电计划编制管理系统及方法 |
| CN111860940A (zh) * | 2020-06-02 | 2020-10-30 | 山西潞安环保能源开发股份有限公司 | 一种基于逻辑回归算法的煤矿配电网络停电事故预测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529374A (zh) * | 2020-11-26 | 2021-03-19 | 国网山东省电力公司建设公司 | 一种变电站的停电处理方法和系统 |
| CN112529374B (zh) * | 2020-11-26 | 2023-01-24 | 国网山东省电力公司建设公司 | 一种变电站的停电处理方法和系统 |
| CN112463769A (zh) * | 2020-12-11 | 2021-03-09 | 中国人寿保险股份有限公司 | 一种HBase大批量数据删除方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533320B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110022226B (zh) | 一种基于面向对象的数据采集系统及采集方法 | |
| CN105843182B (zh) | 一种基于oms的电力调度事故预案系统及方法 | |
| CN109829125A (zh) | 展示电网调度运行数据的用户管理平台 | |
| US20160043549A1 (en) | Distributed micro-grid controller | |
| CN107070890A (zh) | 一种通信网优系统中的流数据处理装置及通信网优系统 | |
| CN109284346A (zh) | 一种基于云计算的配电网规划方法及装置 | |
| CN113612306A (zh) | 一种分布式配电柜及其控制系统 | |
| CN107294771A (zh) | 一种适用于大数据集群的高效部署系统以及使用方法 | |
| CN110533320A (zh) | 一种基于Hadoop平台的电力设备停电计划编制方法 | |
| CN114153920A (zh) | 大数据边平台与方法 | |
| Balaž et al. | Development of grid e-infrastructure in south-eastern Europe | |
| Theeten et al. | Towards the optimization of a parallel streaming engine for telco applications | |
| CN117708100A (zh) | 一种基于人工智能的业务大数据分析系统 | |
| CN107330008A (zh) | 一种基于Hadoop平台的电力系统谐波监测方法 | |
| CN115776442B (zh) | 一种数据中心网络设备信息采集节点部署方法 | |
| Harper et al. | Industrial analytics pipelines | |
| Wang et al. | Fault diagnosis and trace method of power system based on big data platform | |
| CN114064617A (zh) | 数据获取方法、装置、设备及计算机存储介质 | |
| Wan et al. | Statistics and Analysis of Power Consumption Data Based on Big Data | |
| Seenath Beevi et al. | Smart Grid and Utility Challenges | |
| CN115914379B (zh) | 一种数据交换装置及数据交换系统 | |
| CN112100495B (zh) | 一种基于分布式的一站式采集方法及采集系统 | |
| Wan et al. | Research on Application Configuration Management Technology for Cloud Platform | |
| Ma et al. | Analysis and Prediction of Massive Electricity Information Based on Hadoop Ha Architecture | |
| Prasad et al. | Challenges of monitoring tool for operational indian national grid garuda |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |