CN104657497A - 一种基于分布式计算的海量用电信息并行计算系统及方法 - Google Patents

Abstract

本发明公开了一种基于分布式计算的海量用电信息并行计算系统及方法，包括：用电信息分布式存储模块，主从结构，包括用电信息分布式存储模块主节点和若干用电信息分布式存储模块从节点，用电信息计算处理引擎，主从结构，包括用电信息计算处理引擎主节点和用电信息计算处理引擎从节点，用电信息计算处理引擎与用电信息分布式存储模块相互通信；实现应用分布式计算框架快速运算和计算结果回写在内的各项功能。在对要计算的海量用电信息实现非结构化映射的基础上，对要计算的数据分组后实现并行计算，将最终的结果合并后返回，提升数据综合计算能力，实现服务器计算能力的横向扩展，解决用电大数据时代海量数据实时、高效处理的问题。

Description

一种基于分布式计算的海量用电信息并行计算系统及方法

技术领域

本发明属于分布式计算领域，特别涉及一种基于分布式计算的海量用电信息并行计算系统及方法。

背景技术

随着电力领域对信息化数据要求的提升，电力领域的信息化系统逐渐呈现出覆盖规模庞大、海量数据、数据项复杂、数据处理逻辑复杂、数据存储周期长、业务种类多、计算频度高等特点。

目前，用电信息采集系统“全覆盖、全采集”目标正在逐步实现，系统会面临海量数据资源存储及处理的需求，包括终端采集的原始数据、解析并计算后得到的业务数据，这些数据的操作方式、操作频度要求各不相同，接入终端数量的增多，采集数据量呈指数级增长，系统的数据量也越来越大，面临着海量数据存储慢、重点数据分析时效性差、系统整体性能下降、业务分析计算困难等难题，有效提升电力领域的信息化系统海量数据的计算和处理能力已经迫在眉睫。

为了充分发挥电力领域信息化系统基础支撑作用，满足用电数据深化应用工作和对数据存储、查询、统计、分析及对数据价值深入挖掘的需求，通过领先的数据融合、数据清洗、数据治理以及大数据挖掘等相关技术手段提升用电数据应用价值已势在必行。这也决定了电力领域信息化系统对数据的需求更广、分析挖掘需求更深、在线统计计算时效性要求更高。如每天批量计算的线损计算服务，地市级的考核单元往往达数万、供入供出计量点往往达百万，而这些数据要求在一个小时左右的时间内计算完成，而相对单台服务器的计算能力是有限的。

因此，随着业务的开展，数据计算需要处理的数据越来越多，数据计算服务的计算时间也会越来越长，必须要通过分布式计算的手段提升其计算时效性，才能为电力业务的发展提供数据保障。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于分布式计算的海量用电信息并行计算系统及方法，它具有有效的提升数据综合计算能力，实现服务器计算能力的横向扩展，解决用电大数据时代海量数据实时、高效处理的问题的优点。

为了实现上述目的，本发明采用如下技术方案：

一种基于分布式计算的海量用电信息并行计算系统，用主节点和从节点的框架体系，主节点负责数据的分发和任务的分发，在集群中起领导者的作用，主节点至少具备主、备各一台；从节点主要负责数据的存储和任务的执行，在集群中属于工作者，从节点有多台。

一种基于分布式计算的海量用电信息并行计算系统，包括：

用电信息分布式存储模块，是主从结构的，包括用电信息分布式存储模块主节点和若干用电信息分布式存储模块从节点，

用电信息计算处理引擎，是主从结构的，包括用电信息计算处理引擎主节点和用电信息计算处理引擎从节点，所述用电信息计算处理引擎与用电信息分布式存储模块相互通信；

分布式管理模块，用来解决分布式应用中遇到的数据管理问题；

用电信息元数据存储模块，用于存储用电信息数据管理模块所管理数据表的元数据信息；

用电信息数据管理模块，用于将存储在用电信息分布式存储模块中的结构化的数据文件映射为一张数据库表，并提供类SQL的查询语言，将查询语句自动转换为计算任务提交到用电信息计算处理引擎中运行，数据文件与数据表的映射关系存储在应用关系数据库中。

访问代理模块，提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机；当业务应用发起计算请求时，访问代理能够将业务应用不同协议方式的请求转换为统一的任务请求格式提交用电信息数据管理模块，并实现负载均衡。

所述用电信息分布式存储模块主节点包括主用单元和备用单元，主用单元和备用单元均存储命名节点，负责数据的分发；

所述用电信息分布式存储模块从节点包含数据节点，负责数据的存储。

所述用电信息计算处理引擎主节点包括计算任务分配模块，负责计算任务的分发，包括主用计算任务分配模块和备用计算任务分配模块；

所述用电信息计算处理引擎从节点包括计算任务执行模块，负责计算任务的执行。

所述用电信息分布式存储模块主节点上只运行一个命名节点，而在每一个用电信息分布式存储模块从节点上运行一个数据节点。

所述命名节点在映像文件中存储所有关于文件系统名称空间的信息，即文件系统中每个文件所处的命名空间，管理着整个用电信息分布式存储，以及对文件系统的操作；所述对文件系统的操作包括建立、删除文件和文件夹。

映像文件和包含所有事务的记录文件将存储在命名节点所在的本地文件系统上。

映像文件和记录文件也需要复制副本，以防文件损坏或命名节点所在文件系统丢失。

所述数据节点响应读写请求，还响应创建、删除和复制来自命名节点的块的命令。

所述数据节点支持一次写入，多次读取；不支持已写入数据的更新操作，但允许在文件尾部添加新的数据。

所述数据节点上的数据文件以分块形式存储，块大小默认为64MB，出于容错考虑，对块进行复制，默认副本数为3。

所述计算任务分配模块将接受到的任务分割为多个小的子任务，将分割后的任务分发给用电信息计算处理引擎从节点上的计算任务执行模块执行。

所述计算任务执行模块会定期向任务分配模块发送心跳，任务分配模块根据接收到心跳判断计算任务执行模块的健康状况。

所述计算任务执行模块在接收到任务分配模块发来的任务，将任务执行需要的应用请求从用电信息分布式存储模块保存到本地系统；为任务新建一个本地的工作目录，将应用请求的内容执行。

所述数据管理问题包括：统一命名服务、状态同步服务、集群管理、分布式应用配置项管理等，例如实现自动故障监测和转移。

一种基于分布式计算的海量用电信息并行计算系统的方法，包括如下步骤：

步骤(1)：计算需要的原始数据以关系表的形式存放在应用关系数据库中，用电信息数据管理模块将关系表从应用关系数据库中取出，利用元数据储存模块的元数据，生成结构化文件，然后以结构化文件的形式存入用电信息分布式存储模块中，再将文件从用电信息分布式存储模块中载入用电信息数据管理模块；用电信息分布式存储模块的命名节点决定是否将文件映射到用电信息数据节点的复制块上，如果需要映射，则将文件映射到复制块，主用节点写入编辑日志，备用节点重做日志；

步骤(2)：业务应用模块通过访问代理以JDBC的方式与用电信息数据管理模块建立连接，并提交类SQL语句实现服务的业务逻辑；用电信息数据管理模块负责将应用提交的类SQL语句转化为计算任务提交给用电信息计算处理引擎，由用电信息计算处理引擎负责分布式计算；计算过程中的临时表和最终结果都存储在用电信息数据管理模块中；

步骤(3)：用电信息处理引擎的计算任务分配模块接收到要计算的作业后，对作业进行初始化，将作业加入调度队列，并由创建任务调度器进行调度；任务调度器首先从用电信息分布式存储模块中获取已计算好的输入分块信息，然后为每个划分创建一个计算任务；计算任务执行模块定期给计算任务分配模块发送心跳，计算任务分配模块根据收到的信息，判断是否可以分配给计算任务执行模块任务，如果是，任务调度器会对任务进行分配；计算任务执行模块被分配任务后，将任务执行需要的应用执行文件从用电信息分布式存储拷贝到本地系统，为任务新建一个本地的工作目录，将文件的内容解压，并新建一个任务执行器实例来运行任务；任务执行器将启动一个新的虚拟机用于执行任务；

步骤(4)：主用计算任务分配模块会在本地存储计算任务作业状态，一旦主用计算任务分配模块宕掉，部署在主用计算任务分配模块上的分布式计算任务管理插件会监测到，并断开与分布式管理模块连接；备用计算任务分配模块上的计算任务监控模块试图成为新的主用计算任务分配模块，一旦成功，将重启原有活跃节点宕机时正在运行的计算任务作业。

所述步骤(1)中：

当用电信息数据管理模块发送请求要求创建文件时，命名节点会以块标识和该块的第一个副本的数据节点IP地址作为响应。命名节点还会通知其他将要接收该块的副本的数据节点。命名节点依赖来自每个数据节点的定期心跳消息。每条消息都包含一个块报告，命名节点可以根据报告验证块映射和其他文件系统元数据。如果数据节点不能发送心跳消息，命名节点将采取修复措施，重新复制在该节点上丢失的块。

数据节点同时向主用的命名节点和备用的命名节点发送心跳和文件块位置，因此即使主用的命名节点故障，备用的命名节点也能够知晓数据节点及文件块信息。

命名节点知晓自身的状态为主用的还是备用的。主用的命名节点将编辑日志写入日志节点，备用的命名节点从日志节点读取编辑日志，并重做，一旦转换为主用的命名节点，为保证正确性，它先从日志节点读取了所有的更新。日志节点保证只有1个命名节点向其写入编辑日志，并且编辑日志写入到一半以上日志节点才算成功。

所述分布式管理模块用于实现故障自动转移，在所有命名节点上引入分布式存储管理插件，分布式存储管理插件时刻监听自己所在节点上的命名节点健康状况，并作为分布式管理模块客户端连接分布式管理模块集群。主用命名节点上的分布式存储管理插件会在分布式管理模块上持有一个节点状态锁，一旦发现本地的命名节点出现故障，就释放锁，断开与分布式管理模块连接；其它备用的命名节点上的分布式存储管理插件发现节点状态锁没被持有，就试图获得锁，一旦成功，它所在节点上的命名节点就是新的主用的命名节点。

命名节点和计算任务分配模块可以部署在同一物理节点，也可以部署在不同物理节点，视具体情况而定。

一份文件存储内容存在3个或3个以上复制块时，一般第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上，其他复制块可以根据情况进行灵活安排。一个并行计算系统中包含一个命名节点和大量数据节点。数据节点通常以机架的形式组织，机架通过一个交换机将系统中所有节点连接起来。

本发明的有益效果：

1，针对海量用电信息计算规模庞大、数据项复杂、计算频度高等特点，本发明的用电信息计算处理引擎通过对任务分解后进行并行计算，能够大幅度提升计算性能，缩短单一任务的计算时间。同时，用电信息计算处理引擎和用电信息分布式存储具备很强的伸缩性，能够通过增加物理节点的方式水平扩展，进一步提升其处理性能。

2面对目前电力领域信息化系统传统的建设模式中串行计算和关系型数据库较多的现实问题，本发明的计算引擎中针对传统的并行计算的引擎进行了大幅度的简化，它让那些没有多少并行计算经验的开发人员也可以开发并行应用，利用用电信息元数据存储模块和用电信息数据管理模块通过元数据的存储和转换，让开发人员的学习成本更低，能够通过类SQL语句快速实现简单的计算任务。

3为解决各类用电信息数据项复杂、业务种类多的问题，以满足各类电力领域信息化系统对数据的更为广泛的需求，本发明的访问代理模块提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，能够支持数以万计的并发连接，并且它的运行模式使得它可以很简单安全的整合进不同的业务应用架构中。

4由于要处理的用电信息具有数据项复杂、数据处理逻辑复杂、数据存储周期长等特点，因此在存储和计算周期内，保障数据和计算安全是一个需要重视的问题。本发明利用分布式管理模块保障分布式计算和分布式存储安全，使之具备很强的容错性。当分布式存储某一个块由于错误出现故障时，其他块能够安全的保存该块上的数据，重新复制在该节点上丢失的块；当分布式计算引擎任务分配模块宕机时，分布式管理模块会监测到，并指导其他模块接替宕机的模块重启计算任务。

附图说明

图1为本发明提出的一种基于分布式计算的海量用电信息并行计算系统。

图2为本发明的方法流程图。

其中，1、用电信息分布式存储模块，2、用电信息计算处理引擎，3、分布式管理模块，4、用电信息元数据存储模块，5、用电信息数据管理模块，6、访问代理模块，

101、主用单元，102、备用单元，103、主用单元命名节点，104、备用单元命名节点，105、第1用电信息分布式存储模块从节点，106、第n用电信息分布式存储模块从节点，107、第1数据节点，108、第n个数据节点；

201、用电信息计算处理引擎主用单元，202、用电信息计算处理引擎备用单元，203、主用计算任务分配模块，204、备用计算任务分配模块，205、第1用电信息计算处理引擎从节点，206、第n用电信息计算处理引擎从节点，207、第1计算任务执行模块，208、第n计算任务执行模块。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

图1，是基于本发明实现的一种基于分布式计算的海量用电信息并行计算系统，包括用电信息分布式存储模块1、用电信息计算处理引擎2、分布式管理模块3、用电信息元数据存储模块4、用电信息数据管理模块5、访问代理模块6。

所述用电信息分布式存储模块1是主从结构的，包括用电信息分布式存储模块主节点和用电信息分布式存储模块从节点。用电信息分布式存储模块主节点至少具备主用单元101、备用单元102各一台，主用单元包含主用单元命名节点103，备用单元包含备用单元命名节点104，负责数据的分发；从节点可以有多台，第1个用电信息分布式存储模块从节点105，依次类推，第n个用电信息分布式存储模块从节点106，第1用电信息分布式存储模块从节点包括第1数据节点107，依次类推，第n个用电信息分布式存储模块从节点包括第n个数据节点108，负责数据的存储。

所述用电信息计算处理引擎2是主从结构的，包括用电信息计算处理引擎主节点和用电信息计算处理引擎从节点。用电信息计算处理引擎主节点至少具备用电信息计算处理引擎主用单元201、用电信息计算处理引擎备用单元202各一台，用电信息计算处理引擎主用单元包括主用计算任务分配模块203，用电信息计算处理引擎备用单元包括备用计算任务分配模块204，计算任务分配模块主要负责任务的分发；从节点包括第1用电信息计算处理引擎从节点205，依次类推，第n用电信息计算处理引擎从节点206，其中，第1用电信息计算处理引擎从节点包括第1计算任务执行模块207，第n用电信息计算处理引擎从节点包括第n计算任务执行模块208；负责计算任务的执行。

主用计算任务分配模块203、备用计算任务分配模块204将接受到的任务分割为多个小的子任务，将分割后的任务分发给从节点上的第1计算任务执行模块207……第n计算任务执行模块208执行。计算任务执行模块在接收到任务分配模块发来的任务，将任务执行需要的应用请求从用电信息分布式存储模块保存到本地系统，将应用请求的内容执行。

分布式管理模块3主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等，例如实现自动故障监测和转移。

用电信息元数据存储模块4存储负责存储用电信息数据管理模块所管理数据表的元数据信息。

用电信息数据管理模块5将存储在用电信息分布式存储中的结构化的数据文件映射为一张数据库表，并提供类SQL的查询语言，能将查询语句自动转换为计算任务提交到引擎中运行，文件与表的映射关系存储在数据库中。

访问代理模块6提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。

如图2所示，本发明工作过程如下：

计算需要的原始数据以关系表的形式存放在应用关系数据库中，用电信息数据管理模块将数据表从应用关系数据库中取出，基于元数据，以结构化文件的形式存入用电信息分布式存储模块中，再将文件从用电信息分布式存储模块中载入用电信息数据管理模块。

用电信息分布式存储模块的用电信息命名节点决定是否将文件映射到用电信息数据节点上的复制块上。对于最常见的3个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。一个系统中包含一个命名节点和大量数据节点。数据节点通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。

当用电信息数据管理模块发送请求要求创建文件时，命名节点会以块标识和该块的第一个副本的数据节点IP地址作为响应。命名节点还会通知其他将要接收该块的副本的数据节点。命名节点依赖来自每个数据节点的定期心跳消息。每条消息都包含一个块报告，命名节点可以根据这个报告验证块映射和其他文件系统元数据。如果数据节点不能发送心跳消息，命名节点将采取修复措施，重新复制在该节点上丢失的块。

数据节点同时向主用的命名节点和备用的命名节点发送心跳和文件块位置，因此即使主用的命名节点故障，备用的命名节点也能够知晓数据节点及文件块信息。

命名节点知晓自身的状态为主用的还是备用的。主用的命名节点将编辑日志写入日志节点，备用的命名节点从日志节点读取编辑日志，并重做，一旦转换为主用的命名节点，为保证正确性，它先从日志节点读取了所有的更新。日志节点保证只有1个命名节点向其写入编辑日志，并且编辑日志写入到一半以上日志节点才算成功。

为实现故障自动转移，引入了分布式管理模块。在所有命名节点上引入分布式存储管理插件，分布式存储管理插件时刻监听自己所在节点上的命名节点健康状况，并作为分布式管理模块客户端连接分布式管理模块集群。主用的命名节点上的分布式存储管理插件会在分布式管理模块上持有一个节点状态锁，一旦发现本地的命名节点出现故障，就释放锁，断开与分布式管理模块连接；其它备用的命名节点上的分布式存储管理插件发现节点状态锁没被持有，就试图获得锁，一旦成功，它所在节点上的命名节点就是新的主用的命名节点。

应用通过访问代理以JDBC的方式与用电信息数据管理模块建立连接，并提交类SQL语句实现服务的业务逻辑。用电信息数据管理模块负责将应用提交的类SQL语句转化为计算任务提交给用电信息计算处理引擎，由用电信息计算处理引擎负责分布式计算。计算过程中的临时表和最终结果都存储在用电信息数据管理模块中。

任务分配模块接收到要计算的作业后，对作业进行初始化，将作业加入调度队列，并由创建任务调度器进行调度。任务调度器首先从用电信息分布式存储模块中获取已计算好的输入分块信息，然后为每个划分创建一个计算任务。任务执行模块定期给任务分配模块发送心跳，任务分配模块根据收到的信息，判断是否可以分配给任务执行模块任务，如果是，任务调度器会对任务进行分配。任务执行模块被分配任务后，将任务执行需要的应用执行文件从用电信息分布式存储拷贝到本地系统，为任务新建一个本地的工作目录，将文件的内容解压，并新建一个任务执行器实例来运行任务。任务执行器将启动一个新的虚拟机用于执行任务。

主用的任务分配模块会在本地存储计算任务作业状态，一旦主用的任务分配模块宕掉，本地的分布式计算任务管理插件会监测到，并断开与分布式管理模块连接；备用的任务分配模块上的计算任务监控模块试图成为新的主用的任务分配模块，一旦成功，将重启原有活跃节点宕机时正在运行的计算任务作业。

命名节点和任务分配模块可以部署在同一物理节点，也可以部署在不同物理节点，视具体情况而定。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于分布式计算的海量用电信息并行计算系统，其特征是，包括：

用电信息分布式存储模块，是主从结构的，包括用电信息分布式存储模块主节点和若干用电信息分布式存储模块从节点，

用电信息计算处理引擎，是主从结构的，包括用电信息计算处理引擎主节点和用电信息计算处理引擎从节点，所述用电信息计算处理引擎与用电信息分布式存储模块相互通信；

分布式管理模块，用来解决分布式应用中遇到的数据管理问题；

用电信息元数据存储模块，用于存储用电信息数据管理模块所管理数据表的元数据信息；

用电信息数据管理模块，用于将存储在用电信息分布式存储模块中的结构化的数据文件映射为一张数据库表，并提供类SQL的查询语言，将查询语句自动转换为计算任务提交到用电信息计算处理引擎中运行，数据文件与数据表的映射关系存储在应用关系数据库中；

访问代理模块，提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机；当业务应用发起计算请求时，访问代理能够将业务应用不同协议方式的请求转换为统一的任务请求格式提交用电信息数据管理模块，并实现负载均衡。

2.如权利要求1所述的一种基于分布式计算的海量用电信息并行计算系统，其特征是，

所述用电信息分布式存储模块主节点包括主用单元和备用单元，主用单元和备用单元均存储命名节点，负责数据的分发；

所述用电信息分布式存储模块从节点包含数据节点，负责数据的存储。

3.如权利要求1所述的一种基于分布式计算的海量用电信息并行计算系统，其特征是，

所述用电信息计算处理引擎主节点包括计算任务分配模块，负责计算任务的分发，包括主用计算任务分配模块和备用计算任务分配模块；

所述用电信息计算处理引擎从节点包括计算任务执行模块，负责计算任务的执行。

4.如权利要求2所述的一种基于分布式计算的海量用电信息并行计算系统，其特征是，

所述用电信息分布式存储模块主节点上只运行一个命名节点，而在每一个用电信息分布式存储模块从节点上运行一个数据节点；

所述命名节点在映像文件中存储所有关于文件系统名称空间的信息，即文件系统中每个文件所处的命名空间，管理着整个用电信息分布式存储，以及对文件系统的操作；所述对文件系统的操作包括建立、删除文件和文件夹；

映像文件和包含所有事务的记录文件将存储在命名节点所在的本地文件系统上；

映像文件和记录文件也需要复制副本，以防文件损坏或命名节点所在文件系统丢失。

5.如权利要求2所述的一种基于分布式计算的海量用电信息并行计算系统，其特征是，

所述数据节点响应读写请求，还响应创建、删除和复制来自命名节点的块的命令；

所述数据节点支持一次写入，多次读取；不支持已写入数据的更新操作，但允许在文件尾部添加新的数据；

所述数据节点上的数据文件以分块形式存储，块大小默认为64MB，出于容错考虑，对块进行复制。

6.如权利要求3所述的一种基于分布式计算的海量用电信息并行计算系统，其特征是，

所述计算任务分配模块将接受到的任务分割为多个小的子任务，将分割后的任务分发给用电信息计算处理引擎从节点上的计算任务执行模块执行；

所述计算任务执行模块会定期向任务分配模块发送心跳，任务分配模块根据接收到心跳判断计算任务执行模块的健康状况；

所述计算任务执行模块在接收到任务分配模块发来的任务，将任务执行需要的应用请求从用电信息分布式存储模块保存到本地系统；为任务新建一个本地的工作目录，将应用请求的内容执行。

7.如权利要求1所述的一种基于分布式计算的海量用电信息并行计算系统，其特征是，

所述数据管理问题包括：统一命名服务、状态同步服务、集群管理、分布式应用配置项管理等，例如实现自动故障监测和转移。

8.一种基于分布式计算的海量用电信息并行计算系统的方法，其特征是，包括如下步骤：

步骤(1)：计算需要的原始数据以关系表的形式存放在应用关系数据库中，用电信息数据管理模块将关系表从应用关系数据库中取出，利用元数据储存模块的元数据，生成结构化文件，然后以结构化文件的形式存入用电信息分布式存储模块中，再将文件从用电信息分布式存储模块中载入用电信息数据管理模块；用电信息分布式存储模块的命名节点决定是否将文件映射到用电信息数据节点的复制块上，如果需要映射，则将文件映射到复制块，主用节点写入编辑日志，备用节点重做日志；

步骤(2)：业务应用模块通过访问代理以JDBC的方式与用电信息数据管理模块建立连接，并提交类SQL语句实现服务的业务逻辑；用电信息数据管理模块负责将应用提交的类SQL语句转化为计算任务提交给用电信息计算处理引擎，由用电信息计算处理引擎负责分布式计算；计算过程中的临时表和最终结果都存储在用电信息数据管理模块中；

步骤(3)：用电信息处理引擎的计算任务分配模块接收到要计算的作业后，对作业进行初始化，将作业加入调度队列，并由创建任务调度器进行调度；任务调度器首先从用电信息分布式存储模块中获取已计算好的输入分块信息，然后为每个划分创建一个计算任务；计算任务执行模块定期给计算任务分配模块发送心跳，计算任务分配模块根据收到的信息，判断是否可以分配给计算任务执行模块任务，如果是，任务调度器会对任务进行分配；计算任务执行模块被分配任务后，将任务执行需要的应用执行文件从用电信息分布式存储拷贝到本地系统，为任务新建一个本地的工作目录，将文件的内容解压，并新建一个任务执行器实例来运行任务；任务执行器将启动一个新的虚拟机用于执行任务；

步骤(4)：主用计算任务分配模块会在本地存储计算任务作业状态，一旦主用计算任务分配模块宕掉，部署在主用计算任务分配模块上的分布式计算任务管理插件会监测到，并断开与分布式管理模块连接；备用计算任务分配模块上的计算任务监控模块试图成为新的主用计算任务分配模块，一旦成功，将重启原有活跃节点宕机时正在运行的计算任务作业。

9.如权利要求8所述的一种基于分布式计算的海量用电信息并行计算系统的方法，其特征是，所述步骤(1)中：

当用电信息数据管理模块发送请求要求创建文件时，命名节点会以块标识和该块的第一个副本的数据节点IP地址作为响应；命名节点还会通知其他将要接收该块的副本的数据节点；命名节点依赖来自每个数据节点的定期心跳消息；每条消息都包含一个块报告，命名节点可以根据报告验证块映射和其他文件系统元数据；如果数据节点不能发送心跳消息，命名节点将采取修复措施，重新复制在该节点上丢失的块；

数据节点同时向主用的命名节点和备用的命名节点发送心跳和文件块位置，因此即使主用的命名节点故障，备用的命名节点也能够知晓数据节点及文件块信息；

命名节点知晓自身的状态为主用的还是备用的；主用的命名节点将编辑日志写入日志节点，备用的命名节点从日志节点读取编辑日志，并重做，一旦转换为主用的命名节点，为保证正确性，它先从日志节点读取了所有的更新；日志节点保证只有1个命名节点向其写入编辑日志，并且编辑日志写入到一半以上日志节点才算成功。

10.如权利要求8所述的一种基于分布式计算的海量用电信息并行计算系统的方法，其特征是，

所述分布式管理模块用于实现故障自动转移，在所有命名节点上引入分布式存储管理插件，分布式存储管理插件时刻监听自己所在节点上的命名节点健康状况，并作为分布式管理模块客户端连接分布式管理模块集群；主用命名节点上的分布式存储管理插件会在分布式管理模块上持有一个节点状态锁，一旦发现本地的命名节点出现故障，就释放锁，断开与分布式管理模块连接；其它备用的命名节点上的分布式存储管理插件发现节点状态锁没被持有，就试图获得锁，一旦成功，它所在节点上的命名节点就是新的主用的命名节点。