CN105183371A - 基于迁移均衡策略的用电信息分布式文件存储方法与装置 - Google Patents

Abstract

本发明公开了基于迁移均衡策略的用电信息分布式文件存储方法与装置，数据采集模块将原始数据帧进行解析得到原始数据，以文件形式存入本地磁盘模块，将原始数据帧上传至关系数据库和MongoDB数据库；检测本地磁盘模块中文件的信息，选择是否将文件上传至数据存储模块；MongoDB数据库采用迁移均衡策略通过路由在mongos获取分片所在的节点负载，从数据量和负载两方面实现均衡；大数据管理引擎定时监测未进行数据转存计算的文件信息，将文件从MongoDB数据库提取，以时间为标签；将从MongoDB数据库提取到的文件数据转化为数据字符流，计算得到业务数据；最后进行数据持久化。实现用电信息大数据的高效存储，满足用电信息采集系统用电大数据存储容量、存储速率需求。

Description

基于迁移均衡策略的用电信息分布式文件存储方法与装置

技术领域

本发明涉及智能用电领域，尤其涉及一种基于迁移均衡策略的用电信息分布式文件存储方法与装置。

背景技术

随着智能电网建设的不断深入和“大集中”建设模式的推进，电力用户数量和终端数量增大，用户用电数据成为典型的行业大数据。电力用户用电数据呈现规模大、多样异构等大数据特征，具体表现在：(1)数据规模巨大，以山东省为例，从2007年用电信息采集系统运行至今，累计数据量约为1.4PB；2014年实现“全覆盖”后系统用电数据日增长量预计翻两番，系统源码数据日增长量预计达到900GB。(2)数据类型多样，用电信息采集系统涉及的数据包括基本档案数据、原始数据帧、基础业务数据、复杂业务数据以及统计分析数据等结构化、半结构化以及无结构化数据，各类数据的处理、存储和管理需求也存在较大差异。

电力用户用电大数据给用电信息采集系统建设面临着大规模数据存储的挑战性问题，即如何针对数据规模、类型、用途选取合适的存储模型。为适应大规模用电信息存储和管理的要求，缓解日益激增的数据源帧和采集数据对存储空间造成的压力，解决高速采集数据流的存储问题，以及云存储数据访问的动态均衡，需要优化大数据存储时的均衡策略，实现用电信息大数据快速高效存储。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于迁移均衡策略的用电信息分布式文件存储方法与装置，实现用电信息大数据的高效存储，满足用电信息采集系统用电大数据存储容量、存储速率需求。

为了实现上述目的，本发明采用如下技术方案：

基于迁移均衡策略的用电信息分布式文件存储装置，包括：

数据采集模块，用于电信息采集系统采集终端上送的用电信息原始数据帧，将原始数据帧解析得到原始数据，检测本地磁盘模块中文件的信息，根据文件的信息选择是否将文件上传至数据存储模块；

本地磁盘模块，将数据采集模块解析后的原始数据以文件形式存入并缓存；

数据存储模块，负责存储用电数据信息，包括前置通信平台关系数据库和分布式MongoDB数据库；

大数据管理引擎，负责定时监测获取前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件信息，将文件从MongoDB数据库提取，同时更新前置通信平台关系数据库内文件提取时间；将从MongoDB数据库提取的文件数据转化为数据字符流，并进行数据计算(电量统计、线损分析等业务计算)，得到业务数据；

数据持久化模块，负责将业务数据交给业务数据库持久化通道进行业务数据持久化，并将业务数据按其所支持具体业务的时效性和功能的不同分别存入应用系统的不同业务数据库中。

所述数据采集模块将用电信息原始数据帧按照信道类型和规约类型进行解析得到原始数据。

所述数据采集模块需要检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，则将数据文件上传至数据存储模块，并更新文件上传时间。

所述前置通信平台关系数据库存储具有严格数据结构且基本无变化的数据，包括客户档案数据、通信信道信息及监控信息。

所述MongoDB数据库存储时效性低且利用率相对低的数据，包括测量点电能、电流、电压数据及终端通讯源码数据。

所述业务数据库包括档案数据库、电压电流数据库、表码数据库、电量数据库、户供电质量数据库、电量分析数据库、线损分析数据库。

一种基于迁移均衡策略的用电信息分布式文件存储装置的存储方法，包括以下步骤：

步骤一、数据采集模块将用电信息采集系统采集终端上送的用电数据原始数据帧按信道类型和归约类型进行解析得到原始数据，原始数据以文件形式存入本地磁盘模块进行缓存，并将用电数据原始数据帧上传至前置通信平台关系数据库和MongoDB数据库；

步骤二、检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，数据采集模块将数据文件上传至MongoDB数据库，并更新文件上传时间；

步骤三、MongoDB数据库采用优化的迁移均衡策略通过路由在mongos获取分片所在的节点负载，从数据量和负载两方面实现均衡；

步骤四、大数据管理引擎定时监测前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件的大小、名称及时间信息，将文件从MongoDB数据库提取，同时以时间为标签保证同一文件同一时间只能被一次处理存储，避免资源浪费；

步骤五、将从MongoDB数据库提取到的文件数据转化为数据字符流，并进行数据计算，得到业务数据；

步骤六、数据持久化模块将业务数据提交给业务数据库持久化通道，交由持久化通道进行业务数据持久化，并存入应用系统的业务数据库。

所述步骤三中优化的迁移均衡策略包括：

步骤3.1、MongoDB部署集群首先集合所有分片的相关信息，确定负载最高的分片、chunk数最大的分片、待移除的分片以及chunk数较小的分片中负载最低的分片；

步骤3.1、检查迁移条件一：检查分片内chunk数之差是否超过阈值，若满足，则确定源分片为chunk数最大的分片，若不满足则检查迁移条件二；

步骤3.2、检查迁移条件二：检查是否存在等待删除的分片，若存在，则选取一个待删除分片作为源分片，若不满足则检查迁移条件三；

步骤3.3、检查迁移条件三：检查是否存在过载的分片，若存在，则确定源分片为负载最高的分片；若不存在过载的分片，则无需迁移；

步骤3.4、确定迁移源分片和目标分片，进行分片迁移。

本发明的有益效果：

自动分片机制增强了集群的水平扩展能力，考虑了分片所在数据节点负载的差异，解决了海量数据存储的动态迁移均衡的问题，能够高效率的快速存储海量数据。

用电信息采集系统在面对高速采集数据流时采用基于迁移均衡策略的分布式文件存储方法，能够高并发的对用电信息大数据进行实时缓存和存储，且存储结构时效性高、利用率高，能够满足用电大数据的存储需求。

附图说明

图1为一种基于迁移均衡策略的用电信息分布式文件存储方法流程图；

图2为优化的迁移均衡策略；

图3为一种基于迁移均衡策略的用电信息分布式文件存储装置；

图4为一种基于迁移均衡策略的用电信息采集系统零点用电信息分布式文件存储流程。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，是本发明一种基于迁移均衡策略的用电信息分布式文件存储方法，包括以下步骤：

A数据采集模块将用电信息采集系统采集终端上送的用电数据原始数据帧按其信道类型、归约类型进行解析得到原始数据，原始数据以文件形式存入本地磁盘模块进行缓存，并将原始数据帧上传至前置通信平台关系数据库和MongoDB数据库；

B检测本地磁盘文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，数据采集模块将数据文件上传至MongoDB数据库，并更新文件上传时间；

CMongoDB数据库采用优化的迁移均衡策略通过路由在mongos获取分片所在的节点负载，从数据量和负载两方面实现均衡；

D大数据管理引擎定时监测未进行数据转存计算的文件信息，并参照这部分文件信息，将文件从MongoDB数据库抽取，同时以时间为标签保证同一文件同一时间只能被一次处理存储，避免资源浪费；

E将提取到的文件数据转化为数据字符流，并进行相关的数据计算，得到业务数据；

F数据持久化模块将业务数据提交给业务数据库持久化通道，交由持久化通道进行业务数据持久化，并存入应用系统的业务数据库。

如图2所示，是所述步骤D中优化的迁移均衡策略，包括以下步骤：

D1.MongoDB部署集群首先集合所有分片的相关信息，确定负载最高的分片、chunk数最大的分片、待移除的分片以及chunk数较小的分片中负载最低的分片；

D2.检查迁移条件一：检查分片内chunk数之差是否超过阈值，若满足，则确定源分片为chunk数最大的分片，若不满足则检查迁移条件二；

D3.检查迁移条件二：检查是否存在等待删除的分片，若存在，则选取一个待删除分片作为源分片，若不满足则检查迁移条件三；

D4.检查迁移条件三：检查是否存在过载的分片，若存在，则确定源分片为负载最高的分片。

D5.若不存在过载的分片，则无需迁移。

D6.确定迁移源分片和目标分片，进行分片迁移。

如图3所示，是本发明一种基于迁移均衡策略的用电信息分布式文件存储装置，包括：

数据采集模块，负责采集用电信息采集系统的终端上送的用电数据，并将用电信息原始数据帧按照其信道类型、规约类型进行解析得到原始数据；检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，将数据文件上传至数据存储模块，并更新文件上传时间。

本地磁盘模块，负责将数据采集模块解析后的原始数据以文件形式存入并缓存；

数据存储模块，负责存储用电数据信息，包括前置通信平台关系数据库和分布式MongoDB数据库，其中前置通信平台关系数据库存储客户档案数据、通信信道信息、监控信息等具有严格数据结构且基本无变化的数据，MongoDB数据库则存储时效性低且利用率相对低的测量点电能、电流、电压数据及终端通讯源码等数据；

大数据管理引擎，负责定时监测获取前置通信平台配置库内未进行数据转存计算的文件信息，并参照这部分文件信息，将文件从MongoDB数据库提取，同时更新配置库内文件提取时间；将提取到的文件数据转化为数据字符流，并进行相关的数据计算，得到业务数据；

数据持久化模块，负责将业务数据交给业务数据库持久化通道进行业务数据持久化，并将业务数据按其所支持具体业务的时效性和功能的不同分别存入应用系统的不同业务数据库，包括档案数据、电压电流数据、表码数据、电量数据、户供电质量数据、电量分析数据、线损分析数据等数据。

如图4所示，是本发明一种基于迁移均衡策略的用电信息采集系统零点用电信息分布式文件存储流程图，具体生成过程如下：

1.用电信息采集系统按照生产数据库设置的任务生成目录表，并存储于MongoDB数据库中。

2.零点采集终端主动上送数据至用电信息采集系统，包括11个行政区的高压、低压居民、低压非居民三种类型共计约3000万个测量点的采集数据。每个测量点上送的数据包括日冻结电能示值，电压曲线、电流曲线、功率曲线等多条采集数据，共计约3.2亿条。

3.采集的原始数据经本地缓存后，上传至MongoDB数据库，写入采集文件数量为3617个，每个10M左右，每个文件中的数据有3万条或10万条左右。3万条数据的文件每条数据包含信息量相对较大，10万条数据的文件每条数据包含信息量相对较小。

4.位于MongoDB数据库中的目录表记录终端的采集状况。

5.待采集终端部主动上传数据(或主动补招数据开始)，数据采集模块查询目录表中未采集的数据。数据采集模块根据目录表中未采集的数据向相应采集终端下发命令，进行数据采集，并将采集的数据上传至MongoDB数据库。

6.大数据管理引擎从MongoDB数据库中读取数据，经实验测试，基于迁移均衡策略的分布式文件存储方法提供了良好的读写性能以满足缓存高速采集数据流的需求，如表1所示：

表1MongoDB集群读写性能

7.原始文件数据经过处理转化为数据字符流，并进行相关的数据计算，得到业务数据。

8.数据持久化模块将业务数据提交给业务数据库持久化通道，交由持久化通道进行业务数据持久化，并于次日五点前存入应用系统的业务数据库。

存储过程耗时除从MongoDB数据库中读取表码文件，处理转存生产库外，其它耗时包括加载计量点档案表缓存以及等待向生产库中存储的时间。3.2亿条采集数据在90min内可以快速存储至生产数据库和分析数据库中，能够满足用电信息采集数据的快速存储需求，保障后续计算任务的顺利进行。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.基于迁移均衡策略的用电信息分布式文件存储装置，其特征是，包括：

数据采集模块，用于电信息采集系统采集终端上送的用电信息原始数据帧，将用电信息原始数据帧解析得到原始数据，检测本地磁盘模块中文件的信息，根据文件的信息选择是否将文件上传至数据存储模块；

本地磁盘模块，将数据采集模块解析后的原始数据以文件形式存入并缓存；

数据存储模块，负责存储用电数据信息，包括前置通信平台关系数据库和分布式MongoDB数据库；

大数据管理引擎，负责定时监测获取前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件信息，将文件从MongoDB数据库提取，同时更新前置通信平台关系数据库内文件提取时间；将从MongoDB数据库提取的文件数据转化为数据字符流，并进行数据计算，得到业务数据；

数据持久化模块，负责将业务数据交给业务数据库持久化通道进行业务数据持久化，并将业务数据按其所支持具体业务的时效性和功能的不同分别存入应用系统的不同业务数据库中。

2.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述数据采集模块将用电信息原始数据帧按照信道类型和规约类型进行解析得到原始数据。

3.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述数据采集模块需要检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，则将数据文件上传至数据存储模块，并更新文件上传时间。

4.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述前置通信平台关系数据库存储的数据包括客户档案数据、通信信道信息及监控信息。

5.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述MongoDB数据库存储的数据包括测量点电能、电流、电压数据及终端通讯源码数据。

6.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述业务数据库包括档案数据库、电压电流数据库、表码数据库、电量数据库、户供电质量数据库、电量分析数据库、线损分析数据库。

7.一种基于权利要求1所述基于迁移均衡策略的用电信息分布式文件存储装置的存储方法，其特征是，包括以下步骤：

步骤一、数据采集模块将用电信息采集系统采集终端上送的用电数据原始数据帧按信道类型和归约类型进行解析得到原始数据，原始数据以文件形式存入本地磁盘模块进行缓存，并将原始数据帧上传至前置通信平台关系数据库和MongoDB数据库；

步骤二、检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，数据采集模块将数据文件上传至MongoDB数据库，并更新文件上传时间；

步骤三、MongoDB数据库采用优化的迁移均衡策略通过路由在mongos获取分片所在的节点负载，从数据量和负载两方面实现均衡；

步骤四、大数据管理引擎定时监测前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件的大小、名称及时间信息，将文件从MongoDB数据库提取，同时以时间为标签；

步骤五、将从MongoDB数据库提取到的文件数据转化为数据字符流，并进行数据计算，得到业务数据；

步骤六、数据持久化模块将业务数据提交给业务数据库持久化通道，交由持久化通道进行业务数据持久化，并存入应用系统的业务数据库。

8.如权利要求7所述基于迁移均衡策略的用电信息分布式文件存储方法，其特征是，所述步骤三中优化的迁移均衡策略包括：

步骤3.1、MongoDB部署集群首先集合所有分片的相关信息，确定负载最高的分片、chunk数最大的分片、待移除的分片以及chunk数较小的分片中负载最低的分片；

步骤3.1、检查迁移条件一：检查分片内chunk数之差是否超过阈值，若满足，则确定源分片为chunk数最大的分片，若不满足则检查迁移条件二；

步骤3.2、检查迁移条件二：检查是否存在等待删除的分片，若存在，则选取一个待删除分片作为源分片，若不满足则检查迁移条件三；

步骤3.3、检查迁移条件三：检查是否存在过载的分片，若存在，则确定源分片为负载最高的分片；若不存在过载的分片，则无需迁移；

步骤3.4、确定迁移源分片和目标分片，进行分片迁移。