CN102521388B - 一种用于电力信息检索的低耦合高可用装置 - Google Patents

Abstract

一种用于电力信息检索的低耦合高可用装置；主要由电力信息检索单元、文件元数据管理单元、文件管理单元、一致性维护单元，文件告警单元，文件输入输出单元，对外接口模块构成；装置通过和其他装置互联形成分布式文件系统；能够自动检测存储失效节点，自动进行数据恢复；采用自定义的选举算法选举主节点，解决了主节点为单点时，主节点发生故障的整个分布式系统崩溃问题。将文件元、文件信息分开单独管理，实现了低成本存储基础上低耦合高可用，通过告警模块进行必要的告警提示系统管理人员系统状态。

Description

一种用于电力信息检索的低耦合高可用装置

技术领域

本专利所要解决的技术问题是，提供用于电力信息检索的低耦合高可用装置，满足决策系统对电力系统存储数据不同的检索要求。

背景技术

伴随智能电网的不断发展，使得电网的信息数据量呈几何曲线性增长。不断提高的数据量和电网模型的快速变化对电力系统的数据存储管理提出了更高的要求，对更高效的更可靠的数据存储处理技术需求日益突出。

电力企业的生产管理、经营决策是基于海量的数据决策的，这就要求决策系统的底层数据是海量。电网业务具有特点是电网各业务系统是根据安全性、重要性不同进行分区的。这就决定了决策系统对于数据检索要求是不同的，对于重要系统数据以及时间较近的历史数据检索要求高，而不重要系统数据以及时间远的历史数据检索要求低，而现有电力系统存储不具备针对电力数据特点采用不同存储形式的分布式海量存储系统。这就要求研制根据电力分区特点海量存储控制装置，该装置应具备低耦合高可用特征。

发明内容

本专利所要解决的技术问题是，提供用于电力信息检索的低耦合高可用装置，满足决策系统对电力系统存储数据不同的检索要求。

本专利解决其技术问题所采用的技术方案如下：一种用于电力信息检索的低耦合高可用装置，该装置包括：电力信息检索单元、文件元数据管理单元、文件管理单元、一致性维护单元、文件告警单元、文件输入输出单元、对外访问接口；他们之间的连接关系是：文件输入输出单元为文件元数据管理单元、文件管理单元提供文件信息，电力信息检索单元通过文件元数据管理单元、文件管理单元快速查询定位文件信息，一致性维护单元管理文件元数据管理单元、文件管理单元健康状态以及一致性，文件告警单元负责维护一致性维护单元告警事件，文件告警单元通过告警事件对外提供接口，文件输入输出单元、电力信息检索单元通过文件信息对外提供接口给外部设备或装置，一致性维护单元对外提供接口连接其他用于电力信息检索的低耦合高可用装置，一致性维护单元通过对外接口和所辖存储连接，装置对外处理过程如下：

(1)装置第一次运行时，用户通过一致性维护单元配置一致性策略，配置策略有文件剩余比例告警策略、文件监测心跳周期、失败重试数、文件元复制策略参数、文件复制策略参数、节点重要参数，用户通过文件告警单元配置告警策略，配置策略有告警格式、告警形式。

(2)装置运行时，当装置作为主节点时，一致性维护单元按照文件监测心跳周期定期通过对外访问接口检查从节点设备激活程度以及存储使用程度，将健康的从节点设备信息写入健康节点表；并且将健康节点表通知重节点；计算总的存储使用量，当存储使用量超过文件剩余比例告警策略规定则将告警信息通知文件告警单元，文件告警单元通过告警信息提供接口给外部设备或装置；当检测到有失败的文件元或文件服务单元，则根据自定义策略将失效节点对应的副本信息复制到其他活动节点上。

(3)装置运行时，当装置作为主节点时，一致性维护单元按照心跳周期接受主节点通信，当发现未通信次数达到失败重试数后，根据健康节点表采用自定义改进过的决策树算法和其他从节点通信，根据节点重要参数采用自定义的电力重要性排序算法选举主节点。

(4)装置运行时，一致性维护单元定期检测文件元数据管理单元中文件元信息，将文件重要性低以及存储时间长的文件更新到读取效率较低的存储中。

(5)装置运行时，通过，一致性维护单元通过对外访问接口管理存储设备文件存放，读取存储设备状态，包括可用状态、存储使用比例。

(6)装置运行时，外部设备或装置通过文件输入输出单元输入文件以及文件电力属性(包含分区、所属系统、时标等信息)时，输入输出单元将文件以及电力属性传递给文件管理单元，文件管理单元依据电力属性抽取出文件重要性信息，将其按照文件复制策略参数与自定义重要参数之积复制副本，然后文件管理单元将文件电力属性以及文件存放信息传递给文件元数据管理单元，文件元数据管理单元根据一致性维护单元定义的文件元复制策略参数将文件文信息按照系统自定义参数保存副本。

(7)装置运行时，外部设备或装置检索文件通过电力信息检索单元检索文件时，首先通过文件元数据管理单元查询文件元信息，文件元数据管理单元根据健康节点表中节点利用率以及相应的文件元对应的文件，依据自定义的算法给出最佳文件列表策略，外部设备或装置检索文件列表策略检索文件。

本专利的有益效果在于，该低耦合高可用装置采用了电力数据特点，将不同检索要求的文件存储到不同检索性能存储上，满足了电力决策系统对检索数据的不同要求，且文件存储实现了分布式存储，提高了文件存储的可靠性，应用前景非常广阔。

附图说明

图1为本专利装置的内部模块框图；

图2为部署示意图。

具体实施方式

下面参照附图并结合实例对本专利作进一步详细描述：

本专利装置一致性维护单元一致性策略、文件告警单元告警策略由专家针对系统需求给出。其中一致性维护单元一致性策略包含的参数含义如下：文件剩余比例告警策略以数字表示百分比，如2代表存储剩余2％时会给用户报警，且定期提醒用户；文件监测心跳周期是以ms为单位，如2代表每隔2ms监测其他节点活动状态；失败重试数代表主节点重试的次数，如2代表主节点联系了3次相同从节点，则从活动链接表删除该节点；文件元复制策略参数代表文件元数据被复制的次数，最大数目为群集中所有的节点数；文件复制策略参数代表文件数据被复制的次数，最大数目为群集中所有的节点数；节点重要参数代表节点选举时节点重要程度，节点数字愈大代表节点成为主节点的可能性越大。其中文件告警单元告警策略包含的参数含义如下：告警格式以自定义的xml定义告警内容；告警形式本装置支持邮件、短信、数据服务接口。

本专利装置通过光纤和所辖存储设备连接，管理存储设备文件存放，读取存储设备状态，包括可用状态、存储使用比例；

本专利装置通过文件输入输出单元通过对外提供存储文件接口，通过文件管理单元存储文件根据文件属性进行相应文件存放，并将相关文件属性信息通过文件元数据管理单元进行存储；

本专利装置通过电力信息检索单元对外提供检索接口，通过文件元数据管理单元查询到访问效率最佳的存储位置，并通过电力信息检索单元提供文件给外部设备或装置；

本专利装置通过一致性维护单元与其它设备互联形成分布式文件系统；通过一致性维护单元定期监测网络中其他设备可用状态，更新可用设备列表；当主设备出现故障时，采用系统自定义的选举算法重新选举出新的主节点。

Claims (1)

1.一种用于电力信息检索的低耦合高可用装置，其特征在于，包括：电力信息检索单元、文件元数据管理单元、文件管理单元、一致性维护单元、文件告警单元、文件输入输出单元、对外访问接口，其中：

文件输入输出单元为文件元数据管理单元、文件管理单元提供文件信息，外部设备或装置通过文件输入输出单元输入文件以及文件电力属性，文件输入输出单元将文件以及文件电力属性传递给文件管理单元，文件管理单元依据文件电力属性抽取出文件重要性信息，将其复制副本并将文件电力属性以及文件存放信息传递给文件元数据管理单元，文件元数据管理单元根据一致性维护单元定义的文件元复制策略参数将文件文信息保存副本；

电力信息检索单元通过文件元数据管理单元、文件管理单元快速查询定位文件信息，外部设备或装置通过电力信息检索单元检索文件；

一致性维护单元管理文件元数据管理单元、文件管理单元、所辖存储设备健康状态以及一致性，配置一致性策略，定期检测文件元数据管理单元中文件文信息，通过对外访问接口管理存储设备文件存放、读取存储设备状态，在本装置为主节点时按照文件监测心跳周期定期通过对外访问接口检查从节点设备激活程度和存储使用程度、将健康的从节点设备信息写入健康节点表并将该健康节点表通知从节点、计算总的存储使用量、并当存储使用量超过文件剩余比例告警策略规定时将告警信息通知文件告警单元，在本装置为从节点时按照心跳周期接受主节点通信并当发现未通信次数达到失败重试数后根据健康节点表和其他从节点通信、并根据节点重要参数选举主节点；所述一致性策略包括文件剩余比例告警策略、文件监测心跳周期、失败重试数、文件元复制策略参数、文件复制策略参数、节点重要参数，所述节点重要参数代表节点选举时节点重要程度；

文件告警单元负责维护一致性维护单元告警事件，配置告警策略，在本装置为主节点时通过告警信息提供接口给外部设备或装置、并当检测到有失败的文件元或文件服务单元时将失效节点对应的副本信息复制到其他活动节点上；所述告警策略包括告警格式、告警形式；

文件输入输出单元、电力信息检索单元通过文件信息对外提供接口给外部设备或装置，一致性维护单元和其他低耦合高可用装置互联组成分布式文件系统，一致性维护单元通过对外接口和所辖存储连接。