CN108667932A - 一种在负载运行状态下双机大数据应用附件管理装置及方法 - Google Patents

Abstract

本发明公开了一种在负载运行状态下双机大数据应用附件管理装置，对值班主机和值班备机进行数据管理和业务切换，包括，负载均衡业务系统，实现对集群模式下的双机大数据应用的网络、运行状态、数据传输、信息访问进行实时监控；附件文件大数据应用系统，对省市县电力业务系统的非结构性数据抽取，完成值班主机附件数据发生变化时值班备机附件数据同步变化。通过搭建非结构化数据文件大数据应用环境，周期性采集业务系统的附件文件，保证负载运行状态下的双机大数据应用的附件模块正常运行。

Description

一种在负载运行状态下双机大数据应用附件管理装置及方法

技术领域

本发明涉及大数据管理技术领域，尤其是一种在负载运行状态下双机大数 据应用附件管理装置及方法。

背景技术

在各企业一体化云平台规划基础上，各级单位对传统业务系统进行云化整 合转型，建立系统云平台、分布式存储资源池等，在提高资源利用率和业务管 理效率的同时实现对传统系统和新型业务系统的全场景化支撑。由于电力行业 的特殊性，在信息化建设过程中，安全性一直是重中之重。特别是电力文件管 理业务，对系统的不间断运行要求很高，对系统停机几乎是零容忍。系统的高 可用机制能保证在硬件发生故障、或遭受损坏时，系统附件文件管理模块及其 他核心模块能够保持不间断运行，大幅度提高工作效率，具有非常重要的现实 意义。

同时，电力业务系统普遍具有周期性特征，非结构化数据文件在各个电力 系统中都占有很大比重，导致电力系统支撑环境负载的非线性压力。为了保证 业务运行，如果采用传统模式根据应用系统附件管理设计建设，需提供大量高 级配置服务器以保证在高并发量时的可用性，这就导致了闲时的大量资源浪 费。

通过对传统业务系统在集群模式下基于负载运行状态下的双机大数据应 用改造，进行云化整合转型。由于双机大数据应用系统组件众多，相互依赖关 系复杂，无论是在应用研发，还是在应用部署、后期运维，都需要依赖较高水 平的专业人员进行，一方面耗时耗人工，另一方面整个过程缺少标准化记录。 同时，基于负载运行状态下的双机大数据应用的附件文件模块，在遭遇值班主 机突发停机进行应用主备机切换状况，往往会导致附件文件访问失败、未能下 载附件文件、无法查看及预览附件文件等诸多麻烦，具体问题如下：

(1)系统部署复杂度高

双机大数据应用服务系统是一套包含诸多模块的应用框架，其核心由计 算、网络、存储、监控、认证、界面、流程等十几个组件组成，加上服务容器、 数据管理、文件管理、服务调用等常用组件，一套双机大数据应用服务系统部 署下来往往需要安装多个组件，这些组件相互之间依存关系复杂。这种高复杂 度给系统的成功部署带来不小的挑战。

(2)系统高可用性机制缺陷隐患。

当值班主机突发故障时，系统依赖负载均衡的运行状态进行应用主备机切 换，值班备机转换成值班主机。由于缺乏有效、自动的附件文件模块的数据同 步总线，往往会造成两台值班应用服务器的附件文件不同步，需要人工根据经 验、附件物理路径、文件数据操作手册进行逐步操作。由于人工能力的不同和 操作延时，往往不能保证双机大数据应用服务所承载业务的不间断运行，给业 务造成一定稳定性隐患。

(3)系统部署效率低

按照目前人工部署和业务配置方式，整个双机大数据应用服务系统部署下 来往往需要数天甚至几周的时间，效率极低。

(4)标准化程度低

由于双机大数据应用服务系统组件众多，相互依赖关系复杂，传统部署基 本靠部署工程师的经验，标准化程度低，整个安装过程也没有完整的标准化日 志记录，这都给系统建成后的正常运维埋下了隐患。

发明内容

本发明的目的是提供一种在负载运行状态下双机大数据应用附件管理装 置及方法，通过搭建非结构化数据文件大数据应用环境，周期性采集业务系统 的附件文件，保证负载运行状态下的双机大数据应用的附件模块正常运行。

为实现上述目的，本发明采用下述技术方案：

一种在负载运行状态下双机大数据应用附件管理装置，对值班主机和值班 备机进行数据管理和业务切换，包括，

负载均衡业务系统，实现对集群模式下的双机大数据应用的网络环境、运 行状态、数据传输、信息访问进行实时监控；

附件文件大数据应用系统，对省市县电力业务系统的非结构性数据抽取， 完成值班主机附件数据发生变化时值班备机附件数据同步变化。

进一步地，所述负载均衡业务系统包括，

附件访问模块，接收客户端发起的附件请求，并将附件请求响应返回给客 户端；

负载监控模块，发起双机大数据应用的代理、服务、配置监测扫描，完成 双机大数据应用的网络、运行状态、数据传输、信息访问监控。

进一步地，所述附件文件大数据应用系统包括，

非结构性数据提取模块，完成对省市县三级电力业务系统服务器中的非结 构数据存储资源、闲散资源、实时资源、历史资源和应用处理资源整合，采集 省地县三级业务系统的非结构化数据；

附件同步模块，对双机大数据应用中的附件文件信息与附件管理服务通过 数据同步总线进行附件文件同步工作。

一种在负载运行状态下双机大数据应用附件管理方法，包括以下步骤：

负载监控步骤：负载监控模块对双机应用负载监控，调用集群管理；

非结构性数据提取步骤：非结构性数据提取模块对省市县三级电力业务系 统服务器中的非结构数据进行采集，对数据进行处理后发送至附件同步模块；

附件同步步骤：附件同步模块接收非结构性数据提取模块发送的省地县三 级业务系统的非结构化数据，完成值班主机和值班备机的附件文件信息和附件 管理服务同步；

附件访问步骤：附件访问模块生成附件文件，并返回附件响应到客户端。

进一步地，所述负载监控步骤，具体包括：

负载监控模块对集群模式下的双机大数据应用的网络、运行状态、数据传 输、信息访问等进行实时监控，采用IPMI、Ping、SNMP发起双机大数据应用 的代理监测、服务监测、配置监测扫描；双机大数据应用系统通过负载监控模 块，调用值班主机应用。

进一步地，所述非结构性数据提取步骤，具体包括：

将分布独立的省市县三级业务系统服务中的非结构数据存储资源、闲散资 源、实时资源、历史资源和应用处理资源整合一起协同工作，采集省地县三级 业务系统的非结构化数据；附件文件大数据应用系统对采集的电力业务非结构 数据进行基础清洗、数据集成、数据变换、数据归档和预处理工作。

进一步地，所述附件同步步骤，具体包括：

当值班主机中的附件文件发生应用操作时，附件同步模块将值班主机中的 附件文件经过数据同步总线同步到附件管理服务器中，附件管理服务器与值班 备机经数据同步总线进行文件管理、增量同步、一致管理等附件文件自动同步 工作。

进一步地，所述附件访问步骤，具体包括：

附件管理服务器返回附件同步模块同步的附件文件信息，将客户端的附件 请求返回给用户。

本发明的有益效果是，

(1)提高了资产管理效率

随着资产管理业务的发展，特别是互联网化的深入，资产管理业务系统的 附件文档使用正日趋膨胀，传统人工文档操作，往往需要繁琐手续进行操作， 且文档工作相对耗时；但在互联网化趋势下，采用集群模式下的双机大数据应 用服务，附件管理难度越来越大。本方案提供了一种双机大数据应用附件管理 机制，使公司专责及业务人员仅需要了解文档业务流程，在系统中进行文档操 作，系统自动进行附件文档管理。这大幅度的提高了资产管理效率，降低了人 工成本，同时保证了文档业务响应的及时性。

(2)提高资源使用效率

系统采用负载均衡运行状态双机大数据应用服务，保证系统最优的运行环 境，既不会因为资源太少对系统运行造成压力，也不会因为资源太多而造成闲 置浪费。同时保证系统附件文件服务稳定调用，大幅度提高了资源使用效率。

(3)保证附件文档稳定调用与修改

有了在负载运行状态下的双机大数据应用附件管理机制，在资产管理业务 系统进行应用服务主备机切换时，无论应用值班主机还是应用值班备机都能通 过附件管理服务映射本应用服务器附件文件物理路径，通过数据总线双向同步 附件。从而在基础资源层面做好保障，保证了系统附件模块的稳定运行。

附图说明

图1是本发明实施例装置结构示意图；

图2是本发明实施例方法流程图。

具体实施方式

本发明提供了一种在负载均衡运行状态双机大数据应用服务环境下，服务 器硬件故障发生、遭受损坏时，通过负载均衡业务系统自动进行主备机切换： 由附件管理服务通过自动监控，将值班主机中的附件文件经过数据同步总线同 步到附件管理服务器中，而后附件管理服务与值班备机经数据同步总线进行文 件管理、增量同步、一致管理等附件文件自动同步工作。通过搭建附件文件大 数据应用，使得业务系统能够周期性、不间断地提取省市县三级电力公司相关 业务系统的非结构化数据文件，通过附件文件大数据应用实现电力业务中非结 构的化数据的清理、治理、集成、变换、汇总等操作。这样，在值班主机突发 停机故障、由值班备机转换为值班主机的情况下，业务应用系统保证文件管理、 附件修改、附件预览等核心附件文件功能访问响应不间断运行。

如图1所示，具体系统结构组成包括：

(1)负载监控模块

负载监控模块对集群模式下的双机大数据应用的网络、运行状态、数据传 输、信息访问等进行实时监控，主要采用IPMI、Ping、SNMP等几种方式发起 双机大数据应用的代理、服务、配置监测扫描，扫描秒级间隔，两次扫描之间 的时间间隔可以被定义。双机大数据应用系统通过负载监控模块，调用值班主 机应用。

(2)非结构性数据提取模块

为了提高电力资产管理效率，业务系统不断提高电力业务附件文件的收集 频率，同时逐渐扩展电力业务附件文件采集范围，由此便会产生海量的电力系 统非结构化数据文件，以现有的业务系统平台的数据文件处理能力，无法满足 对电力系统非结构化数据的处理、存储、查阅和分析需求。

基于资源虚拟化、非结构数据采集、并行数据处理为核心的大数据部署的 附件文件大数据应用为上述问题提供了技术支持和解决方案。附件文件大数据 应用能够高效快速地采集及处理海量电力业务非结构数据，将分布独立的省市 县三级业务系统服务中的非结构数据存储资源、闲散资源、实时资源、历史资 源和应用处理资源整合一起协同工作，采集省地县三级业务系统的非结构化数 据。同时，附件文件大数据应用对采集的电力业务非结构数据进行基础清洗、 数据集成、数据变换、数据归档和预处理工作，提高采集非结构附件文件的业 务质量和数据规范。

基于大数据的附件文件大数据应用，将电力公司省市县三级业务集群的服 务资源、管理资源、缓存资源以及非结构数据资源整合在一起，形成具有强大 存储能力、非结构数据采集和数据处理分析的平台，为省地县三级用户进行附 件文件管理提供合理引导，提高资产管理效率。

(3)附件同步模块

附件同步模块是对双机大数据应用中的附件文件信息与附件管理服务通 过数据同步总线进行附件文件同步工作。当值班主机中的附件文件发生修改、 新增、删除等操作时，附件管理服务通过数据同步总线自动启动与附件管理服 务器和值班备机的附件文件的同步工作，数据同步总线对文件信息以流式 (stream)消息的方式进行处理和传输，这样便能保证文件传输的完整性及一致 性。这样就能在值班主机突发停机及故障的情况下，在切换值班主备机后，系 统保持功能访问的稳定运行。

(4)附件访问模块

附件访问模块是系统对通过附件同步模块同步的附件文件信息的响应返 回，将前台客户的附件请求返回给用户，以便用户对附件进行上传、修改、删 除、下载、查看、预览等管理操作，保证双机大数据应用服务下的附件模块的 正常访问与操作，提高系统运行效率。

如图2所示，本发明还提供了一种在负载运行状态下双机大数据应用附件 管理方法，步骤如下：

步骤1：负载均衡监测

(1)通过用IPMI、Ping、SNMP等几种方式发起双机大数据应用环境监 测扫描，扫描双机大数据应用的网络环境、运行环境、数据环境、信息环境， 实现对值班主机服务器运行状态的实时监控。扫描间隔为秒级，控制器端的采 集器可以设定两次扫描之间的时间间隔。

(2)对网络环境、运行环境、数据环境、信息环境扫描过程中，控制器 会自动获得如下几类参数：值班服务器的电源状态，值班服务访问网络的运行 状态，管理网络的运行状态，生产网络的运行状态，代理、服务、配置监测状 态；控制器根据采集的参数，双机大数据应用系统通过集群管理，在负载监控 中启动值班主机服务器，调用应用访问。

步骤2：非结构性数据提取

参照第三方Hadoop、HBase、Spark、Storm等大数据集群服务环境，在本 部业务应用环境中搭建附件文件大数据应用服务，集中开展电力公司省地县三 级业务系统的附件文件管理，保障业务系统高并发、兼容性、可用性、可靠性 等非功能需求。

附件文件大数据应用的采集采用省公司数据中心来接收各级终端数据，包 括县公司业务应用端、市公司业务应用端、省公司业务应用端等，并且在应用 服务中进行简单的非结构数据处理工作。常用采集方法：数据抓取、数据导入、 数据接入、数据接口等。

对采集的各级终端非结构数据进行数据清理、数据标准化、重复数据清理、 数据转换、数据集成等数据处理，最大限度地精简数据量，提高采集非结构附 件文件的业务质量。

步骤3：数据消息同步

为了保证业务应用的高可靠性，通过集群管理双机大数据应用中的值班主 机和值班备机。

业务正常访问时，双机大数据应用的值班主机对外提供服务。系统应用中 附件文件管理模块功能由值班主机提供，附件修改、附件查阅、附件预览等操 作也是操作值班主机中的。

数据同步总线文件信息以流式(stream)消息的方式进行处理和传输。附件 管理服务通过数据同步总线进行文件管理、增量同步、冗余存储、一致管理。

由附件管理服务通过数据同步总线对值班主机中的附件文件进行数据同 步备份，使值班主机中的附件文件与附件管理服务中保持一致、完整；而后触 发附件管理服务中的增量同步功能，通过数据同步总线保持值班备机与附件管 理服务的附件文件的一致性、完整性。

步骤4：附件响应实例

根据附件管理服务通过数据同步总线实时对双机大数据应用附件文件模 块的数据同步，确保双机大数据应用服务核心功能模块的正常访问与操作，具 体过程描述如下：

(1)系统通过集群管理的负载运行状态下的双机服务应用，通过负载均 衡对双机大数据应用值班主机进行网络、运行、数据、信息监控。

(2)双机服务应用中的值班主机及值班备机会通过附件管理服务，以数 据同步总线完成两台值班服务器的附件文件同步。

(3)在集群管理的负载运行状态下的双机服务应用，当值班主机突发停 机及运行故障时，集群管理自动进行主备机转换，切换值班备机为值班主机， 对外访问服务由新值班主机负责，保持系统服务核心功能模块的正常访问与操 作。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明 保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上， 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发 明的保护范围以内。

Claims (8)

1.一种在负载运行状态下双机大数据应用附件管理装置，其特征是，对值班主机和值班备机进行数据管理和业务切换，包括，

负载均衡业务系统，实现对集群模式下的双机大数据应用的网络环境、运行状态、数据传输、信息访问进行实时监控；

附件文件大数据应用系统，对省市县电力业务系统的非结构性数据抽取，完成值班主机附件数据发生变化时值班备机附件数据同步变化。

2.如权利要求1所述的一种在负载运行状态下双机大数据应用附件管理装置，其特征是，所述负载均衡业务系统包括，

附件访问模块，接收客户端发起的附件请求，并将附件请求响应返回给客户端；

负载监控模块，发起双机大数据应用的代理、服务、配置监测扫描，完成双机大数据应用的网络、运行状态、数据传输、信息访问监控。

3.如权利要求1所述的一种在负载运行状态下双机大数据应用附件管理装置，其特征是，所述附件文件大数据应用系统包括，

非结构性数据提取模块，完成对省市县三级电力业务系统服务器中的非结构数据存储资源、闲散资源、实时资源、历史资源和应用处理资源整合，采集省地县三级业务系统的非结构化数据；

附件同步模块，对双机大数据应用中的附件文件信息与附件管理服务通过数据同步总线进行附件文件同步工作。

4.一种在负载运行状态下双机大数据应用附件管理方法，其特征是，包括以下步骤：

负载监控步骤：负载监控模块对双机应用负载监控，调用集群管理；

非结构性数据提取步骤：非结构性数据提取模块对省市县三级电力业务系统服务器中的非结构数据进行采集，对数据进行处理后发送至附件同步模块；

附件同步步骤：附件同步模块接收非结构性数据提取模块发送的省地县三级业务系统的非结构化数据，完成值班主机和值班备机的附件文件信息和附件管理服务同步；

附件访问步骤：附件访问模块生成附件文件，并返回附件响应到客户端。

5.如权利要求所述的一种在负载运行状态下双机大数据应用附件管理方法，其特征是，所述负载监控步骤，具体包括：

负载监控模块对集群模式下的双机大数据应用的网络、运行状态、数据传输、信息访问等进行实时监控，采用IPMI、Ping、SNMP发起双机大数据应用的代理监测、服务监测、配置监测扫描；双机大数据应用系统通过负载监控模块，调用值班主机应用。

6.如权利要求所述的一种在负载运行状态下双机大数据应用附件管理方法，其特征是，所述非结构性数据提取步骤，具体包括：

将分布独立的省市县三级业务系统服务中的非结构数据存储资源、闲散资源、实时资源、历史资源和应用处理资源整合一起协同工作，采集省地县三级业务系统的非结构化数据；附件文件大数据应用系统对采集的电力业务非结构数据进行基础清洗、数据集成、数据变换、数据归档和预处理工作。

7.如权利要求所述的一种在负载运行状态下双机大数据应用附件管理方法，其特征是，所述附件同步步骤，具体包括：

当值班主机中的附件文件发生应用操作时，附件同步模块将值班主机中的附件文件经过数据同步总线同步到附件管理服务器中，附件管理服务器与值班备机经数据同步总线进行文件管理、增量同步、一致管理等附件文件自动同步工作。

8.如权利要求所述的一种在负载运行状态下双机大数据应用附件管理方法，其特征是，所述附件访问步骤，具体包括：

附件管理服务器返回附件同步模块同步的附件文件信息，将客户端的附件请求返回给用户。