CN111464336B - 一种基于电力通信机房高并发数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于电力通信机房高并发数据处理方法及系统，接收电力机房不同通信协议，并根据所述协议中消息判断报文类型；根据报文类型解析数据并获取采集值存放于内存库中；接收解析监控中心同步的设备资源信息，并将所述设备资源信息存于本地参数库中；根据所述内存库中采集值与所述本地参数库中的设备资源信息进行对应匹配，计算生成设备资源结果；将所述产生的设备资源结果按照其与监控中心接口规范和入库标准，进行组包，并将包发送给监控中心以及存入物理数据库。优点：在覆盖机房监控全业务数据业务的基础上，保证了高并发时，数据处理的性能，确保数据的实时性和告警的准确性。

Description

一种基于电力通信机房高并发数据处理方法及系统

技术领域

本发明涉及一种基于电力通信机房高并发数据处理方法及系统，属于电力通信技术领域。

背景技术

电力通信机房监控系统是对机房动力、环境设备运行情况的实时监控系统，主要监控设备遥信、遥测、以及状态数据。随着电力泛在物联网建设进程的不断推进，各网省公司省-市多级监控模式越来越不适应电网建设，面对机房设备泛在接入，实时数据、告警、统计等业务的处理压力越来越大，基于平台侧的数据处理性能出现瓶颈，实时性很难得到保障。

不同厂家机房监控产品通常采用Linux下的多进程多线程编程，利用的是共享内存（shared memory）、消息队列（message queues，MQ）实现不同业务之间并发处理。但产品功能不统一，通信、采集、处理、监视等处理业务覆盖面窄，业务数据间耦合度高，导致服务器并发处理数据时间和空间利用率低，大量数据出现消息阻塞，影响处理实时性。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于电力通信机房高并发数据处理方法及系统, 实现覆盖机房监控的全业务高并发实时处理，保证电力机房监控的实时性和告警准确性。

为解决上述技术问题，本发明提供一种基于电力通信机房高并发数据处理方法，接收电力机房不同通信协议，并根据所述协议中消息判断报文类型；

根据报文类型解析数据并获取采集值存放于内存库中；

接收解析监控中心同步的设备资源信息，并将所述设备资源信息存于本地参数库中；

根据所述内存库中采集值与所述本地参数库中的设备资源信息进行对应匹配，计算生成设备资源结果；

将所述产生的设备资源结果按照其与监控中心接口规范和入库标准，进行组包，并将包发送给监控中心以及存入物理数据库。

进一步的，所述接收电力机房不同通信协议，并根据所述协议中消息判断报文类型的过程为：

通过开放不同网络端口，接收电力机房不同通信协议，从所述通信协议中解析类型字段用于判断遥测、遥信以及站状态报文。

进一步的，所述根据报文类型解析数据并获取采集值存放于内存库中的过程为：

根据所述报文类型解析机房遥测、遥信、站状态数据帧；

从所述数据帧中获取点位采集值，并根据数据存储规则保存于内存库中；

所述数据存储规则采用链表与数组相结合方式。

进一步的，所述接收解析监控中心同步的设备资源信息，并将所述设备资源信息存于本地参数库中的过程为：

所述监控中心通过交互规则下发设备资源信息，设备资源信息包括设备的点位、告警规则，其中点位包括设备编号、设备指标，告警规则包括上上越限值、上限越限值、下限越限值、下下限越限值、告警等级、计算系数、偏移量、计算方式一系列参数，所述设备资源信息根据机房设备模型建立的数据结构保存于参数库中。

所述交互规则按监控业务类型进行划分，包括资源主动同步、资源变更采用监控中心下发通知，数据处理服务接收通知并上送资源请求，监控中心再应答资源内容；实时数据采用监控中心发送请求点位ID，数据处理服务应答点位实时数据。

进一步的，所述根据所述内存库中采集值与所述本地参数库中的设备资源信息进行对应匹配，计算生成设备资源结果的过程为：

根据所述内存库中的采集值和设备资源信息，按照存储规则进行一一匹配对应，根据所述告警规则计算出设备资源结果，包括实时值、越限告警、历史数据；

所述存储规则采用HASH链表和数组索引项组合进行存储。

进一步的，所述将所述产生的设备资源结果按照其与监控中心接口规范和入库标准，进行组包，并将包发送给监控中心以及存入物理数据库的过程为：

按照其与监控中心接口规范上送设备点位实时数据，按照物理库标准将实时告警、历史告警逐条入库，以及按照物理库标准历史数据批量入库，所述入库采用异步方式。

一种基于电力通信机房高并发数据处理系统，包括：

报文采集及解析模块，用于接收电力机房不同通信协议，并根据所述协议中消息判断报文类型，根据报文类型解析数据并获取采集值存放于内存库中；

文本解析模块，用于接收解析监控中心同步的设备资源信息，并将所述设备资源信息存于本地参数库中；

处理及存储模块，用于根据所述内存库中采集值与所述本地参数库中的设备资源信息进行对应匹配，计算生成设备资源结果；将设备资源结果按照与监控中心接口规范和入库标准，进行组包，并将包发送给监控中心以及存入物理数据库。

进一步的，所述报文采集及解析模块包括端口模块、第一解析模块、第二解析模块和第一存储模块；

所述端口模块，用于通过不同网络端口，接收电力机房不同通信协议；

所述第一解析模块，用于从所述通信协议中解析类型字段用于判断遥测、遥信以及站状态报文；

所述第二解析模块，用于根据所述报文类型解析机房遥测、遥信、站状态数据帧；

所述第一存储模块，用于从所述数据帧中获取点位采集值，并根据数据存储规则保存于内存库中；

所述数据存储规则采用链表与数组相结合方式。

进一步的，所述文本解析模块包括下发模块，用于监控中心通过交互规则下发设备资源信息，设备资源信息包括设备的点位、告警规则，其中点位包括设备编号、设备指标，告警规则包括上上越限值、上限越限值、下限越限值、下下限越限值、告警等级、计算系数、偏移量、计算方式一系列参数，所述设备资源信息根据机房设备模型建立的数据结构保存于参数库中；

所述交互规则按监控业务类型进行划分，包括资源主动同步、资源变更采用监控中心下发通知，数据处理服务接收通知并上送资源请求，监控中心再应答资源内容；实时数据采用监控中心发送请求点位ID，数据处理服务应答点位实时数据。

进一步的，所述处理及存储模块包括：

计算模块，用于根据所述内存库中的采集值和设备资源信息，按照存储规则进行一一匹配对应，根据所述告警规则计算实时值、越限告警、历史数据；所述存储规则采用HASH链表和数组索引项组合进行存储；

第二存储模块，用于按照监控中心接口规范上送设备点位实时数据，按照物理库标准将实时告警、历史告警逐条入库，以及按照物理库标准历史数据批量入库，所述入库采用异步方式。

进一步的，还包括通信模块，用于管理与监控中心链路，完成资源信息同步以及实时数据上送。

进一步的，还包括监控模块，用于监控管理各模块之间通信以及存储空间，在异常时，自修复，确保各进程保活以及监控进程与进程之间、线程与线程之间数据交互状态。

本发明所达到的有益效果：

本发明能够在覆盖机房监控全业务数据业务的基础上，保证了高并发时，数据处理的性能，确保数据的实时性和告警的准确性。

附图说明

图1是电力机房监控系统的高性能数据处理系统的系统部署示意图；

图2是电力机房监控系统的高性能数据处理方法的技术框架示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

如图1所示，为电力机房监控系统的高性能数据处理装置的系统部署示意图。可以看出，系统部署分为4个部分，分别为采集转发装置1、基于电力机房监控系统的高性能数据处理装置2、物理数据库3、监控中心平台4。其中采集转发装置1分布式部署于各机房内部，负责采集被管设备数据，并完成协议转发，将重新打包后的标准协议报文转发至应用服务器。该装置主要实现数据封装与通信。

基于电力机房监控系统的高性能数据处理装置2即为独立应用系统，便于数据运维和管理，主要完成机房业务数据的处理。首先解析监控平台4同步的资源信息，并将解析出的设备参数保存于参数库中，再接收来自采集转发装置1的标准协议，从报文中解析出数据段，即采集值。将采集值与参数库中的参数按在规则快速定位，并实现实时值、告警越限的计算判断、历史数据的判断以及系统通信、运行状态监控。所产生的实时值既上报给监控平台4，也批量保存于文件库中，定时导入物理数据库3中，告警信息（实时告警、告警恢复）实时入物理库。

物理数据库3负责存储电力机房监控系统的高性能数据处理装置2所产生的告警信息和批量历史数据。便于监控平台4读取展示设备告警和历史曲线。

监控中心平台4负责向基于电力机房监控系统的高性能数据处理装置2同步资源信息以及展示上送的实时数据，读取物理数据库3中的告警信息、状态信息。

本发明整合机房网络和业务资源，构建机房业务处理通用框架，通信上兼容TCP、UDP、HTTP等协议，通过配置对应的应用线程与通讯类型进行匹配，完成对应通信协议的网络包的收发，数据库上兼容OCI、DBLIB、CTLIB接口，能够与ORACLE、SYBASE、SQLDERVER进行交互。利用POSIX所提供的线程、消息队列以及共享内存为基础，实现进程和线程间的灵活组合，提高业务处理能力。在进程、线程通信中，为便于管理，利用守护进程心跳链路管理各服务间的通信状态，当出现服务间通信异常，将自启动异常进程，可提高系统的容错能力，进而提高处理性能。

除以上为提高处理性能而整合的通用服务框架外，还需归纳出机房各业务模型，以便在并发数据的情况下快速解析存储以及定位计算。本发明主要建立设备模型、告警模型、点位模型，设备模型主要包括设备各类指标参数，如ID、类型；告警规则模型包括告警门限、告警等级、触发条件，涉及遥信和遥测；点位模型包括点位类型、点位采集值、点位实时值。

图2为电力机房监控系统的高性能数据处理方法的技术框架，步骤如下：

步骤101，接收网络信息，并将网络内容通过共享内存和消息队列机制使不同进程或线程处理。这里包括两类网络信息，一类为：接收FEP（即采集转发装置）所转发的TCP/UDP网络协议包，FEP分布式部署于各汇聚站点中，每个分时发送遥测、遥信、站状态以及心跳报文，为保证网络连接数，采用epoll异步通信方式；另一类为：与监控中心平台进行XML格式交互获取资源信息，采用HTTP请求/应答方式，涉及的主要交互有：（1）监控中心平台资源变更（增删改），采用通知-请求-应答“三次握手方式”，保证资源信息同步的一致性；（2）实时数据上报，采用请求-应答方式。（3）封锁、解封点位，采用通知方式。

步骤102，解析XML资源信息。本发明中监控中心的每个点位的资源信息量都很大，当存在大量FEP采集设备的情况下，整个xml的配置文件会达到几十兆甚至更大，如果采用传统的xml解析方法，整个文件的解析时间需要分钟级别，解析效率严重影响处理效率，本发明采用的xml解析技术为VTD－XML（VTD：虚拟令牌描述符）。从资源信息中解析出的设备点位指标参数以及告警规则参数保存于对应内存数据结构中，即参数库。

步骤103，数据解析定位计算。解析FEP转发的协议报文，根据报文类型分类处理遥测、遥信、站状态中的数据位，数据位即为设备的采集值。采集值利用定位规则（存储规则）快速定位参数库中设备的资源信息，按照计算方式，结合系数和偏移量计算出设备当前实时值，并根据实时值参照告警规则进行门限和触发比较，产生实时告警。定位规则考虑到资源信息的频繁变更以及采集报文特点，按参数特点划分为两类，一类为基于HASH链表的FEP值存储，便于平台资源变更后，快速的插入、删除，另一类为基于数组索引的站、点位存储，便于采集源数据的快熟寻址。当计算值达到告警的阈值，则通过通讯机制发送到告警线程，告警线程获取到相关的数据后，生产告警入库SQL语句，发送入库命令；当满足告警恢复并且之前已经发送过告警，则通过通讯机制发送告警恢复消息到告警线程，告警线程获取到相关的数据后，生成告警恢复SQL语句，发送入库命令。历史数据入库采用文件批量导入方式，在文件打包事考虑到性能和可靠性的权衡，采用二次缓存的方式进行文件写入，数据先写入到应用的缓存中，缓存的大小可以根据数据量的大小进行配置，缓存满了以后，统一写入到文件中，文件的名称通过数据类型和时间戳来进行命名。

步骤104，信息入库。数据库由于要考虑到应用的查询效率，从架构上分成二层来设计，第一层为内存数据库，里面保存当前的告警和状态数据，数据时效在5分钟左右。 第二层为物理数据库，里面保存历史的告警和状态数据，数据在内存数据库中超过时效后，从内存库导入到物理数据库中。由于告警和数据入库采用异步方式，不会影响步骤103中实时计算的效率。

其中，在上述数据流程处理中根据电力机房监控系统业务特点，按应用不同划分多进程处理，包括通信、处理、资源解析、数据库。在不同应用进程中，又按机房数据类型细化多线程处理，机房通信包括采集通信、业务通信；处理包括协议解析、实时计算、告警产生、告警恢复；资源解析包括设备信息获取存储；数据库包括告警信息入库、批量文件入库。

一种基于电力通信机房高并发数据处理系统，包括：

报文采集及解析模块，用于接收电力机房不同通信协议，并根据所述协议中消息判断报文类型，根据报文类型解析数据并获取采集值存放于内存库中；

文本解析模块，用于接收解析监控中心同步的设备资源信息，并将所述设备资源信息存于本地参数库中；

处理及存储模块，用于根据所述内存库中采集值与所述本地参数库中的设备资源信息进行对应匹配，计算生成设备资源结果；将设备资源结果按照与监控中心接口规范和入库标准，进行组包，并将包发送给监控中心以及存入物理数据库。

本实施例中，所述报文采集及解析模块包括端口模块、第一解析模块、第二解析模块和第一存储模块；

所述端口模块，用于通过不同网络端口，接收电力机房不同通信协议；

所述第一解析模块，用于从所述通信协议中解析类型字段用于判断遥测、遥信以及站状态报文；

所述第二解析模块，用于根据所述报文类型解析机房遥测、遥信、站状态起始帧、数据帧、结束帧；

所述第一存储模块，用于从所述数据帧中获取点位采集值，并根据数据存储规则保存于内存库中；

所述数据存储规则采用链表与数组相结合方式，便于数据的快熟查找、修改。

本实施例中，所述文本解析模块包括下发模块，用于监控中心通过交互规则下发设备资源信息，设备资源信息包括设备的点位、告警规则，其中点位包括设备编号、设备指标，告警规则包括上上越限值、上限越限值、下限越限值、下下限越限值、告警等级、计算系数、偏移量、计算方式一系列参数，所述设备资源信息根据机房设备模型建立的数据结构保存于参数库中，便于频繁调用；

所述交互规则按监控业务类型进行划分，资源主动同步、资源变更采用监控中心下发通知，数据处理服务接收通知并上送资源请求，监控中心再应答资源内容；实时数据采用监控中心发送请求点位ID，数据处理服务应答点位实时数据。

本实施例中，所述处理及存储模块包括：

计算模块，用于根据所述内存库中的采集值和设备资源信息，按照存储规则进行一一匹配对应，根据所述告警规则计算实时值、判断越限告警、数据入文件库；所述存储规则采用HASH链表和数组索引项组合进行存储；

第二存储模块，用于按照监控中心接口规范上送设备点位实时数据，按照物理库标准将实时告警、历史告警逐条入库，以及按照物理库标准历史数据批量入库，所述入库采用异步方式，保证数据的处理效率。

本实施例中，还包括通信模块，用于管理与监控中心链路，完成资源信息同步以及实时数据上送。

本实施例中，还包括监控模块，用于监控管理各模块之间通信以及存储空间，在异常时，自修复，确保各进程保活以及监控进程与进程之间、线程与线程之间数据交互状态。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于电力通信机房高并发数据处理方法，其特征在于，

接收电力机房不同通信协议，并根据所述协议中消息判断报文类型；

根据报文类型解析数据并获取采集值存放于内存库中；

接收解析监控中心同步的设备资源信息，并将所述设备资源信息存于本地参数库中，包括：所述监控中心通过交互规则下发设备资源信息，设备资源信息包括设备的点位、告警规则，其中点位包括设备编号、设备指标，告警规则包括上上越限值、上限越限值、下限越限值、下下限越限值、告警等级、计算系数、偏移量、计算方式一系列参数，所述设备资源信息根据机房设备模型建立的数据结构保存于本地参数库中；所述交互规则按监控业务类型进行划分，包括资源主动同步、资源变更采用监控中心下发通知，数据处理服务接收通知并上送资源请求，监控中心再应答资源内容；实时数据采用监控中心发送请求点位ID，数据处理服务应答点位实时数据；

根据所述内存库中采集值与所述本地参数库中的设备资源信息进行对应匹配，计算生成设备资源结果，包括：根据所述内存库中的采集值和设备资源信息，按照存储规则进行一一匹配对应，根据所述告警规则计算出设备资源结果，包括实时值、越限告警、历史数据；所述存储规则采用HASH链表和数组索引项组合进行存储；

将所述生成的设备资源结果按照其与监控中心接口规范和入库标准，进行组包，并将包发送给监控中心以及存入物理数据库。

2.根据权利要求1所述的基于电力通信机房高并发数据处理方法，其特征在于，所述接收电力机房不同通信协议，并根据所述协议中消息判断报文类型的过程为：

通过开放不同网络端口，接收电力机房不同通信协议，从所述通信协议中解析类型字段用于判断遥测、遥信以及站状态报文。

3.根据权利要求1所述的基于电力通信机房高并发数据处理方法，其特征在于，所述根据报文类型解析数据并获取采集值存放于内存库中的过程为：

根据所述报文类型解析机房遥测、遥信、站状态数据帧；

从所述数据帧中获取点位采集值，并根据数据存储规则保存于内存库中；

所述数据存储规则采用链表与数组相结合方式。

4.根据权利要求1所述的基于电力通信机房高并发数据处理方法，其特征在于，所述将所述生成的设备资源结果按照其与监控中心接口规范和入库标准，进行组包，并将包发送给监控中心以及存入物理数据库的过程为：

按照其与监控中心接口规范上送设备点位实时数据，按照物理数据库标准将实时告警、历史告警逐条入库，以及按照物理数据库标准历史数据批量入库，所述入库采用异步方式。

5.一种基于电力通信机房高并发数据处理系统，其特征在于，包括：

报文采集及解析模块，用于接收电力机房不同通信协议，并根据所述协议中消息判断报文类型，根据报文类型解析数据并获取采集值存放于内存库中；

文本解析模块，用于接收解析监控中心同步的设备资源信息，并将所述设备资源信息存于本地参数库中；

处理及存储模块，用于根据所述内存库中采集值与所述本地参数库中的设备资源信息进行对应匹配，计算生成设备资源结果；

将设备资源结果按照与监控中心接口规范和入库标准，进行组包，并将包发送给监控中心以及存入物理数据库；

所述文本解析模块包括下发模块，用于监控中心通过交互规则下发设备资源信息，设备资源信息包括设备的点位、告警规则，其中点位包括设备编号、设备指标，告警规则包括上上越限值、上限越限值、下限越限值、下下限越限值、告警等级、计算系数、偏移量、计算方式一系列参数，所述设备资源信息根据机房设备模型建立的数据结构保存于本地参数库中；所述交互规则按监控业务类型进行划分，包括资源主动同步、资源变更采用监控中心下发通知，数据处理服务接收通知并上送资源请求，监控中心再应答资源内容；实时数据采用监控中心发送请求点位ID，数据处理服务应答点位实时数据；

所述处理及存储模块包括：

计算模块，用于根据所述内存库中的采集值和设备资源信息，按照存储规则进行一一匹配对应，根据所述告警规则计算实时值、越限告警、历史数据；所述存储规则采用HASH链表和数组索引项组合进行存储；

第二存储模块，用于按照监控中心接口规范上送设备点位实时数据，按照物理数据库标准将实时告警、历史告警逐条入库，以及按照物理数据库标准历史数据批量入库，所述入库采用异步方式。

6.根据权利要求5所述的基于电力通信机房高并发数据处理系统，其特征在于，所述报文采集及解析模块包括端口模块、第一解析模块、第二解析模块和第一存储模块；

所述端口模块，用于通过不同网络端口，接收电力机房不同通信协议；

所述第一解析模块，用于从所述通信协议中解析类型字段用于判断遥测、遥信以及站状态报文；

所述第二解析模块，用于根据所述报文类型解析机房遥测、遥信、站状态数据帧；

所述第一存储模块，用于从所述数据帧中获取点位采集值，并根据数据存储规则保存于内存库中；

所述数据存储规则采用链表与数组相结合方式。

7.根据权利要求5所述的基于电力通信机房高并发数据处理系统，其特征在于，还包括通信模块，用于管理与监控中心链路，完成资源信息同步以及实时数据上送。

8.根据权利要求5所述的基于电力通信机房高并发数据处理系统，其特征在于，还包括监控模块，用于监控管理各模块之间通信以及存储空间，在异常时，自修复，确保各进程保活以及监控进程与进程之间、线程与线程之间数据交互状态。

Images