CN112308731A - 一种采集系统多任务并发处理的云计算方法及系统 - Google Patents

Abstract

本发明涉及一种采集系统多任务并发处理的云计算方法，包括如下步骤：对云计算通信模块中的各业务组件进行部署，并进行多任务并发的数据处理；利用处理后的数据进行用采多任务并发计算场景重构；基于云大数据计算组件进行流式计算和离线计算。本发明还涉及一种采集系统多任务并发处理的云计算系统，多任务并发的数据处理模块、多任务并发计算场景重构模块以及计算模块。本发明对每天上亿多条实时上送记录进行实时分析，针对负荷数据、电能示值进行校验、分析和修复，对倒走和冒大数等异常数据进行标记并重新采集，极大地提升了数据采集质量。

Description

一种采集系统多任务并发处理的云计算方法及系统

技术领域

本发明属于用电数据采集技术领域，涉及一种采集系统多任务并发处理的云计算方法及系统。

背景技术

当前用电采集信息系统由于采用传统单体式的架构体系，存在对操作便捷性的体验不佳、计算能力不足、业务需求响应差、无法支撑高速增长的海量数据实时计算要求、不能满足业务部门实时采集数据的要求等问题，亟待对现有用电信息采集系统进行升级改造，实现用电信息采集系统整体架构、应用性能、数据处理效率提升。

随着电力系统采集数据增长以及数据的实时性不断提高，用电信息采集系统同时需要开展电量统计、负荷统计、线损计算、采集成功率、三相不平衡、终端在线率、终端通信流量等分析应用，导致系统计算压力较大且分析效率较低的问题。

为了满足未来业务发展带来的海量电力数据实时处理需求，针对用电信息数据入库能力不足、场景计算能力不足、分析能力不足的现状，以及针对现有数据分析技术在单机资源限制、处理数据规模及性能方面的局限性，设计电力大数据计算框架，包括离线计算、实时计算等云计算方法，为面向电力系统海量数据处理计算提供支撑，并通过运维监控系统，进一步提升场景计算的数据质量。

发明内容

本发明的目的在于解决现有技术的不足，提供一种采集系统多任务并发处理的云计算方法及系统。

本发明解决其技术问题是通过以下技术方案实现的：

一种采集系统多任务并发处理的云计算方法，包括如下步骤：

步骤一，对云计算通信模块中的各业务组件进行部署，分别部署为通信网关集群、通信前置集群、通信调度集群、消息队列集群以及数据入库集群，利用上述集群进行多任务并发的数据处理；

步骤二，利用处理后的数据进行用采多任务并发计算场景重构；

步骤三，基于云大数据计算组件对重构的用采多任务并发计算场景进行流式计算和离线计算。

而且，还包括步骤四，利用业务运维监控组件对用采多任务并发计算场景全流程进行监控。

而且，所述的云计算通信模块包括7个业务组件，分别为：终端接入组件、通信链路维护组件、终端工况管理组件、报文封装解析组件、通信调度组件、消息队列组件以及数据入库组件。

而且，将所述的终端接入组件和通信链路维护组件部署为通信网关集群；将终端工况管理组件、报文封装解析组件部署为通信前置集群；将通信调度组件部署为通信调度集群；将消息队列组件独立部署为消息队列集群；将数据入库组件部署为数据入库集群。

而且，所述通信网关集群中的终端接入组件负责终端登录的身份验证；

所述通信网关集群中的通信链路维护组件负责维护采集系统主站与终端间的远程通信链路，实现远程信道底层通信协议的心跳握手和链路连接，并完成原始通讯报文的收发；

所述通信前置集群中的终端工况管理组件负责实时更新终端最近通讯信道信息及最近通讯时间的通讯信息；所述通信前置集群中的报文封装解析组件负责根据终端规约将接收到的终端上行原始通讯报文解析成主站可识别的原始数据，并将主站对终端发起的通讯请求对象封装成下行报文并转发给通信网关；

所述通信调度集群的通信调度组件负责管理终端上下行原始通讯报文在通信层内部的通信信道，维护某终端所归属的通信前置节点信息和通信网关节点地址；

所述消息队列集群的消息队列组件接收通信前置集群中报文封装解析组件推送来的上行数据和报文，并将上行数据和报文推送至数据入库集群的数据入库组件进行保存生产数据库；并接收通讯前置请求并将该请求转发至通信前置集群的报文解析组件中。

而且，所述的流式计算包括但不限于电量曲线、负荷曲线、终端通信流量的计算；所述的离线计算包括但不限于电量统计、负荷统计、线损计算、采集成功率、三相不平衡、终端在线率的计算。

而且，所述的云大数据计算组件用于实时从消息队列获取接收到的数据，并将这些数据进行数据清洗，然后将清洗后的数据进行数据计算和数据存储，完成流式计算；同时还用于从分布式文件存储中读取持久化数据，然后进行多节点的并行数据处理，进行指标统计计算以及各项复杂数据的计算，并最终将计算结果存储到分布式文件存储和生产数据库中，完成离线计算。

而且，所述利用处理后的数据进行用采多任务并发计算场景重构，包括对下述场景进行重构：电量计算重构、负荷计算重构、线损计算重构、采集成功率计算重构、台区三相不平衡计算重构、终端通信流量实时计算重构以及终端在线率计算重构。

而且，所述利用业务运维监控组件对用采多任务并发计算场景全流程进行监控包括对计算任务进行监控、对中间件进行监控以及对集群进行监控，

所述对计算任务进行监控包括对用电信息采集数据质量进行监控，定时从数据库或者缓存中抽取用电信息采集终端数据、快速过滤，并进行记录监控；对多任务并发计算场景过程进行监控；以及对场景计算结果进行监控，并对数据指标进行统计以及将结果持久化保存；

所述对中间件进行监控包括对用电信息采集数据存储类的中间件监控以及对进程类的中间件进行监控；

所述对集群进行监测为通过运维监控组件依据获取到的多任务并发计算场景节点数据，计算各业务集群的健康度，形成拓扑图，并展示在web页面上。

而且，所述的多任务并发计算场景包括但不限于：电量统计、负荷统计、线损计算、采集成功率、三相不平衡、终端在线率。

一种采集系统多任务并发处理的云计算系统，包括包括多任务并发的数据处理模块、多任务并发计算场景重构模块以及计算模块，

所述的多任务并发的数据处理模块用于对云计算通信模块中的各业务组件进行部署，分别部署为通信网关集群、通信前置集群、通信调度集群、消息队列集群以及数据入库集群，利用上述集群进行多任务并发的数据处理；

所述的多任务并发计算场景重构模块用于利用处理后的数据进行用采多任务并发计算场景重构；

所述的计算模块用于基于云大数据计算组件对重构的用采多任务并发计算场景进行流式计算和离线计算。

而且，还包括多任务并发计算场景监控模块，该模块用于利用业务运维监控组件对用采多任务并发计算场景全流程进行监控。

本发明的优点和有益效果为：

1、本采集系统多任务并发处理的云计算方法及系统，基于云大数据计算模块进行大数据计算及场景重构，并结合运维监控组件，实现采集系统多任务并发高效、高质量处理。

2、本采集系统多任务并发处理的云计算方法及系统，实现高效及时统计与分析。针对每天统计电量、线损、负荷和指标及计量在线监测等计算分析时间由9-12小时压缩到1小时内完成，并按小时实现对全省所有用户进行负荷、电量、线损统计、抄表成功率、用电异常及计量异常分析，大幅提升计算效率，满足省公司及供电公司管理、考核和业务处理的要求；

3、本采集系统多任务并发处理的云计算方法及系统，大幅提升数据计算质量。对每天上亿多条实时上送记录进行实时分析，针对负荷数据、电能示值进行校验、分析和修复，对倒走和冒大数等异常数据进行标记并重新采集，极大地提升了数据采集质量。

附图说明

图1为本发明的云计算方法与系统图。

具体实施方式

下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种采集系统多任务并发处理的云计算方法，其创新之处在于：包括如下步骤：

步骤一，对云计算通信模块中的各业务组件进行部署，分别部署为通信网关集群、通信前置集群、通信调度集群、消息队列集群以及数据入库集群，利用上述集群进行多任务并发的数据处理；

步骤二，利用处理后的数据进行用采多任务并发计算场景重构；

步骤三，基于云大数据计算组件对重构的用采多任务并发计算场景进行流式计算和离线计算。

还包括步骤四，利用业务运维监控组件对用采多任务并发计算场景全流程进行监控。

所述的云计算通信模块包括7个业务组件，分别为：终端接入组件、通信链路维护组件、终端工况管理组件、报文封装解析组件、通信调度组件、消息队列组件以及数据入库组件。

将所述的终端接入组件和通信链路维护组件部署为通信网关集群；将终端工况管理组件、报文封装解析组件部署为通信前置集群；将通信调度组件部署为通信调度集群；将消息队列组件独立部署为消息队列集群；将数据入库组件部署为数据入库集群。

所述通信网关集群中的终端接入组件负责终端登录的身份验证；

通信网关集群中的通信链路维护组件负责维护采集系统主站与终端间的远程通信链路，实现远程信道底层通信协议的心跳握手和链路连接，并完成原始通讯报文的收发；

通信前置集群中的终端工况管理组件负责实时更新终端最近通讯信道信息及最近通讯时间的通讯信息；通信前置集群中的报文封装解析组件负责根据终端规约将接收到的终端上行原始通讯报文解析成主站可识别的原始数据，并将主站对终端发起的通讯请求对象封装成下行报文并转发给通信网关；

通信调度集群的通信调度组件负责管理终端上下行原始通讯报文在通信层内部的通信信道，维护某终端所归属的通信前置节点信息和通信网关节点地址；

消息队列集群的消息队列组件接收通信前置集群中报文封装解析组件推送来的上行数据和报文，并将上行数据和报文推送至数据入库集群的数据入库组件进行保存生产数据库；并接收通讯前置请求并将该请求转发至通信前置集群的报文解析组件中。

所述的流式计算包括但不限于电量曲线、负荷曲线、终端通信流量的计算；所述的离线计算包括但不限于电量统计、负荷统计、线损计算、采集成功率、三相不平衡、终端在线率的计算。

所述的云大数据计算组件包括流式计算组件及离线计算组件，

所述的流式计算组件用于实时从消息队列获取接收到的数据，并将这些数据进行高速的数据清洗，然后将洁净的数据进行高速数据计算和数据存储；利用多节点并行处理的特点将各种杂乱的海量数据，进行高速的数据清洗，然后将洁净的数据进行高速数据计算和数据存储，实现电量曲线、负荷曲线、终端通信流量等多任务并发的实时计算，大幅提升计算效率。

所述的离线计算组件用于直接从分布式文件存储中读取海量持久化数据，然后进行多节点的并行数据处理，进行指标统计计算以及各项复杂数据的计算，并最终将计算结果存储到分布式文件存储和生产数据库中。

所述基于云大数据计算组件，完成用采多任务并发计算场景重构，包括对下述场景进行重构：电量计算重构、负荷计算重构、线损计算重构、采集成功率计算重构、台区三相不平衡计算重构、终端通信流量实时计算重构以及终端在线率计算重构，针对数据的检索、排序、归并和统计，确定云计算模式下数据访问的接口规范；

所述电量计算重构的方法为：按照下式对电量进行计算：

相邻两个时间点电能示值之差*对象的互感器综合倍率

计算频率为日，每日计算前一日的电量，同时追加一次重算前2日的电量数据；用户电量计算时只需要统计1级计量点的电量；计算维度次序为首先计算电能表电量、用户或台区电量，然后再依托用户或台区电量计算上级维度的电量数据；最后，将计算结果保存在HBase中，同时通过数据推送组件将结果数据推送至oracle数据库的标设表中；

所述负荷计算重构的方法为：用户负荷曲线计算时，只需要统计1级计量点及专变用户总加组的负荷曲线；维度计算次序为首先计算用户或台区的曲线负荷数据，然后再计算上级维度的负荷曲线数据；计算负荷极值数据时需要考虑负荷曲线空值点、负值点的情况，避免在计算平均负荷、最大负荷、最小负荷时出现错误计算结果数据；最后将计算结果保存在HBase中，同时通过数据推送组件将结果数据推送至oracle数据库的标设表中；

所述线损计算重构包括台区日线损计算以及台区月线损计算，以营销业务应用系统中的户、变关系作为台区线损计算模型，利用采集系统中对应的用户电能表电能量数据进行台区线损计算；

所述台区三相不平衡计算重构为针对安装HPLC模块的台区，按台区进行三相负载的分析计算，对三相不平衡的情况进行识别报警和监测，保证用电安全；

所述终端通信流量实时计算重构的方法为：终端实时通信报文日志通过入库程序存储到大数据平台中，通过对上行原始通讯报文的长度来计算终端的实时日流量、月流量统计；

所述终端在线率计算重构的方法为：前置机根据判断规则判断终端在线状态，大数据平台根据前置机提交的终端状态数据，利用实时计算功能进行终端的在线状态统计。

所述的判断规则包括但不限于下述中的一种：终端上下线事件、心跳报文。

所述利用业务运维监控组件对重构后的用采业务计算场景进行监控包括对计算任务进行监控、对中间件进行监控以及对集群进行监控，并对大数据计算过程及结果及时监测、诊断、告警。运维监控模块提供监测代理程序，在需要监控的主机上安装监测代理程序，监测代理程序会自动采集监控项数据并且上次到监控服务器。基于监控客户端的监控数据，实现实时监控信息提醒，对相关人员进行短信告警，并可以支持对监控结果的查询。

所述对计算任务进行监控的方法为：

所述对计算任务进行监控包括对用电信息采集数据质量进行监控，定时从数据库或者缓存中抽取用电信息采集终端数据、快速过滤，并进行记录监控；对多任务并发计算场景过程进行监控；以及对场景计算结果进行监控，并对数据指标进行统计以及将结果持久化保存；

所述对中间件进行监测的方法为：

所述中间件的监控分为两类，一类为用电信息采集数据存储类的中间件监控，一类为进程类的中间件监控；对于用电数据存储类的中间件，依据配置的ip、端口、账号、密码信息，监测代理进程，获取存储空间、读写效率数据；对于进程类的中间件，针对各种计算场景和任务，依据配置的ip、端口、接口信息，监测代理进程调用服务接口获取服务提供的性能数据。

所述对集群进行监测的方法为：

运维监控组件依据获取到的多任务并发计算场景节点数据，计算业务集群的健康度，形成拓扑图，并展示在web页面上。

针对计算任务，建立运维监控组件。对大数据计算过程及结果及时监测、诊断、告警,比如：同期线损、通道异常、时钟异常、数据质量等典型采集业务场景监控规则、诊断分析、预警通知、处置预案等，提升自动化分析、自动化诊断能力，快速完成故障消缺处理。运维监控组件提供监测代理程序，在需要监控的主机上安装监测代理程序，监测代理程序会自动采集监控项数据并且上次到监控服务器。监测代理程序仅定时获取系统数据，占用少量系统资源，不影响业务进程的正常运行。基于监控客户端的监控数据，实现实时监控信息提醒，对相关人员进行短信告警，并可以支持对监控结果的查询展示功能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种采集系统多任务并发处理的云计算方法，其特征在于：包括如下步骤：

步骤一，对云计算通信模块中的各业务组件进行部署，分别部署为通信网关集群、通信前置集群、通信调度集群、消息队列集群以及数据入库集群，利用上述集群进行多任务并发的数据处理；

步骤二，利用处理后的数据进行用采多任务并发计算场景重构；

步骤三，基于云大数据计算组件对重构的用采多任务并发计算场景进行流式计算和离线计算。

2.根据权利要求1所述的一种采集系统多任务并发处理的云计算方法，其特征在于：还包括步骤四，利用业务运维监控组件对用采多任务并发计算场景全流程进行监控。

3.根据权利要求1所述的一种采集系统多任务并发处理的云计算方法，其特征在于：所述的云计算通信模块包括7个业务组件，分别为：终端接入组件、通信链路维护组件、终端工况管理组件、报文封装解析组件、通信调度组件、消息队列组件以及数据入库组件。

4.根据权利要求3所述的一种采集系统多任务并发处理的云计算方法，其特征在于：将所述的终端接入组件和通信链路维护组件部署为通信网关集群；将终端工况管理组件、报文封装解析组件部署为通信前置集群；将通信调度组件部署为通信调度集群；将消息队列组件独立部署为消息队列集群；将数据入库组件部署为数据入库集群。

5.根据权利要求4所述的一种采集系统多任务并发处理的云计算方法，其特征在于：所述通信网关集群中的终端接入组件负责终端登录的身份验证；

所述通信网关集群中的通信链路维护组件负责维护采集系统主站与终端间的远程通信链路，实现远程信道底层通信协议的心跳握手和链路连接，并完成原始通讯报文的收发；

所述通信前置集群中的终端工况管理组件负责实时更新终端最近通讯信道信息及最近通讯时间的通讯信息；

所述通信前置集群中的报文封装解析组件负责根据终端规约将接收到的终端上行原始通讯报文解析成主站可识别的原始数据，并将主站对终端发起的通讯请求对象封装成下行报文并转发给通信网关；

所述通信调度集群的通信调度组件负责管理终端上下行原始通讯报文在通信层内部的通信信道，维护某终端所归属的通信前置节点信息和通信网关节点地址；

所述消息队列集群的消息队列组件接收通信前置集群中报文封装解析组件推送来的上行数据和报文，并将上行数据和报文推送至数据入库集群的数据入库组件进行保存生产数据库；并接收通讯前置请求并将该请求转发至通信前置集群的报文解析组件中。

6.根据权利要求1所述的一种采集系统多任务并发处理的云计算方法，其特征在于：所述的流式计算包括但不限于电量曲线、负荷曲线、终端通信流量的计算；所述的离线计算包括但不限于电量统计、负荷统计、线损计算、采集成功率、三相不平衡、终端在线率的计算。

7.根据权利要求1所述的一种采集系统多任务并发处理的云计算方法，其特征在于：所述的云大数据计算组件用于实时从消息队列获取接收到的数据，并将这些数据进行数据清洗，然后将清洗后的数据进行数据计算和数据存储，完成流式计算；同时还用于从分布式文件存储中读取持久化数据，然后进行多节点的并行数据处理，进行指标统计计算以及各项复杂数据的计算，并最终将计算结果存储到分布式文件存储和生产数据库中，完成离线计算。

8.根据权利要求1所述的一种采集系统多任务并发处理的云计算方法，其特征在于：所述利用处理后的数据进行用采多任务并发计算场景重构，包括对下述场景进行重构：电量计算重构、负荷计算重构、线损计算重构、采集成功率计算重构、台区三相不平衡计算重构、终端通信流量实时计算重构以及终端在线率计算重构。

9.根据权利要求2所述的一种采集系统多任务并发处理的云计算方法，其特征在于：所述利用业务运维监控组件对用采多任务并发计算场景全流程进行监控包括对计算任务进行监控、对中间件进行监控以及对集群进行监控，

所述对计算任务进行监控包括对用电信息采集数据质量进行监控，定时从数据库或者缓存中抽取用电信息采集终端数据、过滤，并进行记录监控；对多任务并发计算场景过程进行监控；以及对场景计算结果进行监控，并对数据指标进行统计以及将结果进行保存；

所述对中间件进行监控包括对用电信息采集数据存储类的中间件监控以及对进程类的中间件进行监控；

所述对集群进行监测为通过运维监控组件依据获取到的多任务并发计算场景节点数据，计算各业务集群的健康度，形成拓扑图，并展示在web页面上。

10.一种采集系统多任务并发处理的云计算系统，其特征在于：包括多任务并发的数据处理模块、多任务并发计算场景重构模块以及计算模块，

所述的多任务并发的数据处理模块用于对云计算通信模块中的各业务组件进行部署，分别部署为通信网关集群、通信前置集群、通信调度集群、消息队列集群以及数据入库集群，利用上述集群进行多任务并发的数据处理；

所述的多任务并发计算场景重构模块用于利用处理后的数据进行用采多任务并发计算场景重构；

所述的计算模块用于基于云大数据计算组件对重构的用采多任务并发计算场景进行流式计算和离线计算。

Images