CN107945048A - 一种基于计量自动化系统的数据补采系统 - Google Patents

Abstract

本发明公开了一种基于计量自动化系统的数据补采系统，通过数据解析处理模块对终端的上传数据进行解析，并将得到的数据解析结果输出至数据管理模块中，由数据管理模块通过比对数据解析结果与数据采集任务，查找获取缺失数据，然后输出对应的缺失数据补采请求至任务下发模块，由任务下发模块对缺失数据补采请求按规约进行组帧后转发至用于寻址的应用路由模块，最后通过应用路由模块顺利将缺失数据补采请求发送至对应的终端中，使得终端可以根据缺失数据补采请求返回对应的补采数据，完成数据的补采，解决了现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统的技术问题。

Description

一种基于计量自动化系统的数据补采系统

技术领域

本发明涉及电力系统数据补采技术领域，尤其涉及一种基于计量自动化系统的数据补采系统。

背景技术

在电力系统中，电能计量自动化系统是一个将静态的电能计量管理与动态的电能计量遥测融合的整体，有着远程抄表、在线监测、线损管理等应用，在电力营销中起着重要作用。通常，省级的计量自动化系统面临着采集数据类型繁多、数量庞大的问题，具体分为负荷数据(电压、电流、功率因数、有功功率、无功功率、相位角等)，电量数据(正向有功、正向无功、反向有功、反向无功、正向有功分相等)，统计数据(停电统计、电压合格率统计等)。省级集中计量自动化系统进行数据采集时,大部分数据优先选择终端主动上送,对缺失数据部分,需要通过补采保证数据采集完整率。然而，按省集中主站的计量自动化系统的运行现状，每天采集的数据记录数近十亿条，去除部分地市主动上送任务数据(约占80％)，需要补采的数据量仍达近亿条，数据量庞大。

因此，现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统。

发明内容

本发明提供了一种基于计量自动化系统的数据补采系统，解决了现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统的技术问题。

本发明提供的一种基于计量自动化系统的数据补采系统，包括：

数据解析处理模块、数据管理模块、任务下发模块和应用路由模块；

所述数据解析处理模块与终端连接，用于获取所述终端的上传数据，并调用规约库对所述上传数据进行数据解析，获得数据解析结果；

所述数据管理模块与所述数据解析处理模块连接，用于接收所述数据解析处理模块发送的数据解析结果，并通过将数据采集任务与所述数据解析结果进行比对，查找获取缺失数据，输出缺失数据补采请求至所述任务下发模块；

所述任务下发模块与所述数据管理模块连接，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后转发至所述应用路由模块；

所述应用路由模块与所述任务下发模块连接，用于对所述任务下发模块转发的组帧后的缺失数据补采请求进行终端寻址，并根据寻址结果将所述组帧后的缺失数据补采请求发送至对应的终端的前置机，使得终端可以根据所述组帧后的缺失数据补采请求返回补采的数据。

优选地，所述数据管理模块包括：

数据位图管理子模块，用于接收所述数据解析处理模块发送的数据解析结果，并对所述数据解析结果中的任务状态数据进行处理；

所述对所述数据解析结果中的任务状态数据进行处理包括：判断所述任务状态数据的任务采集结果是否为采集成功，若是，则根据所述任务状态数据的任务号、数据时间和采集周期查找对应的任务位图，并对所述任务位图进行更新操作，否则，输出错误日志进行提示。

优选地，所述数据管理模块还包括：

补采请求发起子模块，用于根据所装载的任务补采配置信息，定期查找对应的补采数据位图，并根据查找到的补采数据位图输出对应的缺点记录；

根据所述缺点记录对应的任务号依次发起缺失数据补采请求，并将所述缺失数据补采请求输出至所述任务下发模块。

优选地，所述任务下发模块包括：

并发控制子模块，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后，根据所述缺失数据补采请求对应的终端进行并发度控制并转发至所述应用路由模块。

优选地，所述任务下发模块还包括：

超时补采子模块，用于定期检测无回应的超时任务，并根据所述无回应的超时任务自动发起缺失数据超时补采请求；

优选地，所述数据解析处理模块包括：

规约识别子模块，用于对所述上传数据中的报文进行规约识别，若无法识别所述报文的规约，则丢弃所述报文，否则，调用所述报文对应的规约库；

数据解析子模块，用于根据调用的规约库对所述报文进行解析；

解析结果输出子模块，用于将对所述报文进行解析获得的解析报文输出到数据库表，并将对应的数据解析结果发送至所述数据管理模块，所述数据解析结果包括终端名称、任务号和数据时间。

所述根据调用的规约库对所述报文进行解析具体包括：

获得所述报文中的终端逻辑地址和终端任务号，并根据所述终端逻辑地址和所述终端任务号查找对应的终端任务模板档案，若终端任务模板档案查找失败或查找的终端任务模板档案不正确，则丢弃所述报文，若查找的终端任务模板档案正确，则根据所述查找的终端任务模板档案对所述报文进行解析，并解析得所述报文中的数据项的值和对应的数据时间。

本发明实施例提供的一种基于计量自动化系统的数据补采系统，还包括：终端链路接入模块；

所述数据解析处理模块和所述应用路由模块分别通过所述终端链路接入模块与终端连接，所述终端链路接入模块用于实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块，以及根据所述前置机中的缺失数据补采请求进行终端地址预解析，并根据终端地址预解析的结果发送至对应的终端上。

优选地，所述终端链路接入模块包括：

数据上行链路处理子模块，用于实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块；

所述实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块具体包括：

创建链接通信通道池，监听来自配网终端的通讯请求，并在接收到所述配网终端的通讯请求后，创建对应的通讯连接；

监听并接收来自所述配网终端的上传数据，并对所述上传数据根据适配的规约进行预解析，获取所述上传数据中的报文的主站地址和报文控制码；

根据所述主站地址和所述报文控制码，对所述上传数据进行转发处理，若所述主站地址属于主动上送范围，则将所述上传数据转发至所述数据解析处理模块，若所述主站地址属于非主动上送，则将所述上传数据转发至所述应用路由模块。

优选地，所述应用路由模块包括：

下行数据路由子模块，用于创建连接监听来自所述任务下发模块的连接请求，在监听并接收到来自所述任务下发模块的组帧后的缺失数据补采请求后，根据所述组帧后的缺失数据补采请求获取到对应的终端逻辑地址；

根据所述对应的终端逻辑地址，查找对应的终端所述登录的前置机节点编号，并根据所述前置机节点编号将所述组帧后的缺失数据补采请求发送至对应的前置机。

优选地，所述应用路由模块还包括：

上行数据路由子模块，用于监听来自于所述终端链路接入模块的上传数据，对所述上传数据进行主站地址识别，并根据识别得到的主站地址，将所述上传数据转发至对应的任务下发模块。

从以上技术方案可以看出，本发明具有以下优点：

本发明中通过数据解析处理模块对终端上送的上传数据进行解析，并将得到的对应的包含了终端名称以及数据采集时间等的数据解析结果输出至数据管理模块中，由数据管理模块通过比对数据解析结果与数据采集任务，发现得到数据采集的缺点记录，即查找获取缺失数据，然后输出对应的缺失数据补采请求至任务下发模块，由任务下发模块对缺失数据补采请求按规约进行组帧后转发至用于寻址的应用路由模块，最后通过应用路由模块顺利将缺失数据补采请求发送至对应的终端中，使得终端可以根据缺失数据补采请求返回对应的补采数据，完成数据的补采。本发明中将数据的补采过程分为数据解析、缺失数据的查找及补采请求的发起、补采请求的组帧以及补采请求的寻址发送四个独立的过程，能够根据不同的采集任务特点，通过比对采集任务与数据解析结果，快速获取得到缺点数据，并下发补采任务，并将补采任务对应的输出至终端中，完成数据的快速补采，解决了现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种基于计量自动化系统的数据补采系统的一个实施例的结构示意图；

图2为本发明实施例提供的一种基于计量自动化系统的数据补采系统的另一个实施例的结构示意图；

图3为本发明实施例提供的一种通讯接入程序的应用架构示意图；

图4为本发明实施例提供的一种数据解析处理模块的数据解析处理逻辑示意图；

图5为本发明实施例提供的一种缺点数据位图管理处理流程示意图；

图6为本发明实施例提供的一种应用路由模块的处理流程示意图。

具体实施方式

本发明实施例提供了一种基于计量自动化系统的数据补采系统，用于解决现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种基于计量自动化系统的数据补采系统的一个实施例的结构示意图。

本发明实施例提供的一种基于计量自动化系统的数据补采系统包括：

数据解析处理模块101、数据管理模块102、任务下发模块103和应用路由模块104；

数据解析处理模块101与终端105连接，用于获取终端105的上传数据，并调用规约库对上传数据进行数据解析，获得数据解析结果。可以理解的是，数据解析处理模块101与终端105之间建立有通信连接关系，终端可以实时根据预先设定的数据上传任务，主动将对应的数据(如负荷数据、电量数据和统计数据等)上传至数据解析处理模块101中，由数据解析处理模块101通过调用相应的规约库完成对上传数据的解析。需要说明的是，在对上传数据进行解析处理后，将解析得到的上传数据中的数据项的值和对应的数据时间等信息作为具体的解析报文输出至数据库表进行保存，而将简略的包括终端名称、任务号和数据时间的数据解析结果发送至数据管理模块102。

数据管理模块102与数据解析处理模块101连接，用于接收数据解析处理模块101发送的数据解析结果，并通过将数据采集任务与数据解析结果进行比对，查找获取缺失数据，输出缺失数据补采请求至任务下发模块。具体的，在接收到数据解析结果时，数据管理模块102可以调用数据库封装库将数据解析结果插入到数据采集任务的接口表中，并进行数据采集任务与数据解析结果的比对，查找得到其中的缺点记录，从而获取到缺失数据，最后根据数据采集任务的不同类型，定期输出任务的缺点统计信息，即定期输出缺失数据补采请求至任务下发模块103。

任务下发模块103与数据管理模块102连接，用于对从数据管理模块102获取的缺失数据补采请求按规约进行组帧后转发至应用路由模块104。可以理解的是，任务下发模块103预先建立与应用路由模块104之间的连接，该连接可以为传输控制协议(TransmissionControl Protocol，TCP)长连接，然后循环扫描来自于数据管理模块102的缺失数据补采请求，根据对应的终端规约将缺失数据补采请求进行组帧后生成对应的终端补采组帧报文(即组帧后的缺失数据补采请求)，并输出至应用路由模块104。

应用路由模块104与任务下发模块103连接，用于对任务下发模块103转发的组帧后的缺失数据补采请求进行终端寻址，并根据寻址结果将组帧后的缺失数据补采请求发送至对应的终端的前置机，使得终端可以根据组帧后的缺失数据补采请求返回补采的数据。

本发明中通过数据解析处理模块101对终端105上送的上传数据进行解析，并得到对应的包含了终端名称以及数据采集时间等的数据解析结果输出至数据管理模块102中，由数据管理模块102通过比对数据解析结果与数据采集任务，发现得到数据采集的缺点记录，即查找获取缺失数据，然后输出对应的缺失数据补采请求至任务下发模块103，由任务下发模块103对缺失数据补采请求按规约进行组帧后转发至用于寻址的应用路由模块104，最后通过应用路由模块104顺利将缺失数据补采请求发送至对应的终端105中，使得终端105可以根据缺失数据补采请求返回对应的补采数据，完成数据的补采。本发明中将数据的补采过程分为数据解析、缺失数据的查找及补采请求的发起、补采请求的组帧以及补采请求的寻址发送四个独立的过程，能够根据不同的采集任务特点，通过比对采集任务与数据解析结果，快速获取得到缺点数据，并下发补采任务，并将补采任务对应的输出至终端中，完成数据的快速补采，解决了现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统的技术问题。

以上为对本发明实施例提供的一种基于计量自动化系统的数据补采系统的一个实施例的详细描述，基于上述的数据补采系统，本发明实施例中还提供了另一种基于计量自动化系统的数据补采系统的实现方式。

请参阅图2，图2为本发明实施例提供的一种基于计量自动化系统的数据补采系统的另一个实施例的结构示意图。

本发明实施例提供的一种基于计量自动化系统的数据补采系统包括：

数据解析处理模块201、数据管理模块202、任务下发模块203、应用路由模块204和终端链路接入模块205；

数据解析处理模块201和应用路由模块204分别通过终端链路接入模块205与终端206连接，终端链路接入模块205用于实现与终端206的通讯接入，对终端206的上传数据进行预解析后转发至数据解析处理模块201，以及根据前置机中的缺失数据补采请求进行终端地址预解析，并根据终端地址预解析的结果发送至对应的终端206上。可以理解的是，终端链路接入模块205主要通过终端通讯接入程序，负责接入终端的TCP连接和用户数据报协议(User Datagram Protocol，UDP)连接，并维护保持连接，实现终端206(配网终端)上送数据的预解析和转发处理，以及将主站的缺失数据补采请求转发给终端206。对主网的厂站终端，则可以根据终端档案，主动发起与终端的连接请求，维护保持连接，同样实现上送数据的预解析和转发处理。具体的，可以参阅图3，图3为本发明实施例提供的一种通讯接入程序的应用架构示意图。

其中，终端链路接入模块205还包括有：数据上行链路处理子模块2051，用于实现与终端的通讯接入，对终端206的上传数据进行预解析后转发至数据解析处理模块201。具体的，实现与终端206的通讯接入，对终端206的上传数据进行预解析后转发至数据解析处理模块201具体为数据上行链路的处理逻辑，数据上行链路的处理逻辑包括：

(1)创建大批量的链接通信通道池(包括TCP/UDP)，监听来自配网终端的通讯请求，并在接收到配网终端的通讯请求后，创建对应的通讯连接；可以理解的是，还可以根据主网终端的档案资料，主动发起对主网终端的TCP连接请求。

(2)监听并接收来自配网终端或主网终端的上传数据，并对上传数据根据适配的规约进行预解析，获取上传数据中的报文的主站地址、报文控制码、终端逻辑地址、帧序号和帧内序号等信息；可以理解的是，可以根据其中的终端逻辑地址获取对应的地市编号代码，用于识别该终端具体属于哪个地市。

(3)根据主站地址和报文控制码，对上传数据进行转发处理，若主站地址属于主动上送范围(主站地址为0或1)，则通过输出输入通道将上传数据转发至数据解析处理模块201，可以理解的是，在转发至数据解析处理模块201进行数据解析处理之前，可以由前置预处理模块进行数据的前置预处理；若主站地址属于非主动上送，则将上传数据转发至应用路由模块204。

终端链路接入模块205还可以包括有：数据上行链路处理子模块2052，用于实现数据下行链路的处理逻辑。其中数据下行链路的处理逻辑具体包括：

(1)创建应用路由监听端口，接收来自应用路由模块204的连接请求。创建输出输入管道，监听来自前置预处理模块的请求数据。可以理解的是，本步骤中可以采用多线程进行并发处理，以提高监听的效率。

(2)接收到来自应用路由模块204或前置预处理模块的补采请求报文后，对报文按内部规约进行预解析，获取简单的信息，如终端逻辑地址、主站地址等信息；

(3)根据终端逻辑地址信息，查找对应的终端通讯连接，并把请求的报文通过查找到的连接发送给终端，异步等待终端回应。

以上为对实现与终端间的通讯连接的终端链路接入模块205的详细描述，以下将对数据解析处理模块201进行详细描述。

数据解析处理模块201，用于从终端链路接入模块205获取预解析后的上传数据，并调用规约库对上传数据进行数据解析，获得数据解析结果。

数据解析处理模块201包括有：

规约识别子模块2011，用于对上传数据中的报文进行规约识别，若无法识别报文的规约，则丢弃报文，否则，调用报文对应的规约库；

数据解析子模块2012，用于根据调用的规约库对报文进行解析；

解析结果输出子模块2013，用于将对报文进行解析获得的解析报文输出到数据库表，并将对应的数据解析结果发送至数据管理模块202，数据解析结果包括终端名称、任务号和数据时间。

根据调用的规约库对报文进行解析具体包括：

获得报文中的终端逻辑地址和终端任务号，并根据终端逻辑地址和终端任务号查找对应的终端任务模板档案，若终端任务模板档案查找失败或查找的终端任务模板档案不正确，则丢弃报文，若查找的终端任务模板档案正确，则根据查找的终端任务模板档案对报文进行解析，并解析得报文中的数据项的值和对应的数据时间。

为了便于理解，以下将结合图4，对数据解析处理模块201的数据解析处理逻辑进行详细的介绍。请参阅图4，图4为本发明实施例提供的一种数据解析处理模块的数据解析处理逻辑示意图。

数据解析处理模块201的数据解析处理逻辑具体如下：

(1)程序启动后，数据解析处理模块201循环监听接收来自终端链路接入模块205转发过来的终端主动上送的数据报文或终端的缺失数据补采回应报文；

(2)对接收到的报文，进行规约识别，如果无法识别规约，则丢弃此报文；如果识别成功，则调用对应的规约库开始解析；

(3)采用规约库解析报文时，先获得报文中的终端逻辑地址和终端任务号，然后根据终端逻辑地址和任务号，查找对应的终端任务模版档案。如果查找档案失败或者模版不正确，则无法解析报文，进行报警并丢弃该报文；

(4)如果查找的任务模版档案正确，则按模版对报文进行解析，依次解析出报文中的每一个数据项的值和对应的数据时间；

(5)把解析获得的数据项的值和对应的数据时间输出到数据库表，同时通知数据管理模块202相应的解析结果，即该终端的数据已经采集成功，解析结果中包括了终端名称、任务号和数据时间等信息。然后循环处理下一条报文。

以上为对报文数据进行解析处理的数据解析处理模块201的详细描述，以下将针对进行缺失数据查找及补采请求发起的数据管理模块进行详细描述。

数据管理模块202与数据解析处理模块201连接，用于接收数据解析处理模块201发送的数据解析结果，并通过将数据采集任务与数据解析结果进行比对，查找获取缺失数据，输出缺失数据补采请求至任务下发模块203。具体的，在接收到数据解析结果时，数据管理模块202可以调用数据库封装库将数据解析结果插入到数据采集任务的接口表中，并进行数据采集任务与数据解析结果的比对，查找得到其中的缺点记录，从而获取到缺失数据，最后根据数据采集任务的不同类型，定期输出任务的缺点统计信息，即定期输出缺失数据补采请求至任务下发模块203。

数据管理模块202包括有：数据位图管理子模块2021和补采请求发起子模块2022；其中，数据位图管理子模块2021主要是对缺点数据进行位图管理，补采请求发起子模块2022则负责根据任务配置，定期对缺点数据发起补采请求。

数据位图管理子模块2021，用于接收数据解析处理模块201发送的数据解析结果，并对数据解析结果中的任务状态数据进行处理；对数据解析结果中的任务状态数据进行处理包括：从任务状态数据中，获取采集任务号，并判断是否属于主站任务号，如果不是，则根据终端任务号得到对应的主站任务号；然后判断任务状态数据的任务采集结果是否为采集成功，若是，则根据任务状态数据的任务号、数据时间和采集周期查找对应的任务位图，并对任务位图进行更新操作，否则，输出错误日志进行提示。

具体的，可以参阅图5，图5为本发明实施例提供的一种缺点数据位图管理处理流程示意图。缺点数据位图管理处理逻辑如下：

(1)接收来自于数据解析处理模块201的数据解析通知结果，对每一条任务状态数据开始处理；

(2)从任务状态数据中，获取采集任务号，并判断是否属于主站任务号，如果不是，则根据终端任务号得到对应的主站任务号；

(3)判断任务结果状态，是否属于采集成功；如果属于采集成功，则根据任务号、数据时间和采集周期查找对应的任务位图，并对任务位图进行更新操作。如果采集失败，则输出错误日志进行提示。

补采请求发起子模块2022，用于根据所装载的任务补采配置信息，定期查找对应的补采数据位图，并根据查找到的补采数据位图输出对应的缺点记录；根据缺点记录对应的任务号依次发起缺失数据补采请求，并将缺失数据补采请求输出至任务下发模块。

具体的，对缺点数据发起补采请求处理逻辑如下：

(1)程序启动后，装载任务补采的配置信息；

(2)根据任务补采的配置信息，定期查找对应的补采数据位图，输出对应任务号的缺点记录；

(3)对缺点记录依次发起缺失数据补采请求，把缺失数据补采请求通过管道传递给任务下发模块203。

在缺失数据补采请求进行下发后，需要通过任务下发模块进行组帧后的进一步下发。

其中，任务下发模块203与数据管理模块202连接，用于对从数据管理模块202获取的缺失数据补采请求按规约进行组帧后转发至应用路由模块204。可以理解的是，任务下发模块203预先建立与应用路由模块204之间的连接，该可以为TCP长连接，然后循环扫描来自于数据管理模块202的缺失数据补采请求，根据对应的终端规约将缺失数据补采请求进行组帧后生成对应的终端补采组帧报文(即组帧后的缺失数据补采请求)，并输出至应用路由模块204。

任务下发模块203包括：并发控制子模块2031和超时补采子模块2032。

并发控制子模块2031，用于对从数据管理模块获取的缺失数据补采请求按规约进行组帧后，根据缺失数据补采请求对应的终端进行并发度控制并转发至应用路由模块。

超时补采子模块2032，用于定期检测无回应的超时任务，并根据无回应的超时任务自动发起缺失数据超时补采请求。

需要说明的是，任务下发模块203在处理大批量的补采请求时，采用了两个机制保障补采的成功率。

(1)并发度控制：由于补采的请求发起方是数据管理模块202，任务下发模块203是在接收数据管理模块202的请求数据后，对数据进行组织处理后转发。采取并发度控制后，则可以对终端的任务下发进行有效控制，保障单个终端的并发任务可控，不会出现单个终端瞬间任务请求过多的情况。

(2)超时补采：当任务下发模块203发起任务请求后，因各种原因存在无任务回应的情况，即出现任务超时。超时任务发生后，任务下发模块203可以自动发起超时补采请求，超时补采的次数可根据实际需求进行配置(例如默认配置为3次)。

任务下发模块203的处理逻辑具体如下：

(1)程序启动后，首先登陆连接到应用路由模块204，并保持TCP长连接；

(2)循环扫描来自于数据管理模块202的缺失数据补采请求，并根据对应的终端规约进行组帧；

(3)把终端的补采组帧报文通过TCP连接发送给应用路由模块204。

以上为对补采请求的组帧的任务下发模块203的详细描述，以下将对进行补采请求的寻址发送的应用路由模块进行详细的描述。

具体的，可以参阅图6，图6为本发明实施例提供的应用路由模块的处理流程示意图。

应用路由模块204与任务下发模块203连接，用于对任务下发模块203转发的组帧后的缺失数据补采请求进行终端寻址，并根据寻址结果将组帧后的缺失数据补采请求发送至对应的终端的前置机，使得终端可以根据组帧后的缺失数据补采请求返回补采的数据。

应用路由模块204包括：下行数据路由子模块2041和上行数据路由子模块2042。

下行数据路由子模块2041，用于创建连接监听来自任务下发模块的连接请求，在监听并接收到来自任务下发模块的组帧后的缺失数据补采请求后，根据组帧后的缺失数据补采请求获取到对应的终端逻辑地址；根据对应的终端逻辑地址，查找对应的终端登录的前置机节点编号，并根据前置机节点编号将组帧后的缺失数据补采请求发送至对应的前置机。

上行数据路由子模块2042，用于监听来自于终端链路接入模块的上传数据，对上传数据进行主站地址识别，并根据识别得到的主站地址，将上传数据转发至对应的包含了任务下发模块的主站应用模块或直接转发至任务下发模块。

本发明实施例中提供了一种基于计量自动化系统的数据补采系统，针对数据补采时，需要区分终端类型、规约类型、采集周期、采集任务(采集数据项)的特点，将数据的补采过程分为数据解析、缺失数据的查找及补采请求的发起、补采请求的组帧以及补采请求的寻址发送四个独立的过程，能够根据不同的采集任务特点，通过比对采集任务与数据解析结果，快速获取得到缺点数据，并下发补采任务，并将补采任务对应的输出至终端中，完成数据的快速补采。并且本发明实施例中采用了内存位图的管理模式对缺点数据发起补采，最大程度降低了对内存的使用；此外，终端补采返回的数据，采用按主动上送数据的链路返回，大大降低了对用户召测的影响；并且数据补采系统具备峰值处理能力，当出现采集数据高峰时，能够按终端并行处理，减少对终端的采集压力，实现对数据的高效、快速的补采，解决了现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统的技术问题。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于计量自动化系统的数据补采系统，其特征在于，包括：

数据解析处理模块、数据管理模块、任务下发模块和应用路由模块；

所述数据解析处理模块与终端连接，用于获取所述终端的上传数据，并调用规约库对所述上传数据进行数据解析，获得数据解析结果；

所述数据管理模块与所述数据解析处理模块连接，用于接收所述数据解析处理模块发送的数据解析结果，并通过将数据采集任务与所述数据解析结果进行比对，查找获取缺失数据，输出缺失数据补采请求至所述任务下发模块；

所述任务下发模块与所述数据管理模块连接，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后转发至所述应用路由模块；

所述应用路由模块与所述任务下发模块连接，用于对所述任务下发模块转发的组帧后的缺失数据补采请求进行终端寻址，并根据寻址结果将所述组帧后的缺失数据补采请求发送至对应的终端的前置机，使得终端可以根据所述组帧后的缺失数据补采请求返回补采的数据。

2.根据权利要求1所述的基于计量自动化系统的数据补采系统，其特征在于，所述数据管理模块包括：

数据位图管理子模块，用于接收所述数据解析处理模块发送的数据解析结果，并对所述数据解析结果中的任务状态数据进行处理；

所述对所述数据解析结果中的任务状态数据进行处理包括：判断所述任务状态数据的任务采集结果是否为采集成功，若是，则根据所述任务状态数据的任务号、数据时间和采集周期查找对应的任务位图，并对所述任务位图进行更新操作，否则，输出错误日志进行提示。

3.根据权利要求2所述的基于计量自动化系统的数据补采系统，其特征在于，所述数据管理模块还包括：

补采请求发起子模块，用于根据所装载的任务补采配置信息，定期查找对应的补采数据位图，并根据查找到的补采数据位图输出对应的缺点记录；

根据所述缺点记录对应的任务号依次发起缺失数据补采请求，并将所述缺失数据补采请求输出至所述任务下发模块。

4.根据权利要求1所述的基于计量自动化系统的数据补采系统，其特征在于，所述任务下发模块包括：

并发控制子模块，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后，根据所述缺失数据补采请求对应的终端进行并发度控制并转发至所述应用路由模块。

5.根据权利要求4所述的基于计量自动化系统的数据补采系统，其特征在于，所述任务下发模块还包括：

超时补采子模块，用于定期检测无回应的超时任务，并根据所述无回应的超时任务自动发起缺失数据超时补采请求。

6.根据权利要求1所述的基于计量自动化系统的数据补采系统，其特征在于，所述数据解析处理模块包括：

规约识别子模块，用于对所述上传数据中的报文进行规约识别，若无法识别所述报文的规约，则丢弃所述报文，否则，调用所述报文对应的规约库；

数据解析子模块，用于根据调用的规约库对所述报文进行解析；

解析结果输出子模块，用于将对所述报文进行解析获得的解析报文输出到数据库表，并将对应的数据解析结果发送至所述数据管理模块，所述数据解析结果包括终端名称、任务号和数据时间；

所述根据调用的规约库对所述报文进行解析具体包括：

获得所述报文中的终端逻辑地址和终端任务号，并根据所述终端逻辑地址和所述终端任务号查找对应的终端任务模板档案，若终端任务模板档案查找失败或查找的终端任务模板档案不正确，则丢弃所述报文，若查找的终端任务模板档案正确，则根据所述查找的终端任务模板档案对所述报文进行解析，并解析得所述报文中的数据项的值和对应的数据时间。

7.根据权利要求1至6所述的基于计量自动化系统的数据补采系统，其特征在于，还包括：终端链路接入模块；

所述数据解析处理模块和所述应用路由模块分别通过所述终端链路接入模块与终端连接，所述终端链路接入模块用于实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块，以及根据所述前置机中的缺失数据补采请求进行终端地址预解析，并根据终端地址预解析的结果发送至对应的终端上。

8.根据权利要求7所述的基于计量自动化系统的数据补采系统，其特征在于，所述终端链路接入模块包括：

数据上行链路处理子模块，用于实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块；

所述实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块具体包括：

创建链接通信通道池，监听来自配网终端的通讯请求，并在接收到所述配网终端的通讯请求后，创建对应的通讯连接；

监听并接收来自所述配网终端的上传数据，并对所述上传数据根据适配的规约进行预解析，获取所述上传数据中的报文的主站地址和报文控制码；

根据所述主站地址和所述报文控制码，对所述上传数据进行转发处理，若所述主站地址属于主动上送范围，则将所述上传数据转发至所述数据解析处理模块，若所述主站地址属于非主动上送，则将所述上传数据转发至所述应用路由模块。

9.根据权利要求8所述的基于计量自动化系统的数据补采系统，其特征在于，所述应用路由模块包括：

下行数据路由子模块，用于创建连接监听来自所述任务下发模块的连接请求，在监听并接收到来自所述任务下发模块的组帧后的缺失数据补采请求后，根据所述组帧后的缺失数据补采请求获取到对应的终端逻辑地址；

根据所述对应的终端逻辑地址，查找对应的终端所述登录的前置机节点编号，并根据所述前置机节点编号将所述组帧后的缺失数据补采请求发送至对应的前置机。

10.根据权利要求9所述的基于计量自动化系统的数据补采系统，其特征在于，所述应用路由模块还包括：

上行数据路由子模块，用于监听来自于所述终端链路接入模块的上传数据，对所述上传数据进行主站地址识别，并根据识别得到的主站地址，将所述上传数据转发至对应的任务下发模块。