CN107357809A - 海量平台海迅实时库量测数据接入系统 - Google Patents

Abstract

本发明公开了一种海量平台海迅实时库量测数据接入系统，属于电力系统数据管理技术领域，包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行前端操作处理。本发明可满足各业务应用对历史数据或准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。

Description

海量平台海迅实时库量测数据接入系统

技术领域

本发明涉及一种海量平台海迅实时库量测数据接入系统，属于电力系统数据管理技术领域。

背景技术

电网运行基础数据的质量直接决定了各种高级分析与应用的实用化水平，也严重影响电力调度控制的准确性、可靠性及精益性。电力系统随着各省（市）公司和直属单位的调度EMS、电能量、输变电设备状态监测、用户用电信息采集、配电自动化等业务的建设，产生了大量准实时数据，迫切需要建立一整套量测数据接入海迅实时库的系统，以满足各业务应用对历史/准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。

发明内容

本发明需要解决的技术问题是提供一种海量平台海迅实时库量测数据接入系统，可满足各业务应用对历史数据或准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。

为解决上述技术问题，本发明所采用的技术方案是：

一种海量平台海迅实时库量测数据接入系统，包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行人机交互式的前端操作处理。

本发明技术方案的进一步改进在于：控制模块的处理步骤为：

步骤2.1、数据响应分发：与数据总线接口交互对应连接，用于响应、分发接收数据，形成调用数据；

步骤2.2、数据预处理：对调用数据进行预处理，首先对调用数据进行解析转换处理，然后验证调用数据的合法性、完整性和有效性，借此过滤掉非法数据，避免无谓的计算资源浪费，形成有效数据；

步骤2.3、数据质量检查：根据业务系统数据质量检查规则，为有效数据对应指定检查规则，验证其是否达到接入质量要求，同时设有黑名单/白名单机制，为有特殊需求的有效数据开辟绿色通道；

步骤2.4、业务调度控制：根据数据类型，将通过验证的有效数据进行对应性分发；

步骤2.5、业务日志处理：处理业务调度控制步骤分发的有效数据，形成业务日志，同时对业务日志的规则进行加载，并记录业务日志的总体执行情况，形成详细日志。

本发明技术方案的进一步改进在于：数据质量检查规则包括数据范围检查和数据异常值检查。

本发明技术方案的进一步改进在于：接入业务模块的处理步骤为：

步骤4.1、数据加工：与业务日志处理步骤对应，根据数据接入的多样性需求，根据不同侧面特性对业务日志中的日志数据加以描述，为日志数据提供可配置的加工规则加载，以匹配日志数据接入时的不同需求；

步骤4.2、数据周期性写入：将经加工后的日志数据，在接入模块建立接入操作后，按照固定的频率向海量平台海迅实时库进行数据写入操作；

步骤4.3、数据保存：将写入的日志数据适配到海量平台海迅实时库中，并进行日志数据封装；

步骤4.4、数据缓存：将写入的日志数据暂时性的保存在缓存区中以供读取和再读取操作，缓存区包括本地缓存区和备机缓存区，本地缓存区用以当内存队列已满时，日志数据第一优先保存的位置，特殊重要的数据，也可同时备份保存至备机缓存区中，确保日志数据安全；备机缓存区，用于当本地缓存区（第一优先保存地点）已满时，日志数据第二优先保存的位置；

步骤4.5、备份加载：用于加载经过数据缓存后的数据，包括本地数据加载区和备机数据加载区，本地数据加载区用于当主机负载下降、处理能力上升时，优先加载处理的缓存数据位置；备机数据加载区用于当主机负载下降、处理能力上升时，第二优先加载处理的缓存数据位置。

本发明技术方案的进一步改进在于：步骤4.1中数据加工的处理步骤为：

步骤4.11、加工规则加载：将配置的数据加工规则加载至系统中，并进行应用；

步骤4.12、数据分类：对数据进行分类，按数据的不同侧面特性，将数据分配给加载不同加工规则的侧面处理器；

步骤4.13、数据加工：对应不同数据侧面处理器，依照数据加工规则，对数据进行加工处理；

步骤4.14、特殊数据处理，提供特殊处理规则，应对有某些特殊性、非通用性、非标准的数据处理要求。

本发明技术方案的进一步改进在于：步骤4.2中数据周期性写入的过程为：首先连接海量平台海迅实时库，然后抽取待写入的测点数据，并根据测点数据中的测点名称查询测点ID，待写入测点数据值后断开海量平台海迅实时库连接。

本发明技术方案的进一步改进在于：步骤4.2中数据周期性写入过程中还设有异常处理步骤和历史数据回写步骤，其中：

异常处理步骤：在连接海量平台海迅实时库时，负责监测接口服务的运行状态和接口服务的写值异常情况，保证数据写入的一致性和完整性；

历史数据回写步骤：在写入测点数据值时，通过定时任务与SQL的结合对之前未完全写入、存在遗漏和需要修改的数据，进行回写，保证数据的完整性。

本发明技术方案的进一步改进在于：在进行历史数据回写步骤前先进行数据校验，数据校验采用人工校验和自动化校验相结合的方式。

本发明技术方案的进一步改进在于：步骤4.3中数据保存的步骤如下：

步骤4.31、数据库连接获取：建立数据库委托连接池，管理并分配海量平台海迅实时库连接资源；

步骤4.32、数据队列调度缓存：建立日志数据的有序存取队列，保障日志数据高效、有序地存取；同时在有序存取队列已满时，进行日志数据缓存调度，以待负载低时处理，保障有效日志数据不丢失；

步骤4.33、数据入库：调用海量平台海讯实时库的数据存取接口，完成日志数据入库动作，并进行数据封装；

步骤4.34、异常回滚：建立事务机制，保障入库的日志数据存取的完整性；

步骤4.35、日志记录：对日志数据建立全处理周期的日志监控，保障日志数据可追查、可反溯。

本发明技术方案的进一步改进在于：通用模块的处理步骤为：

步骤10.1、文件处理：对提取出来的通用的高效文件后端日志文件进行读取，形成海量实时数据服务平台；

步骤10.2、海量平台操作：对读取出来的通用的海量实时数据服务平台进行操作，形成通用日志；

步骤10.3、日志操作：对提取出来的通用日志进行前端操作处理。

由于采用了上述技术方案，本发明取得的技术进步是：

考虑电网系统大数据量、高吞吐量的数据接入特点，将针对性地设计系统线程模型，提高系统的吞吐量，保证数据的及时有效地响应。考虑到接入程序的行为特点，将接入程序执行区间划分为高负载和低负载两个区间，并根据不同区间的资源占用情况，采取不同的执行策略，保障数据接入高峰及低谷期间的负载平稳，数据及时、有序、完整地接入。

针对运行效率在线监测分析系统缺乏量化分析和配电网投入产出水平不高的情况，国网总部组织开展了运行效率模型研究、验证分析、试点建设、业务拓展和数据挖掘等工作，通过海量平台接入调度EMS、用户用电信息采集等系统的数据，推动业务系统间数据共享和融合，实现全量设备及系统运行效率的准实时计算与检测，为业务系统提供量化分析支撑。

实现数据接入周期化运行功能，实现数据接入过程自动化处理。

开发数据接入异常处理功能，实现监测接口服务运行状态和接口服务写值异常的情况下尽量保证数据写入的一致性和完整性。

开发历史数据回写功能，实现对未完全写入、存在遗漏和需要修改的历史数据进行回写，保证数据的完整性。

附图说明

图1是本发明结构示意图；

图2是本发明数据周期性写入流程图。

具体实施方式

下面结合实施例对本发明做进一步详细说明：

如图1、图2所示，一种海量平台海迅实时库量测数据接入系统，包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行人机交互式的前端操作处理。

控制模块的处理步骤为：

步骤2.1、数据响应分发：与数据总线接口交互对应连接，用于响应、分发接收数据，形成调用数据；

步骤2.2、数据预处理：对调用数据进行预处理，首先对调用数据进行解析转换处理，然后验证调用数据的合法性、完整性和有效性，借此过滤掉非法数据，避免无谓的计算资源浪费，形成有效数据；

步骤2.3、数据质量检查：根据业务系统设置的数据质量检查规则，为有效数据对应指定检查规则，验证其是否达到接入质量要求，同时设有黑名单/白名单机制，为有特殊需求的有效数据开辟绿色通道；

步骤2.4、业务调度控制：根据数据类型，将通过验证的有效数据进行对应性分发；

步骤2.5、业务日志处理：处理业务调度控制步骤分发的有效数据，形成业务日志，同时对业务日志的规则进行加载，并记录业务日志的总体执行情况，形成详细业务日志。

数据质量检查规则包括数据范围检查和数据异常值检查。

接入业务模块的处理步骤为：

步骤4.1、数据加工：与业务日志处理步骤对应，根据数据接入的多样性需求，根据不同侧面特性对业务日志中的日志数据加以描述，为日志数据提供可配置的加工规则加载，以匹配日志数据接入时的不同需求；

步骤4.2、数据周期性写入：将经加工后的日志数据，在接入模块建立接入操作后，按照固定的频率向海量平台海迅实时库进行数据写入操作；

步骤4.3、数据保存：将写入的日志数据适配到海量平台海迅实时库中，并进行日志数据封装；

步骤4.4、数据缓存：将写入的日志数据暂时性的保存在缓存区中以供读取和再读取操作，缓存区包括本地缓存区和备机缓存区，本地缓存区用以当内存队列已满时，日志数据第一优先保存的位置，特殊重要的数据，也可同时备份保存至备机缓存区中，确保日志数据安全；备机缓存区，用于当本地缓存区（第一优先保存地点）已满时，日志数据第二优先保存的位置；

步骤4.5、备份加载：用于加载经过数据缓存后的数据，包括本地数据加载区和备机数据加载区，本地数据加载区用于当主机负载下降、处理能力上升时，优先加载处理的缓存数据位置；备机数据加载区用于当主机负载下降、处理能力上升时，第二优先加载处理的缓存数据位置。

步骤4.1中数据加工的处理步骤为：

步骤4.11、加工规则加载：将配置的数据加工规则加载至系统中，并进行应用；

步骤4.12、数据分类：对数据进行分类，按数据的不同侧面特性，将数据分配给加载不同加工规则的侧面处理器；

步骤4.13、数据加工：对应不同数据侧面处理器，依照数据加工规则，对数据进行加工处理；

步骤4.14、特殊数据处理，提供特殊处理规则，应对有某些特殊性、非通用性、非标准的数据处理要求。

步骤4.2中数据周期性写入的过程为：首先连接海量平台海迅实时库，然后抽取待写入的测点数据（包括测点名称、测点类型、时间戳、测点值、数据质量等参数），并根据测点数据中的测点名称查询测点ID，待写入测点数据值后断开海量平台海迅实时库连接。

步骤4.2中数据周期性写入过程中还设有异常处理步骤和历史数据回写步骤，其中：

异常处理步骤：在连接海量平台海迅实时库时，负责监测接口服务的运行状态和接口服务的写值异常情况，保证数据写入的一致性和完整性，具体为：

1）监测接口服务运行状态：

接口服务也有可能发生故障，导致程序异常关闭，此时，该服务自身是无法记录服务关闭时间的，因此，在服务启动之后，可以周期性地记录系统时间戳到文件中，该时间戳表示当前时间服务运行正常。当服务正常关闭时，会在上述文件中写入正常关闭记录；当服务因为故障异常关闭后，该文件中最新的时间戳可近似作为服务失效时间。重启服务后，系统会读取该文件，如果最后一条记录是时间戳而非服务正常关闭记录，说明服务最近一次是因为故障异常关闭的，此时将该时间戳和当前服务启动时间写入专门记录服务失效时间的文件中，以便用户进行人工数据回补。

2）接口服务写值失败处理：

接口服务往海量平台接入准实时数据时，由于网络短暂性状况不佳，程序不稳定等各种原因不能保证每次写值都成功；如果某次写值不成功，那么数据接入的一致性和完整性就不能保证，这时接口服务将在日志中记录本次调用不成功的时间和UAPI返回的写值错误码，并根据返回的错误码进行相应的故障处理（比如是和海量平台连接失效的故障，则进行再次连接），调用UAPI写值接口进行再次尝试。

历史数据回写步骤：在写入测点数据值时，通过定时任务与SQL的结合对之前未完全写入、存在遗漏和需要修改的数据，进行回写，保证数据的完整性。

在进行历史数据回写步骤前先进行数据校验，数据校验采用人工校验和自动化校验相结合的方式，人工校验是通过人工的查看对应系统的数据和接入海量平台的数据是否能对上，有没有数据丢失，数据乱序等现象。通过人工校验方式大概了解数据接入的质量；自动化校验是通过程序自动执行的方式来检查对应系统和接入海量平台的数据能否完全对上，数据是否丢失，丢失多少，是否乱序，乱序多少等，以对接入的数据质量能有一个准确的评估，以回补接入不准确的数据。

同时还有动态负载调配机制：本系统在设计时，考虑到接入程序的行为特点，将接入程序执行区间划分为高负载和低负载两个区间，并根据不同区间的资源占用情况，采取不同的执行策略，保障数据接入高峰及低谷期间的负载平稳，数据及时、有序、完整地接入。

当程序线程池资源占用达到一定比例时(例如80%)，加开本地资源，加速数据处理。未能及时处理的数据，先缓存至内存队列、队列满时，将后续数据缓存至本地文件中。当程序线程池资源占用较低时，处理队列及缓存中的数据，数据处理完成后，动态释放系统资源，提高服务器效能。

步骤4.3中数据保存的步骤如下：

步骤4.31、数据库连接获取：建立数据库委托连接池，管理并分配海量平台海迅实时库连接资源；

步骤4.32、数据队列调度缓存：建立日志数据的有序存取队列，保障日志数据高效、有序地存取；同时在有序存取队列已满时，进行日志数据缓存调度，以待负载低时处理，保障有效日志数据不丢失；

步骤4.33、数据入库：调用海量平台海讯实时库的数据存取接口，完成日志数据入库动作，并进行数据封装；

步骤4.34、异常回滚：建立事务机制，保障入库的日志数据存取的完整性；

步骤4.35、日志记录：对日志数据建立全处理周期的日志监控，保障日志数据可追查、可反溯。

通用模块的处理步骤为：

步骤10.1、文件处理：对提取出来的通用的后端日志文件进行读取，形成海量实时数据服务平台；

步骤10.2、海量平台操作：对读取出来的通用的海量实时数据服务平台进行操作，形成通用日志；

步骤10.3、日志操作：对提取出来的通用日志进行前端操作处理。

Claims (10)

1.一种海量平台海迅实时库量测数据接入系统，其特征在于：包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行前端操作处理。

2.根据权利要求1所述的海量平台海迅实时库量测数据接入系统，其特征在于控制模块的处理步骤为：

步骤2.1、数据响应分发：与数据总线接口交互对应连接，用于响应、分发接收数据，形成调用数据；

步骤2.2、数据预处理：对调用数据进行预处理，首先对调用数据进行解析转换处理，然后验证调用数据的合法性、完整性和有效性，借此过滤掉非法数据，避免无谓的计算资源浪费，形成有效数据；

步骤2.3、数据质量检查：根据数据质量检查规则，为有效数据对应指定检查规则，验证其是否达到接入质量要求，同时设有黑名单/白名单机制，为有特殊需求的有效数据开辟绿色通道；

步骤2.4、业务调度控制：根据数据类型，将通过验证的有效数据进行对应性分发；

步骤2.5、业务日志处理：处理业务调度控制步骤分发的有效数据，形成业务日志，同时对业务日志的规则进行加载，并记录业务日志的执行情况。

3.根据权利要求2所述的海量平台海迅实时库量测数据接入系统，其特征在于：数据质量检查规则包括数据范围检查和数据异常值检查。

4.根据权利要求1所述的海量平台海迅实时库量测数据接入系统，其特征在于接入业务模块的处理步骤为：

步骤4.1、数据加工：根据数据接入的多样性需求，根据不同侧面特性对业务日志中的日志数据加以描述，为日志数据提供可配置的加工规则加载，以匹配日志数据接入时的不同需求；

步骤4.2、数据周期性写入：将经加工后的日志数据，按照固定的频率向海量平台海迅实时库进行数据写入操作；

步骤4.3、数据保存：将写入的日志数据适配到海量平台海迅实时库中，并进行日志数据封装；

步骤4.4、数据缓存：将写入的日志数据暂时性的保存在缓存区中以供读取和再读取操作，缓存区包括本地缓存区和备机缓存区，本地缓存区用以当内存队列已满时，日志数据第一优先保存的位置，确保日志数据安全；备机缓存区，用于当本地缓存区已满时，日志数据第二优先保存的位置；

步骤4.5、备份加载：用于加载经过数据缓存后的数据，包括本地数据加载区和备机数据加载区，本地数据加载区用于当主机负载下降、处理能力上升时，优先加载处理的缓存数据位置；备机数据加载区用于当主机负载下降、处理能力上升时，第二优先加载处理的缓存数据位置。

5.根据权利要求4所述的海量平台海迅实时库量测数据接入系统，其特征在于步骤4.1中数据加工的处理步骤为：

步骤4.11、加工规则加载：将配置的数据加工规则加载至系统中，并进行应用；

步骤4.12、数据分类：对数据进行分类，按数据的不同侧面特性，将数据分配给加载不同加工规则的侧面处理器；

步骤4.13、数据加工：对应不同数据侧面处理器，依照数据加工规则，对数据进行加工处理；

步骤4.14、特殊数据处理，提供特殊处理规则，应对有某些特殊性、非通用性、非标准的数据处理要求。

6.根据权利要求4所述的海量平台海迅实时库量测数据接入系统，其特征在于步骤4.2中数据周期性写入的过程为：首先连接海量平台海迅实时库，然后抽取待写入的测点数据，并根据测点数据中的测点名称查询测点ID，待写入测点数据值后断开海量平台海迅实时库连接。

7.根据权利要求6所述的海量平台海迅实时库量测数据接入系统，其特征在于步骤4.2中数据周期性写入过程中还设有异常处理步骤和历史数据回写步骤，其中：

异常处理步骤：在连接海量平台海迅实时库时，负责监测接口服务的运行状态和接口服务的写值异常情况，保证数据写入的一致性和完整性；

历史数据回写步骤：在写入测点数据值时，通过定时任务与SQL的结合对之前未完全写入、存在遗漏和需要修改的数据，进行回写，保证数据的完整性。

8.根据权利要求7所述的海量平台海迅实时库量测数据接入系统，其特征在于：在进行历史数据回写步骤前先进行数据校验，数据校验采用人工校验和自动化校验相结合的方式。

9.根据权利要求4所述的海量平台海迅实时库量测数据接入系统，其特征在于步骤4.3中数据保存的步骤如下：

步骤4.31、数据库连接获取：建立数据库委托连接池，管理并分配海量平台海迅实时库连接资源；

步骤4.32、数据队列调度缓存：建立日志数据的有序存取队列，保障日志数据高效、有序地存取；同时在有序存取队列已满时，进行日志数据缓存调度，以待负载低时处理，保障日志数据不丢失；

步骤4.33、数据入库：调用海量平台海讯实时库的数据存取接口，完成日志数据入库动作，并进行数据封装；

步骤4.34、异常回滚：建立事务机制，保障入库的日志数据存取的完整性；

步骤4.35、日志记录：对日志数据建立全处理周期的日志监控，保障日志数据可追查、可反溯。

10.根据权利要求1所述的海量平台海迅实时库量测数据接入系统，其特征在于通用模块的处理步骤为：

步骤10.1、文件处理：对提取出来的后端日志文件进行读取，形成海量实时数据服务平台；

步骤10.2、海量平台操作：对读取出来的海量实时数据服务平台进行操作，形成通用日志；

步骤10.3、日志操作：对提取出来的通用日志进行前端操作处理。