CN107609016A - 基于表达式解析的电力交易数据准确性校验方法 - Google Patents

Abstract

本发明涉及电力交易数据传输准确性校验设置领域，尤其涉及一种基于表达式解析的电力交易数据准确性校验方法。所述方法包括如下步骤：(1)业务数据信息抽象化存储：业务数据在数据库中的存储基本信息经过搜集整合后，再抽象描述，作为“业务数据对象”保存下来；(2)定义准确性校验表达式：针对数据准确性问题，通过指定函数与符号配置组合而成；(3)应用表达式校验数据准确性：校验引擎解析表达式，对数据的准确性进行校验。本发明基于校验表达式对业务数据准确性进行可配置校验，确保数据的准确性，从而有效避免因为数据准确性问题影响业务运转。

Description

基于表达式解析的电力交易数据准确性校验方法

技术领域

本发明涉及电力交易数据传输准确性校验设置领域，尤其涉及一种基于表达式解析的电力交易数据准确性校验方法。

背景技术

电力交易数据分属于多个业务领域，不同的业务领域其下又有若干个不同的业务模块，各业务模块的数据实时进行传输与交换，为各方面业务提供支持，业务功能的使用上往往是依赖于一个或多个业务模块的数据，业务数据是否准确直接影响到电力市场运营和电力交易组织，轻则影响电力交易业务的正常运转，重则可能造成无法挽回的损失，所以电力交易业务数据的准确性显得至关重要。这就需要有一种方法，能够对相关业务数据的准确性进行校验，及时发现并反馈。

数据准确性校验相关的系统应用虽然不少，但是人工操作的成分所占比例较大，效率低，能够真正高效并且灵活进行数据准确性校验的系统、方法还没有。

发明内容

针对背景技术中的问题，本发明提出电力交易数据准确性校验方法，基于校验表达式对业务数据准确性进行可配置校验，确保数据的准确性，从而有效避免因为数据准确性问题影响业务运转。

为了实现上述目的，本发明提出如下技术方案：

一种基于表达式解析的电力交易数据准确性校验方法，其特征在于，所述方法包括如下步骤：

(1)业务数据信息抽象化存储：业务数据在数据库中的存储基本信息经过搜集整合后，再抽象描述，作为“业务数据对象”保存下来；

(2)定义准确性校验表达式：针对数据准确性问题，通过指定函数与符号配置组合而成；

(3)应用表达式校验数据准确性：数据校验引擎接收数据校验请求消息，对消息进行拆分处理，得到业务数据对象编码，从而查询到待校验的数据表或试图的具体业务数据对象、业务数据对象属性以及关联的准确性校验规则数据，解析校验规则中的表达式，应用引擎核心处理与转换接口，形成待校验表或视图业务数据查询SQL语句，执行查询语句后获取到待校验的业务数据，再对业务数据进行校验，相关的校验结果信息存储到校验日志中存储到校验日志数据表中，问题数据信息存储到问题数据表中。

进一步地，在步骤(1)中，所述业务数据信息抽象化存储包括数据表或视图信息存储和字段信息存储；

所述数据表或视图信息存储：表或视图的相关信息再加上其他数据校验业务信息经过整理以业务数据对象的形式存储到业务数据对象数据表中；

所述字段信息存储：业务数据对象对应的表或视图的字段信息作为业务数据对象属性信息存储到业务数据对象属性数据表中。

进一步地，所述表或视图的相关信息包括名称和注释。

进一步地，所述其他数据校验业务信息包括数据传输方向和数据传输系统。

进一步地，所述字段信息包括名称、注释、数据类型、是否为主键和长度。

进一步地，在步骤(2)中，所述表达式如下表：

其中，A表示业务数据对象，a、b、c、d、e则表示业务数据对象A的其中一个属性；

5种关系运算符为：>、＝、<、>＝、<＝。

与现有技术相比，本发明的有益效果为：

基于表达式解析的准确性数据校验为广大的数据运维人员和业务人员排查数据准确性问题提供的坚实的保障，有效地避免了因数据准确性引发的相关问题，主要体现在：

1)方便数据运维：之前数据运维人员都是按照传统的人工手段安排相关人力去排查准确性数据问题，由于相关表或视图的数据量与存储结构相差各异，对人员的要求则显得偏高，人为因素占据主导地位，稍有偏差就会造成数据准确性问题，效率低。应用本发明后，运维人员只需按照准确性的校验需求，完成相关信息的收集存储，配置好校验表达式，剩余的工作交给数据校验引擎，极大地削减了人工操作的比例，实现了准确性校验的自动化，大大降低了运维难度。

2)保证数据准确性：之前没有快速有效的数据准确性排查方法，人工排查不仅难度大而且费时费力，收效甚微，数据准确性难以保障。应用本发明后，基于校验引擎的规范化准确性校验设计，对常见的各种准确性数据问题依照表达式进行自动校验，高效精准，有效的保证了数据的准确性。

附图说明

图1是数据准确性配置校验总流程图。

图2是准确性表达式函数与符号配置。

图3是同批数据求和表达式配置。

图4是同批数据乘法表达式配置。

具体实施方式

下面结合附图和具体实施方式，对本发明的具体实施方案作详细的阐述。这些具体实施方式仅供叙述而并非用来限定本发明的范围或实施原则，本发明的保护范围仍以权利要求为准，包括在此基础上所作出的显而易见的变化或变动等。

本发明针对电力交易各业务功能相关的业务数据表或视图数据配置对应的准确性校验表达式，通过产生的准确性数据校验日志，实时监控数据的准确性情况，实现数据准确性校验的高效性和有效性，为电力交易相关业务正常运转提供保障。

为了达到上述目的，本发明的技术解决方案如下：

一、数据准确性规则配置校验总流程

准确性校验配置首先需要定义存储业务数据的抽象化信息(即“业务数据对象”)，之后配置准确性校验表达式，最后将上述信息与数据接入数据校验引擎解析校验表达式来完成准确性校验，过程如图1所示，下面对各部分完成的工作进行说明：

1)业务数据信息抽象化存储：业务数据在数据库中的存储基本信息(包括位置、数据表或视图名称以及包含的字段名称、数据类型等)经过搜集整合后，再抽象描述，作为“业务数据对象”保存下来，这些“业务数据对象”信息一方面作为准确性校验表达式配置的基础，另一方面的为数据校验引擎解析表达式提供基本依据。

2)定义准确性校验表达式：针对数据准确性问题，通过指定函数与符号配置组合而成。

3)应用表达式校验数据准确性：校验引擎解析表达式，对数据的准确性进行校验。

二、业务数据信息抽象化存储

业务数据信息抽象化存储，分为数据表或视图信息存储和字段信息存储，下面分别进行介绍。

1、数据表或视图信息存储

业务数据来源在数据库中一般是数据表或视图，表或视图的相关信息(名称、注释等)再加上其他数据校验业务信息(数据传输方向、数据传输系统等)经过整理以业务数据对象的形式存储到业务数据对象数据表中。

2、字段信息存储

业务数据对象对应的表或视图的字段信息(名称、注释、数据类型、是否为主键和长度等)作为业务数据对象属性信息存储到业务数据对象属性数据表中。

三、定义准确性校验表达式

按照常见的准确性问题场景，数据校验引擎设计支持不同种类的校验表达式，通过函数与符号配置(如图2所示)组合拼接而成，下面具体进行介绍(如下表)：

注：A表示业务数据对象，a、b、c、d、e则表示业务数据对象A的其中一个属性。

5种关系运算符--->、＝、<、>＝、<＝

四、应用表达式校验数据准确性

校验引擎通过解析配置的准确性表达式，查询对应的业务数据，判断数据是否符合表达式要求，并将相关情况记录存储到准确性校验日志当中。

具体的说，数据校验引擎接收数据校验请求消息，对消息进行拆分处理，得到业务数据对象编码，从而查询到待校验的数据表或试图的具体业务数据对象、业务数据对象属性以及关联的准确性校验规则数据，解析校验规则中的表达式，应用引擎核心处理与转换接口，形成待校验表或视图业务数据查询SQL语句，执行查询语句后获取到待校验的业务数据，再对业务数据进行校验，相关的校验结果信息存储到校验日志中存储到校验日志数据表中，问题数据信息存储到问题数据表中。

Claims (6)

1.一种基于表达式解析的电力交易数据准确性校验方法，其特征在于，所述方法包括如下步骤：

(1)业务数据信息抽象化存储：业务数据在数据库中的存储基本信息经过搜集整合后，再抽象描述，作为“业务数据对象”保存下来；

(2)定义准确性校验表达式：针对数据准确性问题，通过指定函数与符号配置组合而成；

(3)应用表达式校验数据准确性：数据校验引擎接收数据校验请求消息，对消息进行拆分处理，得到业务数据对象编码，从而查询到待校验的数据表或试图的具体业务数据对象、业务数据对象属性以及关联的准确性校验规则数据，解析校验规则中的表达式，应用引擎核心处理与转换接口，形成待校验表或视图业务数据查询SQL语句，执行查询语句后获取到待校验的业务数据，再对业务数据进行校验，相关的校验结果信息存储到校验日志中存储到校验日志数据表中，问题数据信息存储到问题数据表中。

2.根据权利要求1所述的一种基于表达式解析的电力交易数据准确性校验方法，其特征在于：

在步骤(1)中，所述业务数据信息抽象化存储包括数据表或视图信息存储和字段信息存储；

所述数据表或视图信息存储：表或视图的相关信息再加上其他数据校验业务信息经过整理以业务数据对象的形式存储到业务数据对象数据表中；

所述字段信息存储：业务数据对象对应的表或视图的字段信息作为业务数据对象属性信息存储到业务数据对象属性数据表中。

3.根据权利要求2所述的一种基于表达式解析的电力交易数据准确性校验方法，其特征在于：

所述表或视图的相关信息包括名称和注释。

4.根据权利要求2所述的一种基于表达式解析的电力交易数据准确性校验方法，其特征在于：

所述其他数据校验业务信息包括数据传输方向和数据传输系统。

5.根据权利要求2所述的一种基于表达式解析的电力交易数据准确性校验方法，其特征在于：

所述字段信息包括名称、注释、数据类型、是否为主键和长度。

6.根据权利要求1所述的一种基于表达式解析的电力交易数据准确性校验方法，其特征在于：

在步骤(2)中，所述表达式如下表：

其中，A表示业务数据对象，a、b、c、d、e则表示业务数据对象A的其中一个属性；

5种关系运算符为：>、＝、<、>＝、<＝。