CN115687323A

CN115687323A - 一种指标数据质量监测方法、装置、电子设备及存储介质

Info

Publication number: CN115687323A
Application number: CN202211352133.6A
Authority: CN
Inventors: 桂亦慧; 苏强
Original assignee: Agricultural Bank of China
Current assignee: Agricultural Bank of China
Priority date: 2022-10-31
Filing date: 2022-10-31
Publication date: 2023-02-03

Abstract

本发明实施例公开了一种指标数据质量监测方法、装置、电子设备及存储介质。该方法包括：响应于金融指标数据核验请求，确定指标数据核验函数；其中，所述指标数据核验函数包括目标指标数据以及关联指标数据；对所述指标数据核验函数进行解析，确定与所述指标数据核验函数对应的指标数据函数核验语句；采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。采用本发明实施例的技术方案，实现了质量监测方法的可配置、快速部署以及自动监控识别异常数据的能力，使业务和运维人员第一时间获得异常指标数据信息，并及时分析原因，减小异常指标数据影响。有效提高指标数据质量，保证指标数据的可靠性，进而提升数据服务质量。

Description

一种指标数据质量监测方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及金融技术领域，尤其涉及一种指标数据质量监测方法、装置、电子设备及存储介质。

背景技术

传统的指标数据校验方式依赖于人力，而鉴于指标数据庞大的数量级，业务人员是无法每天逐个进行指标核查的，往往是在指标数据使用过程中发现数据异常，而此时距离指标数据计算完成已经过去了一定的时间。而在这段时间内，异常数据已经产生了一定的影响，其中部分影响可能是比较恶劣的。

另外，由于指标数据具有时序相关性，即今天的数据计算依赖昨天的数据。为纠正异常需要重新进行指标计算，重新计算之后的各个指标也需要再次确认。数据问题发现越晚，需要重新计算的数据量就越大，相关业务人员和技术人员的工作量也越大。

因此，如何及时发现指标数据的异常情况是本领域技术人员亟待解决的技术问题。

发明内容

本发明实施例提供一种指标数据质量监测方法、装置、电子设备及存储介质，以及时发现异常的指标数据，有效降低业务影响。

第一方面，本发明实施例提供了一种指标数据质量监测方法，包括：

响应于金融指标数据核验请求，确定指标数据核验函数；其中，所述指标数据包括目标指标数据以及关联指标数据；

对所述指标数据核验函数进行解析，确定与所述指标数据核验函数对应的指标数据函数核验语句；

采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。

第二方面，本发明实施例还提供了一种指标数据质量监测装置，包括：

指标数据核验函数构建模块，用于响应于金融指标数据核验请求，确定指标数据核验函数；其中，所述指标数据包括目标指标数据以及关联指标数据；

指标数据函数核验语句确定模块，用于对所述指标数据核验函数进行解析，确定与所述指标数据核验函数对应的指标数据函数核验语句；

指标数据质量监测模块，用于采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的指标数据质量监测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的指标数据质量监测方法。

本发明实施例提供了一种指标数据质量监测方法、装置、电子设备和存储介质，通过响应于金融指标数据核验请求，确定指标数据核验函数；其中，所述指标数据核验函数包括目标指标数据以及关联指标数据；对所述指标数据核验函数进行解析，确定与所述指标数据核验函数对应的指标数据函数核验语句；采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。采用本发明实施例的技术方案，通过可视化控件构建指标数据核验函数；对所述指标数据核验函数包括的关联指标数据以及目标指标数据与关联数据间的逻辑关系，确定指标数据函数核验语句。每日指标数据批量作业运行后，系统自动调起指标数据函数核验语句，确定出现异常的指标数据。及时发现异常的指标数据，有效降低业务影响。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中提供的一种指标数据质量监测方法的流程图；

图2是本发明实施例中提供的一种传统指标数据异常纠正方法的流程图；

图3是本发明实施例中提供的另一种指标数据质量监测方法的流程图；

图4是本发明实施例中提供的一种指标数据质量监测可视化界面的示意图；

图5是本发明实施例中提供的一种指标数据核验函数构建规则的示意图；

图6是本发明实施例中提供的一种对关联指标数据解析的方法流程图；

图7是本发明实施例中提供的一种对指标数据核验函数进行解析的方法流程图；

图8是本发明实施例中提供的又一种指标数据质量监测方法的流程图；

图9是本发明实施例中提供的一种指标数据质量监测以及监测报告生成的方法流程图；

图10是本发明实施例中提供的一种指标数据质量监测装置的结构示意图；

图11是本发明实施例中提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

其中，本申请技术方案中对数据的获取、存储、使用以及处理等均符合国家法律法规的相关规定。

图1是本发明实施例中提供的一种指标数据质量监测方法的流程图，本实施例可适用于对指标数据进行质量监测的情况，本实施例的方法可以由指标数据质量监测装置来执行，该装置可以采用硬件和/或软件的方式来实现。该装置可以配置于指标数据质量监测的服务器中。该方法具体包括如下步骤：

S110、响应于金融指标数据核验请求，确定指标数据核验函数。

其中，指标数据可以是指根据“时间”、“机构”、“币种”、“合计方式”、“度量”以及“单位”等维度唯一确定的具有准确经济含义的一个数值，是衡量目标总体特征的统计数值，能够表征企业某一业务活动中业务状况的数值。例如，金融指标包括但不限于不良贷款率、手续费及佣金收入等。在监管报送、信息披露以及业务经营等数据应用中频繁使用。维度可以是指观察事物的角度，可以反映业务的一类属性，这类属性构成一个维度。参见表1，在金融指标体系中，公共维度包括但不限于时间、机构以及币种；个性维度包括但不限于渠道、客群、产品、行业、介质、区间以及风险分类等。

表1维度描述

如表2所示，为在金融指标体系中，主要包括的度量类型。

表2度量指标举例

随着金融机构数字化转型的深入，指标在各业务条线的经营管理以及绩效考核中扮演了越来越重要的角色。在金融机构内，依托于数据中台的数据资产积累，指标服务体系基于多个经营管理类信息系统进行落地，提供了高质量的指标数据和高效率的数据服务。截至目前，已建成数千个指标，覆盖个人、对公以及网金等多个业务条线的核心指标，为各级经营管理人员提供了方便、灵活、快捷的数据服务，有效地辅助了管理层的经营决策。

随着指标数据的增加和服务范围的扩展，指标数据的准确性显得越来越重要。传统的指标数据校验方式依赖于人力，业务人员无法每天逐个对指标数据进行核查，在发现指标数据出现异常时，异常指标数据已经产生了一定的影响；如图2所示，为纠正异常数据需要重新对指标数据进行计算，重新计算之后的各个指标也需要再次确认。

为了在第一时间发现指标异常情况，有效降低业务影响，本发明实施例在指标服务体系中设计并实现了一套基于规则引擎的指标数据质量监测体系，添加了指标数据监测模块，通过点选拖拽的方式构建指标数据核验函数，依据所述指标数据核验函数对指标数据进行监测，实现规则的可配置和实时监控。

响应于金融指标数据核验请求，规则引擎提供了可视化的监测规则配置功能，通过选取指标数据控件组成指标数据核验函数，以对指标数据进行检测。其中，所述指标数据包括目标指标数据以及关联指标数据；目标指标数据与关联指标数据之间存在一定逻辑关系，例如各项存款＝个人存款+对公存款。其中，各项存款为目标指标数据，个人存款以及对公存款均为与目标指标数据存在一定逻辑关系的关联指标数据。

S120、对所述指标数据核验函数进行解析，确定与所述指标数据核验函数对应的指标数据函数核验语句。

其中，对指标数据核验函数进行解析可以是指对指标数据核验函数包括的各个指标数据进行解析以及对各个指标数据间的逻辑关系进行解析。例如，对指标数据核验函数进行解析，确定所述指标数据核验函数包括的至少两个关联指标数据；对关联指标数据进行解析，确定所述关联指标数据包括的至少一个指标元素。

在规则引擎中构建的指标数据核验函数是由各个指标数据控件组合而成，是各个指标数据的名称，并非是真实的指标数据数值。需要依据指标数据名称从指标数据数据库表中获取真实的指标数据数值。例如，对当前会计日期进行核验，首先获取当前会计日期的索引DTE，依据当前会计日期索引DTE，从指标数据数据库表中确定当前会计日期的真实数据，例如可以是20201011。因此，需要构建与所述指标数据核验函数对应的指标数据函数核验语句，依据所述指标数据函数核验语句确定真实的指标数据。

在本发明实施例的一种可选方案中，若所述指标数据核验函数包括至少两个关联指标数据，需要对所述至少两个关联指标数据进行解析，还需要对所述至少两个关联指标数据间的逻辑关系进行解析。依据所述至少两个关联指标数据间的逻辑关系生成与所述指标数据核验函数对应的指标数据函数核验语句。

S130、采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。

其中，确定所述目标指标数据包括的至少两个关联指标数据，确定所述至少两个关联指标数据包括的至少两个指标元素，从指标数据数据库表中获取所述至少两个指标数据包括的至少两个指标元素；依据获取的至少两个指标元素确定关联指标数据；依据关联指标数据确定所述指标数据核验函数的目标指标数据的真实数值。获取目标指标数据的真实数据，对目标数据进行质量监测。

本发明实施例提供了一种指标数据质量监测方法，响应于金融指标数据核验请求，确定指标数据核验函数；其中，所述指标数据核验函数包括目标指标数据以及关联指标数据；对所述指标数据核验函数进行解析，确定与所述指标数据核验函数对应的指标数据函数核验语句；采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。采用本发明实施例的技术方案，通过可视化控件构建指标数据核验函数；对所述指标数据核验函数包括的关联指标数据以及目标指标数据与关联数据间的逻辑关系，确定指标数据函数核验语句。每日指标数据批量作业运行后，系统自动调起指标数据函数核验语句，确定出现异常的指标数据。及时发现异常的指标数据，有效降低业务影响。

图3为本发明实施例中提供的一种指标数据质量监测方法的流程图。本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图3所示，本发明实施例中提供的指标数据质量监测方法，可包括以下步骤：

S310、响应于金融指标数据核验请求，确定指标数据核验函数。

商业智能数据服务平台(Business Intelligence，BI)的指标中心提供了可视化的监测规则配置功能。可以通过点选元素进行拖拽的方式配置指标的监测规则。

作为一种可选的但非限定性的实现方式，所述确定指标数据核验函数，包括但不限于步骤A1-A2：

步骤A1：获取可视化界面中包括的至少两个指标数据控件。

步骤A2：依据所述至少两个指标数据控件间的逻辑关系，通过拖拉拽所述至少两个指标数据控件，生成指标数据核验函数。

如图4所示，BI系统提供可视化界面，在所述可视化界面中获取至少两个指标数据控件，通过点选拖拽的方式将所述至少两个指标数据控件按一定的逻辑关系构建指标数据核验函数。配置的指标数据核验函数拼接存储在数据库中，每个标数据核验函数对应一个规则集合，每个规则集合有多个规则组成，用|分割，每个规则由指标元素和运算符组成。

例如，指标数据核验函数G0011的构建规则如图5所示，所述G0011的核验函数由两个指标数据组成，每个指标数据包括至少一组指标元素；指标元素是指标数据的基本组成单元，形式如：G0011(DTE；LEV1,LEV2；90,01；0,1；FLD002)，包含：指标编码(日期；机构；币种；县域标识；度量字段)；其中，

日期配置可以有以下4种，多个维度以逗号分隔，以会计日期20201204为例：DTE可以是指会计日期20201204。DTE@D-1可以是指上日，对应日期为20201203，如果是1月1日，则为年初数。DTE@M-1可以是指上月末，对应日期为20201130，如果是1月份，则为年初数。DTE@Y-1可以是指上年末，对应日期为20200100。

机构：LEV1代表总行机构(境内银行合计99999900094)。LEV2代表一级分行机构。可分别选择LEV1或LEV2，在两者都配置使用时，使用逗号分隔。

币种，如人民币01、本外币合计90或其他，多种币种使用逗号分隔。

县域标识，全辖0或县域1，如两者都配置使用逗号分隔。

度量字段可以是指要监测的指标数据度量名称，如当前值、日增量或月增量等。

基于各指标元素的规范，可以配置如下规则用于各场景验证，如：

1)监测指标值范围，支持大于、小于、大于等于、小于等于或不等于；例如，G0011(DTE；LEV1,LEV2；90,01；0,1；FLD002)>0，则表征所述G0011指标数据所包括的当前会计日期、总行及一级分行、人民币及本外币合计等指标元素对应的当前值大于0。G0011(DTE；LEV1,LEV2；90,01；0,1；FLD002)>＝100000，则表征所述G0011指标数据所包括的当前会计日期、总行及一级分行、人民币及本外币合计等指标元素对应的当前值大于等于100000；G0011(DTE；LEV1,LEV2；90,01；0,1；FLD002)<>NULL，则表征所述G0011指标数据所包括的当前会计日期、总行及一级分行、人民币及本外币合计等指标元素对应的当前值不等于空。

2)监测指标数据间逻辑关系,如以下规则用来验证G0011＝G0012+G0013；G0011(DTE；LEV1,LEV2；90,01；0,1；FLD002)＝G0012(DTE；LEV1,LEV2；90,01；0,1；FLD002)+G0013(DTE；LEV1,LEV2；90,01；0,1；FLD002)，表示指标数据G0011，当前会计日期、总行及一级分行、人民币及本外币合计对应的当前值等于G0012和G0013的加和。

3)监测指标数据内逻辑关系(主要用于判断度量值是否准确)，如以下规则验证日增量；G0011(DTE；LEV1,LEV2；90,01；0,1；FLD003)＝G0011(DTE；LEV1,LEV2；90,01；0,1；FLD002)-G0011(DTE@D-1；LEV1,LEV2；90,01；0,1；FLD002)，表示指标G0011，当前会计日期、总行及一级分行、人民币及本外币合计对应的日增量等于当前值减去昨日当前值。

4)监测指标波动，如以下规则表示G0011较上日波动小于1％；G0011(DTE；LEV1,LEV2；90,01；0,1；FLD002)<＝1.01*G0011(DTE@D-1；LEV1,LEV2；90,01；0,1；FLD002)|G0011(DTE；LEV1,LEV2；90,01；0,1；FLD002)>＝0.99*G0011(DTE@D-1；LEV1,LEV2；90,01；0,1；FLD002)，表示指标数据G0011，当前会计日期、总行及一级分行、人民币及本外币合计对应的当前值相比昨日波动小于1％。

如表3所示，监测的规则包括但不限于指标数据结果监测和指标数据生成过程监测。

表3指标数据监测

为了更高效准确地构建指标数据核验函数，本发明实施例引入了Holt-Winters时间序列分析方法生成预警规则，该方法适用于指标数据这种含有线性趋势和周期波动的非平稳序列。同时为了解决基于该方法随着时间推移预测效果变差的情况，提出了一种基于滑动窗口的加权补差的方法来改善长期预测的误差。通过可视化控件大大简化了构建指标数据核验函数的工作量，并较大程度提升了指标数据监测的准确性。

S320、对所述指标数据核验函数中的关联指标数据进行解析，确定关联指标数据核验语句。

其中，本发明实施例中采用规则引擎将所述指标数据核验函数进行解析，解析为可执行的SQL语句，用于批量执行以监测出现异常的指标数据。

作为一种可选的但非限定性的实现方式，所述对所述指标数据核验函数中的指标数据进行解析，确定指标数据核验语句，包括但不限于步骤B1-B2：

步骤B1：对所述指标数据核验函数中的关联指标数据进行解析，确定关联指标数据查询语句。

步骤B2：对关联指标数据进行解析，确定关联指标数据中包括的至少两个指标元素，并生成指标元素查询语句。

其中，指标数据核验函数包括至少一个关联指标数据；所述关联指标数据核验语句包括关联指标数据查询语句以及指标元素查询语句。

如图6所示，将所述关联指标数据进行解析，确定所述关联指标数据包括的至少两个指标元素，将解析的所述至少两个指标元素进行拼接，获取可执行的SQL语句。例如，关联指标数据G0011(DTE；LEV1；90,01；0,1；FLD003)，输入所述关联指标数据，输出可执行的指标元素查询SQL语句，以及所述关联指标数据维度SQL语句。

所述指标元素查询SQL语句，可将指标元素输入至查询语句模型中，对指标元素进行查询；例如，将关联指标数据G0011中的指标元素输入至指标元素查询语句模型中，生成指标元素查询SQL语句“heck select IDX_NO,DTE,ORG,CCY,CNTFLG,FLD003 from IDX_G0011_H where IDX_NO＝'G0011'and DTE＝'20210101'and ORG in('99999900094')andCCY in('90','01')and CNTFLG in('0','1')”。将关联指标数据输入至维度查询语句模型中，生成的关联指标数据维度SQL语句可以是“dim select'G0011'as IDX_NO,DTE,ORG,CCY,CNTFLG from(select'20210100'as DTE from dual),(select'99999900094'as ORGfrom dual),(select'90'as CCY from dual union all select'01'as CCY from dual),(select'0'as CNTFLG from dual union all select'1'as CNTFLG from dual)”。

S330、对所述指标数据核验函数中目标指标数据进行解析，确定目标指标数据与关联指标数据间的逻辑关系，以确定与所述指标数据核验函数对应的指标数据函数核验语句。

其中，对目标指标数据与关联指标数据间的逻辑关系进行解析，依据逻辑关系确定指标数据函数核验语句。例如，G0011(DTE；LEV1；90,01；0,1；FLD003)＝G0011(DTE；LEV1；90,01；0,1；FLD002)-G0011(DTE@D-1；LEV1；90,01；0,1；FLD002)，输入所述指标数据核验函数，输出可执行的指标数据函数核验语句SQL语句。

作为一种可选的但非限定性的实现方式，所述对所述指标数据核验函数中目标指标数据进行解析，确定目标指标数据与关联指标数据间的逻辑关系，以确定与所述指标数据核验函数对应的指标数据函数核验语句，包括但不限于步骤C1-C2：

步骤C1：对所述指标数据核验函数的目标指标数据进行解析，确定所述目标指标数据包括的至少两个关联指标数据以及所述目标指标数据与所述至少两个关联指标数据间的逻辑关系。

步骤C2：依据关联指标数据查询语句、指标元素查询语句以及目标指标数据与所述至少两个关联指标数据间的逻辑关系，确定与所述指标数据查询函数对应的指标数据函数核验语句。

其中，如图7所示，对指标数据核验函数进行解析，确定目标指标数据与关联指标数据间的逻辑关系。依据已生成的关联指标数据查询语句以及指标元素查询语句以及目标指标数据与关联指标数据间的逻辑关系，生成可执行的指标数据函数核验语句。将指标数据核验函数对应的指标数据输入至指标数据函数核验语句模型中，生成指标数据函数核验语句。

例如所述指标数据核验函数G0011(DTE；LEV1；90,01；0,1；FLD003)＝G0011(DTE；LEV1；90,01；0,1；FLD002)-G0011(DTE@D-1；LEV1；90,01；0,1；FLD002)对应生成的指标数据函数核验语句可以是“select ta.idx_no,20210101as dte,ta.org,ta.ccy,ta.cntflg,t1.FLD003,t2.FLD002,t3.FLD002 from(select'G0011'as IDX_NO,DTE,ORG,CCY,CNTFLGfrom(select'20210100'as DTE from dual),(select'99999900094'as ORG from dual),(select'90'as CCY from dual union all select'01'as CCY from dual),(select'0'as CNTFLG from dual union all select'1'as CNTFLG from dual))ta left join(select IDX_NO,DTE,ORG,CCY,CNTFLG,FLD003 from IDX_G0011_H where IDX_NO＝'G0011'and DTE＝'20210101'and ORG in('99999900094')and CCY in('90','01')andCNTFLG in('0','1'))t1 on ta.org＝t1.org and ta.ccy＝t1.ccy andta.cntflg＝t1.cntflg left join(select IDX_NO,DTE,ORG,CCY,CNTFLG,FLD002from IDX_G0011_Hwhere IDX_NO＝'G0011'and DTE＝'20210101'and ORG in('99999900094')and CCY in('90','01')and CNTFLG in('0','1'))t2 on ta.org＝t2.org and ta.ccy＝t2.ccy andta.cntflg＝t2.cntflg left join(select IDX_NO,DTE,ORG,CCY,CNTFLG,FLD002 fromIDX_G0011_H where IDX_NO＝'G0011'and DTE＝'20210100'and ORG in('99999900094')and CCY in('90','01')and CNTFLG in('0','1'))t3 on ta.org＝t3.org and ta.ccy＝t3.ccy andta.cntflg＝t3.cntflg where t1.FLD003<>NVL(t2.FLD002,0)-NVL(t3.FLD002,0)”。

其中，拼接指标数据函数核验语句可以是指先生成可查询指标数据核验函数中各指标数据或各指标元素对应的索引的查询语句，再生成依据各指标数据或各指标元素的索引确定各指标数据或各指标元素真实值的指标数据函数核验语句。

其中，所述各指标数据或各指标元素对应的索引可以是指对应的英文名，表4为指标数据中英文对照表。

表4指标数据中英文对照表

中文名

指标编号

指标名称

数据日期

机构编号

币种代码

县域标识

英文名

IDX_NO

IDX_NAM

DTE

ORG

CCY

CNTFLG

中文名

时点值

日增量

月增量

年增量

比同期

年日均值

英文名

FLD002

FLD003

FLD006

FLD009

FLD024

FLD025

在本发明实施例的一种可选方案中，对所述指标数据核验函数中的各指标数据以及指标元素进行查询，生成对应的指标数据函数核验语句。所述指标数据核验函数可以是G0011(DTE；LEV1；90,01；0,1；FLD003)＝G0011(DTE；LEV1；90,01；0,1；FLD002)-G0011(DTE@D-1；LEV1；90,01；0,1；FLD002)。

首先对各指标数据的维度进行查询，将dim_tbl作为维度临时表，维度查询语句可以是指“select'G0011'as IDX_NO,DTE,ORG,CCY,CNTFLG from(select'20210100'as DTEfrom dual),(select'99999900094'as ORG from dual),(select'90'as CCY from dualunion all select'01'as CCY from dual),(select'0'as CNTFLG from dual union allselect'1'as CNTFLG from dual)”。

对G0011(DTE；LEV1；90,01；0,1；FLD003)中的各指标元素进行查询，以check_tbl_1作为查询临时表1，指标元素查询语句可以是“select IDX_NO,DTE,ORG,CCY,CNTFLG,FLD003 from IDX_G0011_H where IDX_NO＝'G0011'and DTE＝'20210101'and ORG in('99999900094')and CCY in('90','01')and CNTFLG in('0','1')”。

对G0011(DTE；LEV1；90,01；0,1；FLD002)中的各指标元素进行查询，以check_tbl_2作为查询临时表2，指标元素查询语句可以是“select IDX_NO,DTE,ORG,CCY,CNTFLG,FLD002 from IDX_G0011_H where IDX_NO＝'G0011'and DTE＝'20210101'and ORG in('99999900094')and CCY in('90','01')and CNTFLG in('0','1')”。

对G0011(DTE@D-1；LEV1；90,01；0,1；FLD002)中的各指标元素进行查询，以check_tbl_3作为查询临时表3，指标元素查询语句可以是“selectIDX_NO,DTE,ORG,CCY,CNTFLG,FLD002 from IDX_G0011_H whereIDX_NO＝'G0011'and DTE＝'20210100'and ORG in('99999900094')and CCYin('90','01')and CNTFLG in('0','1')”。

将上述指标数据维度查询语句以及各指标元素查询语句依据目标指标数据与关联指标数据间的逻辑关系，拼接生成指标数据函数核验语句“select dim_tbl.idx_no,20210101 as dte,dim_tbl.org,dim_tbl.ccy,dim_tbl.cntflg,check_tbl_1.FLD003,check_tbl_2.FLD 002,check_tbl_3.FLD002 from dim_tbl left join check_tbl_1ondim_tbl.org＝check_tbl_1.org and dim_tbl.ccy＝check_tbl_1.ccy and dim_tbl.cntflg＝check_tbl_1.cntflg left join check_tbl_2 on dim_tbl.org＝check_tbl_2.org and dim_tbl.ccy＝check_tbl_2.ccy and dim_tbl.cntflg＝check_tbl_2.cntflg left join check_tbl_3 on dim_tbl.org＝check_tbl_3.org and dim_tbl.ccy＝check_tbl_3.ccy and dim_tbl.cntflg＝check_tbl_3.cntflg where check_tbl_1.FLD003<>NVL(check_tbl_2.FLD002,0)-NVL(check_tbl_3.FLD002,0)”。

S340、采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。

作为一种可选的但非限定性的实现方式，所述采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测，包括但不限于步骤D1-D2：

步骤D1：采用关联指标数据查询语句以及指标元素查询语句对关联指标数据的生成过程进行监测，确定异常指标元素和/或异常关联指标数据。

步骤D2：采用所述指标数据函数核验语句获取目标指标数据，对所述目标指标数据进行监测，确定异常的目标指标数据。

其中，在对指标数据进行监测时，先查询指标数据核验函数中各指标数据对应的索引值，依据各指标数据或各指标元素的索引确定各指标数据或各指标元素的值。如图8所示，循环解析指标数据核验函数中的各指标数据以及指标元素，并依据拼接的指标数据函数核验语句对各指标数据以及各指标元素进行监测，确定异常的指标元素和/或异常关联指标数据和/或目标指标数据。

作为一种可选的但非限定性的实现方式，所述采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测，还包括但不限于步骤E1-E2：

步骤E1：采用指标数据函数核验语句进行质量监测，确定指标数据质量监测结果。

步骤E2：依据所述指标数据质量监测结果生成指标数据检测报告，并将所述指标数据检测报告进行反馈。

其中，参见图9，在运行所述指标数据函数核验语句，就能得到异常的指标数据记录，每日指标批量作业运行后，系统自动调起指标数据函数核验语句，获取不符合规则定义的异常指标数据，并生成相应的监测报告，通过包括但不限于短信以及邮件等渠道发给相应的业务人员和运维人员。方便相关人员及时发现异常指标数据，减小指标数据异常影响。

本发明实施例提供了一种指标数据质量监测方法，响应于金融指标数据核验请求，确定指标数据核验函数；对所述指标数据核验函数中的关联指标数据进行解析，确定关联指标数据核验语句；对所述指标数据核验函数中的目标指标数据进行解析，确定目标指标数据与关联指标数据间的逻辑关系，以确定与所述指标数据核验函数对应的指标数据函数核验语句；采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。采用本发明实施例的技术方案，首先由业务人员或指标数据运维人员配置指标数据的监测规则，包含校验过程规则和结果规则，由规则解析引擎负责解析并转化为指标数据函数核验语句。每日指标数据加工作业运行过程中使用过程规则进行监测；对加工完成的指标数据结果使用结果规则进行检测，获取不符合规则定义的异常指标数据，并生成相应的监测报告。实现了质量监测方法的可配置、快速部署以及自动监控识别异常数据的能力，使业务和运维人员第一时间获得异常指标数据信息，并及时分析原因，减小异常指标数据影响。有效提高指标数据质量，保证指标数据的可靠性，进而提升数据服务质量。

图10是本发明实施例中提供的一种指标数据质量监测装置的结构示意图，该装置包括：指标数据核验函数构建模块1010、指标数据函数核验语句确定模块1020以及指标数据质量监测模块1030；其中，

指标数据核验函数构建模块1010，用于响应于金融指标数据核验请求，确定指标数据核验函数；其中，所述指标数据包括目标指标数据以及关联指标数据；

指标数据函数核验语句确定模块1020，用于对所述指标数据核验函数进行解析，确定与所述指标数据核验函数对应的指标数据函数核验语句；

指标数据质量监测模块1030，用于采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测。

在上述实施例的基础上，可选的，所述标数据核验函数构建模块，包括：

获取可视化界面中包括的至少两个指标数据控件；

依据所述至少两个指标数据控件间的逻辑关系，通过拖拉拽所述至少两个指标数据控件，生成指标数据核验函数。

在上述实施例的基础上，可选的，所述指标数据函数核验语句确定模块，包括：

对所述指标数据核验函数中的关联指标数据进行解析，确定关联指标数据核验语句；

对所述指标数据核验函数中目标指标数据进行解析，确定目标指标数据与关联指标数据间的逻辑关系，以确定与所述指标数据核验函数对应的指标数据函数核验语句。

对所述指标数据核验函数中的关联指标数据进行解析，确定关联指标数据查询语句；其中，指标数据核验函数包括至少一个关联指标数据；

对关联指标数据进行解析，确定关联指标数据中包括的至少两个指标元素，并生成指标元素查询语句；

其中，所述关联指标数据核验语句包括关联指标数据查询语句以及指标元素查询语句。

对所述指标数据核验函数的目标指标数据进行解析，确定所述目标指标数据包括的至少两个关联指标数据以及所述目标指标数据与所述至少两个关联指标数据间的逻辑关系；

依据关联指标数据查询语句、指标元素查询语句以及目标指标数据与所述至少两个关联指标数据间的逻辑关系，确定与所述指标数据查询函数对应的指标数据函数核验语句。

在上述实施例的基础上，可选的，所述指标数据质量监测模块，包括：

采用关联指标数据查询语句以及指标元素查询语句对关联指标数据的生成过程进行监测，确定异常指标元素和/或异常关联指标数据；

采用所述指标数据函数核验语句获取目标指标数据，对所述目标指标数据进行监测，确定异常的目标指标数据。

采用指标数据函数核验语句进行质量监测，确定指标数据质量监测结果；

依据所述指标数据质量监测结果生成指标数据检测报告，并将所述指标数据检测报告进行反馈。

本发明实施例中所提供的指标数据质量监测装置可执行上述本发明任意实施例中所提供的指标数据质量监测方法，具备执行该指标数据质量监测方法相应的功能和有益效果，详细过程参见前述实施例中指标数据质量监测方法的相关操作。

图11是本发明实施例中提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图11所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如指标数据质量监测方法。

在一些实施例中，指标数据质量监测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的指标数据质量监测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行指标数据质量监测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种指标数据质量监测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定指标数据核验函数，包括：

获取可视化界面中包括的至少两个指标数据控件；

3.根据权利要求1所述的方法，其特征在于，所述对所述指标数据核验函数进行解析，包括：

对所述指标数据核验函数中的目标指标数据进行解析，确定目标指标数据与关联指标数据间的逻辑关系，以确定与所述指标数据核验函数对应的指标数据函数核验语句。

4.根据权利要求3所述的方法，其特征在于，所述对所述指标数据核验函数中的关联指标数据进行解析，确定关联指标数据核验语句，包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述指标数据核验函数中目标指标数据进行解析，确定目标指标数据与关联指标数据间的逻辑关系，以确定与所述指标数据核验函数对应的指标数据函数核验语句，包括：

6.根据权利要求1所述的方法，其特征在于，所述采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测，包括：

7.根据权利要求6所述的方法，其特征在于，所述采用所述指标数据函数核验语句获取目标指标数据，以对指标数据进行质量监测，还包括：

8.一种指标数据质量监测装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-7中任一所述的指标数据质量监测方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的指标数据质量监测方法。