CN114840510A - 数据质量的校验方法、装置、设备、介质和程序产品 - Google Patents

Abstract

本发明涉及数据处理技术领域，公开了一种数据质量的校验方法、装置、设备、介质和程序产品。该方法包括：获取待校验数据，以及与所述待校验数据匹配的业务规则；根据所述业务规则，配置所述待校验数据的筛选条件；根据所述筛选条件对所述待校验数据进行质量校验，从所述待校验数据中筛选出不满足所述业务规则的数据。与现有技术相比，本发明实施例提升数据质量校验的准确性。

Description

数据质量的校验方法、装置、设备、介质和程序产品

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据质量的校验方法、装置、设备、介质和程序产品。

背景技术

近年来，随着数字经济的蓬勃发展，金融企业都先后开始了自身的数字化转型。通过数据建模帮助企业做决策，利用数据挖掘发现数据资产背后隐藏的价值，成为了各大企业共同选择。而在形成各类挖掘算法、数据模型的过程前，有一个无法绕过的大山，那便是数据质量。在现有技术中，数据质量规则与业务规则匹配度不高，通常只对字段进行判断，例如，现有技术对于FRTB标准法的市场风险数据质量规则存在空白。因此，现有技术存在数据质量校验准确度差的问题，无法更好的适应FRTB标准法的数据质量要求。

发明内容

本发明提供了一种数据质量的校验方法、装置、设备、介质和程序产品，以提升数据质量校验的准确性。

根据本发明的一方面，提供了一种数据质量的校验方法，包括：

获取待校验数据，以及与所述待校验数据匹配的业务规则；

根据所述业务规则，配置所述待校验数据的筛选条件；

根据所述筛选条件对所述待校验数据进行质量校验，从所述待校验数据中筛选出不满足所述业务规则的数据。

可选地，所述待校验数据以数据表的形式进行存储，所述待校验数据对应的数据表的数量为至少一个；

若所述数据表的数量为一个，则仅对所述数据表中的数据进行筛选；

若所述数据表中的数量为至少两个，则将至少两个所述数据表中的数据进行集合操作并进行筛选。

可选地，所述待校验数据对应一个数据表的情况包括：所述数据表包括至少一个字段名，校验所述字段名对应的数据是否为空，或者校验所述字段名对应的数据是否超出预设范围。

可选地，所述待校验数据对应至少两个数据表的情况包括：

所述待校验数据对应的至少两个数据表中的字段名相同、日期不同；校验相同的所述字段名在不同日期下的变动比例是否超出预设范围；

或者，所述待校验数据对应的至少两个数据表相互嵌套；校验一个所述数据表中的数据是否在另一个所述数据表中是否满足预设条件。

可选地，所述校验相同的所述字段名在不同日期下的变动比例是否超出预设范围的应用包括：所述数据表包括当天收益率曲线数据表和前一天收益率曲线数据表，校验两日间的利率变动是否超出预设范围。

可选地，所述校验一个所述数据表中的数据是否在另一个所述数据表中是否满足预设条件的应用包括：所述数据表包括头寸信息数据表和交易总表数据表，在所述头寸信息数据表里且金融工具类型取值范围为公开发行的数据记录在所述交易总表数据表中，校验在所述头寸信息数据表中是否有持仓在预设范围内的信息。

可选地，采用Python集成开发环境执行数据质量的校验。

可选地，在所述Python集成开发环境中进行配置的方法包括：

根据获取的所述待校验数据创建规则名称；

根据所述业务规则对存储所述待校验数据的数据表进行筛选条件的配置；具体包括：配置所述数据表的数据库表名，配置筛选后输出的字段名，配置筛选条件；其中，所述配置筛选条件包括：配置域名所对应的要筛选的字段名，配置比较方式，配置根据表达方式设置的值。

可选地，所述待校验数据对应的数据表的数量为至少两个，对至少两个所述数据表进行筛选条件的配置方法相同；

在对至少两个所述数据表进行筛选条件的配置之后，还包括：

配置集合操作；其中，至少两个所述数据表的筛选结果分别形成至少两个集合；所述配置集合操作具体包括：配置集合操作的类型，配置所述至少两个集合的连接键，配置所述至少两个集合的验证规则，配置所述至少两个集合的验证条件，配置所述至少两个集合的规则描述。

可选地，所述待校验数据包括市场风险数据；所述市场风险数据包括：市场数据、交易数据、配置数据和结果数据中的至少一种。

可选地，市场数据包括：历史价格、收益率和利差中的至少一种；

所述交易数据包括：名义金额、购买价格和期限中的至少一种；

所述配置数据包括：发行者信息指标、业务层级、行业分类中的至少一种；

所述结果数据包括：估值结果、情景生成结果和敏感度计算结果中的至少一种。

可选地，在从所述待校验数据中筛选出不满足所述业务规则的数据之前或之后，还包括：

输出所述待校验数据的重要程度。

根据本发明的另一方面，提供了一种数据质量的校验装置，包括：

数据和规则获取模块，用于获取待校验数据，以及与所述待校验数据匹配的业务规则；

筛选条件配置模块，用于根据所述业务规则，配置所述待校验数据的筛选条件；

筛选输出模块，用于根据所述筛选条件对所述待校验数据进行质量校验，从所述待校验数据中筛选出不满足所述业务规则的数据。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据质量的校验方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据质量的校验方法。

根据本发明的另一方面，提供了一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的数据质量的校验方法。

本发明实施例通过获取待校验数据、与待校验数据匹配的业务规则；根据业务规则，配置待校验数据的筛选条件；根据筛选条件对待校验数据进行质量校验，从待校验数据中筛选出不满足业务规则的数据，实现了对数据进行匹配业务规则的校验。与现有技术中仅判断字段的方案相比，本发明实施例提供的数据质量校验规则与业务规则高度匹配，与数据的业务逻辑紧密相关，从而提升了数据质量校验的准确性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据质量的校验方法的流程示意图；

图2为本发明实施例提供的另一种数据质量的校验方法的流程示意图；

图3为本发明实施例提供的又一种数据质量的校验方法的流程示意图；

图4为本发明实施例提供的一种数据质量的校验装置的结构示意图；

图5为本发明的实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明实施例中，所涉及的待校验数据、业务规则、业务逻辑的获取、存储和/或处理时，符合国家法律法规的相关规定，且不违背公序良俗。

本发明实施例提供了一种数据质量的校验方法，该方法适用于对金融数据的质量校验，尤其适用于对市场风险数据的质量校验。采用本发明实施例提供的数据质量的校验方法能够满足FRTB标准法的数据质量要求。该方法可以由数据质量的校验装置执行，该装置可以由软件和/或硬件实现。图1为本发明实施例提供的一种数据质量的校验方法的流程示意图。参见图1，该数据质量的校验方法包括以下步骤：

S110、获取待校验数据，以及与待校验数据匹配的业务规则。

其中，业务规则是指数据进行数学计算、逻辑计算或进行判断的具体过程。待校验数据种类繁多、业务规则复杂多变，若采用不匹配的业务规则对数据进行校验，则会影响质量校验的准确性。例如，一些数据需要通过当天数据与前一天数据进行比较；另一些数据的值不能为空等。

S120、根据业务规则，配置待校验数据的筛选条件。

其中，筛选条件的配置过程即为业务规则的实现过程，示例性地，采用Python集成开发环境进行筛选条件的配置，进而执行数据质量的校验。例如，对于需要通过将当天数据与前一天数据进行比较的数据，首先确定比较的具体方式(例如，数据作差或做商等)，然后确定比较阈值，超过比较阈值的数据为不符合要求的数据。

S130、根据筛选条件对待校验数据进行质量校验，从待校验数据中筛选出不满足业务规则的数据。

其中，采用S120确定的筛选条件，能够对数据质量进行校验。若数据质量满足要求，则校验的数据能够用于后续评估(例如，风险评估等)；若数据质量不满足要求，则需要对数据进行修改或删除，以免影响后续评估。

本发明实施例通过获取待校验数据、与待校验数据匹配的业务规则；根据业务规则，配置待校验数据的筛选条件；根据筛选条件对待校验数据进行质量校验，从待校验数据中筛选出不满足业务规则的数据，实现了对数据进行匹配业务规则的校验。与现有技术中仅判断字段的方案相比，本发明实施例提供的数据质量校验规则与业务规则高度匹配，与数据的业务逻辑紧密相关，从而提升了数据质量校验的准确性。

在上述各实施例的基础上，可选地，待校验数据以数据表的形式进行存储，待校验数据对应的数据表的数量为至少一个。若数据表的数量为一个，则仅对数据表中的数据进行筛选；若数据表中的数量为至少两个，则将至少两个数据表中的数据进行集合操作并进行筛选。

其中，根据待筛选数据的不同，数据所采用的数据表的数量也不相同。例如，一些数据的值为非空，则数据质量合格；其值为空，则数据质量不合格。在这种情况下，仅需要对一个数据表进行校验即可。又如，另一些数据需要通过当天数据与前一天数据进行比较和计算。在这种情况下，需要对当天的数据表和前一天的数据表中的数据进行比较和计算，即需要对两个数据表中的数据进行集合操作。

在上述各实施例中，可适用的待校验数据有多种，例如，待校验数据包括市场风险数据等。其中，市场风险数据包括：市场数据、交易数据、配置数据和结果数据等数据中的至少一种。那么，在进行数据质量的校验过程中，首先需要将待校验数据进行分类，以加快数据质量的校验效率，并提升数据质量校验的准确性。

可选地，市场数据包括：历史价格、收益率和利差等中的至少一种；交易数据包括：名义金额、购买价格和期限等中的至少一种；配置数据包括：发行者信息指标、业务层级、行业分类等中的至少一种；结果数据包括：估值结果、情景生成结果和敏感度计算结果等中的至少一种。

具体地，在市场风险数据中，对部分数据的质量校验需要对应一个数据表中的数据进行校验；对另外部分数据的质量校验需要对应至少两个数据表中的数据进行校验，下面进行示例性地说明。

在本发明的一种实施方式中，可选地，待校验数据对应一个数据表的情况包括：数据表包括至少一个字段名，校验字段名对应的数据是否为空，或者校验字段名对应的数据是否超出预设范围。示例性地，对于在其他因子风险配置表且估值配置编码的，金融工具价格编码都应该不为空；若为空，则数据质量校验不合格。

在本发明的另一种实施方式中，可选地，待校验数据对应至少两个数据表的情况包括：待校验数据对应的至少两个数据表中的字段名相同、日期不同；校验相同的字段名在不同日期下的变动比例是否超出预设范围。示例性地，校验相同的字段名在不同日期下的变动比例是否超出预设范围的应用包括：数据表包括当天收益率曲线数据表和前一天收益率曲线数据表，校验两日间的利率变动是否超出预设范围。例如，在收益率曲线数据表中，根据当天和前一天日期利率，判断两日间的利率变动大于50bp的结果。

在本发明的另一种实施方式中，可选地，待校验数据对应至少两个数据表的情况包括：待校验数据对应的至少两个数据表相互嵌套；校验一个数据表中的数据是否在另一个数据表中是否满足预设条件。示例性地，校验一个数据表中的数据是否在另一个数据表中是否满足预设条件的应用包括：数据表包括头寸信息数据表和交易总表数据表，在头寸信息数据表里且金融工具类型取值范围为公开发行的数据记录在交易总表数据表中，校验在头寸信息数据表中是否有持仓在预设范围内的信息。具体地，对于在有头寸信息里且金融工具类型取值范围应该为公开发行的，若这条记录的交易数据编号存在于交易总表表中，则应该在头寸信息表有AMOUNT(持仓)>1000.0的信息。

在上述各实施例的基础上，可选地，在从待校验数据中筛选出不满足业务规则的数据之前或之后，还包括：输出待校验数据的重要程度。示例性地，数据质量的重要程度分为高、中、低三种类型，数据库中越底层的表，规则重要程度越高，因为越底层的数据被调用的次数越多，因此一定要保证其数据的准确性。本发明实施例这样设置，考虑了不同数据的重要性，从而有针对性地进行重要性提示，有利于工作人员进行有针对性地处理。示例性地，在市场数据质量规则中，收益率曲线数据表的重要程度为高；在交易数据质量规则中，头寸信息表的重要程度为高；在配置数据质量规则中，其他因子风险配置表中对金融工具价格编码的校验的重要程度为高。

在上述各实施例的基础上，下面对具体开发环境进行说明，在实际应用中，开发环境的选择有多种，可以根据需要进行设定。示例性地，采用Python集成开发环境执行数据质量的校验。其中，Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言Python解释器易于扩展，可以使用C语言或C++(或者其他可以通过C调用的语言)扩展新的功能和数据类型。Python也可用于可定制化软件中的扩展程序语言。Python丰富的标准库，提供了适用于各个主要系统平台的源码或机器码。

在上述各实施例中，由于待校验数据对应的数据表的数量为至少两个，因此，在进行数据表筛选条件的配置之前，还包括：选择业务规则类型。例如，业务规则类型为单表或多表等，根据规则中涉及到的表个数来进行选择。该配置对应python的ruletype。

图2为本发明实施例提供的另一种数据质量的校验方法的流程示意图。参见图2，在本发明的一种实施方式中，可选地，业务规则类型是单表，称为primary表配置。在Python集成开发环境中进行单表配置的方法包括以下步骤：

S210、根据获取的待校验数据创建规则名称。

其中，python的ruleid指的就是创建的规则名称，它对应于该规则的使用目的。

S220、判断业务规则类型是否为单表；若是，则执行S230。

S230、根据业务规则对存储待校验数据的数据表进行筛选条件的配置，具体包括以下步骤：

S231、配置数据表的数据库表名。

示例性地，对primary表配置包括，配置table_name为业务规则中对应的数据库表名。

S232、配置筛选后输出的字段名。

示例性地，对primary表配置包括，配置export_keys为表筛选后要输出的字段。

S233、配置筛选条件。

其中，配置筛选条件包括：配置域名所对应的要筛选的字段名，配置比较方式，配置根据表达方式设置的值。示例性地，配置selection_rule为筛选条件，根据规则中需要的条件使用比较等方式进行筛选。配置field_name为字段名；配置condition_type为比较方式；例如大于、小于、等于、在...范围内等多种方式；配置value为根据表达方式设置的值。

通过S210-S230，完成了业务规则类型是单表的Python集成开发环境中的配置。

图3为本发明实施例提供的又一种数据质量的校验方法的流程示意图。参见图3，在本发明的一种实施方式中，可选地，业务规则类型是多表，即待校验数据对应的数据表的数量为至少两个，例如，包括primary表、secondary表。相应地，对多表配置的方法包括primary表配置、secondary表配置、集合操作配置等。具体地，在Python集成开发环境中进行多表配置的方法包括以下步骤：

S310、根据获取的待校验数据创建规则名称。

其中，python的ruleid指的就是创建的规则名称，它对应于该规则的使用目的。

S320、判断业务规则类型是否为多表；若是，则执行S330。

S330、根据业务规则对存储待校验数据的primary表和secondary表等数据表分别进行筛选条件的配置。

其中，对至少两个数据表(例如，primary表和secondary表)进行筛选条件的配置方法相同。具体包括以下步骤：

S331、配置primary表和secondary表等数据表的数据库表名。

示例性地，对primary表和secondary表等数据表的配置包括，配置table_name为业务规则中对应的数据库表名。

S332、配置primary表和secondary表等数据表筛选后输出的字段名。

示例性地，对primary表和secondary表等数据表的配置包括，配置export_keys为表筛选后要输出的字段。

S333、配置primary表和secondary表等数据表的筛选条件。

其中，配置筛选条件包括：配置域名所对应的要筛选的字段名，配置比较方式，配置根据表达方式设置的值。示例性地，配置selection_rule为筛选条件，根据规则中需要的条件使用比较等方式进行筛选。配置field_name为字段名；配置condition_type为比较方式；例如大于、小于、等于、在...范围内等多种方式；配置value为根据表达方式设置的值。

需要说明的是，在S331-S333中，对primary表和secondary表等数据表的配置可以同步执行，也可以分开执行。分开执行是指，先完成对primary表进行配置的全部步骤，再完成对secondary表进行配置的全部步骤。

S340、配置primary表和secondary表等数据表的集合操作。

其中，至少两个数据表的筛选结果分别形成至少两个集合。配置集合操作具体包括以下步骤：

S341、配置集合操作的类型。

其中，配置set_operation_type为对多表(包括primary表和secondary表等数据表)获得结果进行操作类型。示例性地，集合操作方法有与、或、非、异或等。

S342、配置至少两个集合的连接键。

其中，配置join_keys为至少两个集合的连接键。

S343、配置至少两个集合的验证规则。

其中，配置joint_validation_rule为至少两个集合的验证规则。

S344、配置至少两个集合的验证条件。

其中，配置set_validation为集合操作验证条件，验证条件的值为True或者False。其中，True表示符合集合操作验证条件，False表示不符合集合操作验证条件。集合操作原理是将primary表中有结果而不在secondary表里的数据，根据set_validation条件来判断是否通过。

S345、配置至少两个集合的规则描述。

其中，配置description为该规则描述。

通过S310-S340，完成了业务规则类型是多表的Python集成开发环境中的配置。

综上所述，本发明实施例通过获取待校验数据、与待校验数据匹配的业务规则；根据业务规则，配置待校验数据的筛选条件；根据筛选条件对待校验数据进行质量校验，从待校验数据中筛选出不满足业务规则的数据，实现了对数据进行匹配业务规则的校验。与现有技术中仅判断字段的方案相比，本发明实施例提供的数据质量校验规则与业务规则高度匹配，与数据的业务逻辑紧密相关，从而提升了数据质量校验的准确性。

本发明实施例还提供了一种数据质量的校验装置，该装置可以由软件和/或硬件实现。该装置可用于执行本发明任意实施例所提供的数据质量的校验方法，具备执行方法相应的功能模块和有益效果。图4为本发明实施例提供的一种数据质量的校验装置的结构示意图。参见图4，数据质量的校验装置包括：

数据和规则获取模块410，用于获取待校验数据，以及与待校验数据匹配的业务规则；

筛选条件配置模块420，用于根据业务规则，配置待校验数据的筛选条件；

筛选输出模块430，用于根据筛选条件对待校验数据进行质量校验，从待校验数据中筛选出不满足业务规则的数据。

可选地，待校验数据以数据表的形式进行存储，待校验数据对应的数据表的数量为至少一个；

若数据表的数量为一个，则仅对数据表中的数据进行筛选；

若数据表中的数量为至少两个，则将至少两个数据表中的数据进行集合操作并进行筛选。

可选地，待校验数据对应一个数据表的情况包括：数据表包括至少一个字段名，校验字段名对应的数据是否为空，或者校验字段名对应的数据是否超出预设范围。

可选地，待校验数据对应至少两个数据表的情况包括：

待校验数据对应的至少两个数据表中的字段名相同、日期不同；校验相同的字段名在不同日期下的变动比例是否超出预设范围；

或者，待校验数据对应的至少两个数据表相互嵌套；校验一个数据表中的数据是否在另一个数据表中是否满足预设条件。

可选地，校验相同的字段名在不同日期下的变动比例是否超出预设范围的应用包括：数据表包括当天收益率曲线数据表和前一天收益率曲线数据表，校验两日间的利率变动是否超出预设范围。

可选地，校验一个数据表中的数据是否在另一个数据表中是否满足预设条件的应用包括：数据表包括头寸信息数据表和交易总表数据表，在头寸信息数据表里且金融工具类型取值范围为公开发行的数据记录在交易总表数据表中，校验在头寸信息数据表中是否有持仓在预设范围内的信息。

可选地，数据质量的校验装置采用Python集成开发环境。

可选地，在Python集成开发环境中进行配置的装置包括：

数据和规则获取模块，用于根据获取的待校验数据创建规则名称；

筛选条件配置模块，用于根据业务规则对存储待校验数据的数据表进行筛选条件的配置；具体包括：配置数据表的数据库表名，配置筛选后输出的字段名，配置筛选条件；其中，配置筛选条件包括：配置域名所对应的要筛选的字段名，配置比较方式，配置根据表达方式设置的值。

筛选输出模块，用于根据筛选条件对待校验数据进行质量校验，从待校验数据中筛选出不满足业务规则的数据。

可选地，待校验数据对应的数据表的数量为至少两个，对至少两个数据表进行筛选条件的配置方法相同；

筛选条件配置模块用于对至少两个数据表进行筛选条件的配置。数据质量的校验装置还包括：

集合操作配置模块，用于配置集合操作；其中，至少两个数据表的筛选结果分别形成至少两个集合；配置集合操作具体包括：配置集合操作的类型，配置至少两个集合的连接键，配置至少两个集合的验证规则，配置至少两个集合的验证条件，配置至少两个集合的规则描述。

可选地，待校验数据包括市场风险数据；市场风险数据包括：市场数据、交易数据、配置数据和结果数据中的至少一种。

可选地，市场数据包括：历史价格、收益率和利差中的至少一种；

交易数据包括：名义金额、购买价格和期限中的至少一种；

配置数据包括：发行者信息指标、业务层级、行业分类中的至少一种；

结果数据包括：估值结果、情景生成结果和敏感度计算结果中的至少一种。

可选地，筛选输出模块还用于在从待校验数据中筛选出不满足业务规则的数据之前或之后，输出待校验数据的重要程度。

图5为本发明的实施例提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据质量的校验方法。

在一些实施例中，数据质量的校验方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据质量的校验方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据质量的校验方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

本发明实施例还提供一种计算机程序产品，该计算机程序产品包括计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的数据质量的校验方法。

当然，本申请实施例所提供的计算机程序产品，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的方法中的相关操作。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (16)

1.一种数据质量的校验方法，其特征在于，包括：

获取待校验数据，以及与所述待校验数据匹配的业务规则；

根据所述业务规则，配置所述待校验数据的筛选条件；

根据所述筛选条件对所述待校验数据进行质量校验，从所述待校验数据中筛选出不满足所述业务规则的数据。

2.根据权利要求1所述的方法，其特征在于，所述待校验数据以数据表的形式进行存储，所述待校验数据对应的数据表的数量为至少一个；

若所述数据表的数量为一个，则仅对所述数据表中的数据进行筛选；

若所述数据表中的数量为至少两个，则将至少两个所述数据表中的数据进行集合操作并进行筛选。

3.根据权利要求2所述的方法，其特征在于，所述待校验数据对应一个数据表的情况包括：所述数据表包括至少一个字段名，校验所述字段名对应的数据是否为空，或者校验所述字段名对应的数据是否超出预设范围。

4.根据权利要求2所述的方法，其特征在于，所述待校验数据对应至少两个数据表的情况包括：

所述待校验数据对应的至少两个数据表中的字段名相同、日期不同；校验相同的所述字段名在不同日期下的变动比例是否超出预设范围；

或者，所述待校验数据对应的至少两个数据表相互嵌套；校验一个所述数据表中的数据是否在另一个所述数据表中是否满足预设条件。

5.根据权利要求4所述的方法，其特征在于，所述校验相同的所述字段名在不同日期下的变动比例是否超出预设范围的应用包括：所述数据表包括当天收益率曲线数据表和前一天收益率曲线数据表，校验两日间的利率变动是否超出预设范围。

6.根据权利要求4所述的方法，其特征在于，所述校验一个所述数据表中的数据是否在另一个所述数据表中是否满足预设条件的应用包括：所述数据表包括头寸信息数据表和交易总表数据表，在所述头寸信息数据表里且金融工具类型取值范围为公开发行的数据记录在所述交易总表数据表中，校验在所述头寸信息数据表中是否有持仓在预设范围内的信息。

7.根据权利要求1所述的方法，其特征在于，采用Python集成开发环境执行数据质量的校验。

8.根据权利要求7所述的方法，其特征在于，在所述Python集成开发环境中进行配置的方法包括：

根据获取的所述待校验数据创建规则名称；

根据所述业务规则对存储所述待校验数据的数据表进行筛选条件的配置；具体包括：配置所述数据表的数据库表名，配置筛选后输出的字段名，配置筛选条件；其中，所述配置筛选条件包括：配置域名所对应的要筛选的字段名，配置比较方式，配置根据表达方式设置的值。

9.根据权利要求8所述的方法，其特征在于，所述待校验数据对应的数据表的数量为至少两个，对至少两个所述数据表进行筛选条件的配置方法相同；

在对至少两个所述数据表进行筛选条件的配置之后，还包括：

配置集合操作；其中，至少两个所述数据表的筛选结果分别形成至少两个集合；所述配置集合操作具体包括：配置集合操作的类型，配置所述至少两个集合的连接键，配置所述至少两个集合的验证规则，配置所述至少两个集合的验证条件，配置所述至少两个集合的规则描述。

10.根据权利要求1所述的方法，其特征在于，所述待校验数据包括市场风险数据；所述市场风险数据包括：市场数据、交易数据、配置数据和结果数据中的至少一种。

11.根据权利要求10所述的方法，其特征在于，市场数据包括：历史价格、收益率和利差中的至少一种；

所述交易数据包括：名义金额、购买价格和期限中的至少一种；

所述配置数据包括：发行者信息指标、业务层级、行业分类中的至少一种；

所述结果数据包括：估值结果、情景生成结果和敏感度计算结果中的至少一种。

12.根据权利要求1-11中任一项所述的方法，其特征在于，在从所述待校验数据中筛选出不满足所述业务规则的数据之前或之后，还包括：

输出所述待校验数据的重要程度。

13.一种数据质量的校验装置，其特征在于，包括：

数据和规则获取模块，用于获取待校验数据，以及与所述待校验数据匹配的业务规则；

筛选条件配置模块，用于根据所述业务规则，配置所述待校验数据的筛选条件；

筛选输出模块，用于根据所述筛选条件对所述待校验数据进行质量校验，从所述待校验数据中筛选出不满足所述业务规则的数据。

14.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的数据质量的校验方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-12中任一项所述的数据质量的校验方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的数据质量的校验方法。

Images