CN113127471A - 自动化数据质量检验的方法、装置、设备和存储介质 - Google Patents

Abstract

本发明属于大数据技术领域，具体涉及一种自动化数据质量检验的方法、装置、设备和存储介质。其中方法包括：触发质检服务，获取数据特征，根据数据特征获取多条预设的质检规则，通过预设的数据查询方式获取需要质检的数据；执行每条质检规则，分别校验数据，得到质检结果并存储；将质检结果进行展示。本发明通过自定义配置质检规则基本解决了大部分生产数据的质检需求，在整个数据生产链路中，接入本发明后，质检成本更低，质检效率和质量则大幅度提升。

Description

自动化数据质量检验的方法、装置、设备和存储介质

技术领域

本发明属于大数据技术领域，具体涉及一种自动化数据质量检验的方法、装置、设备和存储介质。

背景技术

在当前大数据背景下，在进行数据分析之前要对数据进行准确性检查，数据质量是保证数据应用的关键性指标。如何评估数据是否达到预期设定的质量要求，这就需要有一种方式来对数据进行检验。目前最为通用的质检方式有两类：第一类是人工质检，第二类是通过ETL来实现一些质检逻辑以达到数据质检的目的。综上两种都有各自的不足之处。

在有大量数据需要质检的时候，传统的方式中人工质检显然在效率和准确率上都无法很好的把控。通过ETL脚本也只能实现逻辑相对简单的质检规则，在通用性和扩展性方面也并不理想。

发明内容

本发明针对大量数据需要质检时，通过人工质检或ETL脚本无法实现高效准确质检的技术问题，目的在于提供一种自动化数据质量检验的方法、装置、设备和存储介质。

一种自动化数据质量检验的方法，包括：

触发质检服务，获取数据特征，根据所述数据特征获取多条预设的质检规则，通过预设的数据查询方式获取需要质检的数据；

执行每条所述质检规则，分别校验所述数据，得到质检结果并存储；

将质检结果进行展示。

可选的，所述触发质检服务，获取数据特征，根据所述数据特征获取多条质检规则之前，包括：

触发质检规则配置服务，展示规则配置页面，所述规则配置页面中包括规则输入窗口、质检分类选项和数据特征选项；

接收用户自定义的质检规则，用户自定义的所述质检规则包括用户在所述规则输入窗口输入的配置参数、用户选择的质检分类和数据特征；

根据所述质检分类对所述配置参数进行校验，若校验通过，则按数据特征对所述质检规则进行存储，若校验不通过，则在所述规则配置页面进行错误提示。

可选的，所述质检分类包括数据非空验证、数值范围验证、正则验证、数据平衡验证、跨期数据验证和高级逻辑质检中的至少一类。

可选的，触发质检服务，获取数据特征，包括：

在数据自动化生产流程中，预设有质检步骤，在系统自动生产数据的过程中，自动触发预设的质检服务，触发所述质检服务时将数据的数据特征一起传送给所述质检服务。

可选的，触发质检服务，获取数据特征，包括：

通过前端页面手动选择数据，调用预设的质检服务，将数据的数据特征传入所述质检服务。

可选的，所述数据特征包括数据分类或数据标签。

可选的，所述执行每条所述质检规则，分别校验所述数据，得到质检结果并存储，包括：

根据所述质检规则内的配置参数，过滤所述数据，如果没有对应的数据内容，则质检结果为不适用；

如果有对应的数据内容，且校验正确，则质检结果为质检成功，否则质检结果为质检失败；

若所述质检结果为质检失败，则将失败原因及在所述数据对应的位置信息一起存储。

可选的，将质检结果进行展示，包括：

触发质检查看服务，展示质检结果查看页面，所述质检结果查看页面包括展示质检结果的查看窗口，所述查看窗口展示有当前数据的质检结果，若包含有质检失败的质检结果，则将失败原因及对应的数据内容进行展示。

可选的，所述质检结果查看页面还包括数据特征选项和质检结果选项；

接收用户自定义的查询选项，所述查询选项包括用户选项的数据特征及质检结果，根据所述查询选项搜索出所述数据特征及所述质检结果对应的数据，将所述数据的质检结果展示在所述查看窗口，若包含有质检失败的质检结果，则将失败原因及对应的数据内容进行展示。

可选的，还包括：

从所述质检结果查看页面再次触发质检服务，接收从所述当前质检结果查看窗口传送的用户修改的数据内容作为修正数据，对所述修正数据再次执行每条所述质检规则，将得到的质检结果再次进行存储和展示。

一种自动化数据质量检验的装置，包括：

获取数据及质检规则模块，用于触发质检服务，获取数据特征，根据所述数据特征获取多条质检规则，通过预设的数据查询方式获取需要质检的数据；

执行质检规则模块，用于执行每条所述质检规则，分别校验所述数据，得到质检结果并存储；

展示质检结果模块，用于将质检结果进行展示。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述自动化数据质量检验的方法的步骤。

一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述自动化数据质量检验的方法的步骤。

本发明的积极进步效果在于：本发明采用自动化数据质量检验的方法、装置、设备和存储介质，具有如下显著优点：

1、通过自定义配置质检规则基本解决了大部分生产数据的质检需求，在整个数据生产链路中，接入本发明后，质检成本更低，质检效率和质量则大幅度提升；

2、对于因需求的变化而引起质检逻辑变动适应性更强，基本做到了需求变更质检逻辑即可进行实时调整；

3、对于各类质检规则可以进行统一的管理和维护。

附图说明

图1为本发明方法的一种流程示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本发明。

参照图1，一种自动化数据质量检验的方法，包括：

S1，获取数据及质检规则：触发质检服务，获取数据特征，根据数据特征获取多条预设的质检规则，通过预设的数据查询方式获取需要质检的数据。

本步骤中的质检规则是预先存储在存储模块中的质检规则，这些质检规则可以采用默认规则，用户也可以根据需要进行自定义配置。

本步骤中的数据特征包括数据分类或数据标签等能识别不同类型数据的数据特征。一种类型的数据特征可能对应有多条质检规则，包括默认的质检规则，或者用户自定义的质检规则，通过数据特征将这些对应的质检规则都查询获取。然后通过数据源提供的数据查询方式，如restful api等，查询得到需要质检的数据。这样的方式，实现了质检规则可复用，在质检相同类型的数据时，已定义好的质检规则可直接使用，而不需要反复定义，减少冗余，提高效率。

在一个实施例中，步骤S1之前包括步骤S0，配置质检规则，具体为：

S01，触发质检规则配置服务，展示规则配置页面，规则配置页面中包括规则输入窗口、质检分类选项和数据特征选项。

S02，接收用户自定义的质检规则，质检规则包括用户在规则输入窗口输入的配置参数、用户选择的质检分类和数据特征。

S03，根据质检分类对配置参数进行校验，校验通过，则按数据特征对质检规则进行存储，校验不通过，则在规则配置页面进行错误提示。

本步骤提供了前端的规则配置页面，配置人员可以选择不同的质检分类和数据特征，通过规则输入窗口输入配置参数。若该质检分类和数据特征下，已有配置参数，则配置参数可以在规则输入窗口内展示，用户可以在规则配置页面修改、增加或删除一条或多条质检规则，以便于维护或更新配置参数。这样对于设置好的质检规则统一管理易于维护，有质检逻辑变更时，更改相应的规则配置即可，不会影响其他质检逻辑。

质检分类包括数据非空验证、数值范围验证、正则验证、数据平衡验证、跨期数据验证和高级逻辑质检中的至少一类。

1)数据非空验证是数据中最为基本的校验规则，用于校验获取的数据是否为空。

2)数值范围验证适用于各种有边界条件的数值校验，配置人员可以在规则输入窗口输入范围的最小值和最大值作为配置参数。

3)正则验证是正则表达式验证，配置人员可以在规则输入窗口输入自定义的正则表达式，比如最常见的手机号、网址、邮箱等作为配置参数。质检规则保存时会对正则表达式进行校验，保证表达式的有效性。

4)数据平衡验证是对运算的验证，配置人员在规则输入窗口配置一组数据的系数来创建加减运算的表达式，系数分正负，系数为负数则在公式中会被减去，公式在数据存在修约的情况下也可以配置一定的误差容忍度。

如：需要验证这样的规则data1+data2＝data3，则需要配置成data1，data2的系数为1，data3的系数为-1，这样质检规则执行时会按照data1*1+data2*1+data3*(-1)去计算结果，计算的结果会和误差容忍度进行比较。

误差容忍度是一组数据计算结果值要在[-abs(误差容忍度)，abs(误差容忍度)]范围之间，如果值不设置，则默认为0。

5)跨期数据验证用于存在上期数据并且需要和本期数据进行对比时的验证使用，配置人员可以指定需要质检的数据期，质检规则执行时会对这两期的数据进行比对。

6)高级逻辑质检支持复杂的规则计算，配置人员可通过规则输入窗口配置复杂的数据校验公式。此类型的规则不仅可以对数值类型的数据进行校验，对文本类型的数据也可以配置相应的质检规则。

如p1的值为字符串类型时，校验p1以ABC开头或者包含XYZ，则配置公式：

p1.StartsWith("ABC")||p1.Contains("XYZ")

如p1的值为字符串类型时，校验p1长度不能超过150，则配置公式：

p1.Length<＝150&&p1.Length>0

如p2为金额类型时，校验p2在1万到10万元之间，则配置公式：

p2>＝10000&&p2<＝100000

质检规则保存时，会对配置公式进行校验，保证配置公式的有效性。

本实施例对质检规则支持自定义，从简单到复杂的质检逻辑都可以通过配置来实现。

在一个实施例中，步骤S1中触发质检服务，获取数据特征，包括：

在数据自动化生产流程中，预设有质检步骤，在系统自动生产数据的过程中，自动触发预设的质检服务，触发质检服务时将数据的数据特征一起传送给质检服务。

本实施例的触发质检服务为自动触发方式，即在在数据自动化生产流程中，配置了质检步骤，在系统自动生产数据的过程中就会自动触发质检服务，执行质检规则。

在一个实施例中，步骤S1中触发质检服务，获取数据特征，包括：

通过前端页面手动选择数据，调用预设的质检服务，将数据的数据特征传入质检服务。

本实施例的触发质检服务为手动触发方式，即如果要按需对不同类型的数据进行质检，则在前端页面上可以手动选择数据，调用质检服务，执行质检规则。

S2，执行质检规则：执行每条质检规则，分别校验数据，得到质检结果并存储。

每条质检规则执行完成后都会保存相应的质检结果，质检结果分三种：质检成功，质检失败，不适用。

在一个实施例中，步骤S2包括：

根据质检规则内的配置参数，过滤数据，如果没有对应的数据内容，则质检结果为不适用；如果有对应的数据内容，且校验正确，则质检结果为质检成功，否则质检结果为质检失败；若质检结果为质检失败，则将失败原因及在数据对应的位置信息一起存储。

S3，展示质检结果：将质检结果进行展示。

质检规则对应的质检结果保存后，用户可以通过质检结果查看页面查询到相关数据的质检结果。

在一个实施例中，步骤S3包括：

触发质检查看服务，展示质检结果查看页面，质检结果查看页面包括展示质检结果的查看窗口，查看窗口展示有当前数据的质检结果，若包含有质检失败的质检结果，则将失败原因及对应的数据内容进行展示。

可以在步骤S2执行完所有的质检规则后，自动触发质检查看服务，用户直接通过质检结果查看页面查看当前数据的质检结果。用户也可以通过用于触发质检查看服务的触发按钮等，触发质检查看服务。

在一个实施例中，质检结果查看页面还包括数据特征选项和质检结果选项；系统通过接收用户自定义的查询选项，查询选项包括用户选项的数据特征及质检结果，根据查询选项搜索出数据特征及质检结果对应的数据，将数据的质检结果展示在查看窗口，若包含有质检失败的质检结果，则将失败原因及对应的数据内容进行展示。

质检结果查看页面还可以根据质检结果和数据特征去查询相应的结果。

在一个实施例中，步骤S3还包括：

从质检结果查看页面再次触发质检服务，接收从当前质检结果查看窗口传送的用户修改的数据内容作为修正数据，对修正数据再次执行每条质检规则，将得到的质检结果再次进行存储和展示。

当质检结果为质检失败时，其展示的内容包括质检失败处对应的数据内容，此时用户可以直接修改错误数据，然后手动触发重新质检的手动触发方式，实现再次触发质检服务，最终质检成功，保证数据的准确性。

本发明的方法通过自定义配置规则来实现各种场景的数据质检，定义好的质检规则具有很强的复用性和可扩展性。对于新的检验逻辑支持动态配置并实时生效。各个质检规则之间完全隔离，互不影响。支持自定义质检结果的输出格式，便于质检异常数据快速定位。

在一个实施例中，提出了一种自动化数据质量检验的装置，包括：

获取数据及质检规则模块，用于触发质检服务，获取数据特征，根据数据特征获取多条质检规则，通过预设的数据查询方式获取需要质检的数据；

执行质检规则模块，用于执行每条质检规则，分别校验数据，得到质检结果并存储；

展示质检结果模块，用于将质检结果进行展示。

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例自动化数据质量检验的方法中的步骤。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例自动化数据质量检验的方法中的步骤。其中，存储介质可以为非易失性存储介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (13)

1.一种自动化数据质量检验的方法，其特征在于，包括：

触发质检服务，获取数据特征，根据所述数据特征获取多条预设的质检规则，通过预设的数据查询方式获取需要质检的数据；

执行每条所述质检规则，分别校验所述数据，得到质检结果并存储；

将质检结果进行展示。

2.如权利要求1所述的自动化数据质量检验的方法，其特征在于，所述触发质检服务，获取数据特征，根据所述数据特征获取多条质检规则之前，包括：

触发质检规则配置服务，展示规则配置页面，所述规则配置页面中包括规则输入窗口、质检分类选项和数据特征选项；

接收用户自定义的质检规则，用户自定义的所述质检规则包括用户在所述规则输入窗口输入的配置参数、用户选择的质检分类和数据特征；

根据所述质检分类对所述配置参数进行校验，若校验通过，则按数据特征对所述质检规则进行存储，若校验不通过，则在所述规则配置页面进行错误提示。

3.如权利要求2所述的自动化数据质量检验的方法，其特征在于，所述质检分类包括数据非空验证、数值范围验证、正则验证、数据平衡验证、跨期数据验证和高级逻辑质检中的至少一类。

4.如权利要求1所述的自动化数据质量检验的方法，其特征在于，触发质检服务，获取数据特征，包括：

在数据自动化生产流程中，预设有质检步骤，在系统自动生产数据的过程中，自动触发预设的质检服务，触发所述质检服务时将数据的数据特征一起传送给所述质检服务。

5.如权利要求1所述的自动化数据质量检验的方法，其特征在于，触发质检服务，获取数据特征，包括：

通过前端页面手动选择数据，调用预设的质检服务，将数据的数据特征传入所述质检服务。

6.如权利要求1所述的自动化数据质量检验的方法，其特征在于，所述数据特征包括数据分类或数据标签。

7.如权利要求1所述的自动化数据质量检验的方法，其特征在于，所述执行每条所述质检规则，分别校验所述数据，得到质检结果并存储，包括：

根据所述质检规则内的配置参数，过滤所述数据，如果没有对应的数据内容，则质检结果为不适用；

如果有对应的数据内容，且校验正确，则质检结果为质检成功，否则质检结果为质检失败；

若所述质检结果为质检失败，则将失败原因及在所述数据对应的位置信息一起存储。

8.如权利要求1所述的自动化数据质量检验的方法，其特征在于，将质检结果进行展示，包括：

触发质检查看服务，展示质检结果查看页面，所述质检结果查看页面包括展示质检结果的查看窗口，所述查看窗口展示有当前数据的质检结果，若包含有质检失败的质检结果，则将失败原因及对应的数据内容进行展示。

9.如权利要求8所述的自动化数据质量检验的方法，其特征在于，所述质检结果查看页面还包括数据特征选项和质检结果选项；

接收用户自定义的查询选项，所述查询选项包括用户选项的数据特征及质检结果，根据所述查询选项搜索出所述数据特征及所述质检结果对应的数据，将所述数据的质检结果展示在所述查看窗口，若包含有质检失败的质检结果，则将失败原因及对应的数据内容进行展示。

10.如权利要求8或9所述的自动化数据质量检验的方法，其特征在于，还包括：

从所述质检结果查看页面再次触发质检服务，接收从所述当前质检结果查看窗口传送的用户修改的数据内容作为修正数据，对所述修正数据再次执行每条所述质检规则，将得到的质检结果再次进行存储和展示。

11.一种自动化数据质量检验的装置，其特征在于，包括：

获取数据及质检规则模块，用于触发质检服务，获取数据特征，根据所述数据特征获取多条质检规则，通过预设的数据查询方式获取需要质检的数据；

执行质检规则模块，用于执行每条所述质检规则，分别校验所述数据，得到质检结果并存储；

展示质检结果模块，用于将质检结果进行展示。

12.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项权利要求所述的自动化数据质量检验的方法的步骤。

13.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至10中任一项权利要求所述的自动化数据质量检验的方法的步骤。

Images