CN108073720B - 应用于大数据系统的数据质量管理系统及方法 - Google Patents

Abstract

本发明公开一种应用于大数据系统的数据质量管理系统，包括应用域配置模块，用于配置待检测数据所属的应用域，生成应用域配置信息存储；数据源配置模块，用于配置待检测数据所属的数据源，生成数据源配置信息存储；管理指标配置模块，用于对数据源中的数据信息创建管理指标存储；任务执行模块，可以用于根据执行命令调用管理指标对应用域接入至数据源的数据信息进行数据检查。还包括一种应用于大数据系统的数据质量管理系统的操作方法。对于大数据环境监管平台中的环境大数据中心整合和汇集省环保厅众多系统的繁多业务数据，本发明可以针对环境大数据中心的数据进行数据检查，筛查出脏数据或异常数据，提高环境大数据中心的数据质量。

Description

应用于大数据系统的数据质量管理系统及方法

技术领域

本发明涉及大数据处理技术领域,特别是一种应用于大数据系统的数据质量管理系统及利用该系统进行大数据系统的数据质量管理的方法。

背景技术

由于目前大数据中心一般都是了整合和汇集了众多系统的业务数据，因此，整合和汇集的数据种类繁多，数据质量参差不齐，包含大量的脏数据或异常数据，数据质量较低，降低数据的利用效率。

发明内容

本发明的目的在于提供了一种应用于大数据系统的数据质量管理系统，通过在众多应用系统的数据源与搭建的大数据中心之间建立一层数据监管平台，解决了现有的大数据中心因数据来源广、数据种类繁多，而导致了数据质量参差不齐，降低了数据的利用效率的问题。本发明提供的数据质量管理系统可以包括应用域配置模块，可以用于配置待检测数据所属的应用域，生成应用域配置信息存储；数据源配置模块，可以用于配置待检测数据所属的数据源，生成数据源配置信息存储；管理指标配置模块，可以用于对数据源中的数据信息创建管理指标存储；任务执行模块，可以用于根据执行命令调用管理指标对应用域的数据源的数据信息进行数据检查。由此，方便管理系统的用户可以先将待检测的数据对应到不同的应用域(即应用系统)和数据源，之后，通过对相应应用域和数据源的数据配置管理指标，实现基于管理指标对配置的应用域的相应数据信息进行数据检查，以检测出相应应用域和数据源中的数据质量情况，筛查出不符合指标的数据信息。通过配置应用域和数据源方便使用用户在筛选数据前，更精确的确定待查数据的范围。其中，管理指标和任务执行模块实现了过滤数据的过程。

在一些实施方式中，该系统还可以包括资源预览模块，可以用于根据查询请求获取配置的数据源中包含的数据表信息输出，其中，所属数据表信息包括数据表名和与数据表对应的字段名。通过资源预览获取相应数据源中的数据表信息，就可以为该数据源配置更精准的管理指标，实现对数据源中各个字段的检查。且，用户可以通过数据表的形式清楚的了解到所要查询的数据的相关信息，提高查询效率和数据处理过程的效率。

在一些实施方式中，管理指标可以包括与应用域关联的检查方案、从属于检查方案的且与数据源中的数据表关联的至少一个检查项和从属于每个检查项的且与检查项关联的数据表中的字段关联的至少一个指标。一个方案对应多个检查项，一个检查项对应多个指标，该结构形式与数据源的存储结构类似，从而实现了将方案对应到数据源，将检查项对应到数据表，将指标对应到字段信息，方便进行管理指标的管理，且方便根据数据源中的数据结构进行灵活的指标设置，提高数据管理效率。并且，检查方案包括了过滤数据方案中的每一条细节项和关键字，使数据可以更精准的过滤。

在一些实施方式中，管理指标可以包括自动执行指标和手动执行指标，数据质量管理系统还可以包括任务管理模块，用于根据查询请求获取自动执行指标信息及其执行状态和手动执行指标信息输出显示。一个检查项就是一个任务，通过将管理指标划分为自动执行指标和手动执行指标，使得任务的执行可以分为自动执行和手动执行，当为自动执行时，用户在任务管理界面上就可以看到自动执行的任务的执行状态和结果，不需要实时监控和手动处理，提高处理效率，节约人力成本和时间。而对一些任务，又可以根据需求进行手动执行，方便及时查看执行结果，满足不同场景的需求。

在一些实施方式中，管理指标可以包括自动执行指标和手动执行指标，还可以包括统计查询模块，用于根据查询请求，统计各管理指标的执行结果信息输出，执行结果信息包括统计出的全量数据的记录数、正常数据的记录数、异常数据的记录数、自动处理结果和手动处理结果。由此，可以使用户全方面的了解到管理指标的执行情况和数据的整体质量情况。而且通过了解数据的全方面信息，也有助于用户判断出有用信息数据。

本发明还提供了一种利用前述数据质量管理系统进行数据质量管理的方法，可以包括：

配置待检测数据所属的应用域；

配置待检测数据所属的数据源；

对上述数据源中的数据信息创建管理指标存储；

根据执行命令调用管理指标对应用域的数据源的数据信息进行数据检查。由此，用户可以在系统中先进入应用域或数据源的设置，根据对数据信息的来源为其确定应用域和数据源，并自动存储在系统数据库中。为了筛选数据，用户可以根据所需创建适合数据所属领域的指标，在数据库存储的应用域中筛选出所属数据源，再基于创建的指标对数据源中的数据信息进行数据检查，有利于用户清楚直观的获取有利数据，提高数据质量。

在一些实施方式中，对数据源中的数据信息创建管理指标存储可以包括：根据配置的应用域信息，配置与应用域关联的检测方案信息存储；

根据配置的数据源信息和检测方案信息，配置与检测方案和数据源中的数据表关联的检查项信息，每个检测方案关联的检查项信息为至少一个，每个检查项信息关联的指标信息为至少一个；根据配置的检查项信息和数据源信息，配置与检查项和数据表关联的指标信息。由此，用户可以在检测方案中设置多个检查项，并且在每个检查项中设置多个指标信息，从而使得对数据的检查可以精确到字段，这样，用户经过查询获得的数据就会更加准确，最大可能性的规避掉无用数据和脏数据。

在一些实施方式中，上述管理指标包括自动执行指标和手动执行指标，自动执行指标的执行命令根据检查项信息中配置的定时器生成，手动执行指标的执行命令根据接收到的用户请求生成。由此，如果用户既可根据需求将一些数据检测设定为自动检测模式，还可以根据需求选择手动的执行一些数据的检查指标，可以提高数据检查的效率。

在一些实施方式中，该方法还包括：根据执行命令的响应结果进行数据统计，生成与各检查项信息的执行情况相关联的执行结果信息存储，其中，执行结果信息包括统计出的全量数据的记录数、正常数据的记录数、异常数据的记录数、自动处理结果和手动处理结果。由此，系统在经过筛选数据生成有用数据的同时，会将每个每种数据的检查结果自动储存，并统计。在用户查询相关指标的执行情况时，可以很直观地了解到该指标监控下的数据的整体质量情况。

附图说明

图1为本发明一种实施方式的应用于大数据系统的数据质量管理系统的结构框架图；

图2为本发明另一种实施方式的应用于大数据系统的数据质量管理系统的结构框架图；

图3为本发明一种实施方式的利用数据质量管理系统进行数据管理的方法流程图；

图4为本发明另一种实施方式的利用数据质量管理系统进行数据管理的方法流程图。

具体实施方式

下面结合附图对本发明的实施方式作详细的说明。

本发明旨在对大数据中心的数据质量进行监管，主要构思在于在数据来源和大数据中心之间构建一层监管、筛查、过滤层，以对来源的数据进行检查，进而滤除异常数据和脏数据，以提高大数据中心收集到的数据的质量。由于目前大数据中心的数据主要来源于应用系统的数据库，因此，本发明实施例主要以数据来源为应用域的数据源为例，对应用域的数据源中的数据构建管理指标，实现对来源处的数据信息的检查。

图1示意性地显示了根据本发明的一种实施方式的应用于大数据系统的数据质量管理系统的结构框架图。如图所示，数据质量管理系统包括应用域配置模块1，具有系统权限的用户可以在应用域配置模块1将大数据中心的数据来源设定为所属的应用域，系统就会生成应用域配置信息存储到存储模块4，其中，生成的应用域配置信息可以是包括应用域名称和对应用域的描述信息。具有权限的用户还可以在数据源配置模块2，配置待检测的数据信息(即数据来源所属的应用域的数据源)所属的数据源，数据信息例如可以来源于多个省市环保厅的应用系统，用户将应用系统的数据源的具体信息输入系统生成数据源配置信息存储至存储模块4，其中，生成的数据源配置信息包括数据源类型(如mysql、Oracle等)、数据源中文名称、数据源英文名称、SID、端口、IP、账号等信息。在具体使用中，在配置好数据源之后，还需要测试该数据源是否可以连接上，如果可以连接上，就可以对该数据源的数据信息进行数据检查，如果不能连接上，则需要根据具体情况进行相应的处理，以使得配置的数据源可用。此外，本系统还有个管理指标配置模块5，具有权限的用户根据数据源中的数据信息的情况，为数据源中的数据信息创建用于检查数据的管理指标存储至存储模块4，该管理指标例如可以是一个检查方案，每个检查方案包括方案名称、类型(是否已执行)、所属系统(即对应的应用域)、描述等，每个检查方案与一个应用域对应。其中，每个检查方案包括多个检查项，检查项信息包括方案名称、数据表名、状态(是否启用)、定时器时间等，其中，检查项信息通过方案名称与检查方案关联，通过数据表名与数据源中的数据表关联。每个检查项对应多个检查指标，指标信息包括方案名称、检查项名称、指标名称、指标类型等，每个指标信息通过方案名称与检查方案关联，通过检查项名称与检查项管理，通过指标名称与数据表的字段关联，而指标类型标识了对数据进行的具体的检查，例如可以为空值核查。由此，就为接入大数据中心的应用域的数据源配置了管理指标，而通过该结构，一张表可用不同的指标进行检测，有助于大幅提升数据质量。在具体应用例中，管理指标上属可以是与污染源相关的应用域关联的检查方案，比如与省环境厅的污染源数据库关联，下属还有一与污染数据源中的数据表关联的具体检查项，比如与污染源数据库中的企业基础数据表关联。本系统还有任务执行模块6，使用用户可以根据自身需求调用管理指标对数据表中的字段信息进行数据检测过滤。在整个系统中，系统获取数据库的数据，通过管理指标配置模块5和任务执行模块6实现了过滤数据的过程，用户在执行之后，系统再将有用数据反馈给大数据中心。

此外，本发明实施例还提供了资源预览模块3用于根据用户的查询请求获取指定的数据源中的数据表信息和数据表对应的字段信息输出给用户。用户进行检查方案配置时，为了准确获取数据源中的数据表和字段信息，还可以先预览资源预览模块3，了解相应数据源的数据表信息，数据表信息包括数据表名和与数据表对应的字段名，比如数据表名为污染源数据检测和处理，应用域为环境大数据中心。使用用户在选择完具体应用域、数据源、配置完管理指标方案后，就可以针对执行某一配置好的检查方案的检查项，以实现对相应数据源中数据的检查。其中，根据用户的需求和配置，执行管理指标可以是自动执行指标，也可以是手动执行指标，其中，自动执行指标可以根据用户配置时设置的定时器(即执行时间)自动执行，而手动执行则需要用户通过点击相应检查项中的执行按钮启动执行。选择自动执行指标后系统自动对数据源的数据信息进行检索、过滤，反馈结果给用户。

图2为本发明另一种实施方式的应用于大数据系统的数据质量管理系统的结构框架图；基于图1的基础上增加了任务管理模块7和统计查询模块8。任务管理模块7用于根据用户的查询请求获取自动执行指标信息及其执行状态和手动执行指标信息输出显示，即用户可以通过任务管理模块在任务管理界面上看到自动执行的检查项的执行状态，同时可以查看哪些检查项是手动执行的，并能够通过点击执行菜单选项执行需要手工执行的检查项。统计查询模块8用于统计各管理指标即各个检查方案中的检查项的执行情况，包括数据统计、自动处理结果和手动处理结果，其中，数据统计包括统计全量数据、正常数据、异常数据的记录数，自动处理结果和手动处理结果记录各个检测指标实例的执行结果。通过统计查询模块8自动统计各项管理指标的结果输出，可以使用户全方面的了解到所获取的数据源中的数据的全方面信息。

在优选实施例中，用户还可以通过用户界面的菜单选项对配置的应用域进行新增或修改操作，对配置的数据源进行新增、修改、删除、启用和禁用等操作，对配置的检查方案进行新增、修改等操作，对配置的检查项进行新增、修改等方案，对配置的指标也进行新增或修改等操作。同时，系统还可以根据用户通过用户界面的菜单选项获取已经配置好的应用域、数据源、检查方案、各检查方案下的检查项和各检查项对应的检查指标的信息输出显示给用户，以方便用户进行相应的操作。

其中，本发明实施例的数据质量管理系统可以部署在大数据中心和应用域的数据源之间，实现两者之间数据的检查，提高大数据中心汇总的数据质量，该大数据中心可以是任意情景下的大数据中心，例如环境大数据中心等，而应用域也可以是任意的应用系统，例如污染源监测系统等。

图3示意性地显示了根据本发明的一种实施方式的利用数据质量管理系统进行数据检测的流程图。步骤如图所示，包括

S301：首先，具有权限的用户进入数据质量管理系统登录用户名和密码后，进入应用管理选项下的应用域配置模块1，根据对数据源的专业分析，手动添加所要检测的数据信息所属的应用领域和具体描述，点击保存后，添加成功，完成配置待检测数据所属的应用域。此后，可以根据这一应用域绑定对应的数据源。

S302：配置完应用域之后，具有权限的用户进入配置待检测数据2所属的数据源模块，直接点击系统页面上的数据源管理选项，手动添加污染数据源信息，污染数据源的信息包括：英文名称、中文名称、IP地址、类型的选择、端口、SID、账户、密码、集群、排序。填写之后可以点击测试连接，测试数据源是否正常。最后点击提交，将数据源信息存储在系统的存储模块中。提交后的数据源信息，具有权限的用户可以点击修改、启用、禁用、删除对数据源进行操作。

S303：在配置完应用域和数据源之后，使用用户就可以对数据源中的数据信息创建检测方案，选择页面上的方案管理选项，输入方案名称、类型(是否已执行)、所属系统、描述等，创建完成后为了更加细化管理指标，进行下一步骤。

S304：为了更加细致的对数据进行过滤，用户进行检测方案的创建后点击新增方案的选项，弹出表单窗口，用户需要填写要检查数据的方案名称和描述调交给系统。添加完方案信息后，用户可以对该方案进行修改、删除以及增加检查项等操作。确定为方案信息后，可点击要检测的数据的方案信息后方的检测项管理进入检查项页面，点击后弹出用户需要手动填写的表单信息，需要填写数据源名称、数据表名、检查项名称，还可以选择填写处理时间，其中数据表名可以在前方的数据源配置中查看。

S305：用户填写完检查项信息后，点击指标管理进入指标信息页面，对指标信息进行添加，需要用户手动填写指标名称，并选择指标类型、处理结果方式、处理结果类型，在数据表列表中选择对应的数据表字段确定检测范围。最后将表格提交，表格内信息自动保存在系统。

S306：系统根据上述用户填写提交的检测项信息、指标信息进行执行检测，将检测到不符合配置的指标的应用域的数据源中的无用、异常等数据进行筛选，最后保留用户所需有用数据，完成数据质量管理，并统计输出数据检查的结果信息。

图4示意性地显示了为本发明另一种实施方式的实现数据质量管理的方法流程图。如图所示，在基于图3的步骤后，又增加如下更优的步骤：

S407：系统将自动执行的检查项的执行情况和手动执行的检查项通过任务管理数据7输出至页面显示，并通过统计模块8对执行结果进行统计，使用户可以查看各个方案中检测项(即任务)的执行情况，包括数据统计、自动处理结果和手工处理结果记录各个指标实例的执行结果。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.应用于大数据系统的数据质量管理系统，其特征在于，包括

应用域配置模块，用于配置待检测数据所属的应用域，生成应用域配置信息存储；

数据源配置模块，用于配置待检测数据所属的数据源，生成数据源配置信息存储；

管理指标配置模块，用于对所述数据源中的数据信息创建管理指标存储；

所述管理指标包括与所述应用域关联的检查方案、从属于所述检查方案的且与数据源中的数据表关联的至少一个检查项和从属于每个检查项的且与检查项关联的数据表中的字段关联的至少一个指标；

检查方案包括方案名称和对应的应用域信息；

数据表信息包括数据表名和与数据表对应的字段名；

检查项信息包括方案名称和数据表名，通过方案名称与检查方案关联，通过数据表名与数据源中的数据表关联；

指标信息包括方案名称、检查项名称、指标名称和指标类型；

每个指标信息通过方案名称与检查方案关联，通过检查项名称与检查项关联，通过指标名称与数据表的字段关联；

指标类型标识了对数据进行的具体的检查；

任务执行模块，用于根据执行命令调用所述管理指标对所述应用域的所述数据源的数据信息进行数据检查。

2.根据权利要求1所述的系统，其特征在于，还包括资源预览模块，用于根据查询请求获取配置的数据源中包含的数据表信息输出。

3.根据权利要求2所述的系统，其特征在于，所述管理指标包括自动执行指标和手动执行指标，所述系统还包括任务管理模块，用于根据查询请求获取自动执行指标信息及其执行状态和手动执行指标信息输出显示。

4.根据权利要求3所述的系统，其特征在于，所述管理指标包括自动执行指标和手动执行指标，还包括统计查询模块，用于根据查询请求，统计各管理指标的执行结果信息输出，其中，所述执行结果信息包括统计出的全量数据的记录数、正常数据的记录数、异常数据的记录数、自动处理结果和手动处理结果。

5.应用于大数据系统的数据质量管理方法，其特征在于，包括：

配置待检测数据所属的应用域；

配置待检测数据所属的数据源；

对所述数据源中的数据信息创建管理指标存储；

根据配置的应用域信息，配置与所述应用域关联的检测方案信息存储；

根据配置的数据源信息和检测方案信息，配置与所述检测方案和数据源中的数据表关联的检查项信息；

根据配置的检查项信息和数据源信息，配置与所述检查项和数据表关联的指标信息；

检查方案包括方案名称和对应的应用域信息；

数据表信息包括数据表名和与数据表对应的字段名；

检查项信息包括方案名称和数据表名，通过方案名称与检查方案关联，通过数据表名与数据源中的数据表关联；

指标信息包括方案名称、检查项名称、指标名称和指标类型；

每个指标信息通过方案名称与检查方案关联，通过检查项名称与检查项关联，通过指标名称与数据表的字段关联；

指标类型标识了对数据进行的具体的检查；

根据执行命令调用所述管理指标对所述应用域接入至所述数据源的数据信息进行数据检查。

6.根据权利要求5所述的方法，其中，每个检测方案关联的检查项信息为至少一个，每个检查项信息关联的指标信息为至少一个。

7.根据权利要求6所述的方法，其特征在于，所述管理指标包括自动执行指标和手动执行指标，

所述自动执行指标的执行命令根据检查项信息中配置的定时器生成，所述手动执行指标的执行命令根据接收到的用户请求生成。

8.根据权利要求7所述的方法，其特征在于，还包括：

根据执行命令的响应结果进行数据统计，生成与各检查项信息的执行情况相关联的执行结果信息存储，其中，所述执行结果信息包括统计出的全量数据的记录数、正常数据的记录数、异常数据的记录数、自动处理结果和手动处理结果。

9.根据权利要求1至4任一项所述的数据质量管理系统在大数据平台中的应用，其特征在于，所述数据质量管理系统配置在大数据中心与配置的应用域之间，对应用域的数据源中的数据进行检查，输出检查后的正常数据至所述大数据中心。

Images