CN111143623A - 一种大数据环境下的数据质量监控方法 - Google Patents

Abstract

本发明公开了一种大数据环境下的数据质量监控方法，其基于数据服务端、数据接收端及数据质量端，所述数据质量端具有数据采集点，该方法包括以下步骤：定义数据质量评价规则，所述数据质量评价规则包括完整性评价规则、一致性评价规则及准确性评价规则；数据质量端利用数据采集点采集数据；数据采集点针对采集到数据，通过进行数据长度统计生成数据长度结果，通过进行MD5编码生成编码数据；数据采集点将数据长度结果和编码数据上传至数据质量端；数据质量端基于数据质量评价规则，利用Flink技术对数据完整性进行计算，对数据一致性进行匹配，对数据准确性进行检查，生成最终评价结果；数据质量端对最终评价结果进行存储，并对有误数据进行提醒。

Description

一种大数据环境下的数据质量监控方法

技术领域

本发明涉及大数据处理技术领域，特别涉及一种大数据环境下的数据质量监控方法。

背景技术

企业在进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等，都需要信息系统进行数据的搜集、分析、知识发现，为决策者提供充足且准确的情报和资料。数据质量问题是影响信息系统运行的关键因素，直接关系到信息系统建设的成败。根据“垃圾进，垃圾出”的原理，为了使信息系统建设取得预期效果，达到数据决策的目标，就要求信息系统提供的数据是可靠的，能够准确反应客观事实。数据质量管理贯穿数据生命周期的全过程，覆盖质量评估、数据监控、数据探查、数据清洗、数据诊断等方面。数据源在不断增多，数据量在不断加大，新需求推动的新技术也不断诞生，这些都对大数据下的数据质量管理带来了困难和挑战。如何实现对数据质量的有效监控，是目前亟待解决的问题。

发明内容

为解决上述问题，本发明提供了一种大数据环境下的数据质量监控方法。

本发明采用以下技术方案：

一种大数据环境下的数据质量监控方法，其基于数据服务端、数据接收端及数据质量端，所述数据服务端为数据集市，所述数据接收端为数据服务请求方，所述数据质量端具有部署于数据服务端、数据接收端的数据采集点，该方法包括以下步骤：

S1、定义数据质量评价规则，所述数据质量评价规则包括完整性评价规则、一致性评价规则及准确性评价规则；

S2、数据服务端推送数据或数据接收端请求数据时，数据质量端利用数据采集点采集数据；

S3、数据采集点针对采集到数据，通过进行数据长度统计生成数据长度结果，通过进行MD5编码生成编码数据；

S4、数据采集点将数据长度结果和编码数据上传至数据质量端；

S5、数据质量端基于数据质量评价规则，利用Flink技术对数据完整性进行计算，对数据一致性进行匹配，对数据准确性进行检查，生成最终评价结果；

S6、数据质量端对最终评价结果进行存储，并对有误数据进行提醒。

优选地，步骤S5中所述的对数据准确性进行检查具体为：对数据的编码进行检查，判断数据中是否存在乱码。

优选地，所述步骤S1还包括定义数据采集规则，所述数据采集规则具体为：

数据交互服务之前，对即将交互的数据进行采集，并进行数据长度统计和MD5编码，同时对数据进行乱码检查；

数据交互服务之后，对交互后的数据进行采集，并进行数据长度统计和MD5编码，同时对数据进行乱码检查；

所述步骤S3中的数据长度统计和MD5编码基于所述数据采集规则进行。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明通过建立数据采集规则和评价规则，对数据交互服务过程中的数据完整性、一致性和准确性进行评价，能够实现对数据质量的有效监控。

附图说明

图1为本发明的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

参考图1所示，本发明公开了一种大数据环境下的数据质量监控方法，其基于数据服务端、数据接收端及数据质量端，所述数据服务端为数据集市，所述数据接收端为数据服务请求方，所述数据质量端具有部署于数据服务端、数据接收端的数据采集点，该方法包括以下步骤：

S1、定义数据质量评价规则，所述数据质量评价规则包括完整性评价规则、一致性评价规则及准确性评价规则。定义数据采集规则，所述数据采集规则具体为：

数据交互服务之前，对即将交互的数据进行采集，并进行数据长度统计和MD5编码，同时对数据进行乱码检查；

数据交互服务之后，对交互后的数据进行采集，并进行数据长度统计和MD5编码，同时对数据进行乱码检查。

S2、数据服务端推送数据或数据接收端请求数据时，数据质量端利用数据采集点采集数据。

S3、数据采集点针对采集到数据，通过进行数据长度统计生成数据长度结果，通过进行MD5编码生成编码数据。

S4、数据采集点将数据长度结果和编码数据上传至数据质量端。

S5、数据质量端基于数据质量评价规则，利用Flink技术对数据完整性进行计算，对数据一致性进行匹配，对数据准确性进行检查，生成最终评价结果。对数据准确性进行检查具体为：对数据的编码进行检查，判断数据中是否存在乱码。

S6、数据质量端对最终评价结果进行存储，并对有误数据进行提醒。

通过以上描述可以看出，本发明通过建立数据采集规则和评价规则，对数据交互服务过程中的数据完整性、一致性和准确性进行评价，能够实现对数据质量的有效监控，这样配合数据质量的持续改进工作机制，可以实现质量问题原因的定位、处理和跟踪，对发现的问题及时作出反应，追溯问题原因和形成机制，根据问题种类采取相应的改进措施，并持续跟踪验证改进之后的数据质量提升效果，形成正反馈，达到数据质量持续改良的效果。在源头建立数据标准或接入标准，规范数据定义，在数据流转过程中建立监控数据转换质量的流程和体系，尽量做到在哪发现问题就在哪解决问题，不把问题数据带到后端。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种大数据环境下的数据质量监控方法，其基于数据服务端、数据接收端及数据质量端，所述数据服务端为数据集市，所述数据接收端为数据服务请求方，所述数据质量端具有部署于数据服务端、数据接收端的数据采集点，该方法包括以下步骤：

S1、定义数据质量评价规则，所述数据质量评价规则包括完整性评价规则、一致性评价规则及准确性评价规则；

S2、数据服务端推送数据或数据接收端请求数据时，数据质量端利用数据采集点采集数据；

S3、数据采集点针对采集到数据，通过进行数据长度统计生成数据长度结果，通过进行MD5编码生成编码数据；

S4、数据采集点将数据长度结果和编码数据上传至数据质量端；

S5、数据质量端基于数据质量评价规则，利用Flink技术对数据完整性进行计算，对数据一致性进行匹配，对数据准确性进行检查，生成最终评价结果；

S6、数据质量端对最终评价结果进行存储，并对有误数据进行提醒。

2.如权利要求1所述的一种大数据环境下的数据质量监控方法，其特征在于，步骤S5中所述的对数据准确性进行检查具体为：对数据的编码进行检查，判断数据中是否存在乱码。

3.如权利要求1所述的一种大数据环境下的数据质量监控方法，其特征在于，所述步骤S1还包括定义数据采集规则，所述数据采集规则具体为：

数据交互服务之前，对即将交互的数据进行采集，并进行数据长度统计和MD5编码，同时对数据进行乱码检查；

数据交互服务之后，对交互后的数据进行采集，并进行数据长度统计和MD5编码，同时对数据进行乱码检查；

所述步骤S3中的数据长度统计和MD5编码基于所述数据采集规则进行。

Images