CN112445798A - 基于元数据辅助治理的时空大数据质量检查的方法及系统 - Google Patents

Abstract

本发明提供一种基于元数据辅助治理的时空大数据的质量检查的方法及系统，其中方法包括：获取时空大数据；根据获取到的时空大数据建立元数据治理支撑库，以存储所述时空大数据的数据来源、数据质量、数据归属、坐标系及空间信息；根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，获取通过质量检查的时空大数据。本发明制定了一套元数据标准和质量检查规则标准，并依据标准构建了一个面向时空大数据的自动化数据质量检查工具，出现质量问题可实时预警，提高数据质量检查效率和问题反馈速度，为时空数据的质量做好保障。

Description

基于元数据辅助治理的时空大数据质量检查的方法及系统

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于元数据辅助治理的时空大数据质量检查的方法及系统。

背景技术

时空大数据包括时间、空间、专题属性三维信息，具有多源、海量、更新快速的综合特点。时空大数据从汇聚到处理，从组织到服务，整个数据治理过程均会产生各种各样的质量问题，如数据来源错误、坐标系不统一等。数据质量较低则会从数据生产到消费整个数据链产生影响。

目前业界针对时空大数据的常用的质量检查方法主要侧重于数据规格本身，并根据数据特定规格编制计算机程序或脚本人工监督下进行质量检查。缺少系统化的元数据辅助和自动化检查系统，具体包括：

1、质量检查碎片化，现有质量检查主要是侧重特定的点，无法系统地对时空数据的全貌和全数据链进行检查，碎片化严重。

2、质量检查难扩展，针对新增加的时空数据质量检查需要预先设计检查规则，而规格本身经常不可通用，这就导致现有技术下质量检查难以快速扩展。

3、质量检查需要人工驱动或干预，缺少自动化检查机制和系统支撑，质量检查效率低，且缺乏实时的监督，这往往会使质量检查的效果降低。

发明内容

本发明提供一种基于元数据辅助治理的时空大数据的质量检查的方法及系统，解决以上现有问题。

本发明一个实施例提供一种基于元数据辅助治理的时空大数据的质量检查的方法，包括：

获取时空大数据；其中，所述获取时空大数据的方法包括：通过传统测绘手段采集时空大数据、通过物联网的传感器设备采集时空大数据、通过爬虫方式采集互联网中提供的时空大数据；

根据获取到的时空大数据建立元数据治理支撑库，以存储所述时空大数据的数据来源、数据质量、数据归属、坐标系及空间信息；

根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，获取通过质量检查的时空大数据。

进一步地，所述根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查之前，还包括：制定质检规则；具体地，所述质检规则包括：元数据质检规则、属性质检规则及空间质检规则。

进一步地，所述根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，包括：

根据存储于元数据治理支撑库中的时空大数据类型选用质检规则，并对所述元数据治理支撑库中新增的数据进行数据检查；

根据质检项的检查结果和对应质量指标等级对数据质量问题进行标识。

进一步地，所述获取通过质量检查的时空大数据之后，还包括：

根据所述获取通过质量检查的时空大数据的特征创建数据库；其中，所述数据库包括：空间数据库、时空数据缓存数据库、时空关系元数据库、时空索引库。

进一步地，所述获取通过质量检查的时空大数据之后，还包括：

通过大数据技术将时空数据进行开发实现时空微服务。

本发明一实施例提供一种基于元数据辅助治理的时空大数据的质量检查的系统，包括：

数据获取模块，用于获取时空大数据；其中，所述获取时空大数据的方法包括：通过传统测绘手段采集时空大数据、通过物联网的传感器设备采集时空大数据、通过爬虫方式采集互联网中提供的时空大数据；

元数据治理支撑库建立模块，用于根据获取到的时空大数据建立元数据治理支撑库，以存储所述时空大数据的数据来源、数据质量、数据归属、坐标系及空间信息；

质检模块，用于根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，获取通过质量检查的时空大数据。

进一步地，所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，还包括：质检规则制定模块，用于制定质检规则；具体地，所述质检规则包括：元数据质检规则、属性质检规则及空间质检规则。

进一步地，所述质检模块，包括：

质检规则选用子模块，用于根据存储于元数据治理支撑库中的时空大数据类型选用质检规则，并对所述元数据治理支撑库中新增的数据进行数据检查；

质量问题标识子模块，用于根据质检项的检查结果和对应质量指标等级对数据质量问题进行标识。

进一步地，所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，还包括：

数据库创建模块，用于根据所述获取通过质量检查的时空大数据的特征创建数据库；其中，所述数据库包括：空间数据库、时空数据缓存数据库、时空关系元数据库、时空索引库。

进一步地，所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，还包括：

开发模块，用于通过大数据技术将时空数据进行开发实现时空微服务。

与现有技术相比，本发明实施例的有益效果在于：

本发明一个实施例提供一种基于元数据辅助治理的时空大数据的质量检查的方法，包括：获取时空大数据；其中，所述获取时空大数据的方法包括：通过传统测绘手段采集时空大数据、通过物联网的传感器设备采集时空大数据、通过爬虫方式采集互联网中提供的时空大数据；根据获取到的时空大数据建立元数据治理支撑库，以存储所述时空大数据的数据来源、数据质量、数据归属、坐标系及空间信息；根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，获取通过质量检查的时空大数据。本发明制定了一套元数据标准和质量检查规则标准，并依据标准构建了一个面向时空大数据的自动化数据质量检查工具，出现质量问题可实时预警，提高数据质量检查效率和问题反馈速度，为时空数据的质量做好保障。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的方法的流程图；

图2是本发明另一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的方法的流程图；

图3是本发明另一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的方法的流程图；

图4是本发明另一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的方法的流程图；

图5是本发明另一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的方法的流程图；

图6是本发明又一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的方法的流程图；

图7是本发明某一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的系统的装置图；

图8是本发明另一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的系统的装置图；

图9是本发明另一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的系统的装置图；

图10是本发明另一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的系统的装置图；

图11是本发明又一实施例提供的一种基于元数据辅助治理的时空大数据的质量检查的系统的装置图；

图12是本发明某一实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

第一方面。

请参阅图1-6，本发明一实施例提供一种基于元数据辅助治理的时空大数据的质量检查的方法，包括：

S10、获取时空大数据；其中，所述获取时空大数据的方法包括：通过传统测绘手段采集时空大数据、通过物联网的传感器设备采集时空大数据、通过爬虫方式采集互联网中提供的时空大数据。

在某一具体实施例中，时空数据来源和采集方式众多，典型的采集方式主要包括如下几种：

1、通过传统测绘手段采集产生的时空数据：比如通过卫星遥感方式采集某特定区域不同时期的遥感影像；再比如使用RTK、全站仪等传统测量手段对一定范围采集的地形图；

2、物联网相关传感器设备采集的时空数据：比如使用位移传感器采集某一构筑物特定观测点随着时间的变化横向、纵向位置变化情况的数据；再比如车载GPS、手机等采集到的传感器载体的位置变化数据。

3、大数据环境下互联网采集到的时空数据：使用爬虫等技术手段采集的社交、博客旅途分享、导航软件标注、信息点等信息中分析、提炼出的时空数据。

S20、根据获取到的时空大数据建立元数据治理支撑库，以存储所述时空大数据的数据来源、数据质量、数据归属、坐标系及空间信息。

在某一具体实施例中，构建时空大数据元数据治理支撑库，主要存储时空数据的来源、源数据质量、数据归属、坐标系、空间参考等信息。

S30、根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，获取通过质量检查的时空大数据。

在某一具体实施方式中，所述S30、根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，包括：

S31、根据存储于元数据治理支撑库中的时空大数据类型选用质检规则，并对所述元数据治理支撑库中新增的数据进行数据检查。

S32、根据质检项的检查结果和对应质量指标等级对数据质量问题进行标识。

在某一具体实施例中，质量检查主要有两种，一种是手工对一定批次数据的全量的一次性检查，并输出质检报告；另一种是根据质检规则对增量数据实时自动进行质量检查。

手工质量检查可用于对数据质量进行批量抽检和总体评价，评价结果分为优、良、合格、不合格，不对具体单条数据项进行处理。操作过程如下：

步骤一：配置数据源。

步骤二：选用质检规则。

步骤三：系统进行质量检查。

自动质量检查是以元数据质检为基础，对已经存在的某类数据，根据选用的质检规则，对该数据域没新增的一条数据进行质量检查。符合全部质检项的数据即通过检查，并根据质检项的检查结果和对应质量指标等级对该条数据质量问题进行直观标识。未通过质量检查的需要人工干预，经人工处置后方可正式入库或放弃入库，更新过程中则需要补充必要的元数据信息。

对采集的数据进行质量检查，检查通过的进入数据治理环节,检查不通过则进行数据处理工序，并根据需要更新对应的元数据，直至数据质量检查通过为止。

在某一具体实施方式中，所述S30、根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查之前，还包括：

S21、制定质检规则；具体地，所述质检规则包括：元数据质检规则、属性质检规则及空间质检规则。

在某一具体实施例中，质检规定是根据时空大数据常用质量指标对不同类型的时空数据制定适合质量指标类型的质检规则项，并可对质检规则进行维护。当涉及到该类数据质量检查时，可以选用全部或部分检查项对数据进行检查。其中典型的质量指标等级及质检规则主要包括以下内容：

规则等级是根据规则项对数据质量的影响程度定义的等级，共分3个等级，3级最严重，2级次之，1级严重程度最低。

根据地图、地址、位置等时空数据对质量指标的特定要求，制定地图数据、地址数据、位置数据等业务资源数据的质量检查规则，并对某特定数据源选用已定义好的或增加新的质检规则。

在某一具体实施例中，所述获取通过质量检查的时空大数据之后，还包括：

S40、根据所述获取通过质量检查的时空大数据的特征创建数据库；其中，所述数据库包括：空间数据库、时空数据缓存数据库、时空关系元数据库、时空索引库。

在某一具体实施例中，根据不同时空数据的特征创建适宜的数据库，如空间数据库、时空数据缓存数据库、时空关系元数据库、时空索引库等。数据入库过程中更新元数据并做数据质量检查，检查不通过则再次回到数据处理环节。

在某一具体实施方式中，所述获取通过质量检查的时空大数据之后，还包括：

S50、通过大数据技术将时空数据进行开发实现时空微服务。

在某一具体实施例中，使用SpringCloud微服务技术，hadoop、spark2等大数据技术，将时空数据分类开发时空微服务。如基础地图服务、地址正逆向编码服务、信息点查询服务、坐标转换服务、专题图服务等等，服务的开发是提供时空大数据共享的关键通道。

在某一具体实施例中，还包括：输出质量报告。

数据治理后期，自动对数据的全数据链进行回溯式质量检查，并对检查结果进行分级分类，并做好统计，形成数值质量报告后输出。

在某一具体实施例中，还包括：数据质量预警

针对输出的质量报告，按照预警机制进行系统预警页面、短信、质检移动应用等多途径进行预警，实时将数据质量问题反馈给责任人。

本发明提供的一种基于元数据辅助治理的时空大数据的质量检查的方法，实现了：

1、全面系统检查数据质量

元数据贯彻时空大数据的数据治理全生命周期，且根据数据治理过程按需动态调整，保持数据本身的描述准确、系统。

2、快速扩展质量检查规则

本发明构建了一套模块化的质量检查规则扩展方法，可通过质量检查系统快速扩展新的规则。

3、自动检查实时推送预警

本发明制定了一套元数据标准和质量检查规则标准，并依据标准构建了一个面向时空大数据的自动化数据质量检查工具，出现质量问题可实时预警，提高数据质量检查效率和问题反馈速度，为时空数据的质量做好保障。

第二方面。

请参阅图6-11，本发明一实施例提供一种基于元数据辅助治理的时空大数据的质量检查的系统，包括：

数据获取模块10，用于获取时空大数据；其中，所述获取时空大数据的方法包括：通过传统测绘手段采集时空大数据、通过物联网的传感器设备采集时空大数据、通过爬虫方式采集互联网中提供的时空大数据。

元数据治理支撑库建立模块20，用于根据获取到的时空大数据建立元数据治理支撑库，以存储所述时空大数据的数据来源、数据质量、数据归属、坐标系及空间信息。

质检模块30，用于根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，获取通过质量检查的时空大数据。

在某一具体实施方式中，所述质检模块30，包括：

质检规则选用子模块31，用于根据存储于元数据治理支撑库中的时空大数据类型选用质检规则，并对所述元数据治理支撑库中新增的数据进行数据检查。

质量问题标识子模块32，用于根据质检项的检查结果和对应质量指标等级对数据质量问题进行标识。

在某一句具体实施方式中，所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，还包括：质检规则制定模块40，用于制定质检规则；具体地，所述质检规则包括：元数据质检规则、属性质检规则及空间质检规则。

在某一具体实施方式中，所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，还包括：

数据库创建模块50，用于根据所述获取通过质量检查的时空大数据的特征创建数据库；其中，所述数据库包括：空间数据库、时空数据缓存数据库、时空关系元数据库、时空索引库。

在某一具体实施方式中，所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，还包括：

开发模块60，用于通过大数据技术将时空数据进行开发实现时空微服务。

第三方面。

本发明提供了一种电子设备，该电子设备包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第一方面所示的一种基于元数据辅助治理的时空大数据的质量检查的方法对应的操作。

在一个可选实施例中提供了一种电子设备，如图12所示，图12所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。

处理器5001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI总线或EISA总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器5003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器5003用于存储执行本申请方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

第四方面。

本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的一种基于元数据辅助治理的时空大数据的质量检查的化方法

本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

Claims (10)

1.一种基于元数据辅助治理的时空大数据的质量检查的方法，其特征在于，包括：

获取时空大数据；其中，所述获取时空大数据的方法包括：通过传统测绘手段采集时空大数据、通过物联网的传感器设备采集时空大数据、通过爬虫方式采集互联网中提供的时空大数据；

根据获取到的时空大数据建立元数据治理支撑库，以存储所述时空大数据的数据来源、数据质量、数据归属、坐标系及空间信息；

根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，获取通过质量检查的时空大数据。

2.如权利要求1所述的一种基于元数据辅助治理的时空大数据的质量检查的方法，其特征在于，所述根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查之前，还包括：制定质检规则；具体地，所述质检规则包括：元数据质检规则、属性质检规则及空间质检规则。

3.如权利要求1所述的一种基于元数据辅助治理的时空大数据的质量检查的方法，其特征在于，所述根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，包括：

根据存储于元数据治理支撑库中的时空大数据类型选用质检规则，并对所述元数据治理支撑库中新增的数据进行数据检查；

根据质检项的检查结果和对应质量指标等级对数据质量问题进行标识。

4.如权利要求1所述的一种基于元数据辅助治理的时空大数据的质量检查的方法，其特征在于，所述获取通过质量检查的时空大数据之后，还包括：

根据所述获取通过质量检查的时空大数据的特征创建数据库；其中，所述数据库包括：空间数据库、时空数据缓存数据库、时空关系元数据库、时空索引库。

5.如权利要求1所述的一种基于元数据辅助治理的时空大数据的质量检查的方法，其特征在于，所述获取通过质量检查的时空大数据之后，还包括：

通过大数据技术将时空数据进行开发实现时空微服务。

6.一种基于元数据辅助治理的时空大数据的质量检查的系统，其特征在于，包括：

数据获取模块，用于获取时空大数据；其中，所述获取时空大数据的方法包括：通过传统测绘手段采集时空大数据、通过物联网的传感器设备采集时空大数据、通过爬虫方式采集互联网中提供的时空大数据；

元数据治理支撑库建立模块，用于根据获取到的时空大数据建立元数据治理支撑库，以存储所述时空大数据的数据来源、数据质量、数据归属、坐标系及空间信息；

质检模块，用于根据质检规则对存储于元数据治理支撑库中的时空大数据进行质量检查，获取通过质量检查的时空大数据。

7.如权利要求6所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，其特征在于，还包括：质检规则制定模块，用于制定质检规则；具体地，所述质检规则包括：元数据质检规则、属性质检规则及空间质检规则。

8.如权利要求6所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，其特征在于，所述质检模块，包括：

质检规则选用子模块，用于根据存储于元数据治理支撑库中的时空大数据类型选用质检规则，并对所述元数据治理支撑库中新增的数据进行数据检查；

质量问题标识子模块，用于根据质检项的检查结果和对应质量指标等级对数据质量问题进行标识。

9.如权利要求6所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，其特征在于，还包括：

数据库创建模块，用于根据所述获取通过质量检查的时空大数据的特征创建数据库；其中，所述数据库包括：空间数据库、时空数据缓存数据库、时空关系元数据库、时空索引库。

10.如权利要求6所述的一种基于元数据辅助治理的时空大数据的质量检查的系统，其特征在于，还包括：

开发模块，用于通过大数据技术将时空数据进行开发实现时空微服务。

Images