CN112749164A - 数据质量分析方法、装置及电子设备 - Google Patents
数据质量分析方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112749164A CN112749164A CN202011643824.2A CN202011643824A CN112749164A CN 112749164 A CN112749164 A CN 112749164A CN 202011643824 A CN202011643824 A CN 202011643824A CN 112749164 A CN112749164 A CN 112749164A
- Authority
- CN
- China
- Prior art keywords
- target
- database
- data quality
- quality analysis
- analysis rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种数据质量分析方法、装置及电子设备,涉及数据质量分析技术领域,包括:响应用户针对所述数据库的选择操作,将所述选择操作对应的数据库确定为目标数据库;获取所述目标数据库对应的目标分析规则集合;其中,所述目标分析规则集合包括至少一个数据质量分析规则;如果所述服务器与所述目标数据库通信连接正常,利用所述目标分析规则集合对所述目标数据库内存储的数据进行数据分析,得到数据质量分析结果。本发明可以有效提高数据质量。
Description
技术领域
本发明涉及数据质量分析技术领域,尤其是涉及一种数据质量分析方法、装置及电子设备。
背景技术
随着互联网技术的发展,各种数据库应运而生,解决了人们工作中的很多业务问题。在实际应用中,要针对不同的业务需求调用不同的数据库,由于数据库数量、种类繁多,这就会在数据使用过程中产生诸多问题。以金融行业为例,金融行业通常需要种类较多的数据库,在调度任务过程中,调用不同的数据库可能需要不同的语句,容易造成数据混乱,而且在使用数据的过程中,还会出现数据质量问题,从而影响工作进度。综上所述,目前对数据库数据调用比较混乱且易于出现数据质量问题,影响用户体验。
发明内容
有鉴于此,本发明的目的在于提供一种数据质量分析方法、装置及电子设备,可以有效提高数据质量。
第一方面,本发明实施例提供了一种数据质量分析方法,所述方法应用于服务器,所述服务器与至少一个数据库通信连接,包括:响应用户针对所述数据库的选择操作,将所述选择操作对应的数据库确定为目标数据库;获取所述目标数据库对应的目标分析规则集合;其中,所述目标分析规则集合包括至少一个数据质量分析规则;如果所述服务器与所述目标数据库通信连接正常,利用所述目标分析规则集合对所述目标数据库内存储的数据进行数据分析,得到数据质量分析结果。
在一种实施方式中,所述服务器中存储有多个数据质量分析规则;所述获取所述目标数据库对应的目标分析规则集合的步骤,包括:根据预先配置的数据库与数据质量分析规则之间的映射关系,确定所述目标数据库对应的目标分析规则集合;或,展示各个所述数据质量分析规则,将用户选择的多个数据质量分析规则确定为所述目标数据库对应的目标分析规则集合。
在一种实施方式中,在所述根据预先配置的数据库与数据质量分析规则之间的映射关系,确定所述目标数据库对应的目标分析规则集合的步骤之前,所述方法还包括:检测数据库与数据质量分析规则之间的映射关系是否更新;如果是,保存更新后的数据库与数据质量分析规则之间的映射关系。
在一种实施方式中,在所述利用所述目标分析规则集合对所述目标数据库内存储的数据进行数据分析,得到数据质量分析结果的步骤之前,所述方法还包括:获取任务执行信息;其中,所述任务执行信息包括离线执行和实时执行;通过预先配置的Spark引擎按照所述任务执行信息调用所述目标数据库。
在一种实施方式中,所述方法还包括:监听数据分析过程是否存在异常;如果是,生成第一异常链路日志,并展示所述第一异常链路日志。
在一种实施方式中,所述方法还包括:如果所述服务器与所述目标数据库通信连接异常,生成第二异常链路日志;保存所述第二异常链路日志,和/或,展示所述第二异常链路日志。
第二方面,本发明实施例提供了一种数据质量分析装置,所述装置应用于服务器,所述服务器与至少一个数据库通信连接,包括:目标数据库确定模块,用于响应用户针对所述数据库的选择操作,将所述选择操作对应的数据库确定为目标数据库;目标分析规则获取模块,用于获取所述目标数据库对应的目标分析规则集合;其中,所述目标分析规则集合包括至少一个数据质量分析规则;数据质量分析模块,如果所述服务器与所述目标数据库通信连接正常,用于利用所述目标分析规则集合对所述目标数据库内存储的数据进行数据分析,得到数据质量分析结果。
在一种实施方式中,所述服务器中存储有多个数据质量分析规则;目标分析规则获取模块,还用于:根据预先配置的数据库与数据质量分析规则之间的映射关系,确定所述目标数据库对应的目标分析规则集合;或,展示各个所述数据质量分析规则,将用户选择的多个数据质量分析规则确定为所述目标数据库对应的目标分析规则集合。
第三方面,本发明实施例还提供一种电子设备,包括存储器以及处理器;所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面和第二方面任一项所述的方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述第一方面和第二方面任一项所述的方法。
本发明实施例提供的一种数据质量分析方法及装置,首先响应用户针对数据库选择操作,将选择操作对应的数据库确定为目标数据库,然后获取与目标数据库对应的目标分析规则集合,其中,目标分析集合至少包括一个数据质量分析规则。如果服务器与目标数据库能够建立正常的连接,则利用目标分析规则对目标数据库内的数据进行数据分析,最后得到数据质量分析结果。上述方法能够在用户选择目标数据库后,利用获取到的目标分析规则集合对数据库中的数据进行质量分析,通过上述方法对目标数据库内的数据进行数据质量分析,不仅能够实现对数据库的统一调用管理,在一定程度上缓解了因调用语句不同导致的数据混乱,而且还可以对数据库中的数据进行质量分析,为用户提供较高质量的数据,从而有效提高用户体验。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据质量分析方法的流程示意图;
图2为本发明实施例提供的一种数据质量分析方法的应用示意图;
图3为本发明实施例提供的一种数据质量分析规则示意图;
图4发明实施例提供的一种数据质量分析装置的结构示意图;
图5本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,市面上的数据库的数量和种类很多,在实际工作需要中,技术人员会根据自身所需要的实现的业务功能不同,采取不同的方法对数据库进行调用,比如,可能会用编程语言或Hive SQL等不同方式,这就会产生数据库的调用混乱,缺乏统一管理。除此以外,在使用数据库中的数据时,经常会出现数据质量问题,为技术人员调用数据库带来了不便。基于此,本发明实施例提供了一种数据质量分析方法、装置及电子设备,可以有效提高数据质量。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种数据质量分析方法进行详细介绍,该方法应用于服务器,服务器与至少一个数据库通信连接,具体参见图1所示的一种数据质量分析方法的流程示意图,该方法主要包括以下步骤:
步骤S102,响应用户针对数据库的选择操作,将选择操作对应的数据库确定为目标数据库。在一种实施方式中,服务器设置web服务和后台服务,可以通过web服务展示各个数据库的标识,以供用户选择,并将用户选择的标识对应的数据库作为目标数据库。在实际应用中,用户可以根据不同的工作要求,选取不同的数据库,服务器响应用户选择数据库的操作,将相应数据库作为将要进行数据分析的目标数据库。
步骤S104,获取目标数据库对应的目标分析规则集合。其中,目标分析规则集合包括至少一个数据质量分析规则,数据质量分析规则可用于对目标数据库进行相应的质量分析,在实际应用中,数据质量分析规则可以根据用户不同工作需求进行相应调整,比如,空值检测、主键检测、平均值检测、最大值、最小值检测等。一般来说,需要为目标数据库设置至少一条数据质量分析规则。在一种实施方式中,后台服务可存储有各个目标数据库对应的至少一个数据质量分析规则,也可以获取用户自行选择所需的数据质量分析规则,由于数据质量分析规则可以根据实际需要进行调整,能够满足实际工作中不同用户的数据质量分析要求,从而可以提高数据质量,进而提高用户的工作效率。
步骤S106,如果服务器与目标数据库通信连接正常,利用目标分析规则集合对目标数据库内存储的数据进行数据分析,得到数据质量分析结果。在一种实施方式中,在进行数据分析之前,后台服务可预先判断服务器与目标数据库之间的通信连接是否正常,并在服务器与目标数据库正常通信连接的前提下根据目标分析规则集合对目标数据库内的数据进行数据质量分析,得到数据质量分析结果。为便于理解,假设目标分析规则集合包括空值检测规则和主键检测规则,则将分别利用空值检测规则和主键检测规则对目标数据库内的数据进行数据分析,得到空值检测结果和主键检测结果,该空值检测结果和主键检测结果即为上述数据质量分析结果。
本发明实施例提供的一种数据质量分析方法,主要包括WEB(World Wide Web,万维网)服务和后台服务,用户在WEB界面设置需要调用的数据库,并利用预先设置的数据质量分析规则对需要调用的数据库中的数据进行数据质量分析,最终将分析结果返回给用户,其中,在数据质量分析过程中存在报错也会及时返回给用户,本发明实施例通过上述方法可以根据用户实际工作不同需要,通过用户设置实现对数据库的统一调用,同时可以有效提高数据质量。
在一种实施方式中,服务器中存储有多个数据质量分析规则,基于此,对于前述步骤S104,本发明提供了一些获取目标数据库对应的目标分析规则集合的实施方式:(1)根据预先配置的数据库与数据质量分析规则之间的映射关系,确定目标数据库对应的目标分析规则集合,例如,预先配置数据库A对应空值检测规则和主键检测规则,数据库B对应平均值检测规则、最大值规则和最小值检测规则,假设用户选择数据库A作为目标数据库,则可直接获取空值检测规则和主键检测规则作为目标数据库A对应的目标分析规则集合;(2)展示各个数据质量分析规则,将用户选择的多个数据质量分析规则确定为目标数据库对应的目标分析规则集合,可选地,在WEB服务可以通过列表等形式展示各个数据质量分析规则,便于用户从中选择所需的数据质量分析规则,并将用户自主选择的数据质量分析规则组成目标数据库对应的目标分析规则集合。
考虑到后台服务存储的数据质量分析规则的实时性,在具体实现时,在根据预先配置的数据库与数据质量分析规则之间的映射关系,确定目标数据库对应的目标分析规则集合的步骤之前,还可以检测数据库与数据质量分析规则之间的映射关系是否更新,并在确认映射关系存在更新时保存更新后的数据库与数据质量分析规则之间的映射关系。确定数据库与数据质量分析规则之间的映射关系是否发生变化,如果二者间的映射关系发生变化,那么将发生变化后的映射关系作为新的映射关系进行更新,并保存将这种映射关系,以再后续质量分析过程中利用更新后的映射关系确定目标分析规则集合。
在实际应用中,WEB服务还可以供用户配置任务执行信息,以使后台服务获取任务执行信息,其中,任务执行信息包括离线执行和实时执行,然后通过预先配置的Spark引擎按照任务执行信息调用目标数据库。在具体实现时,如果服务器与目标数据库通信连接正常,解析此次数据分析任务,确定此次数据分任务为离线执行或实时执行,如果为离线执行,则确认需要需要调度并等待任务服务调用,如果为实时执行,则立即利用预先配置好的Spark引擎,执行把相关SQL(Structureed Query Language,结构化查询语言)打包成SparkSQL框架语义,以实现目标数据库调用。
此外,在数据分析过程中,还可以监听数据分析过程是否存在异常,如果是,生成第一异常链路日志,并展示第一异常链路日志。在执行数据质量分析任务时,还需要在执行任务的过程中进行监听,主要监听数据分析过程是否存在执行异常,在执行数据质量分析任务过程中存在异常时,根据异常地址和类型生成第一异常链路日志,并将第一异常链路日志展示给用户。在实际应用中,用户可以根据第一异常链路日志,确定第一异常发生的类型和地址,快速定位错误,提高系统维修效率。
进一步的,本发明实施例还提供了一种服务器与目标数据库通信连接异常时的实施方式,可以生成第二异常链路日志,并保存第二异常链路日志和/或展示第二异常链路日志。在进行数据质量分析之前,还需要对服务器和目标数据库之间的通信进行检测,如果服务器和目标数据库之间存在连接异常,那么根据异常地址和类型生成第二异常链路日志,并保存生成的第二异常链路日志,可选的,展示第二异常链路日志。在实际应用中,用户可以根据展示的第二异常链路日志定位发生错误的位置,以及错误类型,方便系统进行维护。
为便于对上述实施例提供的数据质量分析方法进行理解,本发明实施例提供了一种数据质量分析方法的应用实例,具体参见如图2所示的一种数据质量分析方法的应用示意图。
本应用实例提供的一种数据质量分析平台主要包括两大部分,WEB服务和后台服务,其中,WEB服务界面包括系统配置、数据质量模型定义和任务运行结果单元。后台服务包括系统管理层、数据质量定一层、数据质量分析层、执行引擎层、任务调度层和数据存储层。WEB服务界面能够提供系统配置服务,主要包括用户管理、Spark引擎对接、选择数据库、引用数据质量分析规则、执行任务调度等;系统管理层对用户进行管理,对用户进行角色划分,通过超级管理员配置数据库;数据质量定义层,对数据质量分析规则进行设置,示例性的,设置规则如表1所述,表1所示的数据质量分析规则都可以实现,图3给出了数据质量分析规则示意图,用户可以通过新增项目,自定义规则/添加规则模板(单表和跨表),发送任务调度,定义时间,通知结果。
表1
上述数据质量分析规则主要存储在元数据管理。除此以外,元数据管理还能存储于执行任务、用户相关的操作;数据质量分析层主要对数据的依赖性等问题进行检测,当检测到相关服务存在问题时,及时反馈给用户,同时,对数据质量定义层的数据质量分析规则进行监控,当数据质量分析规则发生变化时,及时更新并存储在元数据管理中,除此以外,还能对链路连接异常进行检测,并根据异常链路日志定位问题所在,并根据检查结果生成结果日志存储在元数据中;执行引擎层,数据质量分析层分析结果没有问题时,对所需要执行的任务进行解析,当需要立即执行时,立即执行任务调度,当需要定时执行时,等待相应时间执行;任务调度层主要接受任务请求,并根据请求确定立即执行或定时调度,并对执行过程进行监控,如果在执行期间报错,则利用数据质量分析层生成异常链路并将相关信息返回给用户;数据存储层主要存储相关的数据库。
综上所述,本发明实施例提供的数据质量分析方法通过对目标数据库和目标分析规则集合进行选择,并对根据目标分析规则集合对数据库中的数据进行质量分析,可以有效实现对数据库的统一管理,提高数据质量。本发明实施例提供更多的数据质量分析规则,可以跟大数据的数据场景完美融合使用,还可以实现异常数据管理,且还具有服务高可用、任务引擎支持等特点。
基于前述实施例所提供的数据质量分析的方法,本发明实施提供了一种数据质量分析装置,参见图4所示的一种数据质量分析装置的结构示意图,该装置应用于服务器,服务器与至少一个数据库通信连接,装置至少包括以下部分:
目标数据库确定模块402,用于响应用户针对数据库的选择操作,将选择操作对应的数据库确定为目标数据库。
目标分析规则获取模块404,用于获取目标数据库对应的目标分析规则集合;其中,目标分析规则集合包括至少一个数据质量分析规则。
数据质量分析模块406,如果服务器与目标数据库通信连接正常,用于利用目标分析规则集合对目标数据库内存储的数据进行数据分析,得到数据质量分析结果。
本发明实施例提供的上述数据质量分析装置,主要包括WEB(World Wide Web,万维网)服务和后台服务,用户在WEB界面设置需要调用的数据库,并利用预先设置的数据质量分析规则对需要调用的数据库中的数据进行数据质量分析,最终将分析结果返回给用户,其中,在数据质量分析过程中存在报错也会及时返回给用户,本发明实施例通过上述方法可以根据用户实际工作不同需要,通过用户设置实现对数据库的统一调用,同时可以有效提高数据质量。
在一种实施方式中,目标分析规则获取模块404还用于:根据预先配置的数据库与数据质量分析规则之间的映射关系,确定目标数据库对应的目标分析规则集合;或,展示各个数据质量分析规则,将用户选择的多个数据质量分析规则确定为目标数据库对应的目标分析规则集合。
在一种实施方式中,上述装置还包括检测更新模块,用于检测数据库与数据质量分析规则之间的映射关系是否更新;如果是,保存更新后的数据库与数据质量分析规则之间的映射关系。
在一种实施方式中,上述装置还包括数据库调用模块,获取任务执行信息;其中,任务执行信息包括离线执行和实时执行;用于通过预先配置的Spark引擎按照任务执行信息调用目标数据库。
在一种实施方式中,上述装置还包括监听模块,用于监听数据分析过程是否存在异常;如果是,生成第一异常链路日志,并展示第一异常链路日志。
在一种实施方式中,上述装置还包括通信异常检测模块,如果服务器与目标数据库通信连接异常,用于生成第二异常链路日志;保存第二异常链路日志,和/或,展示第二异常链路日志。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备,具体的,该电子设备包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图5本发明实施例提供的一种电子设备的结构示意图,该电子设备100包括:处理器50,存储器51,总线52和通信接口53,所述处理器50、通信接口53和存储器51通过总线52连接;处理器50用于执行存储器51中存储的可执行模块,例如计算机程序。
其中,存储器51可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器51用于存储程序,所述处理器50在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中,或者由处理器50实现。
处理器50可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51,处理器50读取存储器51中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种数据质量分析方法,其特征在于,所述方法应用于服务器,所述服务器与至少一个数据库通信连接,包括:
响应用户针对所述数据库的选择操作,将所述选择操作对应的数据库确定为目标数据库;
获取所述目标数据库对应的目标分析规则集合;其中,所述目标分析规则集合包括至少一个数据质量分析规则;
如果所述服务器与所述目标数据库通信连接正常,利用所述目标分析规则集合对所述目标数据库内存储的数据进行数据分析,得到数据质量分析结果。
2.根据权利要求1所述的方法,其特征在于,所述服务器中存储有多个数据质量分析规则;
所述获取所述目标数据库对应的目标分析规则集合的步骤,包括:
根据预先配置的数据库与数据质量分析规则之间的映射关系,确定所述目标数据库对应的目标分析规则集合;
或,展示各个所述数据质量分析规则,将用户选择的多个数据质量分析规则确定为所述目标数据库对应的目标分析规则集合。
3.根据权利要求2所述的方法,其特征在于,在所述根据预先配置的数据库与数据质量分析规则之间的映射关系,确定所述目标数据库对应的目标分析规则集合的步骤之前,所述方法还包括:
检测数据库与数据质量分析规则之间的映射关系是否更新;
如果是,保存更新后的数据库与数据质量分析规则之间的映射关系。
4.根据权利要求1所述的方法,其特征在于,在所述利用所述目标分析规则集合对所述目标数据库内存储的数据进行数据分析,得到数据质量分析结果的步骤之前,所述方法还包括:
获取任务执行信息;其中,所述任务执行信息包括离线执行和实时执行;
通过预先配置的Spark引擎按照所述任务执行信息调用所述目标数据库。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
监听数据分析过程是否存在异常;
如果是,生成第一异常链路日志,并展示所述第一异常链路日志。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述服务器与所述目标数据库通信连接异常,生成第二异常链路日志;
保存所述第二异常链路日志,和/或,展示所述第二异常链路日志。
7.一种数据质量分析装置,其特征在于,所述装置应用于服务器,所述服务器与至少一个数据库通信连接,包括:
目标数据库确定模块,用于响应用户针对所述数据库的选择操作,将所述选择操作对应的数据库确定为目标数据库;
目标分析规则获取模块,用于获取所述目标数据库对应的目标分析规则集合;其中,所述目标分析规则集合包括至少一个数据质量分析规则;
数据质量分析模块,如果所述服务器与所述目标数据库通信连接正常,用于利用所述目标分析规则集合对所述目标数据库内存储的数据进行数据分析,得到数据质量分析结果。
8.根据权利要求7所述的装置,其特征在于,所述服务器中存储有多个数据质量分析规则;目标分析规则获取模块,还用于:
根据预先配置的数据库与数据质量分析规则之间的映射关系,确定所述目标数据库对应的目标分析规则集合;
或,展示各个所述数据质量分析规则,将用户选择的多个数据质量分析规则确定为所述目标数据库对应的目标分析规则集合。
9.一种电子设备,其特征在于,包括存储器以及处理器;所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011643824.2A CN112749164A (zh) | 2020-12-30 | 2020-12-30 | 数据质量分析方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011643824.2A CN112749164A (zh) | 2020-12-30 | 2020-12-30 | 数据质量分析方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112749164A true CN112749164A (zh) | 2021-05-04 |
Family
ID=75649435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011643824.2A Pending CN112749164A (zh) | 2020-12-30 | 2020-12-30 | 数据质量分析方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112749164A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114637739A (zh) * | 2022-03-22 | 2022-06-17 | 平安国际融资租赁有限公司 | 数据库管控方法、系统、计算机设备及计算机存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109656917A (zh) * | 2018-12-18 | 2019-04-19 | 深圳前海微众银行股份有限公司 | 多数据源的数据检测方法、装置、设备及可读存储介质 |
CN109947746A (zh) * | 2017-10-26 | 2019-06-28 | 亿阳信通股份有限公司 | 一种基于etl流程的数据质量管控方法和系统 |
CN110472109A (zh) * | 2019-07-30 | 2019-11-19 | 深圳中科保泰科技有限公司 | 动态化数据质量分析方法及平台系统 |
CN111177134A (zh) * | 2019-12-26 | 2020-05-19 | 上海科技发展有限公司 | 适用于海量数据的数据质量分析方法、装置、终端及介质 |
CN111209538A (zh) * | 2020-01-03 | 2020-05-29 | 北京明略软件系统有限公司 | 一种表数据质量探查方法及装置 |
CN111737231A (zh) * | 2020-06-23 | 2020-10-02 | 平安普惠企业管理有限公司 | 数据库自动分析方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-30 CN CN202011643824.2A patent/CN112749164A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109947746A (zh) * | 2017-10-26 | 2019-06-28 | 亿阳信通股份有限公司 | 一种基于etl流程的数据质量管控方法和系统 |
CN109656917A (zh) * | 2018-12-18 | 2019-04-19 | 深圳前海微众银行股份有限公司 | 多数据源的数据检测方法、装置、设备及可读存储介质 |
CN110472109A (zh) * | 2019-07-30 | 2019-11-19 | 深圳中科保泰科技有限公司 | 动态化数据质量分析方法及平台系统 |
CN111177134A (zh) * | 2019-12-26 | 2020-05-19 | 上海科技发展有限公司 | 适用于海量数据的数据质量分析方法、装置、终端及介质 |
CN111209538A (zh) * | 2020-01-03 | 2020-05-29 | 北京明略软件系统有限公司 | 一种表数据质量探查方法及装置 |
CN111737231A (zh) * | 2020-06-23 | 2020-10-02 | 平安普惠企业管理有限公司 | 数据库自动分析方法、装置、计算机设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114637739A (zh) * | 2022-03-22 | 2022-06-17 | 平安国际融资租赁有限公司 | 数据库管控方法、系统、计算机设备及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11163731B1 (en) | Autobuild log anomaly detection methods and systems | |
US9122602B1 (en) | Root cause detection service | |
TWI650659B (zh) | 一種關聯信息查詢方法、終端及設備 | |
US11915156B1 (en) | Identifying leading indicators for target event prediction | |
US11544137B2 (en) | Data processing platform monitoring | |
US20090210360A1 (en) | Computing the values of configuration parameters for optimal performance of associated applications | |
CN109117141B (zh) | 简化编程的方法、装置、电子设备、计算机可读存储介质 | |
US11329869B2 (en) | Self-monitoring | |
WO2015167466A1 (en) | Query plan post optimization analysis and reoptimization | |
CN111737137B (zh) | 接口测试数据生成方法、装置、主机及存储介质 | |
US20210119899A1 (en) | Monitoring a distributed application server environment | |
US11625254B1 (en) | Interface for customizing dashboards based on parallel edges | |
US9706005B2 (en) | Providing automatable units for infrastructure support | |
US20220222266A1 (en) | Monitoring and alerting platform for extract, transform, and load jobs | |
US10802944B2 (en) | Dynamically maintaining alarm thresholds for software application performance management | |
US20100070893A1 (en) | Data quality administration framework | |
CN112749164A (zh) | 数据质量分析方法、装置及电子设备 | |
CN113535587A (zh) | 目标应用检测方法、装置及计算机设备 | |
CN113688602A (zh) | 一种任务处理方法以及装置 | |
CN107784043B (zh) | 数据仓库数据表的监控方法、装置及系统 | |
CN110231921B (zh) | 日志打印方法、装置、设备及计算机可读存储介质 | |
CN114816389B (zh) | 一种基于元模型的管理系统搭建方法、装置、设备及介质 | |
US10372513B2 (en) | Classification of application events using call stacks | |
CN112817922B (zh) | 日志动态打印方法、装置、计算机设备及存储介质 | |
US20190095509A1 (en) | Deriving dependency information from tracing data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |