CN113704234A - 基于大数据应用的数据质量检测方法及系统 - Google Patents

基于大数据应用的数据质量检测方法及系统 Download PDF

Info

Publication number
CN113704234A
CN113704234A CN202110837819.3A CN202110837819A CN113704234A CN 113704234 A CN113704234 A CN 113704234A CN 202110837819 A CN202110837819 A CN 202110837819A CN 113704234 A CN113704234 A CN 113704234A
Authority
CN
China
Prior art keywords
data
detected
quality detection
index
blood relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110837819.3A
Other languages
English (en)
Inventor
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202110837819.3A priority Critical patent/CN113704234A/zh
Publication of CN113704234A publication Critical patent/CN113704234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供一种基于大数据应用的数据质量检测方法及系统，该方法包括：获取开发作业的待检测数据；对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。本发明通过对开发作业产生的数据进行数据血缘分析，获取该数据在数据血缘关系中涉及到的写入表在预设数据质量检测指标库中对应的待检测指标，使得在开发作业运行后可以自动定位需要检测的写入表以及指标，从而简化了数据质量检测过程，大幅度的降低了维护成本。

Description

基于大数据应用的数据质量检测方法及系统
技术领域
本发明涉及数据质量检测技术领域，尤其涉及一种基于大数据应用的数据质量检测方法及系统。
背景技术
随着业务发展和数据量的增加，基于大数据应用的开发已成为应用开发常用的开发方式。当处理的数据量达到一定量级和系统的复杂度上升时，数据的唯一性、完整性和一致性等校验就开始受到关注，而通常做法是根据业务特点，额外开发作业报表或者检查任务，这样会比较费时费力。尤其是当前开发作业所涉及的报表，很多在几亿到几十亿的数据量之间，并且报表数量在不断增加。
现有方案通常是在每个数据处理或传输的作业后面，需要人工开发一个或多个校验相关数据质量指标的作业。由于每开发一个作业，就要再创建多个对应的质量检测作业，每多一个检测指标，就要额外处理一个作业，导致数据质量检测过程十分的繁琐，需要耗费大量的维护成本。
因此，现在亟需一种基于大数据应用的数据质量检测方法及系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种基于大数据应用的数据质量检测方法及系统。
本发明提供一种基于大数据应用的数据质量检测方法，包括：
获取开发作业的待检测数据；
对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；
根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；
根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
根据本发明提供的一种基于大数据应用的数据质量检测方法，所述对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系，包括：
基于所述开发作业和对应的元数据，对所述待检测数据进行数据血缘分析，得到所述待检测数据的数据生成链路；
根据所述数据生成链路和所述数据生成链路中涉及到的数据写入表，构建得到所述待检测数据的数据血缘关系。
根据本发明提供的一种基于大数据应用的数据质量检测方法，所述根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标，包括：
根据所述数据血缘关系，得到所述待检测数据在数据血缘关系中的每个数据写入表，并获取每个数据写入表中的预设检测字段；
根据所述预设检测字段和所述预设指标库，生成每个数据写入表对应的检测指标，所述检测指标包括完整性指标、规范性指标、一致性指标、准确性指标、唯一性指标、关联性指标和安全性指标。
根据本发明提供的一种基于大数据应用的数据质量检测方法，所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测，包括：
若所述开发作业为离线作业，则通过Spark，根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
根据本发明提供的一种基于大数据应用的数据质量检测方法，所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测，包括：
若所述开发作业为实时作业，则通过Flink，根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
根据本发明提供的一种基于大数据应用的数据质量检测方法，在所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测之后，所述方法还包括：
将每个数据写入表对应的数据质量检测结果，写入时序数据库中进行存储。
根据本发明提供的一种基于大数据应用的数据质量检测方法，在所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测之后，所述方法还包括：
获取每个数据写入表对应的数据质量检测结果；
根据所述数据质量检测结果和预设告警阈值，生成对应的告警信息；
通过显示终端，将所述数据质量检测结果和所述告警信息进行展示。
本发明还提供一种基于大数据应用的数据质量检测系统，包括：
数据获取模块，用于获取开发作业的待检测数据；
数据血缘解析模块，用于对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；
检测指标映射模块，用于根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；
数据质量检测模块，用于根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于大数据应用的数据质量检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于大数据应用的数据质量检测方法的步骤。
本发明提供的基于大数据应用的数据质量检测方法及系统，通过对开发作业产生的数据进行数据血缘分析，获取该数据在数据血缘关系中涉及到的写入表在预设数据质量检测指标库中对应的待检测指标，使得在开发作业运行后可以自动定位需要检测的写入表以及指标，从而简化了数据质量检测过程，大幅度的降低了维护成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于大数据应用的数据质量检测方法的流程示意图；
图2为本发明提供的基于大数据应用的数据质量检测系统的结构示意图；
图3为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的基于大数据应用的数据质量检测方法的流程示意图，如图1所示，本发明提供了一种基于大数据应用的数据质量检测方法，包括：
步骤101，获取开发作业的待检测数据。
在本发明中，待开发作业可以是离线作业，也可以是实时作业，针对不同类型的程序，后续步骤通过不同的方式进行数据质量检测。
步骤102，对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系。
在本发明中，在每一开发作业环节中，数据在每时每刻产生，这些数据又经过各种加工组合和转换，又会产生新的数据，这些数据之间就存在着天然的联系，这些联系称为数据血缘关系。而大数据的数据血缘关系是指数据产生的链路，即某个开发作业产生的数据是怎么来的，以及经过了哪些过程和阶段。
具体地，在上述实施例的基础上，所述对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系，包括：
基于所述开发作业和对应的元数据，对所述待检测数据进行数据血缘分析，得到所述待检测数据的数据生成链路；
根据所述数据生成链路和所述数据生成链路中涉及到的数据写入表，构建得到所述待检测数据的数据血缘关系。
在本发明中，基于开发作业对应的元数据进行数据血缘分析，由于元数据是用于描述其它数据，通过元数据，在开发作业产生数据之后，可以获取得到产生这些数据的交互过程中全部信息，从而根据这些信息对数据进行追溯，得到生成该数据所对应的链路，即数据生成链路。进一步地，在得到某个数据的数据生成链路之后，基于该链路追溯这个数据涉及到的数据写入表，例如，数据A是通过数据B和数据C生成的，数据B来自数据写入表1中，数据C来自数据写入表2，而数据B又是通过数据D转换得到的，数据D来自数据写入表3，此时数据A的数据血缘关系涉及到数据写入表1、数据写入表2和数据写入表3，从而得到该数据的数据血缘关系。
步骤103，根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标。
在本发明中，在每个作业运行之后，根据数据血缘分析得到该开发作业涉及的数据写入表，从预设指标库中获取对应的待检测指标，从而根据该待检测指标，对开发作业产生的数据进行质量检测。
具体地，所述根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标，包括：
根据所述数据血缘关系，得到所述待检测数据在数据血缘关系中的每个数据写入表，并获取每个数据写入表中的预设检测字段；
根据所述预设检测字段和所述预设指标库，生成每个数据写入表对应的检测指标，所述检测指标包括完整性指标、规范性指标、一致性指标、准确性指标、唯一性指标、关联性指标和安全性指标。
在本发明中，针对数据血缘关系中每个数据写入表的数据的属性(可通过元数据获取得到)，为每个数据写入表设置了预设检测字段，例如，数据写入表是涉及网上购物支付的，则将数据写入表中某一段涉及支付的字段作为预设检测字段，而该预设检测字段在预设指标库会有对应的检测指标(预设指标库在前期构建，可基于样本数据写入表及其对应的检测字段构建)，即通过预设检测字段与检测指标之间的映射关系，从预设指标库中获取该数据写入表后续步骤将要进行的质量检测，如准确性指标检测和安全性指标检测。
步骤104，根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
在本发明中，根据开发作业的类型进行质量检测，当离线作业运行结束后，自动运行相关指标的检测程序；如果是实时程序，则自动进行实时指标检测，从而极大的降低了维护成本，可以让开发人员更早的了解到质量检测结果，更清晰的查看检测情况。
具体地，若所述开发作业为离线作业，则通过Spark，根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测，其中，Spark是一种为大规模数据处理而设计的快速通用的计算引擎，该计算引擎启用了内存分布数据集，除了能够提供交互式查询外，还可以优化迭代工作负载；
若所述开发作业为实时作业，则通过Flink，根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测，其中，Flink是一种分布式流数据流引擎，该引擎以数据并行和流水线方式执行任意流数据程序，当Flink的流水线运行时，系统可以执行批处理和流处理程序。
本发明提供的基于大数据应用的数据质量检测方法，通过对开发作业产生的数据进行数据血缘分析，获取该数据在数据血缘关系中涉及到的写入表在预设数据质量检测指标库中对应的待检测指标，使得在开发作业运行后可以自动定位需要检测的写入表以及指标，从而简化了数据质量检测过程，大幅度的降低了维护成本。
在上述实施例的基础上，在所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测之后，所述方法还包括：
将每个数据写入表对应的数据质量检测结果，写入时序数据库中进行存储。
在上述实施例的基础上，在所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测之后，所述方法还包括：
获取每个数据写入表对应的数据质量检测结果；
根据所述数据质量检测结果和预设告警阈值，生成对应的告警信息。
在本发明中，若所述数据质量检测结果小于等于预设告警阈值，则生成该检测结果对应的告警信息，并通过显示终端进行展示，例如，在进行完整性指标检测时，数据质量检测结果表示该数据写入表中的数据完整性为95％，而预设告警阈值为96％，则判断该数据写入表完整性的质量检测不通过，生成告警信息。
通过显示终端，将所述数据质量检测结果和所述告警信息进行展示。
在本发明中，开发人员可通过用浏览器或其他客户端，查看数据质量检测的实时报表和曲线图。
图2为本发明提供的基于大数据应用的数据质量检测系统的结构示意图，如图2所示，本发明提供了一种基于大数据应用的数据质量检测系统，包括数据获取模块201、数据血缘解析模块202、检测指标映射模块203和数据质量检测模块204，其中，数据获取模块201用于获取开发作业的待检测数据；数据血缘解析模块202用于对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；检测指标映射模块203用于根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；数据质量检测模块204用于根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
本发明提供的基于大数据应用的数据质量检测系统，通过对开发作业产生的数据进行数据血缘分析，获取该数据在数据血缘关系中涉及到的写入表在预设数据质量检测指标库中对应的待检测指标，使得在开发作业运行后可以自动定位需要检测的写入表以及指标，从而简化了数据质量检测过程，大幅度的降低了维护成本。
本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图3为本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(CommunicationsInterface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行基于大数据应用的数据质量检测方法，该方法包括：获取开发作业的待检测数据；对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；根据所述待检测指标，对每个数据写入表中的内容进行数据质量检测。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于大数据应用的数据质量检测方法，该方法包括：获取开发作业的待检测数据；对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于大数据应用的数据质量检测方法，该方法包括：获取开发作业的待检测数据；对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于大数据应用的数据质量检测方法，其特征在于，包括：
获取开发作业的待检测数据；
对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；
根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；
根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
2.根据权利要求1所述的基于大数据应用的数据质量检测方法，其特征在于，所述对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系，包括：
基于所述开发作业和对应的元数据，对所述待检测数据进行数据血缘分析，得到所述待检测数据的数据生成链路；
根据所述数据生成链路和所述数据生成链路中涉及到的数据写入表，构建得到所述待检测数据的数据血缘关系。
3.根据权利要求1所述的基于大数据应用的数据质量检测方法，其特征在于，所述根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标，包括：
根据所述数据血缘关系，得到所述待检测数据在数据血缘关系中的每个数据写入表，并获取每个数据写入表中的预设检测字段；
根据所述预设检测字段和所述预设指标库，生成每个数据写入表对应的检测指标，所述检测指标包括完整性指标、规范性指标、一致性指标、准确性指标、唯一性指标、关联性指标和安全性指标。
4.根据权利要求1所述的基于大数据应用的数据质量检测方法，其特征在于，所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测，包括：
若所述开发作业为离线作业，则通过Spark，根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
5.根据权利要求1所述的基于大数据应用的数据质量检测方法，其特征在于，所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测，包括：
若所述开发作业为实时作业，则通过Flink，根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
6.根据权利要求1所述的基于大数据应用的数据质量检测方法，其特征在于，在所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测之后，所述方法还包括：
将每个数据写入表对应的数据质量检测结果，写入时序数据库中进行存储。
7.根据权利要求1所述的基于大数据应用的数据质量检测方法，其特征在于，在所述根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测之后，所述方法还包括：
获取每个数据写入表对应的数据质量检测结果；
根据所述数据质量检测结果和预设告警阈值，生成对应的告警信息；
通过显示终端，将所述数据质量检测结果和所述告警信息进行展示。
8.一种基于大数据应用的数据质量检测系统，其特征在于，包括：
数据获取模块，用于获取开发作业的待检测数据；
数据血缘解析模块，用于对所述待检测数据进行数据血缘分析，获取所述待检测数据的数据血缘关系；
检测指标映射模块，用于根据所述数据血缘关系和预设指标库，得到所述待检测数据在数据血缘关系中的每个数据写入表，以及每个数据写入表对应的待检测指标；
数据质量检测模块，用于根据所述待检测指标，对每个数据写入表中的数据进行数据质量检测。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于大数据应用的数据质量检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于大数据应用的数据质量检测方法的步骤。
CN202110837819.3A 2021-07-23 2021-07-23 基于大数据应用的数据质量检测方法及系统 Pending CN113704234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110837819.3A CN113704234A (zh) 2021-07-23 2021-07-23 基于大数据应用的数据质量检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110837819.3A CN113704234A (zh) 2021-07-23 2021-07-23 基于大数据应用的数据质量检测方法及系统

Publications (1)

Publication Number Publication Date
CN113704234A true CN113704234A (zh) 2021-11-26

Family

ID=78650347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110837819.3A Pending CN113704234A (zh) 2021-07-23 2021-07-23 基于大数据应用的数据质量检测方法及系统

Country Status (1)

Country Link
CN (1) CN113704234A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117056109A (zh) * 2023-08-14 2023-11-14 上海南洋万邦软件技术有限公司 数据运维故障分析系统、方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117056109A (zh) * 2023-08-14 2023-11-14 上海南洋万邦软件技术有限公司 数据运维故障分析系统、方法

Similar Documents

Publication Publication Date Title
US11327935B2 (en) Intelligent data quality
CN107908550B (zh) 一种软件缺陷统计处理方法及装置
CN108052542B (zh) 一种基于presto的数据的多维数据的分析方法
CN113704234A (zh) 基于大数据应用的数据质量检测方法及系统
CN112540925A (zh) 新特性兼容性检测系统及方法、电子设备及可读存储介质
CN112613176A (zh) 慢sql语句预测方法及系统
CN110580170B (zh) 软件性能风险的识别方法及装置
CN112612810A (zh) 慢sql语句识别方法及系统
CN107273293B (zh) 大数据系统性能测试方法、装置及电子设备
CN117501275A (zh) 用于分析由大量单独消息组成的数据的方法、计算机程序产品和计算机系统
CN113051262A (zh) 一种数据质检方法、装置、设备及存储介质
CN109977104B (zh) 数据管理方法及装置
CN113742213A (zh) 一种用于数据分析的方法、系统和介质
CN113238908A (zh) 一种服务器性能测试数据分析方法及相关装置
US20210208998A1 (en) Function analyzer, function analysis method, and function analysis program
CN111400370A (zh) 数据流通中的数据监控方法及装置、存储介质、服务器
CN117112873B (zh) 基于代码注入的api爆破方法、装置、设备以及存储介质
CN108376119B (zh) 一种研发数据的可视化处理方法及装置
US11829336B1 (en) Systems and methods for automated data dictionary generation and validation
CN113901094B (zh) 一种数据处理方法、装置、设备及存储介质
CN112307050A (zh) 一种重复关联计算的识别方法、装置及计算机系统
CN115934528A (zh) 应用性能分析方法、装置、设备、存储介质及程序产品
CN118035210A (zh) 数据库的数据字典管理方法、存储介质、设备及产品
CN114706878A (zh) 检查sql语句的方法及装置
CN115758135A (zh) 轨道交通信号系统功能需求追溯方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination