CN112579352A - 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统 - Google Patents

业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统 Download PDF

Info

Publication number
CN112579352A
CN112579352A CN202011465010.4A CN202011465010A CN112579352A CN 112579352 A CN112579352 A CN 112579352A CN 202011465010 A CN202011465010 A CN 202011465010A CN 112579352 A CN112579352 A CN 112579352A
Authority
CN
China
Prior art keywords
quality monitoring
data processing
data
processing flow
service data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011465010.4A
Other languages
English (en)
Inventor
高伟
李劲松
庞日海
丘志新
龙啸
吴冬铭
刘玉川
吴昊远
罗锦州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xin'an Data Co ltd
Original Assignee
Guangzhou Xin'an Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xin'an Data Co ltd filed Critical Guangzhou Xin'an Data Co ltd
Priority to CN202011465010.4A priority Critical patent/CN112579352A/zh
Publication of CN112579352A publication Critical patent/CN112579352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统，该方法包括如下步骤：获取业务数据处理链路中的多个数据处理流程节点；根据预设的质量监控规则对各个数据处理流程节点的不同特性进行多次监控，生成分别对应于各个数据处理流程节点的多个质量监控结果；获取各个质量监控结果所对应的数据处理流程节点及其特性；把在相同数据处理流程节点中反映相同特性的多个质量监控结果合并起来，生成对应于合并起来后的质量监控结果的字符，这样就缩减了对数据处理流程节点进行监控后所生成的字符数量，便于用户进行查看。

Description

业务数据处理链路的质量监控结果生成方法、存储介质及质 量监控系统
技术领域
本发明涉及数据处理技术领域，特别涉及业务数据处理链路的质量监控结果生成方法、、存储介质及质量监控系统。
背景技术
随着大数据时代的到来，企业、商家等系统用户可利用数据处理系统从其业务系统中获取大量的业务数据，再对这些业务数据进行分析从而得到有利于改进业务系统的信息。目前，数据处理系统通常预设有业务数据处理链路以对业务数据进行处理，使得用户能获取到业务数据进行分析，该业务数据处理链路主要包括以下四个数据处理流程节点：(1)将营销系统中的业务数据进行复制备份并实时同步到数据仓库中；(2)在特定的时间节点把数据仓库中的多个业务数据发送到大数据平台，形成业务数据表单；(3)在特定的时间节点把大数据平台中的业务数据表单同步到待发送数据中；(4)在特定的时间节点把大数据平台上的待发送数据发送到运监平台，使用户能利用运监平台上的业务数据表单对业务数据进行分析。
在上述业务数据处理链路中，若某个数据处理流程节点出现异常，则会影响到用户所获取到的业务数据，从而导致用户对业务数据进行分析得到的信息与实际情况有所偏差，因此通常需要利用预设的质量监控规则对各个数据处理流程节点进行监控生成多个质量监控结果，然后生成对应于各个质量监控结果的字符以供用户进行查看，但在各个数据处理流程节点中，通常会监控数据处理流程节点的不同特性，例如时效性、一致性等，甚至还会采用不同监控规则对同一个特性进行多次监控，因此会生成多个质量监控结果，从而导致最终生成的字符数量过多，不便于用户进行查看。
发明内容
本发明要解决的技术问题是如何缩减对数据处理流程节点进行监控后所生成的字符数量。
为解决上述技术问题，本发明提供一种业务数据处理链路的质量监控结果生成方法，包括如下步骤：
A.获取业务数据处理链路中的多个数据处理流程节点；
B.根据预设的质量监控规则对各个数据处理流程节点的不同特性进行多次监控，生成分别对应于各个数据处理流程节点的多个质量监控结果；
C.获取各个质量监控结果所对应的数据处理流程节点及其特性；
D.把在相同数据处理流程节点中反映相同特性的多个质量监控结果合并起来，生成对应于合并起来后的质量监控结果的字符。
优选地，还包括如下步骤：
E.排列所有字符形成质量指标字段，其中反映各个数据处理流程节点的相同特性的多个字符排在一起；
F.可视化输出所述质量指标字段给用户查看。
优选地，所述特性包括完整性、时效性、一致性和准确性当中的一项或多项。
优选地，在所述步骤E中，按照完整性、时效性、一致性和准确性的顺序依次排列对各个字符进行排列。
优选地，在所述步骤D中，若合并前的多个质量监控结果都是正常，则合并起来后的质量监控结果为正常，若合并前的多个质量监控结果中有一个以上是异常，则合并起来后的质量监控结果为异常。
优选地，在所述步骤D中，若合并起来后的质量监控结果为正常则所对应的字符为“1”，若合并起来后的质量监控结果为异常则所对应的字符为“0”。
优选地，所述多个数据处理流程节点包括：
将业务系统中的业务数据进行复制备份并实时同步到数据仓库中；
在特定的时间节点把数据仓库中的多个业务数据发送到大数据平台，形成业务数据表单；
在特定的时间节点把大数据平台中的业务数据表单同步到待发送数据中；
在特定的时间节点把大数据平台上的待发送数据发送到运监平台，使用户能利用运监平台上的业务数据表单对业务数据进行分析。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法中的步骤。
本发明还提供一种业务数据处理链路的质量监控系统，包括相互连接的计算机可读存储介质和处理器，计算机可读存储介质如上所述。
本发明具有以下有益效果：在获取到业务数据处理链路中的多个数据处理流程节点之后，先根据预设的质量监控规则对各个数据处理流程节点的不同特性进行多次监控，生成分别对应于各个数据处理流程节点的多个质量监控结果，再获取各个质量监控结果所对应的数据处理流程节点和特性，然后把在相同数据处理流程节点中反映相同特性的多个质量监控结果合并起来，生成对应于合并起来后的质量监控结果的字符，这样就缩减了对数据处理流程节点进行监控后所生成的字符数量，便于用户进行查看。
附图说明
图1是业务数据处理链路的质量监控结果生成方法的流程图；
图2是质量指标字段的示意图。
具体实施方式
企业、商家等系统用户为从业务系统中获取业务数据进行分析而采用的数据处理系统中，通常预设有业务数据处理链路对业务数据进行处理以便获取。以获取营销系统中的业务数据为例，业务数据处理链路主要包括以下四个数据处理流程节点：(1)利用OGG工具(数据实时同步软件)对营销系统中的业务数据进行复制备份并实时同步到数据仓库中；(2)在每月1日凌晨1点利用DATAX工具(异构数据源数据交换工具)把数据仓库中的多个业务数据发送到大数据平台，形成业务数据表单；(3)在每月1日凌晨4点利用数据沙箱把大数据平台中的业务数据表单同步到待发送数据中；(4)在每月1日凌晨6点利用DATAX工具把大数据平台上的待发送数据发送到运监平台，使用户能利用运监平台上的业务数据表单对业务数据进行分析。
在上述利用业务数据处理链路进行数据处理的过程中，利用业务数据处理链路的质量监控结果生成方法生成监控结果，再利用业务数据处理链路的质量监控方法进行质量监控，首先，获取业务数据处理链路中的四个数据处理流程节点，然后根据预设的质量监控规则对各个数据处理流程节点的完整性、时效性、一致性、准确性等特性进行监控，从而生成分别对应于各个数据处理流程节点的多个质量监控结果，再生成分别对应于各个质量监控结果的字符，具体详述如下。
在数据处理流程节点(1)中，根据预设的质量监控规则监控业务数据的完整性、时效性和一致性，具体地：
一、检查营销系统中的业务数据记录数与数据仓库中的业务数据记录数是否相等，若相等则意味着数据处理流程节点(1)的完整性正常，输出表示正常的字符“1”，若不相等则意味着数据处理流程节点(1)的完整性异常，输出表示异常的字符“0”；
二、检查营销系统中的业务数据的OGG复制进程状态是否正常，并检查营销系统中的业务数据的OGG复制进程时延是否正常，因为这两次检查的内容都能反映数据处理流程节点(1)的时效性，所以把这两次检查所得到的质量监控结果合并起来生成一个字符，这样就缩减了对数据处理流程节点(1)进行监控后所生成的字符数量，便于用户进行查看，具体地：若OGG复制进程状态和OGG复制进行时延都正常，则意味着数据处理流程节点(1)的时效性正常，故输出表示正常的字符“1”，若OGG复制进程状态和OGG复制进行时延中的其中一个或两个都异常，则意味着数据处理流程节点(1)的时效性异常，故输出表示异常的字符“0”；
三、抽查营销系统中反映用户用电量值的业务数据与数据仓库中反映用户用电量值的对应业务数据是否相等，若相等，则意味着数据处理流程节点(1)的一致性正常，故输出表示正常的字符“1”，若不相等，则意味着数据处理流程节点(1)的一致性异常，故输出表示异常的字符“0”。
在数据处理流程节点(2)中，根据预设的质量监控规则监控业务数据的完整性、时效性和一致性，具体地：
一、检查数据仓库中的业务数据记录数与大数据平台中的业务数据记录数是否相等，若相等则意味着数据处理流程节点(2)的完整性正常，输出表示正常的字符“1”，若不相等则意味着数据处理流程节点(2)的完整性异常，输出表示异常的字符“0”；
二、检查DATAX工具是否在1日凌晨3点前作业完成，在此过程中实际进行了两次检查，分别是检查DATAX工具是否作业完成、检查DATAX工具是否在1日凌晨3点前作业完成，但因为这两次检查的内容都能反映数据处理流程节点(2)的时效性，所以把这两次检查所得到的质量监控结果合并起来生成一个字符，这样就缩减了对数据处理流程节点(2)进行监控后所生成的字符数量，便于用户进行查看，具体地：若DATAX工具在1日凌晨3点前作业完成，则意味着数据处理流程节点(2)的时效性正常，故输出表示正常的字符“1”，若 DATAX工具作业未完成或在1日凌晨3点后才作业完成，则意味着数据处理流程节点(2) 的时效性异常，故输出表示异常的字符“0”。
三、抽查数据仓库中的某个业务数据的销量值与大数据平台中的对应业务数据的销量值是否相等，若相等，则意味着数据处理流程节点(2)的一致性正常，故输出表示正常的字符“1”，若不相等，则意味着数据处理流程节点(2)的一致性异常，故输出表示异常的字符“0”。
在数据处理流程节点(3)中，根据预设的质量监控规则监控业务数据的准确性和时效性，具体地：
一、检查大数据平台中的待发送数据指标是否在预定的取值范围内，并检查数据沙箱是否在数据处理流程节点(2)中的DATAX工具作业完成后才开始作业，若待发送数据指标在预定的取值范围内，且数据沙箱在处理流程节点(2)中的DATAX工具作业完成后才开始作业，则意味着数据处理流程节点(3)的准确性正常，故输出表示正常的字符“1”，若待发送数据指标不在预定的取值范围内，且/或数据沙箱在处理流程节点(2)中的DATAX工具作业完成之前就开始作业，则意味着数据处理流程节点(3)的准确性异常，故输出表示异常的字符“0”；
二、检查数据沙箱是否在1日凌晨6点前作业完成，在此过程中实际进行了两次检查，分别是检查数据沙箱是否作业完成、检查数据沙箱是否在1日凌晨6点前作业完成，但因为这两次检查的内容都能反映数据处理流程节点(3)的时效性，所以把这两次检查所得到的质量监控结果合并起来生成一个字符，这样就缩减了对数据处理流程节点(4)进行监控后所生成的字符数量，便于用户进行查看，具体地若数据沙箱在1日凌晨6点前作业完成，则意味着数据处理流程节点(2)的时效性正常，故输出表示正常的字符“1”，若数据沙箱作业未完成或在1日凌晨6点后才作业完成，则意味着数据处理流程节点(3)的时效性异常，故输出表示异常的字符“0”。
在数据处理流程节点(4)中，根据预设的质量监控规则监控业务数据的完整性、时效性和一致性，具体地：
一、检查大数据平台中的待发送数据记录数与运监平台中的业务数据记录数是否相等，若相等则意味着数据处理流程节点(4)的完整性正常，输出表示正常的字符“1”，若不相等则意味着数据处理流程节点(4)的完整性异常，输出表示异常的字符“0”；
二、检查DATAX工具是否在1日凌晨7点前作业完成，在此过程中实际进行了两次检查，分别是检查DATAX工具是否作业完成、检查DATAX工具是否在1日凌晨7点前作业完成，但因为这两次检查的内容都能反映数据处理流程节点(4)的时效性，所以把这两次检查所得到的质量监控结果合并起来生成一个字符，这样就缩减了对数据处理流程节点(4)进行监控后所生成的字符数量，便于用户进行查看，具体地：若DATAX工具在1日凌晨7点前作业完成，则意味着数据处理流程节点(4)的时效性正常，故输出表示正常的字符“1”，若 DATAX工具作业未完成或在1日凌晨7点后才作业完成，则意味着数据处理流程节点(4) 的时效性异常，故输出表示异常的字符“0”。
三、检查大数据平台中的业务数据指标与运监平台中的业务数据指标是否相等，若相等，则意味着数据处理流程节点(4)的一致性正常，故输出表示正常的字符“1”，若不相等，则意味着数据处理流程节点(4)的一致性异常，故输出表示异常的字符“0”。
在生成分别对应于各个数据处理流程节点的多个质量监控结果之后，结合所有能分别反映质量监控结果的多个字符形成质量指标字段并通过运监平台可视化输出给用户查看。为便于用户从质量指标字段中准确地得知存在异常的业务数据特性，质量监控系统先获取各个质量监控结果所对应的数据处理流程节点和特性，再把四个数据处理流程节点(1)、(2)、(3)、(4)中反映相同特性的质量监控结果排在一起以便用户对业务数据的特性进行查看分析，具体地，在质量指标字段中，把数据处理流程节点(1)、(2)、(4)的业务数据完整性质量监控结果所对应的字符排在第1至第3位，把数据处理数据处理流程节点(1)、(2)、(3)、(4) 的业务数据时效性质量监控结果所对应的字符排在第4至第7位，把数据处理流程节点(1)、 (2)、(4)的业务数据一致性质量监控结果所对应的字符排在第8至第10位，把数据处理流程节点(4)的业务数据准确性质量监控结果所对应的字符排在第11位。本实施例中，在数据处理流程节点(2)中，DATAX工具在1日凌晨3点后才作业完成，则意味着数据处理流程节点(2)的时效性异常，且在数据处理流程(3)中，数据沙箱在数据处理流程节点(2)中的DATAX工具作业完成之前就开始作业，则意味着数据处理流程节点(3)的准确性异常，而数据处理流程节点(1)、(2)、(3)、(4)的其他特性都正常，故质量指标字段就如图2所示为11110111110，用户根据该质量指标字段中第5位字符“0”就能准确得知数据处理流程节点(2)的时效性异常，根据该质量指标指端中低11位的字符“0”就能准确得知数据处理流程节点(3)的准确性出现异常，故用户不对运监平台上的业务数据进行分析，并对数据处理流程节点(2)中用到的DATAX工具和数据处理流程节点(3)中用到的数据沙箱进行排查修复处理，避免分析得到的信息与实际情况有所偏差。
本实施例中，业务数据处理链路的质量监控系统包括相互连接的计算机可读存储介质和处理器，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述的业务数据处理链路的业务数据处理链路的质量监控结果生成方法和质量监控方法。

Claims (9)

1.业务数据处理链路的质量监控结果生成方法，其特征是，包括如下步骤：
A.获取业务数据处理链路中的多个数据处理流程节点；
B.根据预设的质量监控规则对各个数据处理流程节点的不同特性进行多次监控，生成分别对应于各个数据处理流程节点的多个质量监控结果；
C.获取各个质量监控结果所对应的数据处理流程节点及其特性；
D.把在相同数据处理流程节点中反映相同特性的多个质量监控结果合并起来，生成对应于合并起来后的质量监控结果的字符。
2.根据权利要求1所述的质量监控结果生成方法，其特征是，还包括如下步骤：
E.排列所有字符形成质量指标字段，其中反映各个数据处理流程节点的相同特性的多个字符排在一起；
F.可视化输出所述质量指标字段给用户查看。
3.根据权利要求2所述的质量监控结果生成方法，其特征是，所述特性包括完整性、时效性、一致性和准确性当中的一项或多项。
4.根据权利要求3所述的质量监控结果生成方法，其特征是，在所述步骤E中，按照完整性、时效性、一致性和准确性的顺序依次排列对各个字符进行排列。
5.根据权利要求1所述的质量监控结果生成方法，其特征是，在所述步骤D中，若合并前的多个质量监控结果都是正常，则合并起来后的质量监控结果为正常，若合并前的多个质量监控结果中有一个以上是异常，则合并起来后的质量监控结果为异常。
6.根据权利要求5所述的质量监控结果生成方法，其特征是，在所述步骤D中，若合并起来后的质量监控结果为正常则所对应的字符为“1”，若合并起来后的质量监控结果为异常则所对应的字符为“0”。
7.根据权利要求1所述的质量监控结果生成方法，其特征是，所述多个数据处理流程节点包括：
将业务系统中的业务数据进行复制备份并实时同步到数据仓库中；
在特定的时间节点把数据仓库中的多个业务数据发送到大数据平台，形成业务数据表单；
在特定的时间节点把大数据平台中的业务数据表单同步到待发送数据中；
在特定的时间节点把大数据平台上的待发送数据发送到运监平台，使用户能利用运监平台上的业务数据表单对业务数据进行分析。
8.计算机可读存储介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法中的步骤。
9.业务数据处理链路的质量监控系统，包括相互连接的计算机可读存储介质和处理器，其特征是，计算机可读存储介质如权利要求8所述。
CN202011465010.4A 2020-12-14 2020-12-14 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统 Pending CN112579352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011465010.4A CN112579352A (zh) 2020-12-14 2020-12-14 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011465010.4A CN112579352A (zh) 2020-12-14 2020-12-14 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统

Publications (1)

Publication Number Publication Date
CN112579352A true CN112579352A (zh) 2021-03-30

Family

ID=75131889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011465010.4A Pending CN112579352A (zh) 2020-12-14 2020-12-14 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统

Country Status (1)

Country Link
CN (1) CN112579352A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124743A (zh) * 2021-11-16 2022-03-01 广东电网有限责任公司 一种数据应用全链路检查规则执行方法及系统
CN114490665A (zh) * 2022-02-11 2022-05-13 支付宝(杭州)信息技术有限公司 数据核查方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135395A (zh) * 2014-03-10 2014-11-05 腾讯科技（深圳）有限公司 Idc网络中数据传输质量监控方法和系统
CN104915756A (zh) * 2015-05-22 2015-09-16 电信科学技术第五研究所 数据一致性云稽核系统及实现方法
CN108170825A (zh) * 2018-01-05 2018-06-15 上海电气分布式能源科技有限公司 基于云平台的分布式能源数据监控清洗方法
CN109491990A (zh) * 2018-09-17 2019-03-19 武汉达梦数据库有限公司 一种检测数据质量的方法以及检测数据质量的装置
US20190149424A1 (en) * 2017-11-15 2019-05-16 APImetrics Inc. Continuous monitoring for performance evaluation of service interfaces
CN109933578A (zh) * 2019-03-21 2019-06-25 浪潮软件集团有限公司 一种可配置的自动化数据质量检查方法及系统
CN110008201A (zh) * 2019-04-09 2019-07-12 浩鲸云计算科技股份有限公司 一种面向大数据的数据质量稽核监控方法
CN110543483A (zh) * 2019-08-30 2019-12-06 北京百分点信息科技有限公司 一种数据稽核方法、装置及电子设备
CN111400288A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 数据质量检查方法及系统
CN111539633A (zh) * 2020-04-26 2020-08-14 北京思特奇信息技术股份有限公司 一种业务数据质量的稽核方法、系统、装置和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135395A (zh) * 2014-03-10 2014-11-05 腾讯科技（深圳）有限公司 Idc网络中数据传输质量监控方法和系统
CN104915756A (zh) * 2015-05-22 2015-09-16 电信科学技术第五研究所 数据一致性云稽核系统及实现方法
US20190149424A1 (en) * 2017-11-15 2019-05-16 APImetrics Inc. Continuous monitoring for performance evaluation of service interfaces
CN108170825A (zh) * 2018-01-05 2018-06-15 上海电气分布式能源科技有限公司 基于云平台的分布式能源数据监控清洗方法
CN109491990A (zh) * 2018-09-17 2019-03-19 武汉达梦数据库有限公司 一种检测数据质量的方法以及检测数据质量的装置
CN111400288A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 数据质量检查方法及系统
CN109933578A (zh) * 2019-03-21 2019-06-25 浪潮软件集团有限公司 一种可配置的自动化数据质量检查方法及系统
CN110008201A (zh) * 2019-04-09 2019-07-12 浩鲸云计算科技股份有限公司 一种面向大数据的数据质量稽核监控方法
CN110543483A (zh) * 2019-08-30 2019-12-06 北京百分点信息科技有限公司 一种数据稽核方法、装置及电子设备
CN111539633A (zh) * 2020-04-26 2020-08-14 北京思特奇信息技术股份有限公司 一种业务数据质量的稽核方法、系统、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王天博 等: "利用电力营销稽查监控管理模式提升数据质量的研究", 《东北电力技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124743A (zh) * 2021-11-16 2022-03-01 广东电网有限责任公司 一种数据应用全链路检查规则执行方法及系统
CN114124743B (zh) * 2021-11-16 2023-10-20 广东电网有限责任公司 一种数据应用全链路检查规则执行方法及系统
CN114490665A (zh) * 2022-02-11 2022-05-13 支付宝(杭州)信息技术有限公司 数据核查方法及装置

Similar Documents

Publication Publication Date Title
US7234131B1 (en) Peer review evaluation tool
CN112395325A (zh) 一种数据治理方法、系统、终端设备及存储介质
CN102571403B (zh) 通用数据质量管控适配器的实现方法和装置
CN106254093B (zh) 一种自动化测试修复方法及其系统
CN110088744B (zh) 一种数据库维护方法及其系统
CN109784758B (zh) 基于bim模型的工程质量监管预警系统和方法
CN112579352A (zh) 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统
CN111045935B (zh) 版本自动审核方法、装置、设备及存储介质
CN112579699A (zh) 业务数据处理链路的质量监控方法、系统及存储介质
EP3470988A1 (en) Method for replicating production behaviours in a development environment
CN105868956A (zh) 一种数据处理方法及装置
CN113242157A (zh) 一种分布式处理环境下的集中式数据质量监测方法
CN110188033B (zh) 数据检测装置、方法、计算机设备及计算机可读存储介质
CN115774707B (zh) 基于对象属性数据处理方法和装置、电子设备和存储介质
CN111858236A (zh) 知识图谱监控方法、装置、计算机设备及存储介质
CN114860851A (zh) 数据处理方法、装置、设备及存储介质
CN108345541A (zh) 一种程序检测方法及系统
CN113469559A (zh) 一种基于数据质量检查的质量位设计与展示方法及系统
CN110362464B (zh) 软件分析方法及设备
CN116010349B (zh) 基于元数据的数据检核方法和装置、电子设备和存储介质
CN114679487B (zh) 链路处理方法、装置、存储介质、处理器
CN114461622A (zh) 一种数据质量检验的方法及装置
CN118260140A (zh) 半导体设备的测试报告辅助生成系统、方法、介质和设备
CN118277493A (zh) 一种具有数据仓库的数字孪生平台
CN114461655A (zh) 数据一致性的检查方法及其装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330