CN113886370A - 数据质量核查校验系统、方法、计算机设备和存储介质 - Google Patents

数据质量核查校验系统、方法、计算机设备和存储介质 Download PDF

Info

Publication number
CN113886370A
CN113886370A CN202110972069.0A CN202110972069A CN113886370A CN 113886370 A CN113886370 A CN 113886370A CN 202110972069 A CN202110972069 A CN 202110972069A CN 113886370 A CN113886370 A CN 113886370A
Authority
CN
China
Prior art keywords
data
verification
module
task
checking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110972069.0A
Other languages
English (en)
Inventor
魏飞
陈鑫
陈娟
张兆杰
翟术然
卢静雅
吕伟嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Marketing Service Center of State Grid Tianjin Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Marketing Service Center of State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Tianjin Electric Power Co Ltd, Marketing Service Center of State Grid Tianjin Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110972069.0A priority Critical patent/CN113886370A/zh
Publication of CN113886370A publication Critical patent/CN113886370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • General Factory Administration (AREA)

Abstract

本发明涉及一种数据质量核查校验系统、方法、计算机设备和存储介质，包括能源数据校验模块、规则引擎计算模块和能源数据质量分析模块；其中：所述能源数据校验模块，用于采集能源计量数据采集终端输出的数据并进行校验，其输出端与规则引擎计算模块相连接；所述规则引擎计算模块，用于将校验后的数据进行分布式内存计算处理后输出规则引擎结果数据，其输出端与能源数据质量分析模块相连接；所述能源数据质量分析模块用于接收规则引擎计算模块输出的规则引擎结果数据，进行数据质量校验、统计、分析的处理后输出能源计量数据。本发明能够有效解决用电信息采集系统跨异构数据库质量校验问题，提升数据质量校核水平。

Description

数据质量核查校验系统、方法、计算机设备和存储介质
技术领域
本发明属于能源数据采集技术领域，尤其是一种数据质量核查校验系统、方法、计算机设备和存储介质。
背景技术
在大数据时代，数据已经成为电力行业的重要资产。基于电力行业用电数据重要性，数据质量就显得尤为重要，如果数据质量不如意，比如存在以下数据缺失、数据格式不规范、数据不一致、数据不准确、数据重复以及存在脏数据等各类情况，基于这类数据去做一些分析预测、辅助决策，不但没有任何益处，反而可能会造成更大的负面影响。
随着用电信息采集系统采集数据的持续增长以及电力对HPLC高频数据采集的工作要求，新一代用电采集系统通过创新的存储方式，采用Oracle热数据库与大数据平台Hbase冷数据存储相互结合的方式满足用电信息采集业务的实际需求，但现有的数据质量核查校验系统针对这种异构数据存在巨大的数据质量隐患。
发明内容
本发明的目的在于克服现有技术的不足，提出一种数据质量核查校验系统、方法、计算机设备和存储介质，能够确保异构数据库存储的数据质量水平。
本发明解决其现实问题是采取以下技术方案实现的：
一种数据质量核查校验系统，包括能源数据校验模块、规则引擎计算模块和能源数据质量分析模块；其中：
所述能源数据校验模块，用于采集能源计量数据采集终端输出的数据并进行校验，其输出端与规则引擎计算模块相连接；
所述规则引擎计算模块，用于将校验后的数据进行分布式内存计算处理后输出规则引擎结果数据，其输出端与能源数据质量分析模块相连接；
所述能源数据质量分析模块用于接收规则引擎计算模块输出的规则引擎结果数据，进行数据质量校验、统计、分析的处理后输出能源计量数据。
而且，所述能源数据校验模块包括校验规则管理模块、校验任务管理模块、校验模型管理模块和异常问题分析模块；
所述校验规则管理模块，用于配置和管理能源计量数据质量校验规则，并将校验任务下发至校验任务管理模块；
所述校验任务管理模块，用于根据校验规则管理模块下发的校验任务生成相应的检核任务数据文件，并将所生成的检核任务数据文件下发至校验模型管理模块；
所述校验模型管理模块，用于基于校验任务管理模块下发的检核任务数据文件通过校验模型对能源计量数据采集终端输出的数据进行校验管理，完成对能源计量数据采集终端输出的数据的校验，并将校验结果输出至规则引擎计算模块。
所述异常问题分析模块，用于对校验模型管理模块输出的校验结果进行异常分析，并将异常分析结果输出至规则引擎计算模块进行处理。
而且，所述校验任务管理模块包括：校验任务生成模块、校验任务调度模块和校验任务监控模块；
所述校验任务生成模块，用于根据校验规则管理模块下发的校验任务进行校验任务配置；
所述校验任务调度模块，用于根据校验任务的配置结果，生成相应的检核任务数据文件；
所述校验任务监控模块，用于当校验任务的配置结果或检核任务数据文件出现异常时，则根据异常处理规则进行处理。
而且，所述能源数据质量分析模块包括：数据校验分析模块、数据质量统计模块、报告生成模块和报告查询模块；
所述数据校验分析模块用于接收规则引擎结果数据，并对规则引擎结果数据的完整性进行检查；
所述数据质量统计模块用于对经过数据校验分析的规则引擎结果数据的分类及准确性进行统计分析，获得数据质量统计结果；
所述报告生成模块用于根据数据质量统计结果，生成数据质量统计分析报告；
所述报告查询模块用于查询质量统计分析报告。
一种数据质量核查校验方法，包括以下步骤：
采集能源计量数据采集终端输出的数据并进行校验；
将校验后的数据进行分布式内存计算处理后输出规则引擎结果数据；
对规则引擎结果数据，进行数据质量校验、统计、分析的处理后输出能源计量数据。
而且，所述采集能源计量数据采集终端输出的数据并进行校验的具体方法为：
配置和管理能源计量数据质量校验规则，并下发校验任务；
根据校验任务生成相应的检核任务数据文件；
基于检核任务数据文件通过校验模型对能源计量数据采集终端输出的数据进行校验管理，完成对能源计量数据采集终端输出的数据的校验，输出校验结果；
对校验结果进行异常分析，输出异常分析结果。
而且，所述根据校验任务生成相应的检核任务数据文件的具体方法为：
根据所下发的校验任务进行校验任务配置；
根据校验任务的配置结果，生成相应的检核任务数据文件；
当校验任务的配置结果或检核任务数据文件出现异常时，则根据异常处理规则进行处理。
而且，所述对规则引擎结果数据，进行数据质量校验、统计、分析的处理后输出能源计量数据的具体方法为：
对规则引擎结果数据的完整性进行检查；
对经过数据完整性检查的规则引擎结果数据的分类及准确性进行统计分析，获得数据质量统计结果；
根据数据质量统计结果，生成数据质量统计分析报告；
查询质量统计分析报告。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的一种数据质量核查校验方法的步骤。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种数据质量核查校验方法的步骤。
本发明的优点和有益效果：
1、本发明通过基于griffin的规则引擎模块，并将其迁移能源计量大数据平台中，利用spark技术替换原先依赖传统数据库引擎，以此提高能源计量数据校验性能，实现快速校验。本发明采用大数据计算Spark架构来构建规则引擎，提升数据质量校验的速度，进而能够有效解决用电信息采集系统跨异构数据库质量校验问题，提升数据质量校核水平。
2、本发明通过校验规则管理模块，提供丰富的校验规则，包括完整性校验、规范性校验、逻辑性校验、及时性校验、重复性校验、波动性校验、平衡性校验等校验规则。
附图说明
图1是本发明的系统组成图；
图2是本发明的处理流程图。
具体实施方式
以下结合附图对本发明实施例作进一步详述：
一种数据质量核查校验系统，如图1所示，包括能源数据校验模块、规则引擎计算模块和能源数据质量分析模块；其中：
所述能源数据校验模块，用于采集能源计量数据采集终端输出的数据并进行校验，其输出端与规则引擎计算模块相连接；
所述规则引擎计算模块，用于将校验后的数据进行分布式内存计算处理后输出规则引擎结果数据，其输出端与能源数据质量分析模块相连接；
所述能源数据质量分析模块用于接收规则引擎计算模块输出的规则引擎结果数据，进行数据质量校验、统计、分析的处理后输出高质量能源计量数据并保存数据质量的分析结果。
所述能源数据校验模块包括校验规则管理模块、校验任务管理模块、校验模型管理模块和异常问题分析模块；
所述校验规则管理模块，用于配置和管理能源计量数据质量校验规则，并将校验任务下发至校验任务管理模块；
所述校验任务管理模块，用于根据校验规则管理模块下发的校验任务生成相应的检核任务数据文件，并将所生成的检核任务数据文件下发至校验模型管理模块；
所述校验模型管理模块，用于基于校验任务管理模块下发的检核任务数据文件通过校验模型对能源计量数据采集终端输出的数据进行校验管理，完成对能源计量数据采集终端输出的数据的校验，并将校验结果输出至规则引擎计算模块。
所述异常问题分析模块，用于对校验模型管理模块输出的校验结果进行异常分析，并将异常分析结果输出至规则引擎计算模块进行重复处理。
所述校验任务管理模块包括：校验任务生成模块、校验任务调度模块和校验任务监控模块；
所述校验任务生成模块，用于根据校验规则管理模块下发的校验任务进行校验任务配置；
所述校验任务调度模块，用于根据校验任务的配置结果，生成相应的检核任务数据文件，并自动监测检核任务数据文件的触发事件，当满足检核任务数据文件的触发条件时，会自动执行相应的检核任务；
所述校验任务监控模块，用于当校验任务的配置结果或检核任务数据文件出现异常时，则根据异常处理规则进行处理。
所述能源数据质量分析模块包括：数据校验分析模块、数据质量统计模块、报告生成模块和报告查询模块；
所述数据校验分析模块用于接收规则引擎结果数据，并对规则引擎结果数据的完整性进行检查；
所述数据质量统计模块用于对经过数据校验分析的规则引擎结果数据的分类及准确性进行统计分析，获得数据质量统计结果；
所述报告生成模块用于根据数据质量统计结果，生成数据质量统计分析报告；
所述报告查询模块用于查询质量统计分析报告。
在本实施例中，所述能源数据校验模块的组成、功能和作用为：
校验模型管理模块，用于基于质量核查的校验模型管理，具体为：
能源计量异构存储数据质量校验模型由可以由一套实体表、一套规则组成，在定义质检方案时，就是基于校验模型进行制定，通过基于质量核查的校验模型管理，确保任务与任务之间相互独立、互不干扰，通过执行校验任务，可以得到能源计量数据质量校验结果，如问题数据明细信息、数据校验分析结果等。
校验规则管理模块，用于基于质量核查的校验规则管理，具体为：
提供能源计量数据质量校验规则的定义和管理，数据质量规则定义数据质量审核的业务逻辑，是数据质量审核和监控管理的基础。通过校验规则管理模块实现完整性评价、规范性评价、逻辑性评价、及时性评价、重复性评价、外键关联性、波动分析、平衡分析等多种评估方法。各评估方法均采用可视化界面，可轻松完成所有规则的建立。
校验任务管理模块，用于基于质量核查的校验任务管理，具体为：
校验任务管理是能源计量数据质量核查校验产品的核心，通过执行检核方法生成相应的检核结果问题数据文件，检核结果问题数据能够反映出能源计量数据质量问题。
该校验任务管理模块包括：
(1)校验任务生成模块
基于数据质量模型进行配置校验任务，设置任务的执行周期等。
(2)校验任务调度模块
校验任务调度程序将自动监测校验任务的触发事件，当满足任务触发条件时，会自动执行相应的质检任务。
(3)校验任务监控模块
校验任务监控，若校验任务出现异常，则会根据异常处理规则自动做出相应处理，比如重新执行质检任务，通知系统管理员来处理异常情况等措施。
在本实施例中，所述数据质量分析模块完成能源数据质量管理，其功能和作用为：
基于能源数据数据质量分析模块，对能源数据数据的规则引擎结果数据进行数据质量分析并和保存质量分析结果，包括对象名称、发生时间、违反规则、级别、状态等。针对检查产生的结果可通过界面、邮件、短信(需有短信设备)等方式告警，并可自动发起或人工发起问题处理流程。
生成能源计量数据质量报告是从数据期等多个业务角度出发，通过对能源数据质量管理各个环节累计的各种信息进行自动汇总、梳理、统计和分析，而生成图文综合分析报告。报告中提供了统计图、报表、文字描述等元素，助力完成能源数据质量管控。
一种数据质量核查校验方法，如图2所示，包括以下步骤：
采集能源计量数据采集终端输出的数据并进行校验；
所述采集能源计量数据采集终端输出的数据并进行校验的具体方法为：
将待检核数据质量的能源计量数据采集终端输出的数据注册到数据质量管理平台；
数据质量管理平台配置和管理能源计量数据质量校验规则，并下发校验任务；
在本实施例中，配置校验规则，从数据质量维度(精确度、完整性、及时性、唯一性等)来配置校验规则。
根据校验任务生成相应的检核任务数据文件；
基于检核任务数据文件通过校验模型对能源计量数据采集终端输出的数据进行校验管理，完成对能源计量数据采集终端输出的数据的校验，输出校验结果；
对校验结果进行异常分析，输出异常分析结果至输出至规则引擎计算模块进行重复处理。
在本实施例中，所述通过校验模型对能源计量数据采集终端输出的数据进行校验管理的方法为：
其中校验模型采取循环冗余校验，利用除数以及余数的原理进行错误检测，将接收到的码组进行除法运算，如果除尽，则说明传输无误；如果未除尽，则表明传输出现差错。若设码字长度为N，信息字段为K位，校验字段为R位(N＝K+R)，则对于CRC码集中的任一码字，存在且仅存在一个R次多项式g(x)，使得
V(x)＝A(x)g(x)＝xRm(x)+r(x)；
其中:m(x)为K次信息多项式，r(x)为R-1次校验多项式，
g(x)称为生成多项式：
g(x)＝g0+g1x+g2x2+...+g(R-1)x(R-1)+gRxR
发送方通过指定的g(x)产生CRC码字，接收方则通过该g(x)来验证收到的CRC码字。
将校验后的数据输出至规则引擎计算spark集群进行分布式内存计算处理后输出规则引擎结果数据。
其中，Spark架构原理,其中主要包括五个组件：Driver(驱动组件)、Master(控制组件)、Worker(工作组件)、Executor(执行组件)和Task(任务组件)。
1、Driver进程启动之后，会进行一些初始化的操作，在这个过程中，会发送请求到master
2、Master，接收到Driver的注册之后，发送请求给Worker,进行资源的调度和分配，也就是Executor的分配
3、Worker接收到master的请求，启动Executor
4、Executor启动之后，会向Driver进行反注册
5、Driver注册了Executor之后，正式开始执行Spark程序，首先读取数据源，创建RDD
6、HDFS文件被读取到多个Worker节点，形成RDD
7、在worker上生成RDD之后，Driver会根据我们对RDD定义的操作，提交相应数量的Task到Executor上。
将规则引擎结果数据进行数据质量校验、统计、分析的处理后输出高质量能源计量数据并保存数据质量的核查校验结果。
在门户界面上查看能源计量异构存储数据质量核查校验结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种数据质量核查校验系统，其特征在于：包括能源数据校验模块、规则引擎计算模块和能源数据质量分析模块；其中：
所述能源数据校验模块，用于采集能源计量数据采集终端输出的数据并进行校验，其输出端与规则引擎计算模块相连接；
所述规则引擎计算模块，用于将校验后的数据进行分布式内存计算处理后输出规则引擎结果数据，其输出端与能源数据质量分析模块相连接；
所述能源数据质量分析模块用于接收规则引擎计算模块输出的规则引擎结果数据，进行数据质量校验、统计、分析的处理后输出能源计量数据。
2.根据权利要求1所述的一种数据质量核查校验系统，其特征在于：所述能源数据校验模块包括校验规则管理模块、校验任务管理模块、校验模型管理模块和异常问题分析模块；
所述校验规则管理模块，用于配置和管理能源计量数据质量校验规则，并将校验任务下发至校验任务管理模块；
所述校验任务管理模块，用于根据校验规则管理模块下发的校验任务生成相应的检核任务数据文件，并将所生成的检核任务数据文件下发至校验模型管理模块；
所述校验模型管理模块，用于基于校验任务管理模块下发的检核任务数据文件通过校验模型对能源计量数据采集终端输出的数据进行校验管理，完成对能源计量数据采集终端输出的数据的校验，并将校验结果输出至规则引擎计算模块。
所述异常问题分析模块，用于对校验模型管理模块输出的校验结果进行异常分析，并将异常分析结果输出至规则引擎计算模块进行处理。
3.根据权利要求1所述的一种数据质量核查校验系统，其特征在于：所述校验任务管理模块包括：校验任务生成模块、校验任务调度模块和校验任务监控模块；
所述校验任务生成模块，用于根据校验规则管理模块下发的校验任务进行校验任务配置；
所述校验任务调度模块，用于根据校验任务的配置结果，生成相应的检核任务数据文件；
所述校验任务监控模块，用于当校验任务的配置结果或检核任务数据文件出现异常时，则根据异常处理规则进行处理。
4.根据权利要求1所述的一种数据质量核查校验系统，其特征在于：所述能源数据质量分析模块包括：数据校验分析模块、数据质量统计模块、报告生成模块和报告查询模块；
所述数据校验分析模块用于接收规则引擎结果数据，并对规则引擎结果数据的完整性进行检查；
所述数据质量统计模块用于对经过数据校验分析的规则引擎结果数据的分类及准确性进行统计分析，获得数据质量统计结果；
所述报告生成模块用于根据数据质量统计结果，生成数据质量统计分析报告；
所述报告查询模块用于查询质量统计分析报告。
5.一种数据质量核查校验方法，其特征在于：包括以下步骤：
采集能源计量数据采集终端输出的数据并进行校验；
将校验后的数据进行分布式内存计算处理后输出规则引擎结果数据；
对规则引擎结果数据，进行数据质量校验、统计、分析的处理后输出能源计量数据。
6.根据权利要求5所述的一种数据质量核查校验方法，其特征在于：所述采集能源计量数据采集终端输出的数据并进行校验的具体方法为：
配置和管理能源计量数据质量校验规则，并下发校验任务；
根据校验任务生成相应的检核任务数据文件；
基于检核任务数据文件通过校验模型对能源计量数据采集终端输出的数据进行校验管理，完成对能源计量数据采集终端输出的数据的校验，输出校验结果；
对校验结果进行异常分析，输出异常分析结果。
7.根据权利要求5所述的一种数据质量核查校验方法，其特征在于：所述根据校验任务生成相应的检核任务数据文件的具体方法为：
根据所下发的校验任务进行校验任务配置；
根据校验任务的配置结果，生成相应的检核任务数据文件；
当校验任务的配置结果或检核任务数据文件出现异常时，则根据异常处理规则进行处理。
8.根据权利要求5所述的一种数据质量核查校验方法，其特征在于：所述对规则引擎结果数据，进行数据质量校验、统计、分析的处理后输出能源计量数据的具体方法为：
对规则引擎结果数据的完整性进行检查；
对经过数据完整性检查的规则引擎结果数据的分类及准确性进行统计分析，获得数据质量统计结果；
根据数据质量统计结果，生成数据质量统计分析报告；
查询质量统计分析报告。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求5至8中任一项所述的一种数据质量核查校验方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求5至8中任一项所述的一种数据质量核查校验方法的步骤。
CN202110972069.0A 2021-08-24 2021-08-24 数据质量核查校验系统、方法、计算机设备和存储介质 Pending CN113886370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110972069.0A CN113886370A (zh) 2021-08-24 2021-08-24 数据质量核查校验系统、方法、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110972069.0A CN113886370A (zh) 2021-08-24 2021-08-24 数据质量核查校验系统、方法、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113886370A true CN113886370A (zh) 2022-01-04

Family

ID=79011277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110972069.0A Pending CN113886370A (zh) 2021-08-24 2021-08-24 数据质量核查校验系统、方法、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113886370A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648337A (zh) * 2022-03-23 2022-06-21 中银金融科技有限公司 交易数据质量自动化分析方法及装置
CN115941712A (zh) * 2022-12-08 2023-04-07 中国平安财产保险股份有限公司 报送数据的处理方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648337A (zh) * 2022-03-23 2022-06-21 中银金融科技有限公司 交易数据质量自动化分析方法及装置
CN115941712A (zh) * 2022-12-08 2023-04-07 中国平安财产保险股份有限公司 报送数据的处理方法、装置、计算机设备及存储介质
CN115941712B (zh) * 2022-12-08 2024-04-26 中国平安财产保险股份有限公司 报送数据的处理方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
WO2020259392A1 (zh) 一种异常任务的根因任务确定方法及装置
CN110457294B (zh) 一种数据处理方法和装置
CN113886370A (zh) 数据质量核查校验系统、方法、计算机设备和存储介质
CN103246735A (zh) 一种异常数据处理方法及系统
CN107643983B (zh) 一种测试数据处理方法及系统
CN111459698A (zh) 一种数据库集群故障自愈方法及装置
CN104991853A (zh) 一种输出预警信息的方法和装置
CN108573029B (zh) 一种获取网络访问关系数据的方法、装置及存储介质
JP2016100006A (ja) パフォーマンス試験のためのベンチマーク・アプリケーションを生成する方法および装置
CN111400288A (zh) 数据质量检查方法及系统
CN112148779A (zh) 确定业务指标的方法、装置及存储介质
CN110888774A (zh) 基于hbase的大数据报表处理方法及装置
CN113590607A (zh) 一种基于报表因子的电力营销报表实现方法和系统
CN113918412A (zh) 一种实时异常日志分析方法及系统
CN113806343B (zh) 一种车联网数据质量的评估方法和系统
CN114064618A (zh) 数据质量评估方法和系统
CN115114266A (zh) 一种流批一体的数仓集成方法及系统
CN110633191B (zh) 实时监控软件系统业务健康度的方法和系统
CN112579699A (zh) 业务数据处理链路的质量监控方法、系统及存储介质
CN110570646B (zh) 一种基于历史数据的四遥信号验收方法及系统
CN112381583A (zh) 一种基于分布式内存计算技术的电力量费计算方法及装置
CN114155054A (zh) 一种基于kafka的大数据报表统计的测试方法及其系统
Li et al. Performance test and bottle analysis based on scientific research management platform
CN113094241A (zh) 一种实时程序准确性的确定方法、装置、设备及存储介质
CN115168297A (zh) 绕行日志审计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination