CN110457153A - 数据校验处理方法及装置 - Google Patents

数据校验处理方法及装置 Download PDF

Info

Publication number
CN110457153A
CN110457153A CN201910650336.5A CN201910650336A CN110457153A CN 110457153 A CN110457153 A CN 110457153A CN 201910650336 A CN201910650336 A CN 201910650336A CN 110457153 A CN110457153 A CN 110457153A
Authority
CN
China
Prior art keywords
data
message queue
check
abnormal
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910650336.5A
Other languages
English (en)
Inventor
卢旭
钱辉
陆江
赵晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SF Intra City Technology Co Ltd
Original Assignee
Beijing SF Intra City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SF Intra City Technology Co Ltd filed Critical Beijing SF Intra City Technology Co Ltd
Priority to CN201910650336.5A priority Critical patent/CN110457153A/zh
Publication of CN110457153A publication Critical patent/CN110457153A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据校验处理方法及装置，其中，方法包括：将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；将所述消息队列中通过格式校验的数据发送给消费程序，以使消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。本发明实施例能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。

Description

数据校验处理方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据校验处理方法及装置。
背景技术
随着信息技术的飞速发展，越来越多领域均利用计算机程序对数据进行处理。
目前，现有的数据消费模型的结构如图1所示。由图1可知，现有的数据消费模型中，将数据源(可以有多个数据源)的数据加入消息队列，由消费程序对消息队列中的数据进行数据落地存储(即将数据存储到存储服务中)，供数据应用程序使用。
但是，现有的数据消费模型中，消费程序不会对数据源的数据进行严格校验，可能会有错误数据写入存储服务，造成数据应用程序服务异常；而且，现有的数据消费模型中的数据消费服务类似于黑盒，不能实时展现数据的消费情况。
发明内容
针对现有技术存在的问题，本发明实施例提供一种数据校验处理方法及装置。
本发明实施例提供一种数据校验处理方法，包括：
将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
可选地，在将数据源的数据加入消息队列之前，所述方法还包括：
预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。
可选地，所述根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理，包括：
根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理丢弃或者清洗数据。
可选地，所述数据校验处理方法还包括：
实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。
可选地，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例。
本发明实施例提供一种数据校验处理装置，应用于数据校验中台，包括：
校验模块，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
异常处理模块，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
发送模块，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
可选地，所述数据校验处理装置还包括：
配置模块，用于在将数据源的数据加入消息队列之前，预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。
可选地，所述数据校验处理装置还包括：
展示模块，用于实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。
本发明实施例提供的数据校验处理方法及装置，通过将数据源的数据加入消息队列，消费消息队列中每个数据源的数据，根据预先配置的数据的schema，对消息队列中的数据进行格式校验，根据预先配置的异常数据处理策略，对未通过格式校验的异常数据进行处理，将通过格式校验的数据发送给消费程序，以使消费程序将通过格式校验的数据落地存储到存储服务中，供数据应用程序使用，由此，能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有的数据消费模型的结构示意图；
图2为本发明一实施例提供的一种数据校验处理方法的流程示意图；
图3为本发明另一实施例提供的一种数据校验处理方法的流程示意图；
图4为本发明另一实施例提供的一种数据校验处理方法的流程示意图；
图5为本发明一实施例提供的一种数据校验处理装置的结构示意图；
图6为本发明另一实施例提供的一种数据校验处理装置的结构示意图；
图7为本发明另一实施例提供的一种数据校验处理装置的结构示意图；
图8利用包含本实施例数据校验处理装置的数据校验中台的数据消费模型的结构示意图；
图9为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2示出了本发明一实施例提供的一种数据校验处理方法的流程示意图，如图2所示，本实施例的数据校验处理方法，包括：
S1、将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的schema(模式)，对所述消息队列中的数据进行格式校验。
可以理解的是，在计算机领域，对于消息队列，把数据放到消息队列叫做生产，从消息队列里边取数据进行处理叫做消费，本实施例中的消费所述消息队列中每个数据源的数据，实际上是指从所述消息队列中依次取出每个数据源的数据进行处理的意思。
可以理解的是，对所述消息队列中的数据进行格式校验，就是校验所述消息队列中的数据的格式是否正确，若正确，则通过格式校验，若不正确，则未通过格式校验。
可以理解的是，schema，即XML schema(可扩展标记语言架构)，是以可扩展标记语言(标准通用标记语言的子集)为基础的，它用于可替代文档类型定义；一份XML schema文件描述了可扩展标记语言文档的结构。
在具体应用中，举例来说，所述数据源的数据的schema可以为Json(对象简谱)schema，可以用预先配置的每个数据源的数据的Json schema来进行json数据格式验证。
需要说明的是，本实施例所述方法的执行主体为数据校验中台。
可以理解的是，本实施例中，数据校验中台从所述消息队列中依次取出每个数据源的数据，根据预先配置的每个数据源的数据的schema，对每次取出的数据进行格式校验，校验取出的数据的格式是否正确，若正确，则取出的数据通过格式校验，若不正确，则取出的数据未通过格式校验。通过格式校验，能够检查出错误数据，防止后续错误数据写入存储服务而造成数据应用程序服务异常。
S2、根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理。
在具体应用中，本实施例可以根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据(即脏数据)进行处理丢弃或者清洗数据等，本实施例并不对其进行限制。
可以理解的是，根据所述异常数据处理策略，对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响。
S3、将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
可以理解的是，落地数据是被持久化的数据，这种数据一般放在硬盘或是其他的持久化存储设备里，数据不会瞬时消失。本实施例将通过格式校验的数据发送给消费程序后，消费程序将通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
可以理解的是，现有的数据消费模型中，是将数据源的数据加入消息队列，消费程序直接将消息队列中的数据落地存储到存储服务中供数据应用程序使用。而本实施例是利用预先配置的每个数据源的数据的schema和异常数据处理策略，对消息队列中的数据进行格式校验及异常数据处理，可管理异常数据的处理逻辑，避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。
本发明实施例提供的数据校验处理方法，通过将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的schema，对所述消息队列中的数据进行格式校验，根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理，将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用，由此，能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。
进一步地，可参考图3，在上述实施例的基础上，本实施例的数据校验处理方法，可以包括：
S0、预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。
可以理解的是，本实施例可以根据实际情况预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略，本实施例并不对其进行限制，以便后续根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，以及根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理。
S1、将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验。
S2、根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理。
S3、将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
本发明实施例通过根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，能够防止错误数据写入存储服务而造成数据应用程序服务异常；通过根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响。
进一步地，可参考图4，在上述实施例的基础上，本实施例的数据校验处理方法，可以包括：
S0、预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。
S1、将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验。
S2、根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理。
S3、将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
S4、实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。
可以理解的是，实时记录消费所述消息队列中数据的情况，实际是指实时记录从所述消息队列中依次取出每个数据源的数据进行(格式校验)处理的情况。
在具体应用中，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例等，本实施例并不对其进行限制。
可以理解的是，本实施例能够对数据消费情况进行统计，实时展现数据消费、异常数据占比等信息。
本发明实施例提供的数据校验处理方法，通过根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，能够防止错误数据写入存储服务而造成数据应用程序服务异常；通过根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响；而且还能够对数据消费情况进行统计，实时展现数据消费、异常数据占比等信息。
图5示出了本发明一实施例提供的一种数据校验处理装置的结构示意图，本实施例所述装置应用于数据校验中台，如图5所示，本实施例的数据校验处理装置，包括：所述校验模块51、异常处理模块52和发送模块53；其中：
所述校验模块51，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
所述异常处理模块52，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
所述发送模块53，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
具体地，所述校验模块51将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；所述异常处理模块52根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；所述发送模块53将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
可以理解的是，在计算机领域，对于消息队列，把数据放到消息队列叫做生产，从消息队列里边取数据进行处理叫做消费，本实施例中的消费所述消息队列中每个数据源的数据，实际上是指从所述消息队列中依次取出每个数据源的数据进行处理的意思。
可以理解的是，对所述消息队列中的数据进行格式校验，就是校验所述消息队列中的数据的格式是否正确，若正确，则通过格式校验，若不正确，则未通过格式校验。
可以理解的是，schema，即XML schema(可扩展标记语言架构)，是以可扩展标记语言(标准通用标记语言的子集)为基础的，它用于可替代文档类型定义；一份XML schema文件描述了可扩展标记语言文档的结构。
在具体应用中，举例来说，所述数据源的数据的schema可以为Json(对象简谱)schema，可以用预先配置的每个数据源的数据的Json schema来进行json数据格式验证。
可以理解的是，所述校验模块51从所述消息队列中依次取出每个数据源的数据，根据预先配置的每个数据源的数据的schema，对每次取出的数据进行格式校验，校验取出的数据的格式是否正确，若正确，则取出的数据通过格式校验，若不正确，则取出的数据未通过格式校验。通过格式校验，能够检查出错误数据，防止后续错误数据写入存储服务而造成数据应用程序服务异常。
在具体应用中，所述异常处理模块52可以根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据(即脏数据)进行处理丢弃或者清洗数据等，本实施例并不对其进行限制。
可以理解的是，根据所述异常数据处理策略，对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响。
可以理解的是，落地数据是被持久化的数据，这种数据一般放在硬盘或是其他的持久化存储设备里，数据不会瞬时消失。所述发送模块53将通过格式校验的数据发送给消费程序后，消费程序将通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
可以理解的是，现有的数据消费模型中，是将数据源的数据加入消息队列，消费程序直接将消息队列中的数据落地存储到存储服务中供数据应用程序使用。而本实施例是利用预先配置的每个数据源的数据的schema和异常数据处理策略，对消息队列中的数据进行格式校验及异常数据处理，可管理异常数据的处理逻辑，避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。
本发明实施例提供的数据校验处理装置，应用于数据校验中台，能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。
进一步地，可参考图6，在上述实施例的基础上，本实施例所述数据校验处理装置，可以包括：
配置模块50，用于在将数据源的数据加入消息队列之前，预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略；
校验模块51，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
异常处理模块52，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
发送模块53，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
可以理解的是，所述配置模块50可以根据实际情况预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略，本实施例并不对其进行限制，以便后续根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，以及根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理。
本发明实施例通过根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，能够防止错误数据写入存储服务而造成数据应用程序服务异常；通过根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响。
进一步地，可参考图7，在上述实施例的基础上，本实施例所述数据校验处理装置，可以包括：
配置模块50，用于在将数据源的数据加入消息队列之前，预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略；
校验模块51，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
异常处理模块52，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
发送模块53，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
展示模块54，用于实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。
可以理解的是，所述展示模块54中，实时记录消费所述消息队列中数据的情况，实际是指实时记录从所述消息队列中依次取出每个数据源的数据进行(格式校验)处理的情况。
在具体应用中，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例等，本实施例并不对其进行限制。
可以理解的是，本实施例能够对数据消费情况进行统计，实时展现数据消费、异常数据占比等信息。
可以理解的是，利用包含本实施例所述装置的数据校验中台的数据消费模型的结构可参考图8。
本发明实施例提供的数据校验处理装置，应用于数据校验中台，通过根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，能够防止错误数据写入存储服务而造成数据应用程序服务异常；通过根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响；而且还能够对数据消费情况进行统计，实时展现数据消费、异常数据占比等信息。
本发明实施例提供的数据校验处理装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9示出了本发明一实施例提供的一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括存储器902、处理器901及存储在存储器902上并可在处理器901上运行的计算机程序，所述处理器901执行所述程序时实现上述方法的步骤，例如包括：将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤，例如包括：将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据校验处理方法，其特征在于，包括：
将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
2.根据权利要求1所述的数据校验处理方法，其特征在于，在将数据源的数据加入消息队列之前，所述方法还包括：
预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。
3.根据权利要求1所述的数据校验处理方法，其特征在于，所述根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理，包括：
根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理丢弃或者清洗数据。
4.根据权利要求1所述的数据校验处理方法，其特征在于，所述方法还包括：
实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。
5.根据权利要求1所述的数据校验处理方法，其特征在于，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例。
6.一种数据校验处理装置，应用于数据校验中台，其特征在于，包括：
校验模块，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
异常处理模块，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
发送模块，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
7.根据权利要求6所述的数据校验处理装置，其特征在于，所述装置还包括：
配置模块，用于在将数据源的数据加入消息队列之前，预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。
8.根据权利要求6所述的数据校验处理装置，其特征在于，所述装置还包括：
展示模块，用于实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201910650336.5A 2019-07-18 2019-07-18 数据校验处理方法及装置 Pending CN110457153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910650336.5A CN110457153A (zh) 2019-07-18 2019-07-18 数据校验处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910650336.5A CN110457153A (zh) 2019-07-18 2019-07-18 数据校验处理方法及装置

Publications (1)

Publication Number Publication Date
CN110457153A true CN110457153A (zh) 2019-11-15

Family

ID=68481409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910650336.5A Pending CN110457153A (zh) 2019-07-18 2019-07-18 数据校验处理方法及装置

Country Status (1)

Country Link
CN (1) CN110457153A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989531A (zh) * 2019-12-13 2020-04-10 红云红河烟草(集团)有限责任公司 一种卷烟制丝加工过程的数据质量诊断方法
CN112765109A (zh) * 2021-01-20 2021-05-07 商客通尚景科技（上海）股份有限公司 一种队列式数据存储分析方法及系统
CN113259154A (zh) * 2021-04-20 2021-08-13 广州骏伯网络科技有限公司 中台数据校验通知方法、装置、计算机设备和存储介质
CN113407365A (zh) * 2021-07-08 2021-09-17 杭州玳数科技有限公司 基于Flink实时任务脏数据插件化管理的方法和系统
CN117009111A (zh) * 2023-08-30 2023-11-07 上海南洋宏优智能科技有限公司 一种数据处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293977A (zh) * 2015-05-15 2017-01-04 阿里巴巴集团控股有限公司 一种数据校验方法与设备
CN109145040A (zh) * 2018-06-28 2019-01-04 中译语通科技股份有限公司 一种基于双消息队列的数据治理方法
CN109409821A (zh) * 2018-09-21 2019-03-01 中国联合网络通信集团有限公司 清算方法、装置和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293977A (zh) * 2015-05-15 2017-01-04 阿里巴巴集团控股有限公司 一种数据校验方法与设备
CN109145040A (zh) * 2018-06-28 2019-01-04 中译语通科技股份有限公司 一种基于双消息队列的数据治理方法
CN109409821A (zh) * 2018-09-21 2019-03-01 中国联合网络通信集团有限公司 清算方法、装置和设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989531A (zh) * 2019-12-13 2020-04-10 红云红河烟草(集团)有限责任公司 一种卷烟制丝加工过程的数据质量诊断方法
CN112765109A (zh) * 2021-01-20 2021-05-07 商客通尚景科技（上海）股份有限公司 一种队列式数据存储分析方法及系统
CN112765109B (zh) * 2021-01-20 2024-05-28 商客通尚景科技（上海）股份有限公司 一种队列式数据存储分析方法及系统
CN113259154A (zh) * 2021-04-20 2021-08-13 广州骏伯网络科技有限公司 中台数据校验通知方法、装置、计算机设备和存储介质
CN113407365A (zh) * 2021-07-08 2021-09-17 杭州玳数科技有限公司 基于Flink实时任务脏数据插件化管理的方法和系统
CN117009111A (zh) * 2023-08-30 2023-11-07 上海南洋宏优智能科技有限公司 一种数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110457153A (zh) 数据校验处理方法及装置
US20210406798A1 (en) Business process decomposition and modular reusable process automation system
Van Der Aalst Process mining
US11861519B2 (en) System and method for semantics based probabilistic fault diagnosis
US20140325480A1 (en) Software Regression Testing That Considers Historical Pass/Fail Events
CN107590070B (zh) 一种业务流程调试方法及装置
US10540252B2 (en) Analytic and layer-based augmentation of code reviews
CN107924360A (zh) 计算系统中的诊断框架
Jin et al. Efficient board-level functional fault diagnosis with missing syndromes
US11314577B2 (en) System and method for constructing fault-augmented system model for root cause analysis of faults in manufacturing systems
US20230080674A1 (en) Systems and Methods for Automated Generation of Passage-Based Items for Use in Testing or Evaluation
CN109582559A (zh) 系统的验证方法、装置、电子设备及存储介质
Schlossnagle Monitoring in a DevOps world
US20220188828A1 (en) Transaction generation for analytics evaluation
US20180107457A1 (en) Systems and methods for dynamic generation of questionnaires on programming concepts
CN109815098A (zh) 区块链系统的性能测试方法、相应的装置及电子设备
EP3531285A2 (en) Ace: assurance, composed and explained
US11741065B2 (en) Hardware, firmware, and software anomaly handling based on machine learning
US8886588B2 (en) Structured requirement generation and assessment
US20220179772A1 (en) Systems and methods for automatically modifying pipelined enterprise software
CN113380363B (zh) 基于人工智能的医疗数据质量评价方法及系统
Yorkston et al. Performance Testing
CN105227487B (zh) 会员用户经验值的统计方法、装置及系统
Varga Practical data science with python 3: synthesizing actionable insights from data
US20230342281A1 (en) Branching data monitoring watchpoints to enable continuous integration and continuous delivery of data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115