CN113259154A

CN113259154A - 中台数据校验通知方法、装置、计算机设备和存储介质

Info

Publication number: CN113259154A
Application number: CN202110426890.2A
Authority: CN
Inventors: 潘力; 林川; 蒋玲玲; 唐帆; 舒钰文; 秦浩哲; 卢琳培
Original assignee: Guangzhou Junbo Network Technology Co ltd
Current assignee: Guangzhou Junbo Network Technology Co ltd
Priority date: 2021-04-20
Filing date: 2021-04-20
Publication date: 2021-08-13
Anticipated expiration: 2041-04-20
Also published as: CN113259154B

Abstract

本发明涉及互联网数据处理技术领域，特别是涉及一种中台数据校验通知方法、装置、计算机设备和存储介质，所述中台数据校验通知方法包括：获取配置文件，所述配置文件包括针对若干业务数据的配置参数，所述业务参数包括序列号、源表表名、目的表表名、结果表表名以及告警规则；根据预设的数据校验调度时间，读取所述配置文件，根据所述配置文件包含的业务数据的数量确定循环次数；根据所述循环次数循环访问数据接口，根据所述业务参数执行读取比较步骤，并生成比较结果表；根据所述比较结果表以及预设的告警规则执行告警警示。本发明实现了数据的自动校验与提醒，减少了人工操作，可以实现数据的及时核验与反馈，自动化程度高。

Description

中台数据校验通知方法、装置、计算机设备和存储介质

技术领域

本发明涉及互联网数据处理技术领域，特别是涉及一种中台数据校验通知方法、装置、计算机设备和存储介质。

背景技术

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。

在大数据中台的测试过程中，需要校验核对业务数据是否正确，同时在系统的日常运行过程中需要对数据的正确性与及时性进行日常监控，若存在问题需要及时通知相关人员进行处理。

但是，不同的业务数据不一样，校验的规则也不一样，通常需要测试人员手动执行sql脚本查看结果来确认是否正确或及时。这种方式效率低，人工成本高，不利于及时发现问题，需要进行改进。

发明内容

基于此，有必要针对上述的问题，提供一种中台数据校验通知方法、装置、计算机设备和存储介质。

在其中一个实施例中，本发明实施例提供了一种中台数据校验通知方法，所述中台数据校验通知方法包括：

获取配置文件，所述配置文件包括针对若干业务数据的配置参数，所述业务参数包括序列号、源表表名、目的表表名、结果表表名以及告警规则；

根据预设的数据校验调度时间，读取所述配置文件，根据所述配置文件包含的业务数据的数量确定循环次数；

根据所述循环次数循环访问数据接口，根据所述业务参数执行读取比较步骤，并生成比较结果表；

根据所述比较结果表以及预设的告警规则执行告警警示。

在其中一个实施例中，本发明实施例还提供了一种中台数据校验通知装置，所述中台数据校验通知装置包括：

获取模块，用于获取配置文件，所述配置文件包括针对若干业务数据的配置参数，所述业务参数包括序列号、源表表名、目的表表名、结果表表名以及告警规则；

读取模块，用于根据预设的数据校验调度时间，读取所述配置文件，根据所述配置文件包含的业务数据的数量确定循环次数；

比较模块，用于根据所述循环次数循环访问数据接口，根据所述业务参数执行读取比较步骤，并生成比较结果表；

告警模块，用于根据所述比较结果表以及预设的告警规则执行告警警示。

在其中一个实施例中，本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述中台数据校验通知方法的步骤。

在其中一个实施例中，本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述中台数据校验通知方法的步骤。

本发明通过将不同业务的校验配置文件抽离模块化，实现可灵活配置，通过调用系统接口来查询配置文件，并自动将返回的数据与正确的数据进行比较，返回校验结果。同时通过任务调度系统进行自动化执行与日常校验，通过即时通信接口模块实现监控的即时消息通知，如钉钉消息通知，包括文本类型或表格图片类型的通知。本发明实现了数据的自动校验与提醒，减少了人工操作，可以实现数据的及时核验与反馈，自动化程度高。

附图说明

图1为一个实施例中提供的中台数据校验通知方法的流程图；

图2为一个实施例中根据所述业务参数执行读取比较的流程图；

图3为一个实施例中根据所述比较结果表以及预设的告警规则执行告警警示流程图；

图4为一个实施例中根据确定的告警样式执行告警的流程图；

图5为一个实施例中中台数据校验通知装置的结构框图；

图6为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

如图1所示，在一个实施例中，提出了一种中台数据校验通知方法，具体可以包括步骤S102~S108：

步骤S102，获取配置文件，所述配置文件包括针对若干业务数据的配置参数，所述业务参数包括序列号、源表表名、目的表表名、结果表表名以及告警规则。

在本发明实施例中，配置文件可以采用SQL（Structured Query Language）结构化查询语言进行编写，该语言广泛应用于数据库查询。在本发明实施例中，配置文件包括有若干业务数据，可选地，每一条业务数据单独编写一行，每一条业务数据包括该业务数据的序列号，该业务数据的源表表名、目的表表名、结果表表名以及相应的告警规则。可选地，还可以包括其它配置选项，上述选项为完成比较过程不可或缺的选项，对于其它可选项本发明实施例不作具体限定。

步骤S104，根据预设的数据校验调度时间，读取所述配置文件，根据所述配置文件包含的业务数据的数量确定循环次数。

在本发明实施例中，数据校验调度时间用于对规定某项数据、部分或者全部数据进行查验对比的时间点、频率、先后顺序等，可以配置于数据库系统中，也可以配置于前述配置文件中。在本发明实施例中，每一条业务数据执行一次循环，则总的循环次数等于业务数据的数量。

步骤S106，根据所述循环次数循环访问数据接口，根据所述业务参数执行读取比较步骤，并生成比较结果表。

在本发明实施例中，执行读取比较步骤可以将对比的源表数据与目的表数据进行比较，并将比较结果记录于结果表中，系统根据结果表执行相应的告警从而提示用户。

步骤S108，根据所述比较结果表以及预设的告警规则执行告警警示。

在本发明实施例中，告警警示根据比较结果以及预设的告警规则确定，具体来说，当比较结果为两个对比数据存在差异时，发出告警；根据比较的数据的具体类别，确定告警的类型。在本发明实施例中，告警的类型包括文本以及表格等形式，还可以包括文本与表格的组合形式，本发明所述文本形式是指纯文本形式，表格形式指包括表格在内的非纯文本形式。此外，还可以包括音频、视频等形式。

在一个实施例中，如图2所示，步骤S106中根据所述业务参数执行读取比较步骤，具体可以包括步骤S202~S208：

步骤S202，根据当前循环的序列号读取对应的源表表名、目的表表名以及告警规则。

在本发明实施例中，每一个访问循环对一条数据进行核对。

步骤S204，根据所述源表表名获取要核对的源表数据并保存。

在本发明实施例中，根据源表表名在数据库中查找对应的源表数据并保存。可选地，在本发明实施例中，要核对的源表数据保存于以所述配置文件中所述源表表名配置项命名的CSV文件中。

步骤S206，根据所述目的表表名获取要核对的目的表数据并保存。

在本发明实施例中，根据目的表表名在数据库中查找对应的目的表数据并保存。可选地，在本发明实施例中，要核对的目的表数据保存于以所述配置文件中所述目的表表名配置项命名的CSV文件中。

步骤S208，计算要核对的源表数据与要核对的目的表数据的差集与差值，并将结果保存于结果表中。

在本发明实施例中，通过计算要核对的数据的差集与差值确定是否可以通过校验。在本发明实施例中，将结果保存于结果表中，此外还包括，将存在差值的数据保存至以所述配置文件中所述结果表表名配置项命名的CSV文件中。

在一个实施例中，如图3所示，步骤S108即根据所述比较结果表以及预设的告警规则执行告警警示，具体可以包括步骤S302~S304：

步骤S302，若比较结果为不存在差异，则直接发送告警提示。

在本发明实施例中，这里的告警信息可以理解为提示信息，仅仅是提示数据校验通过。

步骤S304，若对比结果为存在差异，则根据所述告警规则确定告警样式为文字或者表格，并根据确定的告警样式执行告警。

在本发明实施例中，告警样式包括文字以及表格两种形式，需要理解，此处并非限于纯文本与纯表格，本申请中的文字形式是指包括文字在内而不包括表格的形式，表格形式是指至少包括表格在内的形式，同时可以包括文本。

在一个实施例中，如图4所示，步骤S304中根据确定的告警样式执行告警，具体可以包括步骤S402~S404：

步骤S402，若告警样式为文字，则以文本形式向第三方软件平台发送文本告警信息。

在本发明实施例中，第三方软件平台可以选用钉钉，钉钉收到提示后，可以发现消息提示，用记接收到该消息提示后，通过查看相应的内容获取告警内容。

步骤S404，若告警样式为表格，则根据业务数据的绘制对应的表格样式并生成图片，并将所述图片发送至服务器以获取图片链接，将所述图片链接发送至第三方软件平台。

在本发明实施例中，若告警样式为表格时，第三方软件平台发送的提示内容中还包括表格类型的数据，此数据具体可以以链接的形式存在，也可以是可编辑的表格对象，从而便于用户根据比较结果进行操作。

如图5所示，在一个实施例中，提供了一种中台数据校验通知装置，该中台数据校验通知装置具体可以包括：

获取模块501，用于获取配置文件，所述配置文件包括针对若干业务数据的配置参数，所述业务参数包括序列号、源表表名、目的表表名、结果表表名以及告警规则；

读取模块502，用于根据预设的数据校验调度时间，读取所述配置文件，根据所述配置文件包含的业务数据的数量确定循环次数；

比较模块503，用于根据所述循环次数循环访问数据接口，根据所述业务参数执行读取比较步骤，并生成比较结果表；

告警模块504，用于根据所述比较结果表以及预设的告警规则执行告警警示。

在本发明实施例中，对于各个模块的功能作用可以参考上述关于方法部分的解释说明，本发明实施例在此不再赘述。

图6示出了一个实施例中计算机设备的内部结构图。如图6所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明实施例提供的中台数据校验通知方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行本发明实施例提供的中台数据校验通知方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本发明实施例提供的中台数据校验通知装置可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该中台数据校验通知装置的各个程序模块，比如，图5所示的获取模块、读取模块、比较模块和告警模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本发明各个实施例的中台数据校验通知方法中的步骤。

例如，图6所示的计算机设备可以通过如图5所示的中台数据校验通知装置中的获取模块执行步骤S102；计算机设备可通过读取模块执行步骤S104；计算机设备可通过比较模块执行步骤S106；计算机设备可通过告警模块执行步骤S108。

在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

根据所述比较结果表以及预设的告警规则执行告警警示。

在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

根据所述比较结果表以及预设的告警规则执行告警警示。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种中台数据校验通知方法，其特征在于，所述中台数据校验通知方法包括：

根据所述比较结果表以及预设的告警规则执行告警警示。

2.根据权利要求1所述的中台数据校验通知方法，其特征在于，所述根据所述业务参数执行读取比较步骤，具体包括：

根据当前循环的序列号读取对应的源表表名、目的表表名以及告警规则；

根据所述源表表名获取要核对的源表数据并保存；

根据所述目的表表名获取要核对的目的表数据并保存；

计算要核对的源表数据与要核对的目的表数据的差集与差值，并将结果保存于结果表中。

3.根据权利要求2所述的中台数据校验通知方法，其特征在于，所述要核对的源表数据保存于以所述配置文件中所述源表表名配置项命名的CSV文件中。

4.根据权利要求2所述的中台数据校验通知方法，其特征在于，所述要核对的目的表数据保存于以所述配置文件中所述目的表表名配置项命名的CSV文件中。

5.根据权利要求2所述的中台数据校验通知方法，其特征在于，所述将结果保存于结果表中，此外还包括以下步骤：

将存在差值的数据保存至以所述配置文件中所述结果表表名配置项命名的CSV文件中。

6.根据权利要求1所述的中台数据校验通知方法，其特征在于，所述根据所述比较结果表以及预设的告警规则执行告警警示，具体包括以下步骤：

若比较结果为不存在差异，则直接发送告警提示；

若对比结果为存在差异，则根据所述告警规则确定告警样式为文字或者表格，并根据确定的告警样式执行告警。

7.根据权利要求6所述的中台数据校验通知方法，其特征在于，所述根据确定的告警样式执行告警，包括以下步骤：

若告警样式为文字，则以文本形式向第三方软件平台发送文本告警信息；

若告警样式为表格，则根据业务数据的绘制对应的表格样式并生成图片，并将所述图片发送至服务器以获取图片链接，将所述图片链接发送至第三方软件平台。

8.一种中台数据校验通知装置，其特征在于，所述中台数据校验通知装置包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至7中任一项权利要求所述中台数据校验通知方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至7中任一项权利要求所述中台数据校验通知方法的步骤。