CN114647496A - 指标核对方法、装置、设备及计算机可读存储介质 - Google Patents
指标核对方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114647496A CN114647496A CN202210298893.7A CN202210298893A CN114647496A CN 114647496 A CN114647496 A CN 114647496A CN 202210298893 A CN202210298893 A CN 202210298893A CN 114647496 A CN114647496 A CN 114647496A
- Authority
- CN
- China
- Prior art keywords
- batch
- task
- checking
- index
- batching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种指标核对方法、装置、设备及计算机可读存储介质。其中,方法包括:获取第一核对业务的N个跑批任务分别对应的跑批参数信息,跑批参数信息包括跑批周期信息和跑批状态信息,其中,第一核对业务为来源于P个数据库中的Q个指标的核对业务,N个跑批任务分别用于核对Q个指标在不同跑批周期内的数据;根据第一跑批任务对应的跑批参数信息,确定是否执行第一跑批任务;在确定执行第一跑批任务的情况下,根据第一核对业务对应的指标核对配置信息,及第一跑批任务对应的第一跑批周期,执行第一跑批任务,得到第一跑批任务对应的第一核对结果。本申请可以自主实现核对业务不同批次的指标核对任务,提高指标核对的效率。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及一种指标核对方法、装置、设备及计算机可读存储介质。
背景技术
对于管理部门来说,不管是日常业务管理还是应对监管报送,都需要使用很多报表来支持,这些报表的多个指标之间可能存在一定的勾稽关系,业务人员在使用这些报表时,需要针对不同报表间的各指标数据进行校验与核对,以保证最终成套的报表之间数据一致性与准确性。
现有技术中,使用EXCEL进行多个报表的指标核对,在此方式中,需要人工将不同批次不同来源的报表在EXCEL进行归集整理,然而定义不同EXCEL列项的对比公式,工作量大,耗时长。可见,现有指标核对速率较慢。
发明内容
本申请实施例提供一种在指标核对方法、装置、设备及计算机可读存储介质,能够解决现有指标核对速率较慢的问题。
第一方面,本申请实施例提供一种指标核对方法,方法包括:
获取第一核对业务的N个跑批任务分别对应的跑批参数信息,所述跑批参数信息包括跑批周期信息和跑批状态信息,其中,所述第一核对业务为来源于P个数据库中的Q个指标的核对业务,所述N个跑批任务分别用于核对所述Q个指标在不同跑批周期内的数据,N和P均为正整数,Q为大于1的整数;
根据第一跑批任务对应的所述跑批参数信息,确定是否执行所述第一跑批任务,所述第一跑批任务为所述N个跑批任务中的任一个跑批任务;
在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
第二方面,本申请实施例提供了一种指标核对装置,装置包括:
获取模块,用于获取第一核对业务的N个跑批任务分别对应的跑批参数信息,所述跑批参数信息包括跑批周期信息和跑批状态信息,其中,所述第一核对业务为来源于P个数据库中的Q个指标的核对业务,所述N个跑批任务分别用于核对所述Q个指标在不同跑批周期内的数据,N和P均为正整数,Q为大于1的整数;
确定模块,用于根据第一跑批任务对应的所述跑批参数信息,确定是否执行所述第一跑批任务,所述第一跑批任务为所述N个跑批任务中的任一个跑批任务;
执行模块,用于在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
第三方面,本申请实施例提供了一种指标核对设备,设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现如第一方面所述的在指标核对方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如第一方面所述的指标核对方法。
第五方面,本申请实施例提供了一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如第一方面所述的指标核对方法。
在本申请实施例中,针对任一核对业务,指标核对设备可以自主根据该核对业务的各跑批任务所对应的跑批周期信息和跑批状态信息,确定是否执行该跑批任务。在确定执行该跑批任务的情况下,可以根据该核对业务对应的指标核对配置信息,执行该跑批任务,实现该核对业务该批次的指标核对任务。可见,本申请实施例可以自主实现核对业务不同批次的指标核对任务,从而可以提高指标核对的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的指标核对方法的流程图之一;
图2是本申请实施例提供的指标核对的示意图;
图3是本申请实施例提供的指标核对方法的流程图之二;
图4是本申请实施例提供的指标核对装置的结构示意图;
图5是本申请实施例提供的指标核对设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为方便理解,以下对本申请实施例涉及的一些内容进行说明:
核对业务,可以为:至少两个指标之间的数据核对业务。在实际应用中,所述至少两个指标可以来源于至少一个数据表,进一步地,所述至少一个数据表可以来源于至少一个数据库。对于来源于不同数据库的指标,其数据的处理方式可能不同。所述至少一个数据库可以包括以下至少一项:Oracle(ORA)数据库、大规模并行分析(Analytical MassivelyParallel Processing,MPP)数据库、MySQL数据库、GrenPlum(GP)数据库、EXCEL文件、文本文件、TeraData(TD)数据库等。
在本申请实施例中,一个核对业务的指标核对任务可以按照一定周期“跑批”,跑批,也可以称为:批量处理、批处理等。
按照一定周期“跑批”的指标核对任务,称为:跑批任务。
跑批的周期(以下简称跑批周期)可以是一小时、一天、一月、一季度或一年等,具体可以根据实际需求设定,本申请实施例对此不做限定。
一个跑批任务可以对应一个跑批周期,跑批任务用于对待核对指标在该跑批周期内的数据进行核对。
在实际应用中,一个核对业务可以包括至少一个跑批任务。在一个核对业务包括两个或两个以上的跑批任务的情况下,可以理解地是,该核对业务的不同跑批任务核对的指标相同,但核对的是相同指标在不同跑批周期内的数据。如:第i个跑批任务用于对待核对指标在第i个跑批周期内的数据进行核对,第i+1个跑批任务用于对待核对指标在第i+1个跑批周期内的数据。
下面结合附图,通过一些实施例及其应用场景对本申请实施例提供的指标核对方法进行详细地说明。
参见图1,图1是本申请实施例提供的指标核对方法的示意图之一。
如图1所示,本申请实施例的指标核对方法可以包括以下步骤:
步骤101、获取第一核对业务的N个跑批任务分别对应的跑批参数信息,所述跑批参数信息包括跑批周期信息和跑批状态信息,其中,所述第一核对业务为来源于P个数据库中的Q个指标的核对业务,所述N个跑批任务分别用于核对所述Q个指标在不同跑批周期内的数据,N和P均为正整数,Q为大于1的整数。
所述第一核对业务可以理解为任一核对业务。所述第一核对业务用于对所述Q个指标的数据进行核对,所述Q个指标可以来源于至少一个数据表,该至少一个数据表来源于所述P个数据库。
跑批任务对应的跑批周期信息至少可以用于:确定跑批任务对应的跑批起始时间。一种实现方式中,跑批任务对应的跑批周期信息可以包括:跑批任务对应的跑批周期的序列号,以及跑批任务所属的核对业务的第一个跑批周期的起始时间。另一种实现方式中,跑批任务对应的跑批周期信息可以包括:跑批任务的跑批起始时间,进一步地,还可以包括一下至少一项:跑批任务的跑批周期的长度、跑批任务的跑批结束时间。
跑批任务对应的跑批状态信息可以用于:表征跑批任务的完成情况。跑批状态信息可以包括以下至少一项:
第一状态信息,所述第一状态信息表征所述第一跑批任务未执行;
第二状态信息,所述第二状态信息表征所述第一跑批任务正在执行中;
第三状态信息,所述第三状态信息表征所述第一跑批任务被放弃执行;
第四状态信息,所述第四状态信息表征所述第一跑批任务执行成功。
步骤102、根据第一跑批任务对应的所述跑批参数信息,确定是否执行所述第一跑批任务,所述第一跑批任务为所述N个跑批任务中的任一个跑批任务。
具体实现时,针对每个跑批任务,指标核对设备可以通过该跑批任务对应的跑批参数信息,确定是否执行该跑批任务。
为方便理解,以所述第一跑批任务进行示例说明:
具体实现时,指标核对设备可以根据所述第一跑批任务对应的跑批周期信息,确定所述第一跑批任务对应的跑批起始时间;根据所述第一跑批任务对应的跑批状态信息,确定所述第一跑批任务的执行状态。之后,根据所述第一跑批任务对应的跑批起始时间,以及所述第一跑批任务的执行状态,确定是否执行所述第一跑批任务。
如:指标核对设备可以在所述第一跑批任务未执行,且到达所述第一跑批任务的跑批起始时间的情况下,确定执行所述第一跑批任务,否则,可以确定不执行所述第一跑批任务。
在确定执行所述第一跑批任务的情况下,可以通过执行步骤103实现所述第一核对业务的指标核对。在确定不执行所述第一跑批任务的情况下,可以采用步骤102类似的方式依次遍历确定是否执行所述第一核对业务包括的其他跑批任务,直至确定执行某个跑批任务,或者,遍历完所有的跑批任务,且确定不执行所有的跑批任务。
步骤103、在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
在本申请实施例中,核对业务对应的指标核对配置信息可以包括:核对业务对应的核对指标以及其来源(包括数据表源和数据库源)、核对业务对应的指标核对规则(或称为核对方式)等。
具体实现时,核对指标设备可以先根据所述第一核对业务对应的核对指标以及其来源,定位所述P个数据库中,所述第一核对业务的核对指标,即所述Q个指标。之后,根据所述第一跑批任务对应的跑批周期,即所述第一跑批周期,获取所述Q个指标在所述第一跑批周期内的数据。之后,可以根据所述第一核对业务对应的指标核对规则,对获取到的数据进行核对,得到所述第一跑批任务对应的核对结果,即所述第一核对结果。
在本申请实施例中,可以对各核对业务对应的信息进行预先配置。为方便理解,以下以所述第一核对业务为例进行说明:
在一种示例中,可以通过配置界面对核对业务对应的信息进行配置。
如图2所示,所述配置界面可以包括数据源配置控件、指标核对规则配置控件和定时跑批配置控件。
在接收到针对数据源配置控件的输入的情况下,指标核对设备可以响应于该输入,显示数据源配置页面。在数据源配置页面中,针对所述第一核对业务,用户可以根据自身需求,输入以下信息:所述Q个指标、所述Q个指标中各指标对应的数据表的标识(如数据表的名称)、各数据表对应的数据库的标识(如数据库的名称),从而实现所述第一核对业务对应的核对指标极其来源的配置。在接收到针对指标核对规则配置控件的输入的情况下,指标核对设备可以响应于该输入,显示指标核对规则配置页面。在指标核对规则配置页面中,针对所述第一核对业务,用户可根据自身需求,输入所述Q个指标之间的核对规则,从而实现所述第一核对业务对应的指标核对规则的配置。
指标核对设备可以根据用户在所述数据源配置页面和所述指标核对配置页面输入的针对所述第一核对业务的信息,生成所述第一核对业务对应的指标核对配置信息。
在接收到针对定时跑批配置控件的输入的情况下,指标核对设备可以响应于该输入,显示定时跑批配置页面。在指标核对规则配置页面中,针对所述第一核对业务,用户可以根据自身需求,输入所述第一核对业务的跑批起始时间、跑批终止时间、跑批周期长度。这样,指标核对设备在获取到这些信息之后,可以根据所述第一核对业务的跑批起始时间、跑批终止时间、跑批周期长度,确定所述第一核对业务的跑批周期数量及跑批任务数量,从而实现所述第一核对业务的跑批任务的配置。可以理解地是,所述第一核对业务的跑批周期数量与所述第一核对业务的跑批任务数量相等,所述第一核对业务的跑批周期数量及跑批任务数量即为N值。
指标核对设备可以根据输入的所述第一核对业务的跑批起始时间、跑批终止时间、跑批周期长度,生成所述N个跑批任务中各跑批任务对应的跑批周期信息。
另外,在本申请实施例中,如图2所示,数据源配置页面中输入的信息可以存储在数据源信息表中。指标核对规则配置页面中输入的信息可以存储在指标核对配置表中。核对业务包括的跑批任务以及跑批任务对应的跑批状态信息可以存储在跑批状态表中。
本申请的指标核对方法,针对任一核对业务,指标核对设备可以自主根据该核对业务的各跑批任务所对应的跑批周期信息和跑批状态信息,确定是否执行该跑批任务。在确定执行该跑批任务的情况下,可以根据该核对业务对应的指标核对配置信息,执行该跑批任务,实现该核对业务该批次的指标核对任务。可见,本申请实施例可以自主实现核对业务不同批次的指标核对任务,从而可以提高指标核对的效率。
以下对步骤102的具体实现进行示例说明。
在一个示例中,所述根据第一跑批任务对应的所述跑批参数信息,确定是否执行所述第一跑批任务,可以包括:
确定所述第一跑批任务对应的跑批状态信息是否为第一状态信息,所述第一状态信息表征所述第一跑批任务未执行;
在所述第一跑批任务对应的跑批状态信息为所述第一状态信息的情况下,根据所述第一跑批任务对应的跑批周期信息,确定是否到达所述第一跑批任务对应的跑批起始时间;
在到达所述第一跑批任务对应的跑批起始时间的情况下,确定执行所述第一跑批任务。
在本示例中,指标核对设备可以先筛选出未执行的跑批任务,之后,再将各未执行的跑批任务分别对应的跑批起始时间与当前时间进行比较,确定即将执行的跑批任务。最终,将未执行,且到达跑批起始时间的跑批任务,确定为即将执行的跑批任务。
以所述第一跑批任务为例:若其未执行,且到达其对应的跑批起始时间,可以确定执行所述第一跑批任务;若其未执行,或者,未到达其对应的跑批起始时间,可以确定不执行所述第一跑批任务。即执行所述第一跑批任务需满足的条件是:所述第一跑批任务未执行,且到达所述第一跑批任务对应的跑批起始时间。
通过上述方式,可以使得核对业务的跑批任务按照预设设定执行,从而可以提高业务指标核对执行的可靠性。
可以理解地是,在其他示例中,指标核对设备可以先筛选出未到达跑批起始时间的跑批任务,之后,根据筛选出的各跑批任务的执行状态,确定即将执行的跑批任务。最终,将未执行,且到达跑批起始时间的跑批任务,确定为即将执行的跑批任务。
以下对本申请实施例的步骤103的具体实现进行示例说明。
在一个示例中,所述在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果,包括:
在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,确定是否存在与所述第一跑批任务对应的待核对数据;
在存在与所述第一跑批任务对应的待核对数据的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
在本示例中,指标核对设备在做出执行某个跑批任务的决定后,可以进一步结合该跑批任务所属的核对业务所对应的指标核对配置信息,再次确定是否实际执行该跑批任务,以进一步提高业务指标核对执行的可靠性。
与所述第一跑批任务对应的待核对数据,可以理解为:所述Q个指标在所述第一跑批任务对应的跑批周期内的数据。
具体实现时,指标核对设备可以从所述第一核对业务对应的指标核对配置信息中确定所述第一核对业务的核对指标及其来源。之后,可以与相应地数据库进行交互,确定数据库中存储的所述Q个指标的数据中是否存在与所述第一跑批周期对应的数据。
若存在,指标核对设备可以执行所述第一跑批任务,对与所述第一跑批任务对应的待核对数据进行核对。若不存在,说明无所述第一跑批任务对应的数据进行核对,可以放弃执行所述第一跑批任务,以降低指标核对设备的运行负担。
由此可见,在本示例中,执行所述第一跑批任务需满足的条件可以包括:所述第一跑批任务未执行,到达所述第一跑批任务对应的跑批起始时间,以及存在所述第一跑批任务对应的待核对数据。这样,可以进一步提高业务指标核对执行的可靠性。
在上述示例中,进一步地,所述根据所述第一核对业务对应的指标核对配置信息,确定是否存在与所述第一跑批任务对应的待核对数据之前,所述方法还可以包括:
在确定执行所述第一跑批任务的情况下,将所述第一跑批任务对应的跑批状态信息更新为第二状态信息,所述第二状态信息表征所述第一跑批任务正在执行中;
所述根据所述第一核对业务对应的指标核对配置信息,确定是否存在与所述第一跑批任务对应的待核对数据之后,所述方法还包括:
在不存在与所述第一跑批任务对应的待核对数据的情况下,将所述第一跑批任务对应的跑批状态信息更新为第三状态信息,所述第三状态信息表征所述第一跑批任务被放弃执行。
在本申请实施例中,当所述第一跑批任务的状态发生变更时,需要及时更新所述第一跑批任务的跑批状态信息。
如:在确定执行所述第一跑批任务的情况下,可以写入所述第一跑批任务的执行状态,将其跑批状态信息更新为正在执行中。在确定放弃执行所述第一跑批任务的情况下,可以将其跑批状态信息更新为放弃执行。
这样,可以使得所述第一跑批任务的跑批状态信息与其实际状态相符,进而提高业务指标核对执行的可靠性。
以下对本申请实施例跑批任务的具体执行进行示例说明:
具体实现时,在执行所述第一跑批任务,即对所述Q个指标在所述第一跑批周期内的数据进行核对时,指标核对设备可以先从所述P个数据库中的相应数据表中,提取所述Q个指标在所述第一跑批内的数据。之后,可以根据所述Q个指标的指标核对规则,完成对提取到的数据之间的核对。
在一个示例中,所述根据所述第一核对业务对应的指标核对配置信息,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果,可以包括:
调用与所述P个数据库一一对应的P个数据处理单元执行第一操作,得到与所述Q个指标一一对应的Q个指标处理结果,其中,所述P个数据处理单元中第一数据处理单元执行的第一操作包括:从所述第一数据处理单元对应的第一数据库中获取目标指标在所述第一跑批周期内的目标数据;对所述目标数据进行处理,得到与所述目标指标对应的指标处理结果,所述目标指标包括所述Q个指标中的至少一个指标;
根据所述第一核对业务对应的指标核对配置信息,核对所述Q个指标处理结果,得到所述第一跑批任务对应的第一核对结果。
所述目标指标为所述Q个指标中来源于所述第一数据库的指标。
指标核对设备在确定执行所述第一跑批任务之后,可以确定所述P个数据库分别对应的数据处理单元,即所述P个数据处理单元。之后,可以调用所述P个数据处理单元分别执行第一操作。
以第一数据处理单元为例,所述第一数据处理单元可以先确定所述第一数据库中的目标指标,之后,从所述第一数据库中提取所述目标指标在所述第一跑批任务对应的跑批周期内的数据,即所述目标数据。之后,采用所述第一数据库对应的数据处理方式,对所述目标数据进行处理,得到与所述目标指标对应的指标处理结果。
以此类推,指标核对设备可以获取到与所述Q个指标一一对应的Q个指标处理结果。之后,指标核对设备可以从所述第一核对业务对应的指标核对配置信息中,获取所述Q个指标的指标核对规则,并利用该指标核对规则,对所述Q个指标处理结果进行核对,实现所述Q个指标在所述第一核对周期的核对,即完成所述第一跑批任务的执行。
在本示例中,考虑到不同数据库的数据处理方式不同,可以利用不同的数据处理单元对不同数据库中的数据进行处理,从而可以提高数据处理的可靠性,进而提高业务指标核对的可靠性。
进一步地,所述执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果之后,所述方法还可以包括:
将所述第一跑批任务对应的跑批状态信息更新为第四状态信息,所述第四状态信息表征所述第一跑批任务执行成功;
接收第一输入,所述第一输入用于查询核对业务的核对结果;
响应于所述第一输入,显示第一页面,所述第一页面包括所述第一核对结果。
指标核对设备在获取到所述第一核对结果之后,可以确定所述第一跑批任务执行完毕,从而可以将所述第一跑批任务的跑批状态信息更新为所述第四状态信息。这样,可以使得所述第一跑批任务的跑批状态信息与其实际状态相符,进而提高业务指标核对执行的可靠性。
另外,指标核对设备可以将获取到的所述第一核对结果存储起来,如存储在指标核对结果表中,以供用户查询。
为方便用户查询业务的核对结果,如图2所示,可以在配置界面中设置指标核对结果查询控件。在接收到针对指标核对结果查询控件的输入的情况下,指标核对设备可以响应于该输入,显示指标核对结果显示页面。在该显示页面中,可以显示各核对业务执行成功的各跑批任务对应的核对结果。
进一步地,可以在指标核对结果显示页面中增加查询时间控件,以选择查询的时间段。这样,显示页面中可以仅显示查询的时间段所对应的指标核对结果,从而可以提高指标核对结果查询的灵活性。
需要说明的是,本申请实施例中介绍的多种可选的实施方式,在彼此不冲突的情况下可以相互结合实现,也可以单独实现,对此本申请实施例不作限定。
为方便理解,结合图2和图3示例说明如下:
在本示例中,指标核对方法可以通过配置界面和指标核对程序实现,配置界面和指标核对程序可以通过Python代码与SQL语言实现。
配置界面可以用于实现指标核对的基础配置与结果查询。如图2所示,可以包括数据源配置控件、指标核对规则配置控件、指标核对跑批配置控件及指标核对结果查询控件。相关配置结果数据可以保存到指标核对数据存储中,为指标核对程序的执行提供相应信息。
指标核对程序可以包括跑批主控单元、数据源解析单元、不同数据库对应的数据处理单元。通过与指标核对数据存储交互,从指标源数据存储中获取指标核对所需的源数据,并将最终的核对结果也存放在指标核对数据存储的指标核对结果表中。跑批主控单元可以使用python开发的常驻进程方式,可定时扫描指标核对数据存储中的跑批状态表中各跑批任务的任务状态,满足条件则执行相应跑批任务。
指标核对程序实现自动解析核对规则,与指标源数据存储中的数据库交互,获取出不同指标数据,实现指标结果数据比对,最终将比对结果加载回指标核对数据存储的指标核对结果表中。
如图3所示,指标核对方法可以包括以下步骤:
步骤301、获取跑批参数。
具体实现时,获取各跑批任务对应的跑批参数信息。
步骤302、确定是否需要跑批。
即确定是否需要执行相应跑批任务。
在“是”的情况下,可以执行步骤303。在“否”的情况下,可以结束流程。
步骤303、插入跑批状态。
具体实现时,在跑批状态表中写入确定执行的跑批任务,将该跑批任务的跑批状态更新为执行中。
步骤304、从指标核对配置表中获取指标核对配置信息。
把步骤305、确定跑批任务是否有数据需要核对。
在“是”的情况下,执行步骤306。在“否”的情况下,执行步骤310,并重新执行步骤302。
步骤306、从数据源信息表中获取数据源信息。
步骤307、解析数据源。
步骤308、对不同类型数据分别进行处理,并进行数据的核对,得到核对结果。
步骤309、将核对结果存储至指标核对结果中。
具体实现时,载存在指标需要核对的情况下,执行每条核对规则时,可以获取指标核对配置信息,通过解析规则中的数据源以及数据源配置表得到详细的数据源连接信息,通过数据处理单元实现与指标源数据库的连接,进一步根据指标核对配置规则,获取指标结果数据,并将结果数据加载到指标核对结果表中。
当所有指标核对规则均执行完毕后,则更新跑批状态后,退回到跑批任务判断,没有任务需要执行则程序退出。
步骤310、更新跑批状态。
本申请可以通过配置界面支持不同来源数据表不同批次自动计算,速度快,对比结果集中展示方便查看。
另外,本申请可以使用python结合数据库进行多数据源数据核对。采用通用的Python及关系数据库实现,对操作系统和硬件配置无特殊要求,可以方便移植;程序的核心处理逻辑用Python代码实现,形成的产品安装包便于进行产品化输出。本申请具有可方便移植部署、可处理不同类型数据库等方面的提升。
基于上述实施例提供的指标核对方法,相应地,本申请还提供了指标核对装置的具体实现方式。如图4所示,本申请实施例提供的指标核对装置可以包括:
获取模块401,用于获取第一核对业务的N个跑批任务分别对应的跑批参数信息,所述跑批参数信息包括跑批周期信息和跑批状态信息,其中,所述第一核对业务为来源于P个数据库中的Q个指标的核对业务,所述N个跑批任务分别用于核对所述Q个指标在不同跑批周期内的数据,N和P均为正整数,Q为大于1的整数;
确定模块402,用于根据第一跑批任务对应的所述跑批参数信息,确定是否执行所述第一跑批任务,所述第一跑批任务为所述N个跑批任务中的任一个跑批任务;
执行模块403,用于在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
本申请实施例的指标核对装置,针对任一核对业务,可以自主根据该核对业务的各跑批任务所对应的跑批周期信息和跑批状态信息,确定是否执行该跑批任务。在确定执行该跑批任务的情况下,可以根据该核对业务对应的指标核对配置信息,执行该跑批任务,实现该核对业务该批次的指标核对任务。可见,本申请实施例的指标核对装置,可以自主实现核对业务不同批次的指标核对任务,从而提高指标核对的效率。
在一个示例中,所述确定模块,包括:
第一确定单元,用于确定所述第一跑批任务对应的跑批状态信息是否为第一状态信息,所述第一状态信息表征所述第一跑批任务未执行;
第二确定单元,用于在所述第一跑批任务对应的跑批状态信息为所述第一状态信息的情况下,根据所述第一跑批任务对应的跑批周期信息,确定是否到达所述第一跑批任务对应的跑批起始时间;
第三确定单元,用于在到达所述第一跑批任务对应的跑批起始时间的情况下,确定执行所述第一跑批任务。
在一个示例中,所述执行模块,包括:
第四确定单元,用于在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,确定是否存在与所述第一跑批任务对应的待核对数据;
第一执行单元,用于在存在与所述第一跑批任务对应的待核对数据的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
在一个示例中,所述装置还包括:
第一更新模块,用于在确定执行所述第一跑批任务的情况下,将所述第一跑批任务对应的跑批状态信息更新为第二状态信息,所述第二状态信息表征所述第一跑批任务正在执行中;
第二更新模块,用于在不存在与所述第一跑批任务对应的待核对数据的情况下,将所述第一跑批任务对应的跑批状态信息更新为第三状态信息,所述第三状态信息表征所述第一跑批任务被放弃执行。
在一个示例中,所述执行模块,包括:
第二执行单元,用于调用与所述P个数据库一一对应的P个数据处理单元执行第一操作,得到与所述Q个指标一一对应的Q个指标处理结果,其中,所述P个数据处理单元中第一数据处理单元执行的第一操作包括:从所述第一数据处理单元对应的第一数据库中获取目标指标在所述第一跑批周期内的目标数据;对所述目标数据进行处理,得到与所述目标指标对应的指标处理结果,所述目标指标包括所述Q个指标中的至少一个指标;
核对单元,用于根据所述第一核对业务对应的指标核对配置信息,核对所述Q个指标处理结果,得到所述第一跑批任务对应的第一核对结果。
在一个示例中,所述装置还包括:
第三更新模块,用于将所述第一跑批任务对应的跑批状态信息更新为第四状态信息,所述第四状态信息表征所述第一跑批任务执行成功;
接收模块,用于接收第一输入,所述第一输入用于查询核对业务的核对结果;
响应模块,用于响应于所述第一输入,显示第一页面,所述第一页面包括所述第一核对结果。
图5示出了本申请实施例提供的指标核对的硬件结构示意图。
在指标核对设备可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地,上述处理器501可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器502可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器502可在综合网关容灾设备的内部或外部。在特定实施例中,存储器502是非易失性固态存储器。
存储器可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器501通过读取并执行存储器502中存储的计算机程序指令,以实现上述实施例中的任意一种指标核对方法。
在一个示例中,指标核对设备还可包括通信接口503和总线510。其中,如图5所示,处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
通信接口503,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者,将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线510可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,结合上述实施例中的指标核对方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种指标核对方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种指标核对方法,其特征在于,包括:
获取第一核对业务的N个跑批任务分别对应的跑批参数信息,所述跑批参数信息包括跑批周期信息和跑批状态信息,其中,所述第一核对业务为来源于P个数据库中的Q个指标的核对业务,所述N个跑批任务分别用于核对所述Q个指标在不同跑批周期内的数据,N和P均为正整数,Q为大于1的整数;
根据第一跑批任务对应的所述跑批参数信息,确定是否执行所述第一跑批任务,所述第一跑批任务为所述N个跑批任务中的任一个跑批任务;
在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
2.根据权利要求1所述的方法,其特征在于,所述根据第一跑批任务对应的所述跑批参数信息,确定是否执行所述第一跑批任务,包括:
确定所述第一跑批任务对应的跑批状态信息是否为第一状态信息,所述第一状态信息表征所述第一跑批任务未执行;
在所述第一跑批任务对应的跑批状态信息为所述第一状态信息的情况下,根据所述第一跑批任务对应的跑批周期信息,确定是否到达所述第一跑批任务对应的跑批起始时间;
在到达所述第一跑批任务对应的跑批起始时间的情况下,确定执行所述第一跑批任务。
3.根据权利要求1所述的方法,其特征在于,所述在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果,包括:
在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,确定是否存在与所述第一跑批任务对应的待核对数据;
在存在与所述第一跑批任务对应的待核对数据的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一核对业务对应的指标核对配置信息,确定是否存在与所述第一跑批任务对应的待核对数据之前,所述方法还包括:
在确定执行所述第一跑批任务的情况下,将所述第一跑批任务对应的跑批状态信息更新为第二状态信息,所述第二状态信息表征所述第一跑批任务正在执行中;
所述根据所述第一核对业务对应的指标核对配置信息,确定是否存在与所述第一跑批任务对应的待核对数据之后,所述方法还包括:
在不存在与所述第一跑批任务对应的待核对数据的情况下,将所述第一跑批任务对应的跑批状态信息更新为第三状态信息,所述第三状态信息表征所述第一跑批任务被放弃执行。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一核对业务对应的指标核对配置信息,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果,包括:
调用与所述P个数据库一一对应的P个数据处理单元执行第一操作,得到与所述Q个指标一一对应的Q个指标处理结果,其中,所述P个数据处理单元中第一数据处理单元执行的第一操作包括:从所述第一数据处理单元对应的第一数据库中获取目标指标在所述第一跑批周期内的目标数据;对所述目标数据进行处理,得到与所述目标指标对应的指标处理结果,所述目标指标包括所述Q个指标中的至少一个指标;
根据所述第一核对业务对应的指标核对配置信息,核对所述Q个指标处理结果,得到所述第一跑批任务对应的第一核对结果。
6.根据权利要求1所述的方法,其特征在于,所述执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果之后,所述方法还包括:
将所述第一跑批任务对应的跑批状态信息更新为第四状态信息,所述第四状态信息表征所述第一跑批任务执行成功;
接收第一输入,所述第一输入用于查询核对业务的核对结果;
响应于所述第一输入,显示第一页面,所述第一页面包括所述第一核对结果。
7.一种指标核对装置,其特征在于,所述装置包括:
获取模块,用于获取第一核对业务的N个跑批任务分别对应的跑批参数信息,所述跑批参数信息包括跑批周期信息和跑批状态信息,其中,所述第一核对业务为来源于P个数据库中的Q个指标的核对业务,所述N个跑批任务分别用于核对所述Q个指标在不同跑批周期内的数据,N和P均为正整数,Q为大于1的整数;
确定模块,用于根据第一跑批任务对应的所述跑批参数信息,确定是否执行所述第一跑批任务,所述第一跑批任务为所述N个跑批任务中的任一个跑批任务;
执行模块,用于在确定执行所述第一跑批任务的情况下,根据所述第一核对业务对应的指标核对配置信息,及所述第一跑批任务对应的第一跑批周期,执行所述第一跑批任务,得到所述第一跑批任务对应的第一核对结果。
8.一种指标核对设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现如权利要求1至6中任意一项所述的在指标核对方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1至6中任意一项所述的指标核对方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1至6中任意一项所述的指标核对方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210298893.7A CN114647496A (zh) | 2022-03-25 | 2022-03-25 | 指标核对方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210298893.7A CN114647496A (zh) | 2022-03-25 | 2022-03-25 | 指标核对方法、装置、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114647496A true CN114647496A (zh) | 2022-06-21 |
Family
ID=81994967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210298893.7A Pending CN114647496A (zh) | 2022-03-25 | 2022-03-25 | 指标核对方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114647496A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236804A (zh) * | 2023-11-16 | 2023-12-15 | 恒丰银行股份有限公司 | 一种金融企业的业绩认定方法、设备及介质 |
-
2022
- 2022-03-25 CN CN202210298893.7A patent/CN114647496A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236804A (zh) * | 2023-11-16 | 2023-12-15 | 恒丰银行股份有限公司 | 一种金融企业的业绩认定方法、设备及介质 |
CN117236804B (zh) * | 2023-11-16 | 2024-03-08 | 恒丰银行股份有限公司 | 一种金融企业的业绩认定方法、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114647496A (zh) | 指标核对方法、装置、设备及计算机可读存储介质 | |
CN114461644A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
CN114064112A (zh) | 业务流程配置方法、装置、设备及存储介质 | |
CN114036147A (zh) | 数据仓库构建方法、装置、设备及存储介质 | |
CN115222361A (zh) | 业务流程流转方法、装置、设备及计算机存储介质 | |
CN110990350A (zh) | 日志的解析方法及装置 | |
CN114095332A (zh) | 信息处理方法、装置、设备及计算机存储介质 | |
CN115905145A (zh) | 文件处理方法、装置、设备及计算机存储介质 | |
CN115587143A (zh) | 数据同步方法、装置、设备及计算机可读存储介质 | |
CN115238094A (zh) | 基于知识图谱的指标数据分析方法、装置、设备及介质 | |
CN115965451A (zh) | 数据核检方法、装置、电子设备、介质和程序产品 | |
CN114675952A (zh) | 信息处理方法、装置、电子设备、介质和程序产品 | |
CN114372072A (zh) | 数据存储方法、装置、设备、计算机存储介质及程序产品 | |
CN112749187A (zh) | 数据查询方法、装置、电子设备及计算机存储介质 | |
CN113076365A (zh) | 数据同步方法、装置、电子设备及存储介质 | |
CN114185944A (zh) | 数据处理方法、装置、电子设备、介质和计算机程序产品 | |
CN115203207A (zh) | 数据获取方法、装置、设备、介质及产品 | |
CN117971618A (zh) | 数据库性能问题处理方法、装置、设备、介质及产品 | |
CN110532561B (zh) | 数据检测方法及装置、存储介质、电子装置 | |
CN115048917B (zh) | 信息处理方法、装置、设备、介质及产品 | |
CN114723249A (zh) | 科技企业创新稳定性评价方法及其装置、设备、介质 | |
CN116028521A (zh) | 一种数据处理方法、装置、设备、介质及产品 | |
CN115481204A (zh) | 数据核检方法、装置、电子设备、介质和程序产品 | |
CN117762814A (zh) | 测试结果记录方法、装置、设备、介质及产品 | |
CN116029502A (zh) | 数据处理方法、装置、设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |