CN114240663A - 数据对账方法、装置、终端及存储介质 - Google Patents
数据对账方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN114240663A CN114240663A CN202111566672.5A CN202111566672A CN114240663A CN 114240663 A CN114240663 A CN 114240663A CN 202111566672 A CN202111566672 A CN 202111566672A CN 114240663 A CN114240663 A CN 114240663A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- reconciliation
- account
- checked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种数据对账方法、装置、终端及存储介质,其中,该方法包括:接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息;根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集;根据所述对账场景信息,确定对账需求信息;根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据;对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果;将所述对账结果发送至所述用户,能够对多个不同的系统中的数据进行对账处理,从而提升对数据进行对账时的效率。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据对账方法、装置、终端及存储介质。
背景技术
随着信息化的不断发展,以及数据经济驱动时代产生的大规模及超大规模数据存储,给各个信息系统带来挑战。加上由于金融业务系统的交易数据及时性、准确性、敏感性的特点,在大数据量联机交易的同时要保证数据的准确无误,需要不定期对系统数据不同节点的一致性进行比对(也称“对账”,以下同理),尤其是涉及到多系统交互的领域处理集群,以确保数据的完整可追溯。
但是本发明创造的发明人在研究中发现,随着移动场景的丰富,金融业务的发展,系统分层的出现,由于现有的系统数据比对通常只能针对同一个库中的单张表或者不同表数据进行对账监控检查,当跨不同库时无法进行对账等操作,从而需要对数据进行处理(例如,数据合并等),导致了进行对账时的效率较低。
发明内容
本申请实施例提供一种数据对账方法、装置、终端及存储介质,能够对多个不同的系统中的数据进行对账处理,从而提升对数据进行对账时的效率。
本申请实施例的第一方面提供了一种数据对账方法,所述方法包括:
接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息;
根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集;
根据所述对账场景信息,确定对账需求信息;
根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据;
对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果;
将所述对账结果发送至所述用户。
本申请实施例的第二方面提供一种数据对账装置,所述装置包括:
接收单元,用于接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息;
提取单元,用于根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集;
第一确定单元,用于根据所述对账场景信息,确定对账需求信息;
第二确定单元,用于根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据;
对账单元,用于对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果;
发送单元,用于将所述对账结果发送至所述用户。
本申请实施例的第三方面提供一种终端,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,至少具有如下有益效果:
通过接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息,对账需求信息,根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集,根据所述对账场景信息,确定对账需求信息,根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据,对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果,将所述对账结果发送至所述用户,因此,可以根据待对账信息和对账场景信息对第一业务系统和第二业务系统中需要进行对账的数据进行对账处理,从而提升了对数据进行对账时的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供了一种数据对账方法的流程示意图;
图2为本申请实施例提供了另一种数据对账方法的流程示意图;
图3为本申请实施例提供的一种终端的结构示意图;
图4为本申请实施例提供了一种数据对账装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
为了更好的理解本申请实施例提供的一种数据对账方法,下面首先对应用数据对账方法的数据同步平台进行简要介绍。数据同步平台与多个业务系统相连接(多个业务系统均接入到数据同步平台),数据同步平台可以通过大数据抽取工具从多个业务系统中抓取待对账数据(此处以2个业务系统为例进行说明),数据同步平台将抓取的待对账数据存储到第三方数据库中,将待对账数据存储到第三方数据库中则有利于后续的横向扩展和快速处理等,数据同步平台对待对账数据进行对账处理,得到对账结果,并将该对账结果发送至下游业务系统等,从而实现了对多个不同的业务系统进行对账处理,提升了对账时的效率。
请参阅图1,图1为本申请实施例提供了一种数据对账方法的流程示意图。如图1所示,该方法应用于数据同步平台,该方法包括:
101、接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息。
其中,用户可以是有对账需求的用户,例如,可以是下游业务系统,外部对账需求的用户等。
用户可以通过有线或无线的方式向数据同步平台发送对账请求,待对账信息可以包括有待对账数据所在的数据文件的标识信息等,对账场景信息可以指示用户的对账需求,例如,不同的对账场景信息,对应有不同的对账需求。例如,场景一对应的对账需求信息可以是对数据集中的第一字段进行对账,场景而对应的对账需求信息可以是对数据集中的第二字段进行对账等。
102、根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集。
可以根据待对账信息确定出数据文件,从而根据该数据文件来得到第一数据集。第二数据集的提取方法与第一数据集的提取方法相同。
103、根据所述对账场景信息,确定对账需求信息。
不同的对账场景信息对应有不同的对账需求信息,例如,可以根据对账场景信息对应的对账类型,根据该对账类型来确定出对账需求信息。也可以是直接根据对账场景信息的标识信息,从数据库中提取到对应的对账需求信息,数据库中存储有对账场景信息的标识信息与对账需求信息之间的映射关系。当然还可以是通过其它方式获取到对账需求信息。
104、根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据。
可以根据对账需求信息,确定对账字段类型,根据对账字段类型从第一数据集中确定出第一待对账数据。也可以是根据对账需求信息确定的对账维度信息和对账粒度信息从第一数据集中确定出第一待对账数据等。确定第二待对账数据的方法与确定第一待对账数据的方法相同,此处不再赘述。
105、对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果。
对第一待对账数据和第二待对账数据进行对账处理时,可以采用通用的对账处理的方法,此处的对账处理可以理解为对第一待对账数据和第二待对账数据进行一致性比对,以判断第一待对账数据和第二待对账数据之间的一致性,该一致性可以理解为是否相同,可以根据相似度进行判别等。对账时可以理解为对数据本身进行对账。
对账结果可以包括有第一待对账数据和第二待对账数据之间的相似度、一致性标定结果。若第一待对账数据和第二待对账数据相同,则一致性标定结果为一致,若不同,则一致性标定结果为不一致。
在对第一待对账数据和所述第二待对账数据进行对账处理时,可以根据待对账信息确定出对账时刻,并在该对账时刻进行对账处理。当然也可以是根据第一待对账数据和所述第二待对账数据的数据量来确定对账时刻,数据量越大,对账时刻距离当前时刻越近,数据量越小,对账时刻距离当前时刻越远。
当然本申请实施例中,还可以以对多个(至少两个)业务系统中的数据进行对账处理,例如,可以对三个业务系统中的数据进行对账处理等。当然也可以是对多个不同的用户发送的对账请求进行并行处理,以提升对账请求处理时的效率。
106、将所述对账结果发送至所述用户。
可以直接将对账结果发送至该用户。当然也可以对对账结果进行分析,判断其是否一致以及在不一致时确定出异常信息,将异常信息和对账结果一并发送给该用户。
在将对账结果发送至用户时,可以是通过kafka异步推送的方式发送至用户。
本示例中,通过接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息,对账需求信息,根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集,根据所述对账场景信息,确定对账需求信息,根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据,对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果,将所述对账结果发送至所述用户,因此,可以根据待对账信息和对账场景信息对第一业务系统和第二业务系统中需要进行对账的数据进行对账处理,从而提升了对数据进行对账时的效率。
在一个可能的实现方式中,一种可能的根据所述对账场景信息,确定对账需求信息的方法包括:
A1、获取与所述对账场景信息对应的对账类型;
A2、根据所述对账类型,确定与所述对账场景信息对应的对账需求信息模板;
A3、根据所述对账需求信息模板和所述对账场景信息,确定所述对账需求信息。
不同的对账场景信息可以对应有不同的对账类型,当然一个对账类型也可以对应有多个对账场景信息。则可以根据该映射关系,来确定出与对账场景信息对应的对账类型。
可以根据对账类型对应的类型标识,从数据库中获取到与场景类型信息对应的对账需求信息模板。该对账需求信息模板是预先设定的模板,可以将对账场景信息输入到该模板中,该模板可以根据对账场景信息生成对账需求信息。从而可以便捷的获取到对账需求信息,提升了效率。
本示例中,通过对账类型确定与对账场景信息对应的对账需求信息模板,并根据对账需求信息模板和对账场景信息,确定对账需求信息,可以快速的获取到对账需求信息,提升了对账需求信息获取时的效率。
在一个可能的实现方式中,一种可能的根据所述对账需求信息从所述第一数据集中确定第一待对账数据的方法包括:
B1、根据所述对账需求信息,确定对账字段类型;
B2、根据所述对账字段类型,确定对账字段;
B3、从所述第一数据集中确定与所述对账字段对应的数据,以得到所述第一待对账数据。
用户需要对待对账数据中的特定字段进行对账,例如,待对账数据为数据表,用户可以对数据表中的一些其关注的重点信息进行对账,从而则可以对其关注的重点信息对应的字段类型进行获取,以为后续从第一数据集中获取到待对账数据。
第一数据集中的数据字段均标识有对应的字段类型,从而可以根据对账字段类型从第一数据集中确定出对账字段。
根据对账字段的位置信息,从第一数据集中提取对账字段对应的数据,并该数据确定为第一待对账数据。
本示例中,根据对账需求信息,确定对账字段类型,根据对账字段类型确定出对账字段,并将对账字段对应的数据确定为第一待对账数据,从而提升了第一待对账数据确定时的准确性和效率。
在一个可能的实现方式中,一种可能的根据所述对账需求信息从所述第一数据集中确定第一待对账数据的方法包括:
C1、根据所述对账需求信息,确定对账维度信息和对账粒度信息;
C2、根据所述对账维度信息从所述第一数据集中确定出第一参考对账数据子集;
C3、根据所述对账粒度信息,从所述第一数据集中确定出第二参考对账数据子集;
C4、根据所述第一参考对账数据子集和所述第二参考对账数据子集,确定所述第一待对账数据。
其中,对账需求信息中可以包括有账维度信息和对账粒度信息的指示信息,从而可以根据该指示信息确定出账维度信息和对账粒度信息。对账维度信息可以理解为对账时的数据维度,不同的数据维度可以有不同的数据,对账粒度信息可以理解为对账时的数据粒度,例如,可以是细粒度对账,即对所有的数据均进行对账,也可以是粗粒度对账,可以对数据中的部分重要数据进行对账等,重要数据可以理解为与用户的关联度较高的数据,具体例如,与用户的对账场景之间的关联度较高的数据等,当然该重要数据也可以是预先标注的数据,此处不作具体限定。
不同的对账维度信息对应有不同的数据类型,每个数据类型中具有其对应的数据,因此,可以根据对账维度信息对应的数据类型,从第一数据集中确定出第一参考对账数据子集。
不同的对账粒度信息对应有不同的数据,从而可以根据对账粒度信息从第一数据集中确定出第二参考对账数据子集,例如,对账粒度为粗粒度对账,则将第一数据集中的重要数据确定为第二参考对账数据子集中的数据。
可以将所述第一参考对账数据子集和所述第二参考对账数据子集的交集中的数据,确定为第一待对账数据。当然也可以是将所述第一参考对账数据子集和所述第二参考对账数据子集的并集中的数据,确定为第一待对账数据。
本示例中,通过对账维度信息和对账粒度信息确定的第一参考对账数据子集和第二参考对账数据子集,来确定出第一待对账数据,从而提升了第一待对账数据确定时的准确性。
在一个可能的实现方式中,一种可能的将所述对账结果发送至所述用户的方法包括:
D1、对所述对账结果进行分析处理,以得到所述第一待对账数据和所述第二待对账数据之间的相似度;
D2、若所述相似度低于第一预设相似度,则获取所述第一待对账数据中的数据与所述第二待对账数据对应的数据之间相似度低于第二预设相似度的数据,以得到第一子数据集,所述第二预设相似度低于所述第一预设相似度;
D3、获取所述第二待对账数据中与所述第一子数据集对应的第二子数据集;
D4、根据所述第一子数据集和所述第二子数据集,确定数据异常信息;
D5、将所述异常信息和所述对账结果发送至所述用户。
其中,对账结果中包括有一致性标定结果,在一致性标定结果为不一致时,则获取第一待对账数据和第二待对账数据之间的相似度。第一预设相似度和第二预设相似度通过经验值或历史数据设定。将第二预设相似度设置为低于所述第一预设相似度,则可以提升判别时的可靠性。
由于对账时是对数据进行一致性分析,若数据是一致的,则其可以理解为是相同的,若不一致,则可以理解为不相同。因此,可以通过相似度来确定是否一致。
可以提取第一子数据集和第二子数据集中不同的数据;根据该不同的数据确定数据异常信息。可以将所述异常信息和所述对账结果周期性的向该用户进行发送,从而提升了发送时的可靠性。
本示例中,在账结果中包括有一致性标定结果,在一致性标定结果为不一致时,则获取第一待对账数据和第二待对账数据之间的相似度,并在相似度低于第一预设相似度时,获取第一子数据集和第二子数据集,根据第一子数据集和第二子数据集确定异常信息,并将异常信息和所述对账结果发送至用户,从而可以对对账结果进行分析处理,可以为用户提供处理分析的参考,提升了用户在对对账结果进行分析处理时的可靠性。
在一个可能的实现方式中,一种可能的根据所述第一子数据集和所述第二子数据集,确定数据异常信息的方法包括:
E1、获取所述第一子数据集和所述第二子数据集中不同的数据,以得到差异数据集;
E2、根据所述差异数据集,确定差异信息;
E3、根据所述差异信息,确定所述数据异常信息。
其中,可以根据差异信息,确定出偏移信息;根据偏移信息确定数据异常信息。具体可以为:不同的数据异常因素,可以导致不同的偏移信息,从而可以根据差异信息对应的偏移信息,来确定出导致偏移信息的数据异常因素,将该异常因素的信息,确定为数据异常信息。例如,数据异常信息可以是存储异常等。
在一个可能的实现方式中,一种可能的根据所述待对账信息,从第一业务系统中提取第一数据集的方法包括:
F1、根据所述待对账信息,确定数据文件;
F2、通过即时抽取工具从所述第一业务系统中提取所述数据文件,以得到所述第一数据集。
可以根据待对账信息中的数据文件标识,确定数据文件。可以通过即时抽取工具从第一业务系统中提取数据文件,以得到第一数据集。具体可以是,将数据文件中的数据,确定为第一数据集中的数据。
抓取采用数据文件批量提取的方式,对源库(第一业务系统或第二业务系统中的数据库)性能影响微小,同时效率很高,不会对原系统造成任何不良影响,可以视为抽数是对原系统透明的。即时抽取工具比如可以是sqoop的抽数逻辑等。
请参阅图2,图2为本申请实施例提供了另一种数据对账方法的流程示意图。如图2所示,该方法应用于数据同步平台,该方法包括:
201、接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息;
202、根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集;
203、根据所述对账场景信息,确定对账需求信息;
204、根据所述对账需求信息,确定对账维度信息和对账粒度信息;
其中,对账需求信息中可以包括有账维度信息和对账粒度信息的指示信息,从而可以根据该指示信息确定出账维度信息和对账粒度信息。对账维度信息可以理解为对账时的数据维度,不同的数据维度可以有不同的数据,对账粒度信息可以理解为对账时的数据粒度,例如,可以是细粒度对账,即对所有的数据均进行对账,也可以是粗粒度对账,可以对数据中的部分重要数据进行对账等,重要数据可以理解为与用户的关联度较高的数据,具体例如,与用户的对账场景之间的关联度较高的数据等,当然该重要数据也可以是预先标注的数据,此处不作具体限定。
205、根据所述对账维度信息从所述第一数据集中确定出第一参考对账数据子集;
不同的对账维度信息对应有不同的数据类型,每个数据类型中具有其对应的数据,因此,可以根据对账维度信息对应的数据类型,从第一数据集中确定出第一参考对账数据子集。
206、根据所述对账粒度信息,从所述第一数据集中确定出第二参考对账数据子集;
不同的对账粒度信息对应有不同的数据,从而可以根据对账粒度信息从第一数据集中确定出第二参考对账数据子集,例如,对账粒度为粗粒度对账,则将第一数据集中的重要数据确定为第二参考对账数据子集中的数据。
207、根据所述第一参考对账数据子集和所述第二参考对账数据子集,确定所述第一待对账数据;
可以将所述第一参考对账数据子集和所述第二参考对账数据子集的交集中的数据,确定为第一待对账数据。当然也可以是将所述第一参考对账数据子集和所述第二参考对账数据子集的并集中的数据,确定为第一待对账数据。
208、根据所述对账需求信息从所述第二数据集中确定第二待对账数据;
确定第二待对账数据的方法与确定第一待对账数据的方法相同,此处不再赘述。
209、对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果;
210、将所述对账结果发送至所述用户。
本示例中,通过对账维度信息和对账粒度信息确定的第一参考对账数据子集和第二参考对账数据子集,来确定出第一待对账数据,从而提升了第一待对账数据确定时的准确性。
与上述实施例一致的,请参阅图3,图3为本申请实施例提供的一种终端的结构示意图,如图所示,包括处理器、输入设备、输出设备和存储器,处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,上述程序包括用于执行以下步骤的指令;
接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息;
根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集;
根据所述对账场景信息,确定对账需求信息;
根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据;
对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果;
将所述对账结果发送至所述用户。
在一个可能的实现方式中,所述根据所述对账场景信息,确定对账需求信息,包括:
获取与所述对账场景信息对应的对账类型;
根据所述对账类型,确定与所述对账场景信息对应的对账需求信息模板;
根据所述对账需求信息模板和所述对账场景信息,确定所述对账需求信息。
在一个可能的实现方式中,所述根据所述对账需求信息从所述第一数据集中确定第一待对账数据,包括:
根据所述对账需求信息,确定对账字段类型;
根据所述对账字段类型,确定对账字段;
从所述第一数据集中确定与所述对账字段对应的数据,以得到所述第一待对账数据。
在一个可能的实现方式中,所述根据所述对账需求信息从所述第一数据集中确定第一待对账数据,包括:
根据所述对账需求信息,确定对账维度信息和对账粒度信息;
根据所述对账维度信息从所述第一数据集中确定出第一参考对账数据子集;
根据所述对账粒度信息,从所述第一数据集中确定出第二参考对账数据子集;
根据所述第一参考对账数据子集和所述第二参考对账数据子集,确定所述第一待对账数据。
在一个可能的实现方式中,所述将所述对账结果发送至所述用户,包括:
对所述对账结果进行分析处理,以得到所述第一待对账数据和所述第二待对账数据之间的相似度;
若所述相似度低于第一预设相似度,则获取所述第一待对账数据中的数据与所述第二待对账数据对应的数据之间相似度低于第二预设相似度的数据,以得到第一子数据集,所述第二预设相似度低于所述第一预设相似度;
获取所述第二待对账数据中与所述第一子数据集对应的第二子数据集;
根据所述第一子数据集和所述第二子数据集,确定数据异常信息;
将所述异常信息和所述对账结果发送至所述用户。
在一个可能的实现方式中,所述根据所述第一子数据集和所述第二子数据集,确定数据异常信息,包括:
获取所述第一子数据集和所述第二子数据集中不同的数据,以得到差异数据集;
根据所述差异数据集,确定差异信息;
根据所述差异信息,确定所述数据异常信息。
在一个可能的实现方式中,所述根据所述待对账信息,从第一业务系统中提取第一数据集,包括:
根据所述待对账信息,确定数据文件;
通过即时抽取工具从所述第一业务系统中提取所述数据文件,以得到所述第一数据集。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致的,请参阅图4,图4为本申请实施例提供了一种数据对账装置的结构示意图。如图4所示,所述装置包括:
接收单元401,用于接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息;
提取单元402,用于根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集;
第一确定单元403,用于根据所述对账场景信息,确定对账需求信息;
第二确定单元404,用于根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据;
对账单元405,用于对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果;
发送单元406,用于将所述对账结果发送至所述用户。
在一个可能的实现方式中,所述第一确定单元403用于:
获取与所述对账场景信息对应的对账类型;
根据所述对账类型,确定与所述对账场景信息对应的对账需求信息模板;
根据所述对账需求信息模板和所述对账场景信息,确定所述对账需求信息。
在一个可能的实现方式中,在所述根据所述对账需求信息从所述第一数据集中确定第一待对账数据方面,第二确定单元404用于:
根据所述对账需求信息,确定对账字段类型;
根据所述对账字段类型,确定对账字段;
从所述第一数据集中确定与所述对账字段对应的数据,以得到所述第一待对账数据。
在一个可能的实现方式中,在所述根据所述对账需求信息从所述第一数据集中确定第一待对账数据方面,第二确定单元404用于:
根据所述对账需求信息,确定对账维度信息和对账粒度信息;
根据所述对账维度信息从所述第一数据集中确定出第一参考对账数据子集;
根据所述对账粒度信息,从所述第一数据集中确定出第二参考对账数据子集;
根据所述第一参考对账数据子集和所述第二参考对账数据子集,确定所述第一待对账数据。
在一个可能的实现方式中,发送单元406用于:
对所述对账结果进行分析处理,以得到所述第一待对账数据和所述第二待对账数据之间的相似度;
若所述相似度低于第一预设相似度,则获取所述第一待对账数据中的数据与所述第二待对账数据对应的数据之间相似度低于第二预设相似度的数据,以得到第一子数据集,所述第二预设相似度低于所述第一预设相似度;
获取所述第二待对账数据中与所述第一子数据集对应的第二子数据集;
根据所述第一子数据集和所述第二子数据集,确定数据异常信息;
将所述异常信息和所述对账结果发送至所述用户。
在一个可能的实现方式中,在所述根据所述第一子数据集和所述第二子数据集,确定数据异常信息方面,所述发送单元406用于:
获取所述第一子数据集和所述第二子数据集中不同的数据,以得到差异数据集;
根据所述差异数据集,确定差异信息;
根据所述差异信息,确定所述数据异常信息。
在一个可能的实现方式中,在所述根据所述待对账信息,从第一业务系统中提取第一数据集方面,提取单元402用于:
根据所述待对账信息,确定数据文件;
通过即时抽取工具从所述第一业务系统中提取所述数据文件,以得到所述第一数据集。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种数据对账方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种数据对账方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在申请明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据对账方法,其特征在于,所述方法包括:
接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息;
根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集;
根据所述对账场景信息,确定对账需求信息;
根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据;
对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果;
将所述对账结果发送至所述用户。
2.根据权利要求1所述的方法,其特征在于,所述根据所述对账场景信息,确定对账需求信息,包括:
获取与所述对账场景信息对应的对账类型;
根据所述对账类型,确定与所述对账场景信息对应的对账需求信息模板;
根据所述对账需求信息模板和所述对账场景信息,确定所述对账需求信息。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述对账需求信息从所述第一数据集中确定第一待对账数据,包括:
根据所述对账需求信息,确定对账字段类型;
根据所述对账字段类型,确定对账字段;
从所述第一数据集中确定与所述对账字段对应的数据,以得到所述第一待对账数据。
4.根据权利要求1或2所述的方法,其特征在于,所述根据所述对账需求信息从所述第一数据集中确定第一待对账数据,包括:
根据所述对账需求信息,确定对账维度信息和对账粒度信息;
根据所述对账维度信息从所述第一数据集中确定出第一参考对账数据子集;
根据所述对账粒度信息,从所述第一数据集中确定出第二参考对账数据子集;
根据所述第一参考对账数据子集和所述第二参考对账数据子集,确定所述第一待对账数据。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述将所述对账结果发送至所述用户,包括:
对所述对账结果进行分析处理,以得到所述第一待对账数据和所述第二待对账数据之间的相似度;
若所述相似度低于第一预设相似度,则获取所述第一待对账数据中的数据与所述第二待对账数据对应的数据之间相似度低于第二预设相似度的数据,以得到第一子数据集,所述第二预设相似度低于所述第一预设相似度;
获取所述第二待对账数据中与所述第一子数据集对应的第二子数据集;
根据所述第一子数据集和所述第二子数据集,确定数据异常信息;
将所述异常信息和所述对账结果发送至所述用户。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一子数据集和所述第二子数据集,确定数据异常信息,包括:
获取所述第一子数据集和所述第二子数据集中不同的数据,以得到差异数据集;
根据所述差异数据集,确定差异信息;
根据所述差异信息,确定所述数据异常信息。
7.根据权利要求6所述的方法,其特征在于,所述根据所述待对账信息,从第一业务系统中提取第一数据集,包括:
根据所述待对账信息,确定数据文件;
通过即时抽取工具从所述第一业务系统中提取所述数据文件,以得到所述第一数据集。
8.一种数据对账装置,其特征在于,所述装置包括:
接收单元,用于接收用户发送的对账请求,所述对账请求包括待对账信息和对账场景信息;
提取单元,用于根据所述待对账信息,从第一业务系统中提取第一数据集,以及根据所述待对账信息,从第二业务系统中提取第二数据集;
第一确定单元,用于根据所述对账场景信息,确定对账需求信息;
第二确定单元,用于根据所述对账需求信息从所述第一数据集中确定第一待对账数据,以及根据所述对账需求信息从所述第二数据集中确定第二待对账数据;
对账单元,用于对所述第一待对账数据和所述第二待对账数据进行对账处理,以得到对账结果;
发送单元,用于将所述对账结果发送至所述用户。
9.一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111566672.5A CN114240663A (zh) | 2021-12-20 | 2021-12-20 | 数据对账方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111566672.5A CN114240663A (zh) | 2021-12-20 | 2021-12-20 | 数据对账方法、装置、终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114240663A true CN114240663A (zh) | 2022-03-25 |
Family
ID=80759822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111566672.5A Pending CN114240663A (zh) | 2021-12-20 | 2021-12-20 | 数据对账方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114240663A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117033450A (zh) * | 2023-10-10 | 2023-11-10 | 北京轻松怡康信息技术有限公司 | 多维度数据的处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-20 CN CN202111566672.5A patent/CN114240663A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117033450A (zh) * | 2023-10-10 | 2023-11-10 | 北京轻松怡康信息技术有限公司 | 多维度数据的处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107391359B (zh) | 一种业务测试方法及装置 | |
WO2021147559A1 (zh) | 业务数据质量检测方法、装置、计算机设备及存储介质 | |
CN109933514B (zh) | 一种数据测试方法和装置 | |
CN110941978B (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
WO2022037299A1 (zh) | 异常行为检测方法、装置、电子设备及计算机可读存储介质 | |
CN112394908A (zh) | 埋点页面自动生成的方法、装置、计算机设备及存储介质 | |
CN111666346A (zh) | 信息归并方法、交易查询方法、装置、计算机及存储介质 | |
CN112286827A (zh) | 一种软件测试方法、设备、电子设备及存储介质 | |
CN111800292B (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
CN114240663A (zh) | 数据对账方法、装置、终端及存储介质 | |
CN110633318A (zh) | 一种数据提取的处理方法、装置、设备和存储介质 | |
CN111178455B (zh) | 图像聚类方法、系统、设备及介质 | |
CN112966756A (zh) | 一种可视化的准入规则的生成方法、装置、机器可读介质及设备 | |
CN112363814A (zh) | 任务调度方法、装置、计算机设备及存储介质 | |
CN112286815A (zh) | 一种接口测试脚本的生成方法及其相关设备 | |
CN106708869B (zh) | 一种群组数据处理的方法及装置 | |
CN110543426A (zh) | 一种软件性能风险检测方法及装置 | |
CN115391343A (zh) | 账单数据处理方法、装置、电子设备和存储介质 | |
CN104637496A (zh) | 计算机系统及音频比对方法 | |
CN115328764A (zh) | 基于自动化测试的测试代码优化方法及其相关设备 | |
CN114584616B (zh) | 一种消息推送方法、装置、电子设备及存储介质 | |
CN115604000B (zh) | 一种越权检测方法、装置、设备及存储介质 | |
CN114860847B (zh) | 应用于大数据平台的数据链路处理方法、系统及介质 | |
CN112632102A (zh) | 数据查询方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |