CN116414600A - 数据自动核对方法、装置、设备及存储介质 - Google Patents

数据自动核对方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116414600A
CN116414600A CN202310162196.3A CN202310162196A CN116414600A CN 116414600 A CN116414600 A CN 116414600A CN 202310162196 A CN202310162196 A CN 202310162196A CN 116414600 A CN116414600 A CN 116414600A
Authority
CN
China
Prior art keywords
data
time sequence
service data
information
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310162196.3A
Other languages
English (en)
Inventor
王子飞
王卓成
胡军全
周展鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310162196.3A priority Critical patent/CN116414600A/zh
Publication of CN116414600A publication Critical patent/CN116414600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • G06F11/0775Content or structure details of the error report, e.g. specific table structure, specific error fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种数据自动核对方法、装置、设备及存储介质,可以应用于大数据技术领域和金融技术领域。该方法包括:获取第一系统的第一业务数据和第二系统的第二业务数据;根据第一业务数据中的第一时序标签和第二业务数据中的第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的第一关键业务信息和第二关键业务信息进行比对,得到比对结果;在比对结果表征第一关键业务信息和第二关键业务信息不同的情况下,利用错误数据追平器将第二关键业务信息覆盖第一系统中的第一关键业务信息。

Description

数据自动核对方法、装置、设备及存储介质
技术领域
本公开涉及大数据技术领域和金融技术领域,尤其涉及一种数据自动核对方法、装置、设备、介质和程序产品。
背景技术
目前许多运行多年的大型IT(Internet Technology,互联网技术)系统计划迁移至公有云或私有云,为了适配云原生的要求,旧系统需进行技术重构,但技术重构后系统的业务功能需要保持不变。因此,系统进行技术重构后,需充分验证新系统的业务功能是否与旧系统保持一致。
相关技术中,在新系统和旧系统数据核对过程中,一般都是由测试人员根据新旧系统的表结构的对照关系进行人工核对,在数据量特别大的情况下只能抽样检查,导致核对效率低且容易出错,并且每次做一个新系统重构时,都要重新开发,导致复用率低,而且在部分复杂的业务场景下,同一笔数据会有多次变化,在人工比对新旧数据时,需要细心核对两边数据是否是同一次变化,导致耗时长,同时,当核对发现新系统的数据有错误时,存在核对不一致结果无法自动生成以及无法自动修正的问题。
发明内容
鉴于上述问题,本公开提供了一种数据自动核对方法、装置、设备、介质和程序产品。
根据本公开的第一个方面,提供了一种数据自动核对方法,包括:
获取第一系统的第一业务数据和第二系统的第二业务数据,其中,上述第一业务数据包括由上述第一系统响应第一交易请求得到的第一关键业务信息和第一时序标签,上述第二业务数据包括由上述第二系统响应第二交易请求得到的第二关键业务信息和第二时序标签,上述第一系统是对上述第二系统进行技术重构后得到的;
根据上述第一业务数据中的上述第一时序标签和上述第二业务数据中的上述第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的上述第一关键业务信息和上述第二关键业务信息进行比对,得到比对结果;
在上述比对结果表征上述第一关键业务信息和上述第二关键业务信息不同的情况下,利用错误数据追平器将上述第二关键业务信息覆盖上述第一系统中的上述第一关键业务信息。
根据本公开的实施例,上述数据自动核对方法还包括:
在利用上述错误数据追平器将上述第二关键业务信息覆盖上述第一系统中的上述第一关键业务信息之前,将表征上述第一关键业务信息和上述第二关键业务信息不同的至少一条上述比对结果发送至上述错误数据追平器;
利用上述错误数据追平器从上述第一系统中查找上述第一关键业务信息中的差异信息;
利用上述第二关键业务信息中的目标信息覆盖上述第一系统中的上述差异信息。
根据本公开的实施例,上述根据上述第一业务数据中的上述第一时序标签和上述第二业务数据中的上述第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的上述第一关键业务信息和上述第二关键业务信息进行比对,得到比对结果,包括:
在上述第一业务数据和上述第二业务数据的记录类型相同的情况下,根据上述记录类型,利用比对执行机从上述数据比对规则池中读取上述匹配规则,其中,上述记录类型是根据关键业务信息确定的;
在上述第一业务数据和上述第二业务数据满足上述匹配规则的情况下,对上述第一时序标签和上述第二时序标签进行比对,得到第一时序标签比对结果;
在上述第一时序标签比对结果表征上述第一时序标签和上述第二时序标签相同的情况下,对上述第一关键业务信息和上述第二关键业务信息进行比对,得到上述比对结果。
根据本公开的实施例,上述数据自动核对方法还包括:
在对时序标签相同的上述第一关键业务信息和上述第二关键业务信息进行比对之前,将由上述第一系统响应不同第一交易请求得到的至少一条上述第一业务数据和由上述第二系统响应不同第二交易请求得到的至少一条上述第二业务数据发送至比对执行机;
利用上述比对执行机从上述数据比对规则池中读取的上述比对规则,对至少一条上述第一业务数据和至少一条上述第二业务数据进行比对,得到记录类型相同的至少一条上述第一业务数据和至少一条上述第二业务数据;
根据上述比对规则,将记录类型相同的至少一条上述第一业务数据中上述第一关键业务信息和至少一条上述第二业务数据中第二关键业务信息的数据类型调整一致。
根据本公开的实施例,上述数据自动核对方法还包括:
根据上述记录类型,利用上述比对执行机从上述数据比对规则池中读取上述匹配规则;
根据上述匹配规则,对记录类型相同的至少一条上述第一业务数据和至少一条上述第二业务数据进行匹配,得到满足上述匹配规则的至少一组上述第一业务数据和上述第二业务数据;
根据满足上述匹配规则的至少一组上述第一业务数据和上述第二业务数据中各自的时序标签,对时序标签相同的每组上述第一关键业务信息和上述第二关键业务信息进行比对,得到至少一条上述比对结果。
根据本公开的实施例,上述数据自动核对方法还包括:
在利用上述第二关键业务信息中的目标信息覆盖上述第一系统中的上述差异信息之前,对利用上述错误数据追平器从上述第一系统中查找到的上述第一业务数据中的上述第一时序标签和上述比对结果中的比对时序标签进行比对,得到第二时序标签比对结果;
在上述第二时序标签比对结果表征上述第一时序标签和上述比对时序标签相同的情况下,利用上述第二关键业务信息中的目标信息覆盖上述第一系统中的上述差异信息。
根据本公开的实施例,上述数据自动核对方法还包括:
将至少一条上述比对结果发送至用于记录上述比对结果的比对结果记录器。
本公开的第二方面提供了一种数据自动核对装置,包括:获取模块、第一比对模块和第一覆盖模块。其中,获取模块,用于获取第一系统的第一业务数据和第二系统的第二业务数据,其中,上述第一业务数据包括由上述第一系统响应第一交易请求得到的第一关键业务信息和第一时序标签,上述第二业务数据包括由上述第二系统响应第二交易请求得到的第二关键业务信息和第二时序标签,上述第一系统是对上述第二系统进行技术重构后得到的。第一比对模块,用于根据上述第一业务数据中的上述第一时序标签和上述第二业务数据中的上述第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的上述第一关键业务信息和上述第二关键业务信息进行比对,得到比对结果。第一覆盖模块,用于在上述比对结果表征上述第一关键业务信息和上述第二关键业务信息不同的情况下,利用错误数据追平器将上述第二关键业务信息覆盖上述第一系统中的上述第一关键业务信息。
本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。
根据本公开提供的数据自动核对方法、装置、设备、介质和程序产品,利用从数据比对规则池中读取的匹配规则,在获取的第一业务数据和第二业务数据满足匹配规则的情况下,对时序标签相同的第一关键业务信息和第二关键业务信息进行比对,能够得到比对结果,实现了第一系统和第二系统数据的自动核对以及核对结果的自动生成,提高了核对效率和复用率,减少了人工核对的工作量,并在比对结果表征第一关键业务信息和第二关键业务信息不同的情况下,利用错误数据追平器能够将第二关键业务信息覆盖第一系统中的第一关键业务信息,实现了对每笔数据都进行核对,能够对新系统的业务逻辑正确进行充分验证,同时,能够自动修正新系统的错误数据,减少新系统错误数据对客户的影响。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的数据自动核对方法、装置、设备、介质和程序产品的应用场景图;
图2示意性示出了根据本公开实施例的数据自动核对方法的流程图;
图3示意性示出了根据本公开实施例的得到比对结果的流程图;
图4示意性示出了根据本公开实施例的比对执行机的工作流程图;
图5示意性示出了根据本公开实施例的错误数据追平器的工作流程图;
图6示意性示出了根据本公开实施例的适于实现数据自动核对方法的整体框架图;
图7示意性示出了根据本公开实施例的数据自动核对装置的结构框图;以及
图8示意性示出了根据本公开实施例的适于实现数据自动核对方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在本公开的技术方案中,对数据的获取、收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在实施本公开的过程中发现,在系统进行技术重构时,为了避免影响业务,往往需要充分验证新系统的业务功能是否与旧系统保持一致,并且在系统迁移时,为减少对业务的影响,往往采用新旧系统数据双写。由不同的开发测试团队负责研发维护,使得子系统间多存在相互依赖调用关系,并且开发人员通过API(Application Programming Interface,应用程序接口)说明文档作为编程依据实现API调用,编码完毕后通过双方的联调测试进行验证,在这一过程中作为API的调用方因API源码对其透明,过于依赖API维护方提供的文档说明,无法掌握研发工作的主动权。相关技术中,一般都是由测试人员根据新旧系统的表结构的对照关系进行人工核对,导致核对效率低、易出错、复用率低以及耗时长,并且,当核对发现新系统的数据有错误时,存在核对不一致结果无法自动生成以及无法自动修正的问题。
为此,本公开的实施例提供了一种数据自动核对方法,包括:获取第一系统的第一业务数据和第二系统的第二业务数据,其中,第一业务数据包括由第一系统响应第一交易请求得到的第一关键业务信息和第一时序标签,第二业务数据包括由第二系统响应第二交易请求得到的第二关键业务信息和第二时序标签,第一系统是对第二系统进行技术重构后得到的;根据第一业务数据中的第一时序标签和第二业务数据中的第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的第一关键业务信息和第二关键业务信息进行比对,得到比对结果;在比对结果表征第一关键业务信息和第二关键业务信息不同的情况下,利用错误数据追平器将第二关键业务信息覆盖第一系统中的第一关键业务信息。
图1示意性示出了根据本公开实施例的数据自动核对方法的应用场景图。
如图1所示,根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
例如,可以通过第一终端设备101、第二终端设备102、第三终端设备103向第一系统和第二系统发送交易请求。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
例如,可以通过服务器105获取第一系统的第一业务数据和第二系统的第二业务数据,并根据第一业务数据中的第一时序标签和第二业务数据中的第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的第一关键业务信息和第二关键业务信息进行比对,得到比对结果,最后在比对结果表征第一关键业务信息和第二关键业务信息不同的情况下,利用错误数据追平器将第二关键业务信息覆盖第一系统中的第一关键业务信息。
需要说明的是,本公开实施例所提供的数据自动核对方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据自动核对装置一般可以设置于服务器105中。本公开实施例所提供的数据自动核对方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据自动核对装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2~图6对公开实施例的数据自动核对方法进行详细描述。
图2示意性示出了根据本公开实施例的数据自动核对方法的流程图。
如图2所示,该方法200包括操作S210~操作S230。
在操作S210,获取第一系统的第一业务数据和第二系统的第二业务数据。
根据本公开的实施例,第一业务数据可以包括由第一系统响应第一交易请求得到的第一关键业务信息和第一时序标签,第二业务数据可以包括由第二系统响应第二交易请求得到的第二关键业务信息和第二时序标签,第一系统是对第二系统进行技术重构后得到的。
根据本公开的实施例,第一系统和第二系统是实时响应相同交易请求的,可得到多个关键业务信息。对第一系统和第二系统中的关键业务信息进行核对,是要对每组响应相同交易请求得到的第一业务数据和第二业务数据进行比对,需要获取至少一组第一业务数据和第二业务数据,并在第一业务数据和第二业务数据是响应相同交易请求得到的一组业务数据的情况下,可以对该组的关键业务信息进行比对。
根据本公开的实施例,在获取业务数据存在时延或者先后顺序改变的情况下,获取的一组第一业务数据和第二业务数据可能是响应不同交易请求得到的。获取业务数据存在时延可以表征业务数据的获取存在时间上的延迟,例如,第一业务数据可以表示03秒下获取的,而第二业务数据因为时间延迟可以表示02秒下获取的;获取业务数据存在先后顺序改变可以表征业务数据存在先发后至或者后发先至的情况,例如,存在02秒和03秒下发送的业务数据,先获取03秒下发送的业务数据,再获取02秒下发送的业务数据。
根据本公开的实施例,第一交易请求和第二交易请求可以是相同的交易请求,也可以是不同的交易请求。第一时序标签是时序标签生成器根据第一交易请求生成的时间得到的。第二时序标签是时序标签生成器根据第二交易请求生成的时间得到的。时序标签可以表征含有时间顺序的标签信息,可以用于判断两个时序标签的先后顺序。根据相同交易请求得到的第一时序标签和第二时序标签是相同的。时序标签生成器可以通过拦截交易请求生成时序标签,也可以通过直接发送给时序标签生成器的交易请求生成时序标签。时序标签可以表征全局唯一的时序标签。
根据本公开的实施例,第一系统可以表征新系统,第二系统可以表征旧系统。例如,在核对余额数据的情况下,业务数据可以包括账号、余额和时序标签,可以用表格形式记录业务数据。关键业务信息可以表征余额值。第一业务数据对应的表格可以表示新系统余额表,第二业务数据对应的表格可以表示旧系统余额表。
根据本公开的实施例,例如,在核对交易明细数据的情况下,业务数据可以包括账号、交易明细、日期、交易编号和时序标签,可以用表格形式记录业务数据。关键业务信息可以包括交易明细,交易明细可以表征转入转出金额,例如,转出100元、转入20元等。第一业务数据对应的表格可以表示新系统交易明细表,第二业务数据对应的表格可以表示旧系统交易明细表。
根据本公开的实施例,以下为以余额数据核对为例的实施例。
例如,实施例一,客户A在银行系统有一个账号“A1”,开始时余额为0。客户先在2022-12-01 09:30:01在手机银行做了一笔交易,如果系统处理正确,则余额增加100元,由时序标签生成器生成全局唯一的“时序标签”为“2022 1201 093001 001”,新系统和旧系统分别处理该笔交易,然后更新余额表,并将全局唯一的“时序标签”登记至余额表,可以表示为如下表1。
表1
Figure BDA0004094574610000101
根据本公开的实施例,acc_new可以表示新系统余额表,acc_old可以表示旧系统余额表。根据上述例子,第一交易请求和第二交易请求均可以表征收入100元,即余额增加100元。第一系统响应第一交易请求得到的第一关键业务信息可以表征余额100元,第二系统响应第二交易请求得到的第二关键业务信息也可以表征余额100元,则新系统响应该交易请求得到的第一关键业务信息无误。时序标签“20221201 093001 001”中的“2022”可以表示2022年,“1201”可以表示12月1日,“093001”可以表示9点30分1秒,“001”可以表示这个时刻下发生的第一笔交易,那么,因为不同交易请求存在并发的可能性,在这个时刻下还发生了第二笔交易的情况下,该第二笔交易的时序标签可以表示为“2022 1201 093001002”。
例如,实施例二,客户A在2022-12-01 09:30:02继续在手机银行做了一笔交易,如果系统处理正确,则余额减20元,时序标签生成器生成全局唯一的“时序标签”为:“20221201 093002 001”,新系统和旧系统分别处理该笔交易,然后更新余额表,并将全局唯一的“时序标签”登记至余额表,可以表示为如下表2。
表2
Figure BDA0004094574610000111
根据本公开的实施例,根据上述例子,第一交易请求和第二交易请求均可以表征支出20元,即余额减少20元。第一系统响应第一交易请求得到的第一关键业务信息可以表征余额80元,第二系统响应第二交易请求得到的第二关键业务信息也可以表征余额80元,则新系统响应该交易请求得到的第一关键业务信息无误。
例如,实施例三,客户A在2022-12-01 09:30:03继续在手机银行做了一笔交易,如果系统处理正确,则余额减10元,时序标签生成器生成全局唯一的“时序标签”为:“20221201 093003 001”,新系统和旧系统分别处理该笔交易,然后更新余额表,并将全局唯一的“时序标签”登记至余额表,可以表示为如下表3。
表3
Figure BDA0004094574610000112
根据本公开的实施例,根据上述例子,第一交易请求和第二交易请求均可以表征支出10元,即余额减少10元。第一系统响应第一交易请求得到的第一关键业务信息可以表征余额75元,第二系统响应第二交易请求得到的第二关键业务信息也可以表征余额70元,则新系统响应该交易请求得到的第一关键业务信息有误。
例如,实施例四,客户A在2022-12-01 09:30:04继续在手机银行继续做了一笔交易,如果系统处理正确,则余额增加2元,时序标签生成器生成全局唯一的“时序标签”为:“2022 1201 093004 001”,新系统和旧系统分别处理该笔交易,然后更新余额表,并将全局唯一的“时序标签”登记至余额表,可以表示为如下表4。
表4
Figure BDA0004094574610000121
根据本公开的实施例,根据上述例子,第一交易请求和第二交易请求均可以表征收入2元,即余额增加2元。第一系统响应第一交易请求得到的第一关键业务信息可以表征余额77元,第二系统响应第二交易请求得到的第二关键业务信息也可以表征余额72元,则新系统响应该交易请求得到的第一关键业务信息有误。
根据本公开的实施例,旧系统在生产上能够运行多年,其业务逻辑已经得到充分验证,所以该旧系统的业务逻辑是正确的,而新系统未经生产验证,其业务逻辑容易存在错误。
在操作S220,根据第一业务数据中的第一时序标签和第二业务数据中的第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的第一关键业务信息和第二关键业务信息进行比对,得到比对结果。
根据本公开的实施例,例如,在核对余额数据的情况下,匹配规则可以表征根据账号进行匹配;在核对交易明细数据的情况下,匹配规则可以表征根据账号、日期和交易编号进行匹配,可以用来得到满足匹配规则的第一业务数据和第二业务数据。在第一业务数据和第二业务数据不满足匹配规则的情况下,第一业务数据和第二业务数据不可以进行比对。
根据本公开的实施例,根据匹配规则以及第一业务数据中的第一时序标签和第二业务数据中的第二时序标签,可以用于判断第一业务数据和第二业务数据是否是响应相同交易请求得到的业务数据。在第一业务数据和第二业务数据满足匹配规则以及时序标签相同的情况下,即第一业务数据和第二业务数据是响应相同交易请求得到的,对第一关键业务信息和第二关键业务信息进行比对,得到比对结果。
在操作S230,在比对结果表征第一关键业务信息和第二关键业务信息不同的情况下,利用错误数据追平器将第二关键业务信息覆盖第一系统中的第一关键业务信息。
根据本公开的实施例,在比对结果可以表征第一关键业务信息和第二关键业务信息不同的情况下,表明第一系统中的该第一关键业务信息有误,利用错误数据追平器以第二系统中的第二关键业务信息覆盖第一关键业务信息。
根据本公开的实施例,在比对结果可以表征第一关键业务信息和第二关键业务信息相同的情况下,第一系统响应交易请求得到的第一关键业务信息无误,无需利用错误数据追平器覆盖。
需要说明的是,上述对第一业务数据和第二业务数据的获取、收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
根据本公开的实施例,利用从数据比对规则池中读取的匹配规则,在获取的第一业务数据和第二业务数据满足匹配规则的情况下,对时序标签相同的第一关键业务信息和第二关键业务信息进行比对,能够得到比对结果,实现了第一系统和第二系统数据的自动核对以及核对结果的自动生成,提高了核对效率和复用率,减少了人工核对的工作量,并在比对结果表征第一关键业务信息和第二关键业务信息不同的情况下,利用错误数据追平器能够将第二关键业务信息覆盖第一系统中的第一关键业务信息,实现了对每笔数据都进行核对,能够对新系统的业务逻辑正确进行充分验证,同时,能够自动修正新系统的错误数据,减少新系统错误数据对客户的影响。
根据本公开的实施例,上述数据自动核对方法还包括:在利用错误数据追平器将第二关键业务信息覆盖第一系统中的第一关键业务信息之前,将表征第一关键业务信息和第二关键业务信息不同的至少一条比对结果发送至错误数据追平器;利用错误数据追平器从第一系统中查找第一关键业务信息中的差异信息;利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息。
根据本公开的实施例,错误数据追平器中可以包括至少一条表征第一关键业务信息和第二关键业务信息不同的比对结果。第一关键业务信息中的差异信息可以表征错误关键业务信息,第二关键业务信息中的目标信息可以表征正确关键业务信息。例如,在核对余额数据的情况下,第一关键业务信息中的差异信息可以表征错误余额值,第二关键业务信息中的目标信息可以表征正确余额值;在核对交易明细数据的情况下,第一关键业务信息中的差异信息可以表征错误交易明细,第二关键业务信息中的目标信息可以表征正确交易明细。
根据本公开的实施例,对错误数据追平器中的每条比对结果,可以根据比对结果,利用错误数据追平器从第一系统中查找对应第一关键业务信息中的错误关键业务信息,并利用第二系统中对应的正确信息覆盖第一系统中的错误关键业务信息。
根据本公开的实施例,利用错误数据追平器将第二关键业务信息中的正确信息覆盖第一系统中的差异信息,实现了对第一系统中差异信息的自动覆盖修正。
图3示意性示出了根据本公开实施例的得到比对结果的流程图。
如图3所示,该方法300包括操作S310~操作S330。
在操作S310,在第一业务数据和第二业务数据的记录类型相同的情况下,根据记录类型,利用比对执行机从数据比对规则池中读取匹配规则。
根据本公开的实施例,记录类型是根据关键业务信息确定的。记录类型可以包括余额和交易明细,不同记录类型下关键业务信息记载内容不同,在记录类型为余额的情况下,关键业务信息可以包括余额,例如,100元、80元等;在记录类型为交易明细的情况下,关键业务信息可以包括交易明细,例如,收入100元、支出20元等。
在操作S320,在第一业务数据和第二业务数据满足匹配规则的情况下,对第一时序标签和第二时序标签进行比对,得到第一时序标签比对结果。
根据本公开的实施例,在第一业务数据和第二业务数据的记录类型不相同或者不满足匹配规则的情况下,不进行比对。例如,在第一业务数据的记录类型为余额,第二业务数据的记录类型为交易明细的情况下,第一关键业务信息和第二关键业务信息是不可以进行比对的。在第一业务数据和第二业务数据的记录类型均为余额的情况下,但第一业务数据的账户为A,第二业务数据的账户为B,第一业务数据和第二业务数据也是不可以进行比对的。
根据本公开的实施例,在第一业务数据和第二业务数据的记录类型相同且满足匹配规则的情况下,可以进行时序标签比对。对第一业务数据中的第一时序标签和第二业务数据中的第二时序标签进行比对,得到第一时序标签比对结果。
在操作S330,在第一时序标签比对结果表征第一时序标签和第二时序标签相同的情况下,对第一关键业务信息和第二关键业务信息进行比对,得到比对结果。
根据本公开的实施例,在第一时序标签比对结果表征第一时序标签和第二时序标签相同的情况下,表明第一业务数据和第二业务数据是第一系统和第二系统响应相同交易请求得到的,即为同一笔交易的处理结果,可以对第一关键业务信息和第二关键业务信息进行比对,得到比对结果。
根据本公开的实施例,在第一时序标签比对结果表征第一时序标签和第二时序标签不同的情况下,表明第一业务数据和第二业务数据是第一系统和第二系统响应不同交易请求得到的,不可以对第一关键业务信息和第二关键业务信息进行比对。
根据本公开的实施例,在第一业务数据和第二业务数据的记录类型相同的情况下,对满足匹配规则的第一业务数据中的第一时序标签和第二业务数据中的第二时序标签进行比对,确保第一业务数据和第二业务数据是第一系统和第二系统响应相同交易请求得到的,并对时序标签相同的第一关键业务信息和第二关键业务信息进行比对,能够得到比对结果,实现对第一系统和第二系统业务数据的自动核对以及比对结果的自动生成。
根据本公开的实施例,上述数据自动核对方法还包括:在对时序标签相同的第一关键业务信息和第二关键业务信息进行比对之前,将由第一系统响应不同第一交易请求得到的至少一条第一业务数据和由第二系统响应不同第二交易请求得到的至少一条第二业务数据发送至比对执行机;利用比对执行机从数据比对规则池中读取的比对规则,对至少一条第一业务数据和至少一条第二业务数据进行比对,得到记录类型相同的至少一条第一业务数据和至少一条第二业务数据;根据比对规则,将记录类型相同的至少一条第一业务数据中第一关键业务信息和至少一条第二业务数据中第二关键业务信息的数据类型调整一致。
根据本公开的实施例,比对执行机中可以包括至少一条第一业务数据和至少一条第二业务数据。
根据本公开的实施例,利用比对执行机从数据比对规则池中读取的比对规则,对至少一条第一业务数据和至少一条第二业务数据进行比对,可以得到记录类型相同的至少一条第一业务数据和至少一条第二业务数据。例如,比对执行中可以包括记录类型为余额和交易明细的第一业务数据以及记录类型为余额和交易明细的第二业务数据。利用比对规则,对比对执行机中的第一业务数据和第二业务数据的记录类型进行比对,可以得到记录类型为余额的第一业务数据和第二业务数据以及记录类型为交易明细的第一业务数据和第二业务数据。
根据本公开的实施例,根据比对规则,将记录类型相同的至少一条第一业务数据中第一关键业务信息和至少一条第二业务数据中第二关键业务信息的数据类型调整一致。例如,在记录类型为余额的第一业务数据中的第一关键业务信息的数据类型为字符型,记录类型为余额的第二业务数据中的第二关键业务信息的数据类型为数字型的情况下,第一关键业务信息和第二关键业务信息不可以直接进行比对,需要将关键业务信息的数据类型调整为一致,再进行比对。
根据本公开的实施例,针对比对执行机中响应不同交易请求得到的至少一条第一业务数据和至少一条第二业务数据,根据比对规则,将其根据记录类型进行比对,并将记录类型相同的关键业务信息的数据类型调整一致,便于后续对关键业务信息的比对。
根据本公开的实施例,上述数据自动核对方法还包括:根据记录类型,利用比对执行机从数据比对规则池中读取匹配规则;根据匹配规则,对记录类型相同的至少一条第一业务数据和至少一条第二业务数据进行匹配,得到满足匹配规则的至少一组第一业务数据和第二业务数据;根据满足匹配规则的至少一组第一业务数据和第二业务数据中各自的时序标签,对时序标签相同的每组第一关键业务信息和第二关键业务信息进行比对,得到至少一条比对结果。
根据本公开的实施例,在将记录类型相同的业务数据中的关键业务信息的数据类型调整为一致的基础上,根据记录类型,可以利用比对执行机从数据比对规则池中读取匹配规则,例如,在记录类型为余额的情况下,匹配规则可以表征根据账号进行匹配;在记录类型为交易明细的情况下,匹配规则可以表征根据账号、日期和交易编号进行匹配。
根据本公开的实施例,以记录类型为余额为例,对比对执行机中记录类型为余额的至少一条第一业务数据和至少一条第二业务数据进行匹配,可以得到至少一组账号相同的第一业务数据和第二业务数据,例如,比对执行机中存在记录类型为余额的账号A的第一业务数据和第二业务数据以及记录类型为余额的账号B的第一业务数据和第二业务数据,根据对应的匹配规则,可以得到一组账号为A的第一业务数据和第二业务数据以及一组账号为B的第一业务数据和第二业务数据。
根据本公开的实施例,根据满足匹配规则的至少一组第一业务数据和第二业务数据中的时序标签,对时序标签相同的每组第一关键业务信息和第二关键业务信息进行比对,可以得到至少一条比对结果。例如,在账号为A的第一业务数据和第二业务数据中的时序标签相同的情况下,对账号A的第一关键信息和第二关键业务信息进行比对,得到账号A的比对结果;在账号为B的第一业务数据和第二业务数据中的时序标签相同的情况下,对账号B的第一关键信息和第二关键业务信息进行比对,得到账号B的比对结果。
根据本公开的实施例,在记录类型相同的第一业务数据和第二业务数据的基础上,将满足匹配规则的每组第一业务数据和第二业务数据进行比对,可以得到至少一条比对结果,实现对第一系统和第二系统业务数据的自动核对以及比对结果的自动生成。
根据本公开的实施例,上述数据自动核对方法还包括:将至少一条比对结果发送至用于记录比对结果的比对结果记录器。
根据本公开的实施例,将生成的至少一条比对结果发送至比对结果记录器中,可以用于记录比对结果。
图4示意性示出了根据本公开实施例的比对执行机的工作流程图。
如图4所示,该方法400包括操作S410~操作S460。
在操作S410,将由第一系统响应不同第一交易请求得到的至少一条第一业务数据和由第二系统响应不同第二交易请求得到的至少一条第二业务数据发送至比对执行机。
在操作S420,利用比对执行机从数据比对规则池中读取的比对规则,对至少一条第一业务数据和至少一条第二业务数据进行比对,得到记录类型相同的至少一条第一业务数据和至少一条第二业务数据。
在操作S430,根据比对规则,将记录类型相同的至少一条第一业务数据中第一关键业务信息和至少一条第二业务数据中第二关键业务信息的数据类型调整一致。
在操作S440,根据记录类型,利用比对执行机从数据比对规则池中读取匹配规则。
在操作S450,根据匹配规则,对记录类型相同的至少一条第一业务数据和至少一条第二业务数据进行匹配,得到满足匹配规则的至少一组第一业务数据和第二业务数据。
在操作S460,根据满足匹配规则的至少一组第一业务数据和第二业务数据中各自的时序标签,对时序标签相同的每组第一关键业务信息和第二关键业务信息进行比对,得到至少一条比对结果。
根据本公开的实施例,以上述实施例一~实施例四为例。
例如,实施例一:
1)当在2022-12-01 09:30:01情况下,数据比对执行机(比对执行机)分别接收到新系统和旧系统异步传送过来的业务数据,可以表示为如下表5和表6,其中,acc_new可以表示新系统余额表,acc_old可以表示旧系统余额表:
表5
acc_new
账号 余额 第一时序标签
A1 100 20221201093001001
表6
acc_old
账号 余额 第二时序标签
A1 100 20221201093001001
2)从比对规则池拉取相关的比对规则,执行上述操作S420和操作S430;
3)在比对规则池中配置acc_new和acc_old的匹配规则为“根据账号进行匹配”;
4)根据账号“A1”匹配新系统和旧系统的同一笔数据可以表示为如下表5和表6:
表5
acc_new
账号 余额 第一时序标签
A1 100 20221201093001001
表6
acc_old
账号 余额 第二时序标签
A1 100 20221201093001001
5)判断两笔数据的时序标签是否相同,结果为相同,即为同一笔交易,则再比对业务关键信息余额值是否相同,本例为余额相同;
6)记录实施例一的比对结果至比对结果记录器,可以表示为如下表7。
表7
比较对象 结果 错误信息
acc_new和acc_old 相同
例如,实施例二:
1)当在2022-12-0109:30:02情况下,数据比对执行机分别接收到新系统和旧系统异步传送过来的业务数据,可以表示为如下表5和表8:
表5
acc_new
账号 余额 第一时序标签
A1 100 20221201093001001
表8
acc_old
账号 余额 第二时序标签
A1 80 20221201093002001
2)从比对规则池拉取相关的比对规则,执行上述操作S420和操作S430;
3)在比对规则池中配置acc_new和acc_old的匹配规则为“根据账号进行匹配”;
4)根据账号“A1”匹配新系统和旧系统的同一笔数据可以表示为如下表5和表8:
表5
acc_new
账号 余额 第一时序标签
A1 100 20221201093001001
表8
acc_old
账号 余额 第二时序标签
A1 80 20221201093002001
5)判断两笔数据的时序标签是否相同,而结果为不相同,则表示此时,这两笔数据并非同一笔交易产生,不再进行比对,退出本次处理。
根据本公开的实施例,在获取业务数据存在时延或者先后顺序改变的情况下,本实施例二中获取的第一业务数据和第二业务数据是响应不同交易请求得到的,不能进行比对而得到比对结果。
例如,实施例三:
1)当在2022-12-01 09:30:03情况下,数据比对执行机分别接收到新系统和旧系统异步传送过来的业务数据,可以表示为如下表9和表10:
表9
acc_new
账号 余额 第一时序标签
A1 75 20221201093003001
表10
acc_old
账号 余额 第二时序标签
A1 70 20221201093003001
2)从比对规则池拉取相关的比对规则,执行上述操作S420和操作S430;
3)在比对规则池中配置acc_new和acc_old的匹配规则为“根据账号进行匹配”;
4)根据账号“A1”匹配新系统和旧系统的同一笔数据可以表示为如下表9和表10:
表9
acc_new
账号 余额 第一时序标签
A1 75 20221201093003001
表10
acc_old
账号 余额 第二时序标签
A1 70 20221201093003001
5)判断两笔数据的时序标签是否相同,结果为相同,即为同一笔交易,则再比对业务关键信息余额值是否相同,本例为余额不相同,则新系统的差异信息可以表示为75;
6)记录实施例三的比对结果至比对结果记录器,可以表示为如下表11:因为旧系统是已经在生产上运行多年,已经得充分验证,所以其系统的业务逻辑应为正确,而新系统是未经生产验证,业务逻辑容易存在错误,故本方案中是以旧系统的数据为准去更正新系统的错误数据。
表11
比较对象 结果 错误信息 错误数据表名 错误数据主键 正确余额 比对时序标签
acc_new和acc_old 不相同 余额不同 acc_new 账号=A1 70 20221201093003001
实施例四同理,在2022-12-01 09:30:04情况下,比对结束后,登记第2笔差异结果在记录比对结果至比对结果记录器,可以表示为如下表12。
表12
比较对象 结果 错误信息 错误数据表名 错误数据主键 正确余额 比对时序标签
acc_new和acc_old 不相同 余额不同 acc_new 账号=A1 72 20221201093004001
根据本公开的实施例,上述数据自动核对方法还包括:在利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息之前,对利用错误数据追平器从第一系统中查找到的第一业务数据中的第一时序标签和比对结果中的比对时序标签进行比对,得到第二时序标签比对结果;在第二时序标签比对结果表征第一时序标签和比对时序标签相同的情况下,利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息。
根据本公开的实施例,发送至错误数据追平器中的比对结果可能因为数据存在时延或者先后顺序改变的情况,导致获取的比对结果并非最新比对结果,不能直接覆盖,因此,需要对利用错误数据追平器从第一系统中查找到的第一业务数据中的第一时序标签和比对结果中的比对时序标签进行比对,得到第二时序标签比对结果;在第二时序标签比对结果可以表征第一时序标签和比对时序标签相同的情况下,可以利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息。
根据本公开的实施例,对利用错误数据追平器从第一系统中查找到的第一业务数据中的第一时序标签和比对结果中的比对时序标签进行比对,可以确保目标信息的准确性,实现对差异信息的覆盖修正。
图5示意性示出了根据本公开实施例的错误数据追平器的工作流程图。
如图5所示,该方法500包括操作S510~操作S530。
在操作S510,将表征第一关键业务信息和第二关键业务信息不同的至少一条比对结果发送至错误数据追平器。
在操作S520,利用错误数据追平器从第一系统中查找第一关键业务信息中的差异信息。
在操作S530,在第二时序标签比对结果表征第一时序标签和比对时序标签相同的情况下,利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息。
根据本公开的实施例,以上述实施例一~实施例四为例,可以得到实施例三和实施例四的比对结果可以表征第一关键业务信息和第二关键业务信息不同。
例如,实施例三:
1)当在2022-12-01 09:30:03情况下,读取比对结果记录器中比对结果不相同的记录,可以表示为如下表11:
表11
比较对象 结果 错误信息 错误数据表名 错误数据主键 正确余额比对时序标签
acc_new和acc_old 不相同 余额不同 acc_new 账号=A1 7020221201093003001
2)根据差异信息、错误数据表名和错误数据主键,利用错误数据追平器去新系统找到需要追平的记录,可以表示为如下表9:
表9
acc_new
账号 余额 第一时序标签
A1 75 20221201093003001
3)比较新系统和比对结果记录器的时序标签是否相同,本例子为相同。
4)根据比对结果中的正确余额覆盖新系统的错误数据,可以表示为如下表13。
表13
acc_new
账号 余额 第一时序标签
A1 70 20221201093003001
根据本公开的实施例,实施例一~实施例四均是针对同一账号不同时刻下交易请求的例子。因此,在获取业务数据存在时延或者先后顺序改变的情况下,获取比对结果记录器中比对结果不同的记录可能存在获取错误的情况,根据比对结果中的比对时序标签是不能够准确确定需要时刻下新系统中的业务数据。根据差异信息、错误数据表名和错误数据主键,去新系统可以找到记录类型相同以及账号相同的业务数据,再与比对结果中的比对时序标签进行比对。
例如,实施例四:
1)当在2022-12-01 09:30:04情况下,读取比对结果记录器中比对结果不相同的记录,可以表示为如下表11,其中,在获取业务数据存在时延或者先后顺序改变的情况下,本实施例四中获取比对结果记录器中比对结果不同的记录获取错误,应该为表12所示:
表11
比较对象 结果 错误信息 错误数据表名 错误数据主键 正确余额 比对时序标签
acc_new和acc_old 不相同 余额不同 acc_new 账号=A1 70 20221201093003001
2)根据差异结果、错误数据表名和错误数据主键,利用错误数据追平器去新系统找到需要追平的记录,如下表14:
表14
acc_new
账号 余额 第一时序标签
A1 77 20221201093004001
3)比较新系统和比对结果记录器的时序标签是否相同,本例子为不相同,可以表示比对结果记录器的结果并非最新结果,不能直接覆盖,退出本次处理。
图6示意性示出了根据本公开实施例的适于实现数据自动核对方法的整体框架图。
如图6所示,适于实现数据自动核对方法的整体框架图600可以包括时序标签生成器601、第二系统602、第一系统603、数据比对接收器604、比对执行机605、数据比对规则池606、比对结果记录器607以及错误数据追平器608。
根据本公开的实施例,根据交易请求发生的时间,利用时序标签生成器601可以生成与该交易请求对应的全局唯一的时序标签。第一系统603和第二系统602响应同一交易请求可以分别得到第一关键业务信息和第二关键业务信息,再将时序标签生成器601生成的与该交易请求对应的时序标签发送至第一系统603和第二系统602,与关键业务信息组成业务数据。交易请求具有并发性,即同一时刻存在至少一个交易请求发生的情况,因此,第一系统603和第二系统602实时响应不同交易请求,可以得到至少一条第一业务数据和至少一条第二业务数据。
根据本公开的实施例,将第一系统603的至少一条第一业务数据和第二系统602的至少一条第二业务数据通过异步传送的方式实时发送至数据比对接收器604中,再将至少一条第一业务数据和至少一条第二业务数据发送至比对执行机605中。备选地,也可以将第一系统603的至少一条第一业务数据和第二系统602的至少一条第二业务数据通过异步传送的方式直接实时发送至比对执行机605中。
根据本公开的实施例,利用比对执行机605从数据比对规则池606中读取比对规则,并根据比对规则,对对执行机605中至少一条第一业务数据和至少一条第二业务数据进行比对,得到记录类型相同的至少一条第一业务数据和至少一条第二业务数据,并将记录类型相同的至少一条第一业务数据中第一关键业务信息和至少一条第二业务数据中第二关键业务信息的数据类型调整一致。
根据本公开的实施例,根据记录类型,利用比对执行机605从数据比对规则池606中读取匹配规则。根据匹配规则,对记录类型相同的至少一条第一业务数据和至少一条第二业务数据进行匹配,得到满足匹配规则的至少一组第一业务数据和第二业务数据,并对时序标签相同的每组第一关键业务信息和第二关键业务信息进行比对,得到至少一条比对结果。
根据本公开的实施例,将至少一条比对结果发送至比对结果记录器607中,用于记录比对结果。将比对结果记录器607中比对结果表征第一关键业务信息和第二关键业务信息不同的至少一条比对结果发送至错误数据追平器608中。
根据本公开的实施例,对于错误数据追平器608中至少一条比对结果,可以根据比对结果中记录的错误信息、错误数据表名和错误数据主键,利用错误数据追平器608从第一系统603中查找记录类型相同以及错误数据主键相同的第一业务数据,其中,在核对余额数据的情况下,根据错误信息可以确定第一业务数据的记录类型为余额,根据错误数据主键可以确定对应账号;在核对交易明细数据的情况下,根据错误信息可以确定第一业务数据的记录类型为交易明细,根据错误数据主键可以确定对应账号、日期和交易编号。
根据本公开的实施例,在比对结果中的比对时序标签与第一业务数据的第一时序标签相同的情况下,利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息。备选地,可以直接根据比对结果中的比对时序标签,利用错误数据追平器608第一系统603中查找第一关键业务信息中的差异信息,在比对时序标签与第一业务数据的第一时序标签相同的情况下,可以利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息。
基于上述数据自动核对方法,本公开还提供了一种数据自动核对装置。以下将结合图7对该装置进行详细描述。
图7示意性示出了根据本公开实施例的数据自动核对装置的结构框图。
如图7所示,该实施例的数据自动核对装置700包括获取模块710、第一比对模块720和第一覆盖模块730。
获取模块710用于获取第一系统的第一业务数据和第二系统的第二业务数据,其中,第一业务数据包括由第一系统响应第一交易请求得到的第一关键业务信息和第一时序标签,第二业务数据包括由第二系统响应第二交易请求得到的第二关键业务信息和第二时序标签,第一系统是对第二系统进行技术重构后得到的。在一实施例中,获取模块710可以用于执行前文描述的操作S210,在此不再赘述。
第一比对模块720用于根据第一业务数据中的第一时序标签和第二业务数据中的第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的第一关键业务信息和第二关键业务信息进行比对,得到比对结果。在一实施例中,第一比对模块720可以用于执行前文描述的操作S220,在此不再赘述。
第一覆盖模块730用于在比对结果表征第一关键业务信息和第二关键业务信息不同的情况下,利用错误数据追平器将第二关键业务信息覆盖第一系统中的第一关键业务信息。在一实施例中,第一覆盖模块730可以用于执行前文描述的操作S230,在此不再赘述。
根据本公开的实施例,数据自动核对装置700还包括第一发送模块、查找模块和第二覆盖模块。
第一发送模块,用于在利用错误数据追平器将第二关键业务信息覆盖第一系统中的第一关键业务信息之前,将表征第一关键业务信息和第二关键业务信息不同的至少一条比对结果发送至错误数据追平器。
查找模块,用于利用错误数据追平器从第一系统中查找第一关键业务信息中的差异信息。
第二覆盖模块,用于利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息。
根据本公开的实施例,第一比对模块包括读取单元、第一比对单元和第二比对单元。
读取单元,用于在第一业务数据和第二业务数据的记录类型相同的情况下,根据记录类型,利用比对执行机从数据比对规则池中读取匹配规则,其中,记录类型是根据关键业务信息确定的。
第一比对单元,用于在第一业务数据和第二业务数据满足匹配规则的情况下,对第一时序标签和第二时序标签进行比对,得到第一时序标签比对结果。
第二比对单元,用于在第一时序标签比对结果表征第一时序标签和第二时序标签相同的情况下,对第一关键业务信息和第二关键业务信息进行比对,得到比对结果。
根据本公开的实施例,数据自动核对装置700还包括第二发送模块、第二比对模块和调整模块。
第二发送模块,用于在对时序标签相同的第一关键业务信息和第二关键业务信息进行比对之前,将由第一系统响应不同第一交易请求得到的至少一条第一业务数据和由第二系统响应不同第二交易请求得到的至少一条第二业务数据发送至比对执行机。
第二比对模块,用于利用比对执行机从数据比对规则池中读取的比对规则,对至少一条第一业务数据和至少一条第二业务数据进行比对,得到记录类型相同的至少一条第一业务数据和至少一条第二业务数据。
调整模块,用于根据比对规则,将记录类型相同的至少一条第一业务数据中第一关键业务信息和至少一条第二业务数据中第二关键业务信息的数据类型调整一致。
根据本公开的实施例,数据自动核对装置700还包括读取模块、匹配模块和第三比对模块。
读取模块,用于根据记录类型,利用比对执行机从数据比对规则池中读取匹配规则。
匹配模块,用于根据匹配规则,对记录类型相同的至少一条第一业务数据和至少一条第二业务数据进行匹配,得到满足匹配规则的至少一组第一业务数据和第二业务数据。
第三比对模块,用于根据满足匹配规则的至少一组第一业务数据和第二业务数据中的时序标签,对时序标签相同的每组第一关键业务信息和第二关键业务信息进行比对,得到至少一条比对结果。
根据本公开的实施例,数据自动核对装置700还包括第四比对模块和第三覆盖模块。
第四比对模块,用于在利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息之前,对利用错误数据追平器从第一系统中查找到的第一业务数据中的第一时序标签和比对结果中的比对时序标签进行比对,得到第二时序标签比对结果。
第三覆盖模块,用于在第二时序标签比对结果表征第一业务数据和比对时序标签相同的情况下,利用第二关键业务信息中的目标信息覆盖第一系统中的差异信息。
根据本公开的实施例,数据自动核对装置700还包括第三发送模块。
第三发送模块,用于将至少一条比对结果发送至用于记录比对结果的比对结果记录器。
根据本公开的实施例,获取模块710、第一比对模块720和第一覆盖模块730中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,获取模块710、第一比对模块720和第一覆盖模块730中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块710、第一比对模块720和第一覆盖模块730中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图8示意性示出了根据本公开实施例的适于实现数据自动核对方法的电子设备的方框图。
如图8所示,根据本公开实施例的电子设备800包括处理器801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中,存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备800还可以包括输入/输出(I/O)接口805,输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至I/O接口805的以下部件中的一项或多项:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。
在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分809被下载和安装,和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种数据自动核对方法,包括:
获取第一系统的第一业务数据和第二系统的第二业务数据,其中,所述第一业务数据包括由所述第一系统响应第一交易请求得到的第一关键业务信息和第一时序标签,所述第二业务数据包括由所述第二系统响应第二交易请求得到的第二关键业务信息和第二时序标签,所述第一系统是对所述第二系统进行技术重构后得到的;
根据所述第一业务数据中的所述第一时序标签和所述第二业务数据中的所述第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的所述第一关键业务信息和所述第二关键业务信息进行比对,得到比对结果;
在所述比对结果表征所述第一关键业务信息和所述第二关键业务信息不同的情况下,利用错误数据追平器将所述第二关键业务信息覆盖所述第一系统中的所述第一关键业务信息。
2.根据权利要求1所述的方法,还包括:
在利用所述错误数据追平器将所述第二关键业务信息覆盖所述第一系统中的所述第一关键业务信息之前,将表征所述第一关键业务信息和所述第二关键业务信息不同的至少一条所述比对结果发送至所述错误数据追平器;
利用所述错误数据追平器从所述第一系统中查找所述第一关键业务信息中的差异信息;
利用所述第二关键业务信息中的目标信息覆盖所述第一系统中的所述差异信息。
3.根据权利要求1所述的方法,其中,所述根据所述第一业务数据中的所述第一时序标签和所述第二业务数据中的所述第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的所述第一关键业务信息和所述第二关键业务信息进行比对,得到比对结果,包括:
在所述第一业务数据和所述第二业务数据的记录类型相同的情况下,根据所述记录类型,利用比对执行机从所述数据比对规则池中读取所述匹配规则,其中,所述记录类型是根据关键业务信息确定的;
在所述第一业务数据和所述第二业务数据满足所述匹配规则的情况下,对所述第一时序标签和所述第二时序标签进行比对,得到第一时序标签比对结果;
在所述第一时序标签比对结果表征所述第一时序标签和所述第二时序标签相同的情况下,对所述第一关键业务信息和所述第二关键业务信息进行比对,得到所述比对结果。
4.根据权利要求1或3所述的方法,还包括:
在对时序标签相同的所述第一关键业务信息和所述第二关键业务信息进行比对之前,将由所述第一系统响应不同第一交易请求得到的至少一条所述第一业务数据和由所述第二系统响应不同第二交易请求得到的至少一条所述第二业务数据发送至比对执行机;
利用所述比对执行机从所述数据比对规则池中读取的所述比对规则,对至少一条所述第一业务数据和至少一条所述第二业务数据进行比对,得到记录类型相同的至少一条所述第一业务数据和至少一条所述第二业务数据;
根据所述比对规则,将记录类型相同的至少一条所述第一业务数据中所述第一关键业务信息和至少一条所述第二业务数据中第二关键业务信息的数据类型调整一致。
5.根据权利要求4所述的方法,还包括:
根据所述记录类型,利用所述比对执行机从所述数据比对规则池中读取所述匹配规则;
根据所述匹配规则,对记录类型相同的至少一条所述第一业务数据和至少一条所述第二业务数据进行匹配,得到满足所述匹配规则的至少一组所述第一业务数据和所述第二业务数据;
根据满足所述匹配规则的至少一组所述第一业务数据和所述第二业务数据中各自的时序标签,对时序标签相同的每组所述第一关键业务信息和所述第二关键业务信息进行比对,得到至少一条所述比对结果。
6.根据权利要求1或2所述的方法,还包括:
在利用所述第二关键业务信息中的目标信息覆盖所述第一系统中的所述差异信息之前,对利用所述错误数据追平器从所述第一系统中查找到的所述第一业务数据中的所述第一时序标签和所述比对结果中的比对时序标签进行比对,得到第二时序标签比对结果;
在所述第二时序标签比对结果表征所述第一时序标签和所述比对时序标签相同的情况下,利用所述第二关键业务信息中的目标信息覆盖所述第一系统中的所述差异信息。
7.根据权利要求5所述的方法,其中,将至少一条所述比对结果发送至用于记录所述比对结果的比对结果记录器。
8.一种数据自动核对装置,包括:
获取模块,用于获取第一系统的第一业务数据和第二系统的第二业务数据,其中,所述第一业务数据包括由所述第一系统响应第一交易请求得到的第一关键业务信息和第一时序标签,所述第二业务数据包括由所述第二系统响应第二交易请求得到的第二关键业务信息和第二时序标签,所述第一系统是对所述第二系统进行技术重构后得到的;
第一比对模块,用于根据所述第一业务数据中的所述第一时序标签和所述第二业务数据中的所述第二时序标签,利用从数据比对规则池中读取的匹配规则,对时序标签相同的所述第一关键业务信息和所述第二关键业务信息进行比对,得到比对结果;
第一覆盖模块,用于在所述比对结果表征所述第一关键业务信息和所述第二关键业务信息不同的情况下,利用错误数据追平器将所述第二关键业务信息覆盖所述第一系统中的所述第一关键业务信息。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~7中任一项所述的方法。
CN202310162196.3A 2023-02-24 2023-02-24 数据自动核对方法、装置、设备及存储介质 Pending CN116414600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310162196.3A CN116414600A (zh) 2023-02-24 2023-02-24 数据自动核对方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310162196.3A CN116414600A (zh) 2023-02-24 2023-02-24 数据自动核对方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116414600A true CN116414600A (zh) 2023-07-11

Family

ID=87048812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310162196.3A Pending CN116414600A (zh) 2023-02-24 2023-02-24 数据自动核对方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116414600A (zh)

Similar Documents

Publication Publication Date Title
CN112463729B (zh) 数据文件的入库方法、装置、电子设备和介质
CN114358147A (zh) 异常账户识别模型的训练方法、识别方法、装置及设备
CN113515271A (zh) 服务代码生成方法、装置、电子设备及可读存储介质
CN115760013A (zh) 运维模型的构建方法、装置、电子设备及存储介质
CN113032256B (zh) 自动化测试方法、装置、计算机系统和可读存储介质
CN114004701A (zh) 生成交易结果的方法及装置、电子设备和存储介质
CN116414600A (zh) 数据自动核对方法、装置、设备及存储介质
CN113515510A (zh) 数据处理方法、数据处理系统、电子设备及可读存储介质
CN113448578A (zh) 页面数据处理方法、处理系统、电子设备和可读存储介质
CN114817314A (zh) 数据处理方法、装置、电子设备及存储介质
CN117112063A (zh) 系统日期处理方法、装置、电子设备及存储介质
CN113568838A (zh) 测试数据生成方法、装置、设备、存储介质和程序产品
CN117193879A (zh) 用于应用的流水线配置检测方法及装置
CN114817073A (zh) 自动化测试方法、装置、设备、介质和程序产品
CN114066651A (zh) 产品推荐方法、装置、电子设备及存储介质
CN116089411A (zh) 数据检核方法、装置、设备及存储介质
CN116578572A (zh) 业务日期变更方法、装置、设备、存储介质和程序产品
CN118093698A (zh) 数据处理方法、装置、电子设备及计算机存储介质
CN117395314A (zh) 请求处理方法、装置、电子设备及存储介质
CN116310423A (zh) 图像识别方法、装置、电子设备及可读存储介质
CN116341945A (zh) 对象评估方法及装置、电子设备和计算机可读存储介质
CN116071075A (zh) 交易完整性核对方法、装置、设备、介质和程序产品
CN116975200A (zh) 用于控制服务器工作状态的方法、装置、设备及介质
CN114637689A (zh) 应用评估方法、装置、设备及存储介质
CN115080434A (zh) 案例执行方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination