CN112632059B - 数据核对方法、装置、电子设备及机器可读存储介质 - Google Patents

数据核对方法、装置、电子设备及机器可读存储介质 Download PDF

Info

Publication number
CN112632059B
CN112632059B CN201910954625.4A CN201910954625A CN112632059B CN 112632059 B CN112632059 B CN 112632059B CN 201910954625 A CN201910954625 A CN 201910954625A CN 112632059 B CN112632059 B CN 112632059B
Authority
CN
China
Prior art keywords
data
data file
file
matching
checked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910954625.4A
Other languages
English (en)
Other versions
CN112632059A (zh
Inventor
罗明强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dasou Vehicle Software Technology Co Ltd
Original Assignee
Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dasou Vehicle Software Technology Co Ltd filed Critical Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority to CN201910954625.4A priority Critical patent/CN112632059B/zh
Publication of CN112632059A publication Critical patent/CN112632059A/zh
Application granted granted Critical
Publication of CN112632059B publication Critical patent/CN112632059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2255Hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开一种数据核对方法,应用于数据核对系统,从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据;创建本地数据文件,将所述待核对的业务数据写入创建的本地数据文件;其中,所述本地数据文件包括与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件;读取所述基准数据文件和所述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对所述待核对的业务数据的数据核对,降低了对业务系统及业务数据库的访问压力,提高了数据核对效率。

Description

数据核对方法、装置、电子设备及机器可读存储介质
技术领域
本申请涉及计算机应用技术领域,尤其涉及数据核对方法、装置、电子设备及机器可读存储介质。
背景技术
为了满足业务数据的一致性需求,公司内部多个存在业务关联的内部系统之间,以及,多个公司间的存在业务关联的业务系统都需要进行数据核对。
例如,公司涉及资金交易的支付系统,需要每天与第三方支付系统,比如:支付宝支付系统、微信支付系统或银行支付系统等,进行资金交易数据核对。
随着时间增长,待核对业务数据海量增长,需要进行业务数据核对业务系统的数目也在不断增加。如何及时和快速地进行业务数据的有效核对,是公司发展运营面临的一个重要挑战。
发明内容
本申请提供一种数据核对方法,所述方法应用于数据核对系统,所述方法包括:
从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据;
创建本地数据文件,将所述待核对的业务数据写入创建的本地数据文件;其中,所述本地数据文件包括与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件;
读取所述基准数据文件和所述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对所述待核对的业务数据的数据核对。
可选的,所述本地数据文件中的数据条目包括关联编码和待核对的业务数据;其中,所述关联编码用于指示所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目;
所述将所述待核对的业务数据写入创建的本地数据文件,包括:
为所述待核对的业务数据生成关联编码;
基于生成的关联编码和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
可选的,所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目中包含关联字段;所述关联编码为针对将所述关联字段的取值进行拼接后得到的字符串进行哈希计算得到的哈希值。
可选的,所述数据核对系统包括数据抽取子系统,所述本地数据文件中的数据条目还包括源数据编码;其中,所述源数据编码用于指示所述本地数据文件中的数据条目的数据来源;
在将所述待核对的业务数据写入创建的本地数据文件之后,还包括:
所述数据抽取子系统基于所述源数据编码确定写入所述本地数据文件的业务数据的数据来源;
基于确定出的数据来源将写入所述本地数据文件的业务数据分类为基准数据和匹配数据,以及基于分类结果将所述本地数据文件拆分为所述基准数据文件和所述匹配数据文件。
可选的,所述数据核对系统还包括数据排序子系统;在将所述本地数据文件拆分为所述基准数据文件和所述匹配数据文件之后,还包括:
所述数据排序子系统基于所述关联编码的取值,按照相同的排序策略,针对将所述基准数据文件及所述匹配数据文件中的数据条目进行排序。
可选的,所述数据核对系统还包括数据核对子系统;
所述读取所述基准数据文件和所述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对所述待核对的业务数据的数据核对,包括:
所述数据核对子系统逐行读取所述基准数据文件和所述匹配数据文件中的数据条目,并匹配读取到的所述基准数据文件中的数据条目与所述匹配数据文件的数据条目的关联编码;
如果读取到的所述基准数据文件中的数据条目与所述匹配数据文件中的数据条目的关联编码相同,则进一步检查所述数据条目中的待核对的业务数据的内容是否一致;如果是,输出指示读取到的所述数据条目的内容一致的数据核对结果;如果否,输出指示读取到的所述数据条目的内容不一致的数据核对结果。
可选的,还包括:
如果读取到的所述基准数据文件中的数据条目的关联编码,小于读取到的所述匹配数据文件中的数据条目的关联编码,输出指示该数据条目的多账状态的数据核对结果;
如果读取到的所述匹配数据文件中的数据条目的关联编码,小于读取到的所述基准数据文件中的数据条目的关联编码,输出指示该数据条目的少账状态的数据核对结果。
可选的,所述本地数据文件中的数据条目还包括批次号;其中,所述批次号指示从业务系统中下载的待核对的业务数据的批次;
所述将所述待核对的业务数据写入创建的本地数据文件,包括:
为所述待核对的业务数据生成批次号;
基于生成的批次号和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
本申请还提供一种数据核对装置,所述装置应用于数据核对系统,所述装置包括:
下载模块,从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据;
创建模块,创建本地数据文件,将所述待核对的业务数据写入创建的本地数据文件;其中,所述本地数据文件包括与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件;
核对模块,读取所述基准数据文件和所述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对所述待核对的业务数据的数据核对。
可选的,所述本地数据文件中的数据条目包括关联编码和待核对的业务数据;其中,所述关联编码用于指示所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目;
所述创建模块进一步:
为所述待核对的业务数据生成关联编码;
基于生成的关联编码和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
可选的,所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目中包含关联字段;所述关联编码为针对将所述关联字段的取值进行拼接后得到的字符串进行哈希计算得到的哈希值。
可选的,所述数据核对系统包括数据抽取子系统,所述本地数据文件中的数据条目还包括源数据编码;其中,所述源数据编码用于指示所述本地数据文件中的数据条目的数据来源;
在将所述待核对的业务数据写入创建的本地数据文件之后,所述创建模块进一步:
所述数据抽取子系统基于所述源数据编码确定写入所述本地数据文件的业务数据的数据来源;
基于确定出的数据来源将写入所述本地数据文件的业务数据分类为基准数据和匹配数据,以及基于分类结果将所述本地数据文件拆分为所述基准数据文件和所述匹配数据文件。
可选的,所述数据核对系统还包括数据排序子系统;在将所述本地数据文件拆分为所述基准数据文件和所述匹配数据文件之后,所述创建模块进一步:
所述数据排序子系统基于所述关联编码的取值,按照相同的排序策略,针对将所述基准数据文件及所述匹配数据文件中的数据条目进行排序。
可选的,所述数据核对系统还包括数据核对子系统;
所述核对模块进一步:
所述数据核对子系统逐行读取所述基准数据文件和所述匹配数据文件中的数据条目,并匹配读取到的所述基准数据文件中的数据条目与所述匹配数据文件的数据条目的关联编码;
如果读取到的所述基准数据文件中的数据条目与所述匹配数据文件中的数据条目的关联编码相同,则进一步检查所述数据条目中的待核对的业务数据的内容是否一致;如果是,输出指示读取到的所述数据条目的内容一致的数据核对结果;如果否,输出指示读取到的所述数据条目的内容不一致的数据核对结果。
可选的,所述核对模块进一步:
如果读取到的所述基准数据文件中的数据条目的关联编码,小于读取到的所述匹配数据文件中的数据条目的关联编码,输出指示该数据条目的多账状态的数据核对结果;
如果读取到的所述匹配数据文件中的数据条目的关联编码,小于读取到的所述基准数据文件中的数据条目的关联编码,输出指示该数据条目的少账状态的数据核对结果。
可选的,所述本地数据文件中的数据条目还包括批次号;其中,所述批次号指示从业务系统中下载的待核对的业务数据的批次;
所述创建模块进一步:
为所述待核对的业务数据生成批次号;
基于生成的批次号和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
本申请还提供一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行上述的方法。
通过以上实施例,基于将待核对的业务数据保存为包括基准数据文件和匹配数据文件的本地数据文件;以及,读取基准数据文件和匹配数据文件中的数据条目进行匹配,完成待核对的业务数据的数据核对,从而降低了对业务系统及业务数据库的访问压力,提高了数据核对效率。
附图说明
图1是一示例性实施例提供的一种数据核对业务的组网图;
图2是一示例性实施例提供的一种数据核对方法的流程图;
图3是一示例性实施例提供的另一种数据核对业务的组网图;
图4是一示例性实施例提供的一种电子设备的硬件结构图;
图5是一示例性实施例提供的一种数据核对装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好地理解本说明书实施例中的技术方案,下面先对本说明书实施例涉及的数据核对的相关技术,进行简要说明。
请参见图1,图1是本说明书一实施例提供的一种数据核对业务的组网图。
如图1所示的组网包括:业务系统、数据核对系统;其中,业务系统包括业务系统A、业务系统B;数据核对系统与数据核对系统对接,可以从业务系统A和业务系统B的业务数据库中,获取待核对的业务数据,并进行数据核对处理。
如图1所示,数据核对系统包括数据抽取子系统、数据排序子系统、数据核对子系统;
其中,数据抽取子系统、数据排序子系统及数据核对子系统之间可以互相通信,针对待核对的业务数据进行流式数据处理,并完成业务数据核对。
在以上示出的组网架构的基础上,本说明书旨在提出一种,从对接的业务系统的业务数据库中,下载待核对业务数据并创建本地数据文件保存;以及,基于本地数据文件进行数据核对的技术方案。
在实现时,数据核对系统,从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据;
进一步地,创建本地数据文件,将所述待核对的业务数据写入创建的本地数据文件;其中,所述本地数据文件包括与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件;
进一步地,读取所述基准数据文件和所述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对所述待核对的业务数据的数据核对。
在以上技术方案中,基于将待核对的业务数据保存为包括基准数据文件和匹配数据文件的本地数据文件;以及,读取基准数据文件和匹配数据文件中的数据条目进行匹配,完成待核对的业务数据的数据核对,从而降低了对业务系统及业务数据库的访问压力,提高了数据核对效率。
下面通过具体实施例并结合具体的应用场景对本说明书进行描述。
请参考图2,图2是本说明书一实施例提供的一种数据核对方法的流程图,所述方法应用于数据核对系统,上述方法执行以下步骤:
步骤202、从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据。
步骤204、创建本地数据文件,将所述待核对的业务数据写入创建的本地数据文件;其中,所述本地数据文件包括与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件。
步骤206、读取所述基准数据文件和所述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对所述待核对的业务数据的数据核对。
在本说明书中,上述业务系统,可以包括任何业务形式的业务数据的系统或系统集群;其中,上述业务系统的业务数据保存在对应的数据库或数据库集群中。
例如,上述业务系统可以是基于数据库或数据库集群保存业务数据的资金交易业务系统,也可以是其它业务内容的业务系统,在本说明中不作具体限定。
在本说明书中,上述数据核对系统,是指与上述业务系统对接的、可以对上述业务系统的业务数据进行数据核对的系统或系统集群。
接着以上示例继续举例,上述数据核对系统可以是与资金交易业务系统对接的,可以对资金交易业务系统的业务数据进行数据核对的系统或系统集群。
在本说明书中,上述待核对的业务数据,是指上述业务系统的业务数据中的待核对的业务数据。
例如,请参见图1所示,业务系统A中的业务数据有100万条;上述待核对的业务数据可以包括业务系统A的100万条业务数据中的待核对的10万条业务数据;业务系统B中的业务数据有200万条,上述待核对的业务数据还可以包括业务系统B的200万条业务数据中的待核对的10万条业务数据。
需要说明的是,上述待核对的业务数据,通常存储在上述业务系统的业务数据库或数据库集群中。
在本说明书中,上述待核对的业务数据包括待核对的基准数据和匹配数据;
其中,上述基准数据,是指上述待核对的业务数据中作为数据核对参考基准的待核对数据;上述匹配数据,是指用于与上述基准数据进行数据匹配的待核对数据,也即,在数据核对过程中,上述基准数据与上述基准数据可以用于相互校验。
例如,请参见图1所示,上述基准数据可以是业务系统B的200万条业务数据中的待核对的10万条业务数据D2,上述匹配数据可以是业务系统A的100万条业务数据中的待核对的10万条业务数据D1;其中,D2与D1存在核对匹配关系,在数据核对过程中,D2与D1可以用于相互校验。
又例如,请参见图1所示,上述基准数据可以是业务系统A的100万条业务数据中的待核对的10万条业务数据D1,上述匹配数据可以是业务系统B的200万条业务数据中的待核对的10万条业务数据D2;其中,其中,D1与D2存在核对匹配关系,在数据核对过程中,D1与D2可以用于相互校验。
在本说明书中,上述数据核对系统从对接的上述业务系统中下载上述待核对的业务数据。
接着以上示例继续举例,上述数据核对系统从对接的业务系统A、业务系统B中下载待核对的业务数据;其中,该待核对的业务数据包括:基准数据(比如:D1)和匹配数据(比如:D2)。
在本说明书中,上述基准数据文件,是指用于保存上述基准数据的数据文件。
接着以上示例继续举例,上述基准数据文件可以是用于保存上述基准数据(比如:D1)的数据文件。
在本说明书中,上述匹配数据文件,是指用于保存上述匹配数据的数据文件。
接着以上示例继续举例,上述匹配数据文件可以是用于保存上述匹配数据(比如:D2)的数据文件。
在本说明书中,上述本地数据文件是指,由上述数据核对系统在本地创建的数据条目为指定格式的数据文件;其中,上述本地数据文件包括上述基准数据文件和上述基准匹配文件。
接着以上示例继续举例,上述本地数据文件可以是由上述数据核对系统在本地创建的数据条目为指定格式的文本类型的数据文件;其中,上述本地数据文件包括上述基准数据文件和上述基准匹配文件。
需要说明的是,上述本地数据文件的文件类型除了是文本类型外,还可以是其它类型,在本说明书中不作具体限定。
上述本地数据文件的具体格式和组成,请参见表1示例:
行号 字段1 字段2 字段3
1 C11 C12 C13
2 C21 C22 C23
3 C31 C32 C33
表1
如表1所示,上述本地数据文件可以由指定格式的3个数据条目组成;其中,每个数据条目,也即,每行数据,都按照指定格式(字段1、字段2、字段3)被组织保存。
如表1所示,行号为1的数据条目对应由数据C11、C12、C13按指定格式(字段1、字段2、字段3)组成,其它行号的数据条目具有类似含义,这里不再赘述。
在本说明书中,在上述待核对的业务数据被下载后,上述数据核对系统创建上述本地数据文件,将上述待核对的业务数据写入创建的上述本地数据文件。
接着以上示例继续举例,在上述待核对的业务数据(包括D1、D2)被下载后,上述数据核对系统创建上述本地数据文件,将上述待核对的业务数据写入至上述本地数据文件中。
在本说明书中,上述关联编码,用于指示上述基准数据文件和上述匹配数据文件中需要进行关联匹配的数据条目。
在示出的一种实施方式中,上述基准数据文件和上述匹配数据文件中需要进行关联匹配的数据条目中包含关联字段;上述关联编码为针对将上述关联字段的取值进行拼接后得到的字符串进行哈希计算得到的哈希值。
例如,上述数据核对系统可以预先获取上述基准数据文件和上述匹配数据文件中需要进行关联匹配的数据条目中包含关联字段;其中,该关联字段可以是上述基准数据及上述匹配数据对应的业务数据库中的存在关联关系的数据表中的一个或多个字段;
上述数据核对系统可以从业务数据库中获取该关联字段的取值,进一步将该关联字段的取值进行拼接后得到的字符串,再针对该字符串进行哈希计算得到的哈希值,将该哈希值作为上述关联编码的取值;
需要说明的是,对上述关联编码进行哈希计算的哈希算法可以是MD5(MD5Message-Digest Algorithm,MD5信息摘要算法)或其它哈希算法,在本说明书中,不作具体限定。
在示出的一种实施方式中,上述本地数据文件中的数据条目包括上述关联编码和待核对的业务数据。
接着以上示例继续举例,上述本地数据文件的具体格式和组成,请参见表2示例:
表2
表2与表1类似,区别在于表2相比表1,具体地定义了上述本地数据文件的数据格式;如表2所示,每个数据条目,也即,每行数据,都按照指定格式(关联编码、待核对的业务数据)被组织保存。
在示出的一种实施方式中,上述本地数据文件中的数据条目的待核对的业务数据为JSON格式。
接着以上示例继续举例,上述本地数据文件的具体格式和组成,请参见表3示例:
表3
表3与表2类似,区别在于表3相比表2,具体地定义了上述本地数据文件的数据条目中的待核对的业务数据的数据格式为JSON(JavaScript Object Notation,JS对象简谱);
JSON数据格式是一种轻量级的数据交换格式,便于人阅读和编写,同时也便于机器解析和生成;JSON数据格式的详细说明请参见现有技术,这里不再赘述。
在示出的一种实施方式中,上述本地数据文件中的数据条目包括上述关联编码和待核对的业务数据,在将上述待核对的业务数据写入创建的上述本地数据文件的过程中,上述数据核对系统为上述待核对的业务数据生成关联编码。
例如,上述数据核对系统可以为上述待核对的业务数据生成对应的关联编码,具体关联编码的生成过程,在以上的上述关联编码的定义说明中已详细描述,这里不再赘述;
在本说明书中,上述数据核对系统为上述待核对的业务数据的每行数据条目都分别生成对应的关联编码;其中,每行数据条目的关联编码唯一指示该行条目。
在本说明书中,进一步地,上述数据核对系统基于生成的关联编码和上述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的上述本地数据文件。
例如,上述数据核对系统基于生成的关联编码和上述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的上述本地数据文件;上述待核对的业务数据保存在上述本地数据文件的具体组成情况,请参见图2或图3所示例。
在本说明书中,上述数据抽取子系统,是指上述数据核对系统中的进行数据提取服务的子系统。
例如,在实际应用中,上述数据抽取子系统可以是基于Hadoop(一个由Apache基金会所开发的分布式系统基础架构)架构的用于大数据处理的分布式系统。
当然,上述数据抽取子系统还可以是基于其它架构的数据提取系统,在本说明书中不作具体限定。
在示出的一种实施方式中,上述本地数据文件中的数据条目除了包括上述关联编码和待核对的业务数据外,还包括源数据编码;
其中,上述源数据编码用于指示上述本地数据文件中的数据条目的数据来源。
例如,上述本地数据文件的具体格式和组成,请参见表4示例:
表4
表4与表2类似,区别在于表4相比表2,增加了“源数据编码”字段,该字段用于指示上述本地数据文件中的数据条目的数据来源;
如表4所示,行号为1对应的数据条目的数据来源对应的源数据编码为A;其中,A指示该数据条目的数据来源为如图1所示的业务系统A。
同理,行号为2对应的数据条目的数据来源对应的源数据编码为B;其中,B指示该数据条目的数据来源为如图1所示的业务系统B。
在示出的一种实施方式中,上述数据核对系统包括上述数据抽取子系统,上述本地数据文件中的数据条目还包括上述源数据编码;
在上述数据核对系统将上述待核对的业务数据写入创建的上述本地数据文件之后,由上述数据抽取子系统基于上述源数据编码确定写入上述本地数据文件的业务数据的数据来源。
在实现时,上述数据抽取子系统将上述本地数据文件的中的源数据编码取值相同的数据条目确定为相同的数据来源。
例如,上述本地数据文件的具体格式如表4所示,上述数据抽取子系统将上述本地数据文件的中的源数据编码取值为“A”的数据条目确定为相同的数据来源,也即,源数据编码取值为“A”的数据条目对应的数据来源为如图1所示的业务系统A。同理,源数据编码取值为“B”的数据条目对应的数据来源为如图2所示的业务系统B。
在本说明书中,进一步地,上述数据抽取子系统基于确定出的数据来源,将写入上述本地数据文件的业务数据分类为上述基准数据和上述匹配数据;以及基于分类结果将上述本地数据文件拆分为上述基准数据文件和上述匹配数据文件。
接着以上示例继续举例,在将上述本地数据文件的不同数据来源业务数据分类为上述基准数据和上述匹配数据后;上述基准数据可以包括上述本地数据文件的中的源数据编码取值为“A”的数据条目,上述匹配数据比如可以包括上述本地数据文件的中的源数据编码取值为“B”的数据条目);
进一步地,上述数据抽取子系统基于分类结果,将上述本地数据文件拆分为上述基准数据文件和上述匹配数据文件;
其中,上述基准数据文件的具体格式和组成,请参见表5示例:
表5
上述匹配数据文件的具体格式和组成,请参见表6示例:
表6
如表5所示的上述基准数据文件具体格式与表4所示的格式相同,区别在于表5所示的数据条目的源数据编码都为A。
同理,如表6所示的上述匹配数据文件具体格式与表4所示的格式相同,区别在于表6所示的数据条目的源数据编码都为B。
需要说明的是,在本说明书中,在将上述本地数据文件拆分为上述基准数据文件及上述匹配数据文件时,至少可以拆分为2个。
例如,在实际应用中,当上述本地数据文件可以存在需要进行数据核对的N(N为大于2的正整数)方业务数据时,上述本地数据文件可以被拆分为N个数据文件;其中,该N个数据文件中可以两两之间互为基准数据文件及匹配数据文件。
当然,在实际应用中,也可以有不同的拆分策略,比如:可以以N个数据文件中的指定数据文件为基准数据文件,而以其它(N-1)个数据文件为匹配数据文件,具体拆分策略在本说明书中,不作具体限定。
在示出的一种实施方式中,上述本地数据文件中的数据条目除了包括上述关联编码、待核对的业务数据及上述源数据编码外,还包括批次号;
其中,上述批次号指示从上述业务系统中下载的上述待核对的业务数据的批次。
例如,上述本地数据文件的具体格式和组成,请参见表7示例:
表7
表7与表4类似,区别在于表7相比表4,增加了“批次号”字段,该字段用于指示从上述业务系统中下载的上述待核对的业务数据的批次;其中,批次号的取值可以由上述数据抽取子系统进行分配;
通常情况下,上述数据抽取子系统以流水作业方式处理上述待核对的业务数据,可以将上述待核对的业务数据按照预设条目个数分别批次号;如表7所示的一个数据条目可以对应一个批次号;当然,在实现时,也可以若干个数据条目可以对应一个批次号,数据条目个数与批次号的对应关系,在本说明书中不作具体限定。
需要说明的是,对于完全相同的待核对的业务数据执行多次数据核对时,该待核对的业务数据的数据条目的批次号是完全不同的;由此,可以有效避免同一份待核对的业务数据进行多次数据核对时容易发生核对数据混淆的问题。
在示出的一种实施方式中,上述本地数据文件中的数据条目还包括上述批次号,在将上述待核对的业务数据写入创建的上述本地数据文件的过程中;
上述数据抽取子系统为上述待核对的业务数据生成批次号;并基于生成的批次号和上述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的上述本地数据文件。
例如,上述数据抽取子系统为上述待核对的业务数据生成批次号Seq1、Seq2、Seq3,并基于生成的批次号和上述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的上述本地数据文件;其中,包含批次号的上述本地数据文件的数据条目,请参见表7所示例。
在本说明书中,在上述本地数据文件的数据条目在按照如表7所示的格式(包括“批次号”、“源数据编码”、“关联编码”、“待核对的业务数据”)保存后,可以由上述数据抽取子系统进一步将上述本地数据文件拆分为上述基准数据文件和上述匹配数据文件,上述本地数据文件的具体拆分过程在前文已详细描述,这里不再赘述。
需要说明的是,在本说明书中,上述本地数据文件的数据条目,除了按照如表7所示的格式(包括“批次号”、“源数据编码”、“关联编码”、“待核对的业务数据”),或者按照如表2所示的格式(包括“关联编码”、“待核对的业务数据”)进行保存外,也可以按照如表5或表6所示的格式(包括“源数据编码”、“关联编码”、“待核对的业务数据”)保存在上述本地数据文件中。
为了描述和理解方便,后续以上述本地数据文件(包括上述基准数据文件及上述匹配数据文件)的数据条目,以如表5或表6所示的格式保存在上述本地数据文件中的进行举例描述。
在本说明书中,上述数据排序子系统,是指上述数据核对系统中的进行数据排序服务的子系统;
其中,上述数据排序子系统可以以流水作业方式,对经上述数据抽取子系统处理后的数据继续处理。
例如,在实际应用中,上述数据排序子系统可以针对上述数据抽取子系统进行数据处理后的上述基准数据文件和上述匹配数据文件,以流水作业的方式逐行读取数据条目,并分别进行数据排序处理。
在示出的一种实施方式中,上述数据核对系统除了包括上述数据抽取子系统外,还包括上述数据排序子系统;在将上述本地数据文件拆分为上述基准数据文件和上述匹配数据文件之后,由上述数据排序子系统基于上述关联编码的取值,按照相同的排序策略,针对将上述基准数据文件及上述匹配数据文件中的数据条目进行排序。
例如,上述基准数据文件为如表5所示例,上述匹配数据文件为如表6所示,上述数据排序子系统基于关联编码的取值的大小,针对上述基准数据文件及上述匹配数据文件的数据条目,都按照升序策略进行排序;
排序后的上述基准数据文件的具体格式和组成,请参见表8示例:
表8
表8与表5类似,区别在于表8相比表5,已按照关联编码的取值进行升序排列。
如表5所示的行号为2的数据条目的关联编码的取值C31,小于行号为1的数据条目的关联编码的取值C11;按照关联编码的取值进行升序排列后,如表5所示关联编码C31指示的行号为2的数据条目更新如表8所示的行号1,如表5所示关联编码C11指示的行号为1的数据条目更新如表8所示的行号2。其它数据条目的以此类推,不作赘述。
排序后的上述匹配数据文件的具体格式和组成,请参见表9示例:
表9
表9与表6类似,区别在于表9相比表6,已按照关联编码的取值进行升序排列,上述匹配数据文件的排序策略及原理与上述匹配数据文件的排序策略及原理相同,请参见以上表8及表5的说明,这里不作赘述。
当然,上述数据排序子系统也可以基于关联编码的取值的大小,针对上述基准数据文件及上述匹配数据文件的数据条目,都按照降序策略进行排序。上述基准数据文件及上述匹配数据文件对应的具体排序策略,在本说明书中不作具体限定。
在本说明书中,在上述数据排序子系统对上述基准数据文件和上述匹配数据文件完成排序后,上述数据核对系统读取上述基准数据文件和上述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对上述待核对的业务数据的数据核对。
接着以上示例继续举例,排序后的上述基准数据文件如表8所示,排序后的上述匹配数据文件如表9所示,上述数据核对系统遍历读取排序后的上述基准数据文件和上述匹配数据文件中的所有数据条目,将读取到的数据条目进行匹配,以完成针对上述待核对的业务数据的数据核对。
在本说明书中,上述数据核对子系统,是指上述数据核对系统中的进行数据核对服务的子系统;
其中,上述数据核对子系统可以以流水作业方式,对经上述数据排序子系统处理后的数据继续处理。
例如,在实际应用中,上述数据核对子系统可以针对上述数据排序子系统进行数据排序处理后的基准数据文件和匹配数据文件,以流水作业的方式逐行读取数据条目并匹配,从而进行数据条目的数据核对处理。
在示出的一种实施方式中,上述数据核对系统除了包括上述数据抽取子系统、上述数据排序子系统外,还包括上述数据核对子系统。
在本说明书中,进一步地,在读取上述基准数据文件和上述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对上述待核对的业务数据的数据核对的过程中;
由上述数据核对子系统逐行读取上述基准数据文件和上述匹配数据文件中的数据条目,并匹配读取到的上述基准数据文件中的数据条目与上述匹配数据文件的数据条目的关联编码。
例如,上述基准数据文件为如表8所示例,上述匹配数据文件为如表9所示例,上述数据核对子系统逐行读取上述基准数据文件的行号为1的数据条目和上述匹配数据文件中的行号为1数据条目,将上述基准数据文件的行号为1数据条目的关联编码C31,与上述匹配数据文件中的行号为1的数据条目的关联编码C41进行匹配。
在本说明书中,进一步地,如果读取到的上述基准数据文件中的数据条目与上述匹配数据文件中的数据条目的关联编码相同,则上述数据核对子系统进一步检查上述数据条目中的待核对的业务数据的内容是否一致;如果是,输出指示读取到的上述数据条目的内容一致的数据核对结果;如果否,输出指示读取到的上述数据条目的内容不一致的数据核对结果。
接着以上示例继续举例,如果关联编码C31与关联编码C41的取值相同,则上述数据核对子系统进一步检查关联编码C31对应数据条目中的待核对的业务数据的内容C32,与关联编码C41对应数据条目中的待核对的业务数据的内容C42是否一致;
如果是,也即,待核对的业务数据的内容C32与待核对的业务数据的内容C42相同,上述数据核对子系统输出指示该两条数据条目的内容一致的数据核对结果;其中,该数据核对结果指示上述基准数据文件的行号为1的数据条目和上述匹配数据文件中的行号为1数据条目的内容一致。
如果否,也即,待核对的业务数据的内容C32与待核对的业务数据的内容C42不相同,则上述数据核对子系统输出指示该两条数据条目内容不一致的数据核对结果;其中,该数据核对结果指示上述基准数据文件的行号为1的数据条目和上述匹配数据文件中的行号为1数据条目的内容不一致。
为了方便理解,这里先介绍下“多账状态”和“少账状态”。在本说明书中,“多账状态”指示目标数据条目仅存在于上述基准数据文件中,而不存在与上述匹配数据文件中;“少账状态”指示目标数据条目仅存在于上述匹配数据文件中,而不存在与上述基准数据文件中。
在示出的另一种实施方式中,在读取上述基准数据文件和上述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对上述待核对的业务数据的数据核对的过程中;
由上述数据核对子系统逐行读取上述基准数据文件和上述匹配数据文件中的数据条目,并匹配读取到的上述基准数据文件中的数据条目与上述匹配数据文件的数据条目的关联编码。
例如,上述基准数据文件为如表8所示例,上述匹配数据文件为如表9所示例,上述数据核对子系统逐行读取上述基准数据文件的行号为1的数据条目和上述匹配数据文件中的行号为1数据条目,将上述基准数据文件的行号为1数据条目的关联编码C31,与上述匹配数据文件中的行号为1的数据条目的关联编码C41进行匹配。
在本说明书中,进一步地,如果读取到的上述基准数据文件中的数据条目的关联编码,小于读取到的上述匹配数据文件中的数据条目的关联编码,则上述数据核对子系统输出指示该数据条目的多账状态的数据核对结果;
如果读取到的上述匹配数据文件中的数据条目的关联编码,小于读取到的上述基准数据文件中的数据条目的关联编码,则上述数据核对子系统输出输出指示该数据条目的少账状态的数据核对结果。
接着以上示例继续举例,如果关联编码C31的取值小于关联编码C41的取值,也即,关联编码C31对应的目标数据条目仅存在于上述基准数据文件中,而不存在与上述匹配数据文件中,则上述数据核对子系统输出指示该目标数据条目(上述基准数据文件的行号为1数据条目)的多账状态的数据核对结果;
如果关联编码C41的取值小于关联编码C31的取值,也即,关联编码C41对应的目标数据条目仅存在于上述匹配数据文件中,而不存在与上述基准数据文件中,则上述数据核对子系统输出指示该目标数据条目(上述匹配数据文件的行号为1数据条目)的少账状态的数据核对结果。
在本说明书中,上述数据核对子系统逐行读取上述基准数据文件和上述匹配数据文件中的数据条目,执行类似以上示例的数据条目的数据核对过程,直至上述基准数据文件和上述匹配数据文件中的所有数据条目都被完成核对。
在本说明书中,进一步地,上述数据核对子系统,可以将上述基准数据文件和上述匹配数据文件的输出的所有的数据核对结果执行汇总,并保存在预设的数据核对结果数据库中。
在本说明书中,上述数据核对子系统,还可以将汇总后的数据核对结果对用户发布;或者,接收到用户的数据核对结果的指定条件的查询请求时,将与该查询请求对应的数据核对结果返回给用户;
以使,用户从上述业务系统中获取与该数据核对结果对应的待核对的业务数据,再次执行手工数据核对或者由用户触发上述数据核对系统,针对数据核对结果存在异常的数据核对结果所对应业务数据,执行多次数据核对;
其中,所述存在异常的数据核对结果,可以包括“多账状态”、“少账状态”、“数据不一致”中任意一种或组合。
请参见图3,图3是本申请一实施例提供的另一种数据核对业务的组网图。
图3与图1基本相同,区别在于图3相比图1多了“消息子系统”和“存储子系统”。
如图3所示,数据核对系统包括数据抽取子系统、数据排序子系统、数据核对子系统、消息子系统、存储子系统;
其中,上述消息子系统包括任何支持系统间消息通信机制的消息系统;上述存储子系统包括支持文件管理的任何形式的存储系统。
例如,上述消息子系统可以是基于RabbitMQ(一种高级消息队列协议的开源实现)的消息系统或其他消息通信机制的消息系统;上述存储子系统可以是基于公有云或私有云的存储系统或者其他支持文件管理的存储系统。
如图3所示,数据抽取子系统、数据排序子系统及数据核对子系统之间可以基于消息子系统互相通信;以及,可以基于存储子系统对上述本地数据文件、上述基准数据文件和上述匹配数据文件,按预设容量大小进行文件分片及文件合并、文件存储等操作,从而实现针对待核对的业务数据的流式数据处理,并完成上述待核对的业务数据的数据核对,具体过程与基于如图1所示的组网架构所述的过程类似,这里不作赘述。
在以上技术方案中,基于将待核对的业务数据保存为包括基准数据文件和匹配数据文件的本地数据文件;以及,读取基准数据文件和匹配数据文件中的数据条目进行匹配,完成待核对的业务数据的数据核对,从而降低了对业务系统及业务数据库的访问压力,提高了数据核对效率。
与上述方法实施例相对应,本申请还提供了数据核对装置的实施例。
与上述方法实施例相对应,本说明书还提供了一种数据核对装置的实施例。本说明书的数据核对装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本说明书的数据核对装置装置所在电子设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
图5是本说明书一示例性实施例示出的一种数据核对装置的框图。
请参考图5,所述数据核对装置50可以应用在前述图4所示的电子设备中,所述装置应用于数据核对系统,所述装置包括:
下载模块501,从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据;
创建模块502,创建本地数据文件,将所述待核对的业务数据写入创建的本地数据文件;其中,所述本地数据文件包括与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件;
核对模块503,读取所述基准数据文件和所述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对所述待核对的业务数据的数据核对。
在本实施例中,所述本地数据文件中的数据条目包括关联编码和待核对的业务数据;其中,所述关联编码用于指示所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目;
所述创建模块502进一步:
为所述待核对的业务数据生成关联编码;
基于生成的关联编码和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
在本实施例中,所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目中包含关联字段;所述关联编码为针对将所述关联字段的取值进行拼接后得到的字符串进行哈希计算得到的哈希值。
在本实施例中,所述数据核对系统包括数据抽取子系统,所述本地数据文件中的数据条目还包括源数据编码;其中,所述源数据编码用于指示所述本地数据文件中的数据条目的数据来源;
在将所述待核对的业务数据写入创建的本地数据文件之后,所述创建模块502进一步:
所述数据抽取子系统基于所述源数据编码确定写入所述本地数据文件的业务数据的数据来源;
基于确定出的数据来源将写入所述本地数据文件的业务数据分类为基准数据和匹配数据,以及基于分类结果将所述本地数据文件拆分为所述基准数据文件和所述匹配数据文件。
在本实施例中,所述数据核对系统还包括数据排序子系统;在将所述本地数据文件拆分为所述基准数据文件和所述匹配数据文件之后,所述创建模块502进一步:
所述数据排序子系统基于所述关联编码的取值,按照相同的排序策略,针对将所述基准数据文件及所述匹配数据文件中的数据条目进行排序。
在本实施例中,所述数据核对系统还包括数据核对子系统;
所述核对模块503进一步:
所述数据核对子系统逐行读取所述基准数据文件和所述匹配数据文件中的数据条目,并匹配读取到的所述基准数据文件中的数据条目与所述匹配数据文件的数据条目的关联编码;
如果读取到的所述基准数据文件中的数据条目与所述匹配数据文件中的数据条目的关联编码相同,则进一步检查所述数据条目中的待核对的业务数据的内容是否一致;如果是,输出指示读取到的所述数据条目的内容一致的数据核对结果;如果否,输出指示读取到的所述数据条目的内容不一致的数据核对结果。
在本实施例中,所述核对模块503进一步:
如果读取到的所述基准数据文件中的数据条目的关联编码,小于读取到的所述匹配数据文件中的数据条目的关联编码,输出指示该数据条目的多账状态的数据核对结果;
如果读取到的所述匹配数据文件中的数据条目的关联编码,小于读取到的所述基准数据文件中的数据条目的关联编码,输出指示该数据条目的少账状态的数据核对结果。
在本实施例中,所述本地数据文件中的数据条目还包括批次号;其中,所述批次号指示从业务系统中下载的待核对的业务数据的批次;
所述创建模块502进一步:
为所述待核对的业务数据生成批次号;
基于生成的批次号和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的装置、装置、模块或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
与上述方法实施例相对应,本说明书还提供了一种电子设备的实施例。所述电子设备可以应用于数据核对系统;该电子设备包括:处理器以及用于存储机器可执行指令的存储器;其中,处理器和存储器通常通过内部总线相互连接。在其他可能的实现方式中,所述设备还可能包括外部接口,以能够与其他设备或者部件进行通信。
在本实施例中,通过读取并执行所述存储器存储的与数据核对的控制逻辑对应的机器可执行指令,所述处理器被促使:
从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据;
创建本地数据文件,将所述待核对的业务数据写入创建的本地数据文件;其中,所述本地数据文件包括与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件;
读取所述基准数据文件和所述匹配数据文件中的数据条目,将读取到的数据条目进行匹配,以完成针对所述待核对的业务数据的数据核对。
在本实施例中,所述本地数据文件中的数据条目包括关联编码和待核对的业务数据;其中,所述关联编码用于指示所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目;
通过读取并执行所述存储器存储的与数据核对的控制逻辑对应的机器可执行指令,所述处理器被促使:
为所述待核对的业务数据生成关联编码;
基于生成的关联编码和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
在本实施例中,所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目中包含关联字段;所述关联编码为针对将所述关联字段的取值进行拼接后得到的字符串进行哈希计算得到的哈希值。
在本实施例中,所述数据核对系统包括数据抽取子系统,所述本地数据文件中的数据条目还包括源数据编码;其中,所述源数据编码用于指示所述本地数据文件中的数据条目的数据来源;
在将所述待核对的业务数据写入创建的本地数据文件之后,通过读取并执行所述存储器存储的与数据核对的控制逻辑对应的机器可执行指令,所述处理器被促使:
所述数据抽取子系统基于所述源数据编码确定写入所述本地数据文件的业务数据的数据来源;
基于确定出的数据来源将写入所述本地数据文件的业务数据分类为基准数据和匹配数据,以及基于分类结果将所述本地数据文件拆分为所述基准数据文件和所述匹配数据文件。
在本实施例中,所述数据核对系统还包括数据排序子系统;在将所述本地数据文件拆分为所述基准数据文件和所述匹配数据文件之后,通过读取并执行所述存储器存储的与数据核对的控制逻辑对应的机器可执行指令,所述处理器被促使:
所述数据排序子系统基于所述关联编码的取值,按照相同的排序策略,针对将所述基准数据文件及所述匹配数据文件中的数据条目进行排序。
在本实施例中,所述数据核对系统还包括数据核对子系统;通过读取并执行所述存储器存储的与数据核对的控制逻辑对应的机器可执行指令,所述处理器被促使:
所述数据核对子系统逐行读取所述基准数据文件和所述匹配数据文件中的数据条目,并匹配读取到的所述基准数据文件中的数据条目与所述匹配数据文件的数据条目的关联编码;
如果读取到的所述基准数据文件中的数据条目与所述匹配数据文件中的数据条目的关联编码相同,则进一步检查所述数据条目中的待核对的业务数据的内容是否一致;如果是,输出指示读取到的所述数据条目的内容一致的数据核对结果;如果否,输出指示读取到的所述数据条目的内容不一致的数据核对结果。
在本实施例中,通过读取并执行所述存储器存储的与数据核对的控制逻辑对应的机器可执行指令,所述处理器被促使:
如果读取到的所述基准数据文件中的数据条目的关联编码,小于读取到的所述匹配数据文件中的数据条目的关联编码,输出指示该数据条目的多账状态的数据核对结果;
如果读取到的所述匹配数据文件中的数据条目的关联编码,小于读取到的所述基准数据文件中的数据条目的关联编码,输出指示该数据条目的少账状态的数据核对结果。
在本实施例中,所述本地数据文件中的数据条目还包括批次号;其中,所述批次号指示从业务系统中下载的待核对的业务数据的批次;通过读取并执行所述存储器存储的与数据核对的控制逻辑对应的机器可执行指令,所述处理器被促使:
为所述待核对的业务数据生成批次号;
基于生成的批次号和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (7)

1.一种数据核对方法,所述方法应用于数据核对系统,所述方法包括:
从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据;
创建本地数据文件,并为所述待核对的业务数据生成源数据编码和关联编码,基于所述源数据编码、所述关联编码和所述待核对的业务数据生成数据条目,将生成的数据条目写入所述本地数据文件;其中,所述源数据编码用于指示业务数据的数据来源;相同的关联编码用于指示需要进行关联匹配的数据条目;
基于所述本地数据文件中的数据条目所包括的源数据编码,确定所述本地数据文件中的数据条目的数据来源;
基于确定出的数据来源,将写入所述本地数据文件的业务数据分类为基准数据和匹配数据,以及基于分类结果将所述本地数据文件拆分为与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件;
基于所述关联编码的取值,按照相同的排序策略,针对所述基准数据文件中的数据条目及所述匹配数据文件中的数据条目进行排序;
逐行读取所述基准数据文件中的数据条目和所述匹配数据文件中的数据条目,并匹配读取到的数据条目所包括的关联编码;
如果读取到的数据条目所包括的关联编码相同,则检查读取到的数据条目所包括的待核对的业务数据是否内容一致;如果是,输出指示读取到的数据条目的内容一致的数据核对结果;如果否,输出指示读取到的数据条目的内容不一致的数据核对结果。
2.根据权利要求1所述的方法,所述基准数据文件和所述匹配数据文件中需要进行关联匹配的数据条目中包含关联字段;所述关联编码为针对将所述关联字段的取值进行拼接后得到的字符串进行哈希计算得到的哈希值。
3.根据权利要求1所述的方法,还包括:
如果读取到的所述基准数据文件中的数据条目的关联编码,小于读取到的所述匹配数据文件中的数据条目的关联编码,输出指示读取到的所述匹配数据文件中的数据条目的多账状态的数据核对结果;
如果读取到的所述匹配数据文件中的数据条目的关联编码,小于读取到的所述基准数据文件中的数据条目的关联编码,输出指示读取到的所述匹配数据文件中的数据条目的少账状态的数据核对结果。
4.根据权利要求1所述的方法,所述本地数据文件中的数据条目还包括批次号;其中,所述批次号指示从业务系统中下载的待核对的业务数据的批次;
所述将所述待核对的业务数据写入创建的本地数据文件,包括:
为所述待核对的业务数据生成批次号;
基于生成的批次号和所述待核对的业务数据生成数据条目,并将生成的数据条目写入创建的本地数据文件。
5.一种数据核对装置,所述装置应用于数据核对系统,所述装置包括:
下载模块,从对接的业务系统中下载待核对的业务数据;其中,所述待核对的业务数据包括待核对的基准数据和匹配数据;
创建模块,创建本地数据文件,并为所述待核对的业务数据生成源数据编码和关联编码,基于所述源数据编码、所述关联编码和所述待核对的业务数据生成数据条目,将生成的数据条目写入所述本地数据文件;其中,所述源数据编码用于指示业务数据的数据来源;相同的关联编码用于指示需要进行关联匹配的数据条目;
所述创建模块进一步,基于所述本地数据文件中的数据条目所包括的源数据编码,确定所述本地数据文件中的数据条目的数据来源;基于确定出的数据来源,将写入所述本地数据文件的业务数据分类为基准数据和匹配数据,以及基于分类结果将所述本地数据文件拆分为与所述基准数据对应的基准数据文件和与所述匹配数据对应的匹配数据文件;
所述创建模块进一步,基于所述关联编码的取值,按照相同的排序策略,针对所述基准数据文件中的数据条目及所述匹配数据文件中的数据条目进行排序;
核对模块,逐行读取所述基准数据文件中的数据条目和所述匹配数据文件中的数据条目并匹配读取到的数据条目所包括的关联编码;如果读取到的数据条目所包括的关联编码相同,则检查读取到的数据条目所包括的待核对的业务数据是否内容一致;如果是,输出指示读取到的数据条目的内容一致的数据核对结果;如果否,输出指示读取到的数据条目的内容不一致的数据核对结果。
6.一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行如权利要求1至4任一项所述的方法。
7.一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现权利要求1至4任一项所述的方法。
CN201910954625.4A 2019-10-09 2019-10-09 数据核对方法、装置、电子设备及机器可读存储介质 Active CN112632059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910954625.4A CN112632059B (zh) 2019-10-09 2019-10-09 数据核对方法、装置、电子设备及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910954625.4A CN112632059B (zh) 2019-10-09 2019-10-09 数据核对方法、装置、电子设备及机器可读存储介质

Publications (2)

Publication Number Publication Date
CN112632059A CN112632059A (zh) 2021-04-09
CN112632059B true CN112632059B (zh) 2023-08-15

Family

ID=75283605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910954625.4A Active CN112632059B (zh) 2019-10-09 2019-10-09 数据核对方法、装置、电子设备及机器可读存储介质

Country Status (1)

Country Link
CN (1) CN112632059B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136276A (zh) * 2011-12-02 2013-06-05 阿里巴巴集团控股有限公司 一种数据核对系统,方法及装置
CN105427031A (zh) * 2015-11-06 2016-03-23 中国南方电网有限责任公司 三方数据核对方法及系统
CN107025601A (zh) * 2017-01-23 2017-08-08 阿里巴巴集团控股有限公司 数据核对方法、装置及设备
CN109598149A (zh) * 2018-11-20 2019-04-09 阿里巴巴集团控股有限公司 业务处理的方法和装置
CN109684350A (zh) * 2018-12-15 2019-04-26 平安证券股份有限公司 证券登记数据核对方法、装置、计算机设备及存储介质
CN110275703A (zh) * 2019-06-27 2019-09-24 浙江大搜车软件技术有限公司 键值对数据的赋值方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8200641B2 (en) * 2009-09-11 2012-06-12 Dell Products L.P. Dictionary for data deduplication
US8332287B2 (en) * 2010-05-28 2012-12-11 Athenahealth, Inc. Methods and apparatus for automated deposit reconciliation
SG10201800546XA (en) * 2018-01-22 2019-08-27 Mastercard International Inc Electronic transaction data processing systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136276A (zh) * 2011-12-02 2013-06-05 阿里巴巴集团控股有限公司 一种数据核对系统,方法及装置
CN105427031A (zh) * 2015-11-06 2016-03-23 中国南方电网有限责任公司 三方数据核对方法及系统
CN107025601A (zh) * 2017-01-23 2017-08-08 阿里巴巴集团控股有限公司 数据核对方法、装置及设备
CN109598149A (zh) * 2018-11-20 2019-04-09 阿里巴巴集团控股有限公司 业务处理的方法和装置
CN109684350A (zh) * 2018-12-15 2019-04-26 平安证券股份有限公司 证券登记数据核对方法、装置、计算机设备及存储介质
CN110275703A (zh) * 2019-06-27 2019-09-24 浙江大搜车软件技术有限公司 键值对数据的赋值方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112632059A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
US11182366B2 (en) Comparing data stores using hash sums on disparate parallel systems
CN111344706B (zh) 管理区块链上的交易的方法和系统
CN108376364B (zh) 一种支付系统对账的方法、设备及终端设备
JP2012512466A (ja) 金融市場深度データの高速処理のための方法および装置
CN111858467B (zh) 基于人工智能的文件数据处理方法、装置、设备和介质
CA2852948C (en) System and method for optimizing the loading of data submissions
CN110036381B (zh) 存储器内数据搜索技术
US20220358119A1 (en) Blockchain consensus method, apparatus and device
CN112116436A (zh) 一种智能推荐方法、装置、计算机设备及可读存储介质
CN111428217A (zh) 欺诈团伙识别方法、装置、电子设备及计算机可读存储介质
CN112380401B (zh) 业务数据的核对方法和装置
CN114818000A (zh) 隐私保护的集合混淆求交方法、系统及相关设备
CN111292178B (zh) 需求的匹配方法、装置、存储介质及电子设备
CN116955857A (zh) 数据处理方法、装置、介质及电子设备
CN109271564A (zh) 保单查询方法及设备
CN113902574A (zh) 协议数据处理方法、装置、计算机设备及存储介质
CN112632059B (zh) 数据核对方法、装置、电子设备及机器可读存储介质
CN117331956A (zh) 任务处理方法、装置、计算机设备及存储介质
CN116308333A (zh) 确定支付渠道的方法、系统、设备与存储介质
CN113434673A (zh) 数据处理方法和计算机可读存储介质、电子设备
CN112184464A (zh) 信息验证方法及装置、计算机存储介质、电子设备
CN117312349B (zh) 基于工业标识的数据更新方法及相关设备
CN113726764B (zh) 一种隐私数据传输方法及装置
CN113127495B (zh) 一种数据库的更新方法及装置
CN108763363B (zh) 一种检验待写入记录的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant