CN112380401B - 业务数据的核对方法和装置 - Google Patents

业务数据的核对方法和装置 Download PDF

Info

Publication number
CN112380401B
CN112380401B CN202110050413.0A CN202110050413A CN112380401B CN 112380401 B CN112380401 B CN 112380401B CN 202110050413 A CN202110050413 A CN 202110050413A CN 112380401 B CN112380401 B CN 112380401B
Authority
CN
China
Prior art keywords
rule
checking
target
matching
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110050413.0A
Other languages
English (en)
Other versions
CN112380401A (zh
Inventor
熊士强
邵开来
牟键
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ant fortune (Shanghai) Financial Information Service Co., Ltd
Original Assignee
Ant Zhixin Hangzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ant Zhixin Hangzhou Information Technology Co ltd filed Critical Ant Zhixin Hangzhou Information Technology Co ltd
Priority to CN202110050413.0A priority Critical patent/CN112380401B/zh
Publication of CN112380401A publication Critical patent/CN112380401A/zh
Application granted granted Critical
Publication of CN112380401B publication Critical patent/CN112380401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • G06F16/90344Query processing by using string matching techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书提供了一种业务数据的核对方法和装置,应用于核对系统;所述核对系统对接了核对规则库;所述核对规则库存储的各条核对规则对应的前置条件包括存在匹配顺序的多级匹配要素,所述各条核对规则对应的前置条件被按照所述多级匹配要素的匹配顺序组织成多级索引结构;所述方法包括:从对接的业务系统中获取目标业务数据;将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标核对规则;基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对。

Description

业务数据的核对方法和装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一种业务数据的核对方法和装置。
背景技术
为了核对业务数据的某项业务要素是否符合规则,或者,为了核对多份业务数据中的多项业务要素是否匹配,计算机可执行核对规则以对某项或多项业务要素进行核对。核对规则通常被设置为“前置条件”加“断言”的形式。
现有脚本化的核对平台,可将核对规则转化为特定的脚本(例如sql)并在特定的脚本平台上进行运行,这种方案主要应用在人工规则场景下,由于其规则是独立的,并且单条规则执行需要比较多的系统资源,同时执行效率较低。
发明内容
有鉴于此,本说明书一个或多个实施例提供了 一种业务数据的核对方法,所述方法应用于核对系统;所述核对系统对接了核对规则库;所述核对规则库存储的各条核对规则对应的前置条件包括存在匹配顺序的多级匹配要素,所述各条核对规则对应的前置条件被按照所述多级匹配要素的匹配顺序组织成多级索引结构;所述方法包括:
从对接的业务系统中获取目标业务数据;
将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标核对规则;
基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对。
在又一示出的实施方式中,所述核对系统对接的核对规则库包括:
所述核对系统搭载的本地核对规则库;或者,所述核对系统接入的外部核对规则库。
在又一示出的实施方式中,将所述目标业务数据包含的业务要素,与所述多级索引结构的各级索引逐级进行匹配之前,包括:
从所述核对规则库中读取所述多级索引结构,并在内存中加载所述多级索引结构;
或者,
从所述核对规则库中读取所述前置条件集合,将所述前置条件集合按照所述多级匹配要素的匹配顺序,组织成多级索引结构,并在内存中加载所述多级索引结构。
在又一示出的实施方式中,对所述目标业务数据执行数据核对之前,还包括:
在内存中加载所述目标核对规则。
在又一示出的实施方式中,所述目标核对规则为可执行的SQL语句;
所述基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对,包括:
针对所述目标业务数据,执行获取到的所述可执行的SQL语句,以对所述目标业务数据执行数据核对。
在又一示出的实施方式中,所述核对规则包括断言规则;
所述将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标核对规则,包括:
将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标断言规则;
所述基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对,包括:
基于获取到的所述目标断言规则,核对所述目标业务数据包括的、用于断言的业务要素是否符合所述目标断言规则。
在又一示出的实施方式中,所述多级匹配要素依照匹配顺序依次包括:与所述断言规则相关的数据表信息,与所述数据表相关的外键信息和与所述数据表对应的预设业务要素;
所述多级索引结构包括:与所述断言规则相关的数据表信息对应的第一级索引,与所述数据表相关的外键信息对应的第二级索引,和与所述数据表对应的预设业务要素对应的第三级索引。
在又一示出的实施方式中,基于预设的字符映射规则,所述核对规则库存储的核对规则被映射为简化字符形式进行存储;
在将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配之前,所述方法还包括:
基于所述预设的字符映射规则,将所述目标业务数据包含的业务要素映射为简化字符形式的业务要素;再将所述简化字符形式的业务要素,与所述多级索引结构中的各级简化字符形式的匹配要素逐级进行匹配。
在又一示出的实施方式中,所述核对系统包括流式处理平台;所述核对系统包括若干核对单元;所述方法应用于所述核对系统中的任一核对单元。
在又一示出的实施方式中,所述核对单元包括所述流式处理平台搭载的虚拟机;所述虚拟机包括所述流式处理平台分配给所述虚拟机的堆内内存和堆外内存;
所述在内存中加载所述多级索引结构,包括:
在所述堆内内存中加载所述多级索引结构;
所述在内存中加载所述目标核对规则,包括:
在所述堆外内存中加载所述多级索引结构。
相应地,本说明书还提供了一种业务数据的核对装置,应用于核对系统;所述核对系统对接了核对规则库;所述核对规则库存储的各条核对规则对应的前置条件包括存在匹配顺序的多级匹配要素,所述各条核对规则对应的前置条件被按照所述多级匹配要素的匹配顺序组织成多级索引结构;所述装置包括:
获取单元,从对接的业务系统中获取目标业务数据;
匹配单元,将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标核对规则;
核对单元,基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对。
在又一示出的实施方式中,所述核对系统对接的核对规则库包括:
所述核对系统搭载的本地核对规则库;或者,所述核对系统接入的外部核对规则库。
在又一示出的实施方式中,所述的装置,还包括加载单元,在将所述目标业务数据包含的业务要素,与所述多级索引结构的各级索引逐级进行匹配之前,所述加载单元从所述核对规则库中读取所述多级索引结构,并在内存中加载所述多级索引结构;或者,
所述加载单元从所述核对规则库中读取所述前置条件集合,将所述前置条件集合按照所述多级匹配要素的匹配顺序,组织成多级索引结构,并在内存中加载所述多级索引结构。
在又一示出的实施方式中,所述加载单元,在对所述目标业务数据执行数据核对之前,进一步地在内存中加载所述目标核对规则。
在又一示出的实施方式中,所述目标核对规则为可执行的SQL语句;
所述基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对,包括:
针对所述目标业务数据,执行获取到的所述可执行的SQL语句,以对所述目标业务数据执行数据核对。
在又一示出的实施方式中,所述核对规则包括断言规则;
所述将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标核对规则,包括:
将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标断言规则;
所述基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对,包括:
基于获取到的所述目标断言规则,核对所述目标业务数据包括的、用于断言的业务要素是否符合所述目标断言规则。
在又一示出的实施方式中,所述多级匹配要素依照匹配顺序依次包括:与所述断言规则相关的数据表信息,与所述数据表相关的外键信息和与所述数据表对应的预设业务要素;
所述多级索引结构包括:与所述断言规则相关的数据表信息对应的第一级索引,与所述数据表相关的外键信息对应的第二级索引,和与所述数据表对应的预设业务要素对应的第三级索引。
在又一示出的实施方式中,基于预设的字符映射规则,所述核对规则库存储的核对规则被映射为简化字符形式进行存储;
所述装置还包括映射单元,在将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配之前,基于所述预设的字符映射规则,将所述目标业务数据包含的业务要素映射为简化字符形式的业务要素;再将所述简化字符形式的业务要素,与所述多级索引结构中的各级简化字符形式的匹配要素逐级进行匹配。
在又一示出的实施方式中,所述核对系统包括流式处理平台;所述核对系统包括若干核对单元;所述方法应用于所述核对系统中的任一核对单元。
在又一示出的实施方式中,所述核对单元包括所述流式处理平台搭载的虚拟机;所述虚拟机包括所述流式处理平台分配给所述虚拟机的堆内内存和堆外内存;
所述在内存中加载所述多级索引结构,包括:
在所述堆内内存中加载所述多级索引结构;
所述在内存中加载所述目标核对规则,包括:
在所述堆外内存中加载所述多级索引结构。
相应地,本说明书还提出了一种计算机设备,包括:存储器和处理器;所述存储器上存储有可由所述处理器运行的计算机程序;所述处理器运行所述计算机程序时,执行如上述各实施方式所述的基于区块链的视频数据的处理方法。
基于上述一个或多个实施方式提供的业务数据的核对方法,通过分级索引方式,可以为目标业务数据快捷地索引至对应的核对规则,相对于为目标业务数据逐条执行核对规则库包括的核对规则的现有核对方案,明显提升了核对系统的处理效率。
附图说明
图1是一示例性实施方式提供的核对系统的应用环境示意图;
图2是一示例性实施方式提供的核对规则库中存储的数据结构示意图;
图3是一示例性实施方式提供的业务数据的核对方法的流程图;
图4是一示例性实施方式提供的核对规则库中存储的核对规则的数据结构示意图;
图5是一示例性实施方式提供的业务数据的核对装置的示意图;
图6是运行本说明书所提供的业务数据的核对装置实施例的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
随着信息技术和互联网技术的不断发展,越来越多的业务依靠网络平台进行处理,由此产生的业务数据体量剧增。为了核对业务数据的某项业务要素是否符合预设的规则(例如监管规则),或者,为了核对多份业务数据中的多项业务要素是否匹配(例如订单数据中的商品价格是否与支付凭单中的支付数额匹配),计算机可执行一个或多个核对规则以对某项或多项业务要素进行核对。
目前,在进行业务数据核对时,通常将业务对应的各个系统数据库中的业务数据同步到数据仓库,然后根据人工编写的业务数据核对语句从数据仓库中查询业务数据,进行业务数据核对。然而,将各个系统中的业务数据同步到数据仓库需要一定的同步时间,造成业务数据核对存在延时,导致业务数据核对效率较低。此外,根据数据仓库的进行业务数据核对需要人工编写业务数据核对语句,造成业务数据核对操作复杂,导致业务数据核对效率较低。
现有脚本化的核对平台,可将核对规则转化为特定的脚本(例如sql)并在特定的脚本平台上进行运行,这种方案主要应用在人工规则场景下,由于其规则是独立的,并且单条规则执行需要比较多的系统资源,同时执行效率较低,难以满足现有庞大的业务数据流的核对需求。
有鉴于此,本说明书一示例性实施方式提供了一种业务数据的核对方法,所述方法应用于核对系统;该核对系统的应用环境示意图可如图1所示。所述核对系统对接了核对规则库。该核对规则库可以为上述核对系统搭载的本地核对规则库,也可以为核对系统接入的外部核对规则库。
所述核对规则库包括核对规则集合以及由所述核对规则集合中的各条核对规则对应的前置条件构成的前置条件集合;其中,所述前置条件包括存在匹配顺序的多级匹配要素;所述前置条件集合可被按照所述多级匹配要素的匹配顺序组织成多级索引结构。
上述多级索引结构用以为每条业务数据索引到匹配的核对规则。图2示意了核对规则库中包含的由前置条件集合组成的多级索引结构及与多级索引结构对应的核对规则的示意图。为了创建上述多级索引结构数据结构,可从每个核对规则包含的前置条件中提取若干匹配要素,然后对该若干匹配要素进行分级(例如,按照匹配要素的种类分级,)从而为每个核对规则建立起多级索引结构结构,该多级索引结构的每级索引即为上述匹配要素。不同核对规则对应的索引级数可以相同,也可以不同,在此不作限定。
图3示意了一示例性实施方式提供的业务数据的核对方法,包括:
步骤302,从与所述核对系统对接的业务系统中获取目标业务数据。
在又一示出的实施方式中,上述核对系统可包括如图1所示的若干核对单元,以由上述若干核对单元对业务数据分流处理,例如,上述若干核对单元可依照业务数据的类型进行业务数据分流,每个核对单元分别处理对应类型的业务数据。此时,本说明书提供的应用于核对系统的实施方式可应用于上述任一核对单元。
步骤304,将所述目标业务数据与所述多级索引结构中的各级匹配要素逐级进行匹配,以获取与所述目标业务数据匹配的目标核对规则。
在上述核对系统将所述目标业务数据与所述多级索引结构中的各级匹配要素逐级进行匹配之前,核对系统可先获取上述多级索引结构。在一示出的实施方式中,为了加快匹配的效率,核对系统可从对接的核对规则库中读取上述多级索引结构,并在核对系统的内存中加载上述多级索引结构。或者,当上述核对规则库还未建立上述多级索引结构时,核对系统可从所述核对规则库中读取所述前置条件集合,将所述前置条件集合按照所述多级匹配要素的匹配顺序,组织成多级索引结构,并在内存中加载所述多级索引结构。
图2中示意了通过将业务数据X与多级索引结构逐级匹配,获取到业务数据X对应的核对规则的过程。在该示例中,业务数据X为一条个人健康险订单,其订单内容包含订单类型、保险类型、和被保险人的身份信息和保险信息;匹配要素11表示业务类型为保险业务,匹配要素22表示保险类型为个人健康险,匹配要素i3表示被保险人年龄,匹配要素i5表示月付保险费额度,核对规则i3用以核对被保险人年龄是否大于60岁,核对规则i5用以核对被保险人的月付保险费额度是否小于预设阈值。通过将保险订单业务数据X与索引结构包含的多级匹配要素逐级匹配,可获得业务数据X的索引路径:从匹配要素11至匹配要素22……直至匹配要素i3,和从匹配要素11至匹配要素22……直至匹配要素i5,以获取到与业务数据X对应的两个核对规则i3和i5。
在又一示出的实施方式中,核对系统在获取到上述目标业务数据后,可先从上述目标业务数据内提取用于与多级索引结构进行逐级匹配的业务要素,然后将提取到的多个业务要素与上述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的一个或多个目标核对规则。例如在图2所示的实施方式中,可先从业务数据X中提取订单类型、保险类型、和被保险人的年龄、保险费用等业务要素,将上述业务要素与上述多级索引结构中的各级索引逐级进行匹配,从而更快捷地通过索引路径:从匹配要素11至匹配要素22……直至匹配要素i3,和从匹配要素11至匹配要素22……直至匹配要素i5,获取到与业务数据X对应的两个核对规则i3和i5。
步骤306,执行获取到的所述目标核对规则,对所述目标业务数据进行数据核对。
上述目标核对规则可被设置为可执行脚本,以在核对系统中执行。在执行获取到的所述目标核对规则之前,核对系统将获取到的所述目标核对规则加载至内存,从而快捷地执行上述目标核对规则。
在核对系统对目标业务数据核对完毕后,可获得核对结果;对于核对不通过的目标业务数据,可将其转发至预警系统,以对该目标业务数据中核对不通过的业务要素进行报警。
通过上述一个或多个实施方式所提供的业务数据的核对方法,通过分级索引方式,可以为目标业务数据快捷地索引至对应的核对规则,相对于为目标业务数据逐条执行核对规则库中的核对规则的现有核对方案,明显提升了核对系统的处理效率。
上述一个或多个实施方式所述的将目标业务数据中的业务要素、与多级索引结构包含的匹配要素进行匹配的过程,核对系统实际执行的是字符串匹配,多级索引结构包含的匹配要素中包含了库名、表名、字段名等信息,而且字段取值也非常的多,因此核对规则将占用较多的存储空间。因此,在本说明书又一示出的实施方式中,核对规则库可预先设置字符串映射规则,通过执行上述字符串映射规则将核对规则,或所述多级索引结构转化为简化字符进行存储,以节约存储规则库的存储空间资源。
在该实施方式中,核对系统在执行业务要素的匹配时,可依照上述字符串映射规则,先将从业务数据中提取出的业务要素原文映射为简化字符形式的业务要素,再将简化字符形式的业务要素与多级索引结构中的各级简化字符形式的匹配要素进行匹配,以进一步地提高匹配的效率。
业务系统在处理业务数据时,通常输出表格形式的、待核对的业务数据;而且核对系统执行核对时常需要对多个表型业务数据包含的业务要素进行交叉核对。本说明书以下提出的一个或多个实施方式提供了核对系统包含的任一核对单元对彼此关联的两个表型业务数据进行核对的过程。
当业务系统为电商平台时,在订单支付的业务场景中,业务系统可输出彼此关联的订单表和支付表。例如,上述业务系统中可设置数据关联模块,以用于关联待核对的表数据;上述数据关联模块可从而将关联后的订单表和支付表作为目标业务发送至核对系统。
核对规则通常被设置为“前置条件”加“断言”的形式。核对规则库中针对订单表(order_table)和支付表(pay_table)之间的核对,存储有如下4条规则:
核对规则1:
前置条件:order_table-pay_table,order_table.id=pay_table.id,
order_table.type=A && pay_table.type=B && order_table.source=电商渠道1;
断言规则:order_table.order_amount=pay_table.pay_amount;
核对规则2:
前置条件:order_table-pay_table,order_table.id=pay_table.id,
order_table.type=A && pay_table.type=B && order_table.source=电商渠道2;
断言规则:order_table.order_amount=pay_table.pay_amount;
核对规则3:
前置条件:order_table-pay_table,order_table.id=pay_table.id,
order_table.type=A && pay_table.type=B && order_table.source=电商渠道1;
断言规则:order_table.order_amount=pay_table.pay_amount+pay_table.coupon_amount;
核对规则4:
前置条件:order_table-pay_table,order_table.id=pay_table.id,
order_table.type=A && pay_table.type=B && order_table.source=电商渠道2;
断言规则:order_table.order_amount=pay_table.pay_amount+pay_table.coupon_amount。
从上述4条核对规则的前置条件中提取多个匹配要素,并依照匹配顺序将上述4条核对规则建立为建立如图4所示的数据结构。在图4所示的数据结构中,从前置条件中提取与断言规则相关的数据表信息、外键信息、和断言规则指定的用于断言匹配的业务要素这三种匹配要素,并按照图示的顺序建立出三级索引结构;与第三级匹配要素对应的核对规则为前置条件对应的断言规则,核对系统通过判断目标业务数据是否与上述断言规则匹配,可直接获得目标业务数据的核对结果。因此,在该实施方式中,核对规则库直接将核对规则按照“多级索引结构形式的前置条件+断言规则”的数据结构形式进行存储。
在本实施方式中,业务系统将订单表(order_table)数据:
{
order_table.id=1234;
order_table.type=A;
order_table.source=电商渠道1;
order_table.order_amount=123.5;
}
和支付表(pay_table)数据:
{
pay_table.id=1234;
pay_table.type=B;
pay_table.source=电商渠道2;
pay_table.pay_amount=123.5;
}
进行关联,以生成order_table-pay_table数据。
核对系统在接收到上述业务数据order_table-pay_table后,将上述业务数据与图4所示的已加载至内存的核对规则数据结构进行逐级匹配,以获取到对应的断言规则。例如,核对系统首先提取业务数据的表信息:order_table-pay_table,该业务要素与多级索引结构中的第一级索引包含的匹配要素order_table-pay_table匹配;接下来提取业务数据的外键信息:order_table.id=1234和pay_table.id=1234,该业务要素与多级索引结构中的第二级索引包含的匹配要素order_table.id=pay_table.id匹配;第三步,提取为order_table-pay_table型业务数据预设的业务要素:order_table.type,paytable.type,Order_table source,pay_table source,分别将上述业务要素与多级索引结构结构中的第三级索引包含的匹配要素分别匹配,上述第三级索引包含的匹配要素是与该order_table-pay_table型业务数据对应的预设匹配要素,从而获取到对应的断言规则;从上述业务数据中获取断言规则中指出的用于断言的业务要素order_table. order amout和pay_table. pay amout,核对业务要素order_table. order amout和pay_table. payamout是否符合所述目标断言规则。
由于核对系统为不同类型的业务数据预设了对应的业务要素以作为第三级待匹配的业务要素,而且由于业务状态数据在表型的业务数据中的位置固定,因此,在核对系统从待核对的业务数据中提取到表信息后,可基于表信息对应的业务数据类型,为下级的索引匹配预先提取业务要素字段,例如,在本实施方式中,当核对系统从待核对的业务数据中提取到第一级索引匹配的表信息后,还可为第三级索引匹配预提取预设位置的业务要素,例如,为order_table-pay_table型业务数据直接提取预设的业务要素:order_table.type,pay table.type,Order_table source,pay_table source,以加快第三级的匹配速度,提高核对系统的核对效率。
值得注意的是,本说明书图2所述的核对规则库中,与多级索引结构的第i级匹配要素对应的N个核对规则可以为可执行的SQL语句,在为目标业务数据索引到对应的可执行核对规则后,由核对系统加载并执行该核对规则语句,获得核对结果;而在图4所示的核对规则库中,将核对规则以“多级索引结构结构的前置条件+断言规则”的形式存储,因此,通过将完整的核对规则拆解,可基于与之匹配的前置条件,为业务数据索引到断言规则,以使业务系统基于断言规则中指定的用于断言的业务要素对业务数据进行核对,提高了核对的效率。
在本说明书提供的上述一个或多个实施方式中,如图1所示,当核对系统包含若干核对单元,每个核对单元对对业务系统发送的业务数据流进行核对处理时,上述核对系统可被视为流式核对处理平台,每个核对单元被视为所述流式处理平台搭载的虚拟机。由于每个核对单元可能都需要加载全量的核对规则,为了更好的利用内存资源以优化虚拟机的核对处理性能,可采用在核对单元的堆内内存中加载上述多级索引结构,并在核对单元的堆外内存中存储上述核对规则,且在堆内处理的规则缓存的存储方案。
与上述流程实现对应,本说明书的实施例还提供了一种业务数据的核对装置50。装置50可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为逻辑意义上的装置,是通过所在设备的CPU(Central Process Unit,中央处理器)将对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,除了图6所示的CPU、内存以及存储器之外,上述装置所在的设备通常还包括用于进行无线信号收发的芯片等其他硬件,和/或用于实现网络通信功能的板卡等其他硬件。
如图5所示,本说明书还提供了一种业务数据的核对装置50,应用于核对系统;所述核对系统对接了核对规则库;所述核对规则库存储的各条核对规则对应的前置条件包括存在匹配顺序的多级匹配要素,所述各条核对规则对应的前置条件被按照所述多级匹配要素的匹配顺序组织成多级索引结构;所述装置包括:
获取单元502,从对接的业务系统中获取目标业务数据;
匹配单元504,将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标核对规则;
核对单元506,基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对。
在又一示出的实施方式中,所述核对系统对接的核对规则库包括:
所述核对系统搭载的本地核对规则库;或者,所述核对系统接入的外部核对规则库。
在又一示出的实施方式中,所述的装置50还包括加载单元508,在将所述目标业务数据包含的业务要素,与所述多级索引结构的各级索引逐级进行匹配之前,所述加载单元508从所述核对规则库中读取所述多级索引结构,并在内存中加载所述多级索引结构;或者,
所述加载单元508从所述核对规则库中读取所述前置条件集合,将所述前置条件集合按照所述多级匹配要素的匹配顺序,组织成多级索引结构,并在内存中加载所述多级索引结构。
在又一示出的实施方式中,所述加载单元508,在对所述目标业务数据执行数据核对之前,进一步地在内存中加载所述目标核对规则。
在又一示出的实施方式中,所述目标核对规则为可执行的SQL语句;
所述核对单元506,进一步用于:
针对所述目标业务数据,执行获取到的所述可执行的SQL语句,以对所述目标业务数据执行数据核对。
在又一示出的实施方式中,所述核对规则包括断言规则;
所述匹配单元504,进一步将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据对应的目标断言规则;
所述核对单元506,进一步基于获取到的所述目标断言规则,核对所述目标业务数据包括的、用于断言的业务要素是否符合所述目标断言规则。
在又一示出的实施方式中,所述多级匹配要素依照匹配顺序依次包括:与所述断言规则相关的数据表信息,与所述数据表相关的外键信息和与所述数据表对应的预设业务要素;
所述多级索引结构包括:与所述断言规则相关的数据表信息对应的第一级索引,与所述数据表相关的外键信息对应的第二级索引,和与所述数据表对应的预设业务要素对应的第三级索引。
在又一示出的实施方式中,基于预设的字符映射规则,所述核对规则库存储的核对规则被映射为简化字符形式进行存储;
所述装置50还包括映射单元510,在将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配之前,基于所述预设的字符映射规则,将所述目标业务数据包含的业务要素映射为简化字符形式的业务要素;再将所述简化字符形式的业务要素,与所述多级索引结构中的各级简化字符形式的匹配要素逐级进行匹配。
在又一示出的实施方式中,所述核对系统包括流式处理平台;所述核对系统包括若干核对单元;所述方法应用于所述核对系统中的任一核对单元。
在又一示出的实施方式中,所述核对单元包括所述流式处理平台搭载的虚拟机;所述虚拟机包括所述流式处理平台分配给所述虚拟机的堆内内存和堆外内存;
所述在内存中加载所述多级索引结构,包括:
在所述堆内内存中加载所述多级索引结构;
所述在内存中加载所述目标核对规则,包括:
在所述堆外内存中加载所述多级索引结构。
上述装置50中各个单元的功能和作用的实现过程具体详见上述业务数据的核对装置中对应步骤的实现过程,相关之处参见方法实施例的部分说明即可,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元或模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的装置、单元、模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
与上述方法实施例相对应,本说明书的实施例还提供了一种计算机设备,如图6所示,该计算机设备包括存储器和处理器。其中,存储器上存储有能够由处理器运行的计算机程序;处理器在运行存储的计算机程序时,执行本说明书实施例中业务数据的核对方法的各个步骤。对上述业务数据的核对方法的各个步骤的详细描述请参见之前的内容,不再重复。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (21)

1.一种业务数据的核对方法,所述方法应用于核对系统;所述核对系统对接了核对规则库;所述核对规则库存储的各条核对规则对应的前置条件包括存在匹配顺序的多级匹配要素,所述各条核对规则对应的前置条件被按照所述多级匹配要素的匹配顺序组织成多级索引结构;所述方法包括:
从对接的业务系统中获取目标业务数据;
将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据匹配的前置条件所对应的目标核对规则;
基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对。
2.根据权利要求1所述的方法,
所述核对系统对接的核对规则库包括:
所述核对系统搭载的本地核对规则库;或者,所述核对系统接入的外部核对规则库。
3.根据权利要求1所述的方法,将所述目标业务数据包含的业务要素,与所述多级索引结构的各级索引逐级进行匹配之前,包括:
从所述核对规则库中读取所述多级索引结构,并在内存中加载所述多级索引结构;
或者,
从所述核对规则库中读取所述各条核对规则对应的前置条件,将所述各条核对规则对应的前置条件按照所述多级匹配要素的匹配顺序,组织成多级索引结构,并在内存中加载所述多级索引结构。
4.根据权利要求3所述的方法,对所述目标业务数据执行数据核对之前,还包括:
在内存中加载所述目标核对规则。
5.根据权利要求1所述的方法,所述目标核对规则为可执行的SQL语句;
所述基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对,包括:
针对所述目标业务数据,执行获取到的所述可执行的SQL语句,以对所述目标业务数据执行数据核对。
6.根据权利要求1所述的方法,所述核对规则包括断言规则;
所述将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据匹配的前置条件所对应的目标核对规则,包括:
将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据匹配的前置条件所对应的目标断言规则;
所述基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对,包括:
基于获取到的所述目标断言规则,核对所述目标业务数据是否与所述目标断言规则匹配。
7.根据权利要求6所述的方法,所述多级匹配要素依照匹配顺序依次包括:与所述断言规则相关的数据表信息,与所述数据表相关的外键信息和与所述数据表对应的预设业务要素;
所述多级索引结构包括:与所述断言规则相关的数据表信息对应的第一级索引,与所述数据表相关的外键信息对应的第二级索引,和与所述数据表对应的预设业务要素对应的第三级索引。
8.根据权利要求1至3中任一权利要求所述的方法,基于预设的字符映射规则,所述核对规则库存储的核对规则被映射为简化字符形式进行存储;
在将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配之前,所述方法还包括:
基于所述预设的字符映射规则,将所述目标业务数据包含的业务要素映射为简化字符形式的业务要素;再将所述简化字符形式的业务要素,与所述多级索引结构中的各级简化字符形式的匹配要素逐级进行匹配。
9.根据权利要求4所述的方法,所述核对系统包括流式处理平台;所述核对系统包括若干核对单元;所述方法应用于所述核对系统中的任一核对单元。
10.根据权利要求9所述的方法,所述核对单元包括所述流式处理平台搭载的虚拟机;所述虚拟机包括所述流式处理平台分配给所述虚拟机的堆内内存和堆外内存;
所述在内存中加载所述多级索引结构,包括:
在所述堆内内存中加载所述多级索引结构;
所述在内存中加载所述目标核对规则,包括:
在所述堆外内存中加载所述多级索引结构。
11.一种业务数据的核对装置,应用于核对系统;所述核对系统对接了核对规则库;所述核对规则库存储的各条核对规则对应的前置条件包括存在匹配顺序的多级匹配要素,所述各条核对规则对应的前置条件被按照所述多级匹配要素的匹配顺序组织成多级索引结构;所述装置包括:
获取单元,从对接的业务系统中获取目标业务数据;
匹配单元,将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据匹配的前置条件所对应的目标核对规则;
核对单元,基于获取到的所述目标核对规则,对所述目标业务数据执行数据核对。
12.根据权利要求11所述的装置,所述核对系统对接的核对规则库包括:
所述核对系统搭载的本地核对规则库;或者,所述核对系统接入的外部核对规则库。
13.根据权利要求11所述的装置,还包括加载单元,在将所述目标业务数据包含的业务要素,与所述多级索引结构的各级索引逐级进行匹配之前,所述加载单元从所述核对规则库中读取所述多级索引结构,并在内存中加载所述多级索引结构;或者,
所述加载单元从所述核对规则库中读取所述各条核对规则对应的前置条件,将所述各条核对规则对应的前置条件按照所述多级匹配要素的匹配顺序,组织成多级索引结构,并在内存中加载所述多级索引结构。
14.根据权利要求13所述的装置,所述加载单元,在对所述目标业务数据执行数据核对之前,进一步地在内存中加载所述目标核对规则。
15.根据权利要求11所述的装置,所述目标核对规则为可执行的SQL语句;
所述核对单元,进一步用于:
针对所述目标业务数据,执行获取到的所述可执行的SQL语句,以对所述目标业务数据执行数据核对。
16.根据权利要求11所述的装置,所述核对规则包括断言规则;
所述匹配单元,进一步将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配,以获取与所述目标业务数据匹配的前置条件所对应的目标断言规则;
所述核对单元,进一步基于获取到的所述目标断言规则,核对所述目标业务数据包括的、用于断言的业务要素是否符合所述目标断言规则。
17.根据权利要求16所述的装置,所述多级匹配要素依照匹配顺序依次包括:与所述断言规则相关的数据表信息,与所述数据表相关的外键信息和与所述数据表对应的预设业务要素;
所述多级索引结构包括:与所述断言规则相关的数据表信息对应的第一级索引,与所述数据表相关的外键信息对应的第二级索引,和与所述数据表对应的预设业务要素对应的第三级索引。
18.根据权利要求11至13中任一权利要求所述的装置,基于预设的字符映射规则,所述核对规则库存储的核对规则被映射为简化字符形式进行存储;
所述装置还包括映射单元,在将所述目标业务数据包含的业务要素,与所述多级索引结构中的各级索引逐级进行匹配之前,基于所述预设的字符映射规则,将所述目标业务数据包含的业务要素映射为简化字符形式的业务要素;再将所述简化字符形式的业务要素,与所述多级索引结构中的各级简化字符形式的匹配要素逐级进行匹配。
19.根据权利要求14所述的装置,所述核对系统包括流式处理平台;所述核对系统包括若干核对单元;所述装置应用于所述核对系统中的任一核对单元。
20.根据权利要求19所述的装置,所述核对单元包括所述流式处理平台搭载的虚拟机;所述虚拟机包括所述流式处理平台分配给所述虚拟机的堆内内存和堆外内存;
所述在内存中加载所述多级索引结构,包括:
在所述堆内内存中加载所述多级索引结构;
所述在内存中加载所述目标核对规则,包括:
在所述堆外内存中加载所述多级索引结构。
21.一种计算机设备,包括:存储器和处理器;所述存储器上存储有可由所述处理器运行的计算机程序;所述处理器运行所述计算机程序时,执行如权利要求1至10中任意一项所述的方法。
CN202110050413.0A 2021-01-14 2021-01-14 业务数据的核对方法和装置 Active CN112380401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110050413.0A CN112380401B (zh) 2021-01-14 2021-01-14 业务数据的核对方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110050413.0A CN112380401B (zh) 2021-01-14 2021-01-14 业务数据的核对方法和装置

Publications (2)

Publication Number Publication Date
CN112380401A CN112380401A (zh) 2021-02-19
CN112380401B true CN112380401B (zh) 2021-04-27

Family

ID=74581868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110050413.0A Active CN112380401B (zh) 2021-01-14 2021-01-14 业务数据的核对方法和装置

Country Status (1)

Country Link
CN (1) CN112380401B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282623A (zh) * 2021-05-20 2021-08-20 浙江网商银行股份有限公司 数据处理方法及装置
CN113505245A (zh) * 2021-09-10 2021-10-15 深圳平安综合金融服务有限公司 知识图谱的生成方法、计算机可读存储介质及计算机设备
CN115858622B (zh) * 2022-12-12 2023-08-04 浙江大学 一种业务数据核对脚本的自动化生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006318417B2 (en) * 2005-11-23 2012-01-19 Dun And Bradstreet Corporation System and method for searching and matching data having ideogrammatic content
CN107451136A (zh) * 2016-05-30 2017-12-08 阿里巴巴集团控股有限公司 数据核对方法及装置
CN112150091A (zh) * 2019-06-28 2020-12-29 华为技术有限公司 一种业务规则的处理方法及装置
CN111260336B (zh) * 2020-02-13 2023-07-04 支付宝(杭州)信息技术有限公司 基于规则引擎的业务核对方法、装置及设备
CN112181628B (zh) * 2020-11-02 2024-01-05 中国工商银行股份有限公司 资源转移方法、装置、系统和电子设备

Also Published As

Publication number Publication date
CN112380401A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112380401B (zh) 业务数据的核对方法和装置
EP3353672A1 (en) Method and apparatus for transferring data between databases
CN108363634B (zh) 一种业务处理失败原因识别方法、装置及设备
CN108599973B (zh) 一种日志关联方法、装置及设备
US11151180B2 (en) Messaging digest
CN108616361B (zh) 一种识别设备唯一性的方法及装置
CN111241496B (zh) 确定小程序特征向量的方法、装置和电子设备
CN111930810A (zh) 数据规则挖掘方法及装置
CN114490302B (zh) 一种基于大数据分析的威胁行为分析方法及服务器
CN110888972A (zh) 一种基于Spark Streaming的敏感内容识别方法及装置
US20160267586A1 (en) Methods and devices for computing optimized credit scores
CN116680014B (zh) 数据处理方法和装置
CN111221690B (zh) 针对集成电路设计的模型确定方法、装置及终端
US20220171749A1 (en) System and Process for Data Enrichment
CN112286968A (zh) 一种业务识别方法、设备、介质及电子设备
CN110866085A (zh) 数据反馈方法与装置
CN107562533B (zh) 一种数据加载处理方法及装置
CN115907400A (zh) 一种工单处理方法及装置
CN111324732B (zh) 模型训练方法、文本处理方法、装置及电子设备
CN111143203B (zh) 机器学习、隐私代码确定方法、装置及电子设备
CN109656805B (zh) 用于业务分析的代码链路的生成方法、装置及业务服务器
CN110018844B (zh) 决策触发方案的管理方法、装置和电子设备
CN116700841B (zh) 一种原生api调用的方法及装置
CN112667855B (zh) 区块链数据管理方法、电子设备及计算机存储介质
CN110992180B (zh) 一种异常交易检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211214

Address after: Room 602, No. 618, Wai Road, Huangpu District, Shanghai 200010

Patentee after: Ant fortune (Shanghai) Financial Information Service Co., Ltd

Address before: 801-12, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province, 310013

Patentee before: Ant Zhixin (Hangzhou) Information Technology Co.,Ltd.

TR01 Transfer of patent right