CN112506970A - 数据查询方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种数据查询方法、装置、电子设备及计算机可读存储介质，应用于金融交易明细的数据查询技术领域。本申请通过将实时性好的查询系统和存储容量大的查询系统组合起来使用，为用户提供实时、全量的交易数据查询技术。

Description

数据查询方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及数据查询领域，具体涉及一种金融交易明细的数据查询技术。

背景技术

目前，随着银行业务的快速发展，银行内的交易数据也越来越庞大。然而在实际环境下，往往需要后台系统具有能够提供全量的用户交易明细联机查询的能力。由于交易明细的数据量庞大，现状系统只支持近几个月的实时交易明细查询或非T日的历史交易明细查询，时常不能满足用户对交易数据的查询需求。

庞大的使用者、使用方式背后每天产生了数以亿计的交易明细，核心系统作为产生用户交易明细的源数据系统，其系统性能限制了用户的查询需求：随着数据量的递增，查询响应越来越慢；或减少存储量，只保存T日或近几个月的明细数据，缩小了用户的查询范围。HBase组件等有着全量数据存储的能力的系统，却无法满足用户查询实时交易明细的需求，如此问题便慢慢呈现。

基于以上问题，迫切需要一种能够为用户提供实时、全量的交易明细查询的方法。

发明内容

本申请提供一种数据查询方法、装置、电子设备及计算机可读存储介质，通过将实时性好的查询系统和存储容量大的查询系统组合起来使用，为用户提供实时、全量的交易数据查询技术。本申请采用的技术方案如下：

第一方面，提供一种数据查询方法，该方法依次包括以下步骤。

步骤S104：将查询请求的时间段T-Q～T-M日与预设的时间段T-N～T日进行比较。

步骤S105：根据比较结果进行划定：

如果0≤M≤Q≤N，则将所述查询的时间段T-Q～T-M日划定为第一时间段，

如果0≤N＜M≤Q，则将所述查询的时间段T-Q～T-M日划定为第二时间段，

如果0≤M≤N＜Q，则将时间段T-N～T-M日划定为第一时间段，而将时间段T-Q～T-N-1日划定为第二时间段。

步骤S106：从第一系统查询第一时间段的第一数据，并且向第二系统查询第二时间段的第二数据。

步骤S107：拼接第一数据和第二数据，返回查询结果。

可选地，第一查询系统的响应速度高于第二查询系统；而第二查询系统的存储容量大于第一查询系统。

进一步地，该方法还包括步骤S103：查询结果缓存中是否有对应查询请求的时间段的缓存：

如果有对应查询请求的时间段的缓存，则无需进行步骤S104至S107，而直接拼接缓存并返回查询结果；

如果无对应查询请求的时间段的缓存，则依次进行步骤S104至S107来返回查询结果。

进一步地，该方法还包括步骤S102：判断所述查询请求是否为首页查询请求：

如果查询请求为首页查询请求，则清空所述缓存，省略步骤S103，从步骤S104开始进行该方法，来返回查询结果；

如果查询请求为非首页查询请求，则从步骤S103开始进行该方法，来返回查询结果。

进一步地，该方法还包括步骤S101：校验查询请求的报文是否合法：

如果查询请求的报文合法，则从步骤S102开始进行该方法，来返回查询结果；

如果查询请求的报文合法，则停止该方法并返回请求失败的报文。

进一步地，该方法还包括日终下发数据文件，并将更新的数据文件更新到第二查询系统。

进一步地，该方法还包括将所返回的查询结果缓存到结果缓存中。

第二方面，提供一种数据查询装置，该装置包括比较模块、划定模块、查询模块和拼接模块。

其中，比较模块用于将查询请求的时间段T-Q～T-M日与预设的时间段T-N～T日进行比较。

其中，划定模块用于如果0≤M≤Q≤N，则将查询的时间段T-Q～T-M日划定为第一时间段；如果0≤N＜M≤Q，则将查询的时间段T-Q～T-M日划定为第二时间段；如果0≤M≤N＜Q，则将时间段T-N～T-M日划定为第一时间段，而将时间段T-Q～T-N-1日划定为第二时间段。

其中，查询模块用于从第一系统查询第一时间段的第一数据，并且向第二系统查询第二时间段的第二数据。

其中，拼接模块用于拼接第一数据和第二数据，返回查询结果。

第三方面，提供一种电子设备，该电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于：执行第一方面所示的数据查询方法。

第四方面，提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行第一方面所示的数据查询方法。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例的一种数据查询方法的流程示意图；

图2为本申请实施例的一种数据查询装置的结构示意图；

图3为本申请实施例的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，各实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。这里使用的措辞“第一”、“第二”等仅做区分所限定的元素使用，而非指任何其他意义上的差别。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

本申请实施例提供了一种数据查询方法，如图1所示，该方法可以包括以下步骤。

首先进行步骤S104，将查询请求的时间段T-Q～T-M日与预设的时间段T-N～T日进行比较。该查询请求可来自手机银行、个人网银、公司网银、柜面等渠道。所请求查询例如是对私/对公交易流水查询、薪金煲/天天利收益明细查询、即期结售汇标准牌价历史查询、金融短信通短信发送历史查询等。

在步骤S105，根据步骤S104的比较结果进行划定。如果0≤M≤Q≤N，即所查询的时段都在预设的第一时间段内，则将所述查询的时间段T-Q～T-M日划定为第一时间段。如果0≤N＜M≤Q，即所查询的时段都在预设的第二时间段内，则将所述查询的时间段T-Q～T-M日划定为第二时间段。如果0≤M≤N＜Q，即所查询的时段跨预设的第一时间段和第二时间段，则将时间段T-N～T-M日划定为第一时间段，而将时间段T-Q～T-N-1日划定为第二时间段。

在步骤S106，根据步骤S105所划定的结果，从第一系统查询第一时间段的第一数据，并且向第二系统查询第二时间段的第二数据。

具体地，第一查询系统的响应速度高于第二查询系统；而第二查询系统的存储容量大于第一查询系统。第一查询系统例如是核心系统、关系型数据库，或源数据系统等。第二查询系统例如是H基(HBase)组件、弹性搜索(ElasticSearch)组件等。

在步骤S107，拼接步骤S106中所查询到的第一数据和第二数据，返回查询结果。

可选地，将步骤S107中所返回的查询结果存储到结果缓存中。此处，结果缓存可以是远程字典服务(Remote Dictionary Server，Redis)集群的结果缓存。

进一步，可在接收查询请求后，在步骤S101，校验查询请求的报文是否合法。

如果查询请求的报文不合法，则停止该方法并返回请求失败的报文。

如果查询请求的报文合法，则在步骤S102，判断查询请求是否为首页查询请求。

如果查询请求是首页查询请求，则清空结果缓存，从步骤S104开始进行该方法，来返回查询结果。其中。清空结果缓存一般是指清空redis集群的结果缓存，这是为了避免缓存期间有新的明细写入，而redis集群内的缓存结果未及时更新。

如果查询请求不是首页查询请求，则查询结果缓存中是否有对应查询请求的时间段的缓存。

如果有对应查询请求的时间段的缓存，则无需进行步骤S104至S107，而可直接拼接缓存并返回查询结果。

如果无对应查询请求的时间段的缓存，则依次进行步骤S104至S107来返回查询结果。

可选地，核心系统日终下发T日数据文件，大数据平台获取T日新增、删除、更新后的客户基本信息、交易流水等数据文件，进行加工处理后形成一张HBase宽表，提供T+1时效的明细。

可选地，根据查询请求的特性，在渠道查询至结果缓存的某一阈值，(此处，例如为2/3)的情况下，触发异步加载缓存数据的处理逻辑，补充缓存的结果明细。如首次加载并缓存60条结果明细，在渠道查询第40条时，触发第2次异步加载的过程，提前缓存第61～120条结果明细到redis集群，减少请求的响应时长，提升应用的服务性能。

本申请的实施例可将实时性好的查询系统和存储容量大的查询系统组合起来使用，从而在交易数据日益庞大的当今为用户提供实时、全量的交易数据查询技术。本申请可实现T日核心系统的实时数据与T-1日大数据平台内历史数据的有效组合，充分发挥了大数据组件的优势，大大减轻了核心系统数据存储的压力，为客户提供了实时、准确、全量的查询结果以及更加丰富灵活的数据查询服务，提升了客户交易体验。

图2为本申请实施例提供的一种数据查询装置，该装置20包括：比较模块201、划定模块202、查询模块203和拼接模块204。

比较模块201用于将查询请求的时间段T-Q～T-M日与预设的时间段T-N～T日进行比较。

划定模块202用于根据比较模块201的比较结果进行划定。如果0≤M≤Q≤N，则将查询的时间段T-Q～T-M日划定为第一时间段；如果0≤N＜M≤Q，则将查询的时间段T-Q～T-M日划定为第二时间段；如果0≤M≤N＜Q，则将时间段T-N～T-M日划定为第一时间段，而将时间段T-Q～T-N-1日划定为第二时间段。

查询模块203用于根据划定模块202所划定的结果，从第一系统查询第一时间段的第一数据，并且向第二系统查询第二时间段的第二数据。

具体地，第一查询系统的响应速度高于第二查询系统；而第二查询系统的存储容量大于第一查询系统。第一查询系统例如是核心系统、关系型数据库，或源数据系统等。第二查询系统例如是H基(HBase)组件、弹性搜索(ElasticSearch)组件等。

拼接模块204用于拼接查询模块203中所查询到的第一数据和第二数据，返回查询结果。

可选地，将步骤S107中所返回的查询结果存储到结果缓存中。此处，结果缓存可以是远程字典服务(Remote Dictionary Server，Redis)集群的结果缓存。

本申请的实施例可将实时性好的查询系统和存储容量大的查询系统组合起来使用，从而在交易数据日益庞大的当今为用户提供实时、全量的交易数据查询技术。

本申请实施例提供了一种电子设备，如图3所示，图3所示的电子设备30包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。进一步地，电子设备30还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备30的结构并不构成对本申请实施例的限定。其中，处理器301应用于本申请实施例中，用于实现图2所示的比较模块201、划定模块202、查询模块203和拼接模块204的功能。收发器304包括接收机和发射机。

处理器301可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI总线或EISA总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器303可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现图2所示实施例提供的数据查询装置的功能。

本申请实施例提供了一种电子设备适用于上述数据查询方法的实施例。在此不再赘述。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中所示的数据查询方法。

本申请实施例提供了一种计算机可读存储介质适用于上述数据查询方法的实施例。在此不再赘述。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据查询方法，其特征在于，依次包括：

步骤S104：将查询请求的时间段T-Q～T-M日与预设的时间段T-N～T日进行比较；

步骤S105：根据比较结果进行划定：

如果0≤M≤Q≤N，则将所述查询的时间段T-Q～T-M日划定为第一时间段，

如果0≤N＜M≤Q，则将所述查询的时间段T-Q～T-M日划定为第二时间段，

如果0≤M≤N＜Q，则将时间段T-N～T-M日划定为第一时间段，而将时间段T-Q～T-N-1日划定为第二时间段；

步骤S106：从第一系统查询所述第一时间段的第一数据，并且向第二系统查询所述第二时间段的第二数据；以及

步骤S107：拼接所述第一数据和所述第二数据，返回查询结果。

2.根据权利要求1所述的数据查询方法，其特征在于，

所述第一查询系统的响应速度高于所述第二查询系统；

所述第二查询系统的存储容量大于所述第一查询系统。

3.根据权利要求1所述的数据查询方法，其特征在于，还包括：

步骤S103：查询结果缓存中是否有对应所述查询请求的时间段的缓存：

如果有对应所述查询请求的时间段的所述缓存，则无需进行所述步骤S104至S107，而直接拼接所述缓存并返回所述查询结果；

如果无对应所述查询请求的时间段的所述缓存，则依次进行所述步骤S104至S107来返回所述查询结果。

4.根据权利要求3所述的数据查询方法，其特征在于，还包括：

步骤S102：判断所述查询请求是否为首页查询请求：

如果所述查询请求为首页查询请求，则清空所述缓存，省略所述步骤S103，从所述步骤S104开始进行所述方法，来返回所述查询结果；

如果所述查询请求为非首页查询请求，则从所述步骤S103开始进行所述方法，来返回所述查询结果。

5.根据权利要求4所述的数据查询方法，其特征在于，还包括：

步骤S101：校验所述查询请求的报文是否合法：

如果所述查询请求的报文合法，则从所述步骤S102开始进行所述方法，来返回所述查询结果；

如果所述查询请求的报文合法，则停止所述方法并返回请求失败的报文。

6.根据权利要求1所述的数据查询方法，其特征在于，还包括：

日终下发数据文件，并将更新的数据文件更新到所述第二查询系统。

7.根据权利要求3所述的数据查询方法，其特征在于，还包括：

将所返回的查询结果缓存到所述结果缓存中。

8.一种数据查询装置，其特征在于，包括：

比较模块，用于将查询请求的时间段T-Q～T-M日与预设的时间段T-N～T日进行比较；

划定模块，用于如果0≤M≤Q≤N，则将所述查询的时间段T-Q～T-M日划定为第一时间段，

如果0≤N＜M≤Q，则将所述查询的时间段T-Q～T-M日划定为第二时间段，如果0≤M≤N＜Q，则将时间段T-N～T-M日划定为第一时间段，而将时间段T-Q～T-N-1日划定为第二时间段；

查询模块，用于从第一系统查询所述第一时间段的第一数据，并且向第二系统查询所述第二时间段的第二数据；以及

拼接模块，用于拼接所述第一数据和所述第二数据，返回查询结果。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行根据权利要求1至7任一项所述的数据查询方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至7中任一项所述的数据查询方法。

Images