CN114969071A - 一种数据更新方法及装置 - Google Patents

一种数据更新方法及装置 Download PDF

Info

Publication number
CN114969071A
CN114969071A CN202210630765.8A CN202210630765A CN114969071A CN 114969071 A CN114969071 A CN 114969071A CN 202210630765 A CN202210630765 A CN 202210630765A CN 114969071 A CN114969071 A CN 114969071A
Authority
CN
China
Prior art keywords
data
real
database
time
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210630765.8A
Other languages
English (en)
Inventor
肖碧怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202210630765.8A priority Critical patent/CN114969071A/zh
Publication of CN114969071A publication Critical patent/CN114969071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G06F16/2386—Bulk updating operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据更新方法及装置，属于大数据，其中该方法包括：外围系统接收核心系统推送的实时消息，根据实时消息去数据库中查询缓存数据，根据业务要求对查询到的缓存数据进行业务计算后将结果存入目标数据库中；外围系统接收核心系统每日下发的批量数据，将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据；外围系统接收核心系统每日下发的批量数据，根据要求确定批量数据中变化的数据后存入目标数据库中；其中，目标数据库用于向外围系统用户提供数据查询服务。本发明可以保证用户查询业务数据的时效性；减少了查询的时延，缓解了核心系统的联机查询压力；保证数据的一致性、以及准确性、有效性。

Description

一种数据更新方法及装置
技术领域
本发明涉及大数据技术领域，尤其涉及一种数据更新方法及装置。
背景技术
外围系统是指，除核心银行传统的存贷汇业务外，银行会向外部客户提供其他的金融产品，如各类代理、理财和金融衍生产品，此类产品可以作为银行金融电子产品对银行客户进行销售，也可以为银行客户的金融行为服务。为了实现这些金融产品功能而开发的软件应用系统称为外围产品系统。
核心系统是指，处理传统的存贷汇业务的系统。
图1为核心系统与外围系统查询示意图，如图所示，主要包括：
步骤101、外围系统用户上送查询参数；
步骤102、外围系统调用联机接口查询相关数据；
步骤103、核心系统返回数据；
步骤104、外围系统经过一系列计算后，得到结果并返回给用户。
在银行系统中，如果要求外围系统提供的联机查询数据保持和核心系统一致，一般实现方式都是当外围系统用户查询外围系统时，外围系统先调用核心联机接口查询数据，再使用查询到的核心数据和本地数据做计算，得到业务数据返回给外围系统用户。例如，若外围系统提供实时折算余额查询服务，当外围系统用户在外围系统查询某个账户的折算余额时，外围系统先调用核心联机接口查询该账户的本币种和实时余额，再根据本地存储的汇率表和外围系统用户请求的目标折算币种，对余额进行折算，再将折算余额展示给外围系统用户。
现有技术不足在于，随着接入核心的外围系统数不断增多，现有查询方式不能保证数据准确有效，和/或，查询会存在延时。
发明内容
本发明实施例提供一种数据更新方法，用以解决现有查询方式不能保证数据准确有效，和/或，查询会存在延时的问题，该方法包括：
外围系统接收核心系统推送的实时消息，根据实时消息去数据库中查询缓存数据，根据业务要求对查询到的缓存数据进行业务计算后将结果存入目标数据库中；
外围系统接收核心系统每日下发的批量数据，将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据；
外围系统接收核心系统每日下发的批量数据，根据要求确定批量数据中变化的数据后存入目标数据库中；
其中，目标数据库用于向外围系统用户提供数据查询服务。
实施中，所述实时消息是核心系统检测到数据库中数据发生变动后，通过Kafka推送的。
实施中，所述用以供查询缓存数据的数据库是Redis数据库。
实施中，进一步包括：
存在以下情况之一或者其组合时，外围系统对实时消息进行ETL处理后进行业务计算：
数据不正确、数据重复、数据格式与外围系统需要的数据格式不一致。
实施中，所述实时消息是核心系统中联机查询次数大于预设次数的接口涉及的数据。
本发明实施例还提供一种数据更新装置，用以解决现有查询方式不能保证数据准确有效，和/或，查询会存在延时的问题，该装置包括：
实时更新模块，用于接收核心系统推送的实时消息，根据实时消息去数据库中查询缓存数据，根据业务要求对查询到的缓存数据进行业务计算后将结果存入目标数据库中；
批量更新模块，用于接收核心系统每日下发的批量数据，将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据；根据要求确定批量数据中变化的数据后存入目标数据库中；
其中，目标数据库用于向外围系统用户提供数据查询服务。
实施中，实时更新模块进一步用于接收核心系统检测到数据库中数据发生变动后，通过Kafka推送的所述实时消息。
实施中，实时更新模块进一步用于在Redis数据库查询缓存数据。
实施中，实时更新模块进一步用于存在以下情况之一或者其组合时，对实时消息进行ETL处理后进行业务计算：
数据不正确、数据重复、数据格式与外围系统需要的数据格式不一致。
实施中，实时更新模块进一步用于接收来自核心系统中联机查询次数大于预设次数的接口涉及的数据的所述实时消息。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据更新方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据更新方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据更新方法。
本发明实施例中，由于外围系统会实时接收核心系统推送的实时消息，所以可以进行业务计算后将结果存入目标数据库中，从而保证了用户查询业务数据的时效性；
由于实时更新目标数据库的数据供外围系统用户查询，而不是在外围系统用户查询后到核心系统联机查询，等到查询结果响应后才反馈给外围系统用户，一方面减少了查询的时延，一方面也缓解了核心系统的联机查询压力；
由于对目标数据库的更新不仅只有实时消息，还会定时接收核心系统每日下发的批量数据，一方面将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据，一方面将批量数据中变化的数据后存入目标数据库中，从而保证了数据的一致性、以及准确性、有效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为背景技术中核心系统与外围系统查询示意图；
图2为本发明实施例中数据更新方法实施流程示意图；
图3为本发明实施例中数据更新示意图；
图4为本发明实施例中数据更新装置结构示意图；
图5为本发明实施例中计算机设备示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
发明人在发明过程中注意到：
核心系统作为银行系统中最重要的系统，需要首先保证对客服务的有效、准确、低延时性。对于上述现有技术来说，随着接入核心的外围系统数不断增多，不仅占用核心系统资源，还可能对核心系统的联机性能造成一定影响，而如何为核心系统减压一直是银行开发人员关注和研究的问题。另外，当外围系统用户提交查询请求后，外围系统需要先联机查询核心系统，实时计算后才返回给外围系统用户结果，查询会有一定延时。
基于此，本发明实施例中将提供一种数据更新方案，用以保证数据有效准确，减少数据查询的延时。
下面进行说明。
图2为数据更新方法实施流程示意图，如图所示，可以包括：
步骤201、外围系统接收核心系统推送的实时消息，根据实时消息去数据库中查询缓存数据，根据业务要求对查询到的缓存数据进行业务计算后将结果存入目标数据库中；
步骤202、外围系统接收核心系统每日下发的批量数据，将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据；
步骤203、外围系统接收核心系统每日下发的批量数据，根据要求确定批量数据中变化的数据后存入目标数据库中；
其中，目标数据库用于向外围系统用户提供数据查询服务。
需要说明的是，步骤201、202、203之间并无时序关系，而是两条数据更新的路径，而步骤202又在二者之间提供一个确保数据准确的关系。
具体的，上游系统(例如核心系统)的联机数据处理(由联机查询改为实时推送变动数据)。下游系统结合批量数据和实时消息进行计算(批量数据缓存到数据库中)。下游系统根据变动批量数据批量更新数据库的。
实施中，所述实时消息是核心系统检测到数据库中数据发生变动后，通过Kafka推送的。
Kafka是一种高吞吐量的分布式发布订阅消息系统。每条发布到Kafka集群的消息都有一个类别，这个类别被称为主题(Topic)。
实施中，所述实时消息是核心系统中联机查询次数大于预设次数的接口涉及的数据。
从开发角度而言，上游系统(如核心系统)技术人员可以分析出联机查询压力比较大的接口，对于该接口涉及的数据，将变动数据实时推送到Kafka中，这在一定程度上能够减少不必要的消息推送，提高效率。
具体的，外围系统不需联机查询核心系统，核心系统检测到数据库中数据发生变动后，将推送变动数据到Kafka；从而所有需要该类数据的外围系统，都可通过消费Kafka中的数据获得与核心系统的同步，这样将大大降低核心系统的联机压力。另外，当处理Kafka数据时，外围系统将可以实时结合批量数据计算出业务数据，存入目标数据库中，当外围系统用户查询时，外围系统不再需要多余的计算，直接返回目标数据库中数据即可，查询时效性会有一定的提升，减少数据查询的延时。
实施中，还可以进一步包括：
存在以下情况之一或者其组合时，外围系统对实时消息进行ETL处理后进行业务计算：
数据不正确、数据重复、数据格式与外围系统需要的数据格式不一致。
ETL是指Extract-Transform-Load，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
具体的，下游系统(如外围系统)可以对Kafka中实时消息做ETL处理，然后结合批量数据和ETL后的实时消息，进行业务计算，再将结果更新到目标数据库中。
下游系统对Kafka消息进行ETL处理可以是辅助步骤，如果上游系统能保证推送到Kafka的数据是正确的、不重复的，且数据格式和下游系统需要的数据格式保持一致，则可以不用进行ETL处理。
从开发角度而言，上游系统(如核心系统)首先需要分析出联机查询压力比较大的接口，对于该接口涉及的数据，将变动数据实时推送到Kafka中。下游系统(如外围系统)可以按步骤201的路径对Kafka中实时消息做ETL处理，然后结合批量数据和ETL后的实时消息，进行业务计算，再将结果更新到目标数据库中。
另外，下游系统(如外围系统)还可以按步骤203这一路径计算出变化的批量数据，再根据变化数据更新目标数据库。
下游系统如何结合批量数据进行实时计算是最重要的，首先保证计算结果的正确性，然后还保证实时计算的时效性。另外，上游系统还可以分析出联机压力比较大的接口，然后分析这些数据是否适合推送到Kafka。
实施中，所述用以供查询缓存数据的数据库是Redis数据库。
Redis是一个Key-Value(键-值)内存数据库。
具体的，上游系统可以实时推送变动数据到Kafka中。
下游系统将实时计算所用到的批量数据缓存到Redis数据库中。
下游系统实时消费Kafka消息，并结合Redis数据库中缓存的相关批量数据进行业务计算后存入目标数据库中。
下游系统每日计算有变化的批量数据，根据变动数据批量更新目标数据库。
可见，方案缓解了上游系统(如核心系统)的联机查询压力，且提升了下游系统(如外围系统)用户查询业务数据(这些业务数据均由多个系统数据关联计算得出)的时效性。
对于上游系统，如核心系统来说，因为功能或者性能考虑，会以两种方式输出数据，包括将实时消息(可以是json，也可以是对象)推送到Kafka中、以文件形式每日下传到批量下传平台里。
下面以汇率、折算余额的实例进行说明。
汇率：又称外汇利率，指的是两种货币之间兑换的比率，亦可视为一个国家的货币对另一种货币的价值。
折算余额：若账户本币是A，展示币种是B，则需要按照汇率将账户余额折算。
例中，上游系统实时推送变动数据到Kafka中。
下游系统将实时计算所用到的批量数据缓存到Redis数据库中。
下游系统实时消费Kafka消息，并结合Redis数据库中缓存的相关批量数据进行业务计算后存入目标数据库中。
下游系统每日计算有变化的批量数据，根据变动数据批量更新目标数据库。
图3为数据更新示意图，如图所示，对于下游系统，如外围系统来说，对于不同类型的消息有不同的处理方式：
1、上游系统(如核心系统)推送实时消息源Kafka Topic，对于Kafka中的消息，首先可以进行ETL处理，包括类型转换、筛除非法数据(例如字段长度不符合要求的数据)、筛除重复数据等。
然后，对于每一条实时数据，都可以去Redis数据库中查询相关的缓存数据，结合Redis数据完成计算后，更新进目标数据库。
以余额折算为例，核心系统会推送账户金融交易(转账、存入等)信息到Kafka中，账户金融交易信息包括账号、账户的交易币种(本币)、账户交易后余额、交易时间等。外围系统从Kafka中消费消息时，对于每一条金融交易信息，都去Redis数据库中读取最新的汇率信息，然后根据汇率信息将账户交易后余额折算为目标币种余额后，存入目标数据库中。
2、对于批量文件来说，首先上游系统(如核心系统)每日下载批量数据，批量下传平台，可以每日定时加载批量文件，其中，对于实时计算中需要用到的批量数据，加载到Redis数据库中，以保证Redis数据库缓存的是最新批量数据。
另外，需要根据D日文件和D-1日文件，计算出有变化的数据，再批量更新目标数据库。
依然以余额折算为例，核心系统每日下传汇率文件，外围系统将汇率文件加载到Redis数据库中以供实时计算使用，另外，批量计算出当日汇率文件中发生变动的汇率，例如昨天人民币对美元汇率是6.12，今日为6.45，那么需要批量读取数据库中账户本币为人民币，目标折算币种是美元，以及账户本币为美元，目标折算币种是人民币的账户信息，根据最新的汇率完成折算后，更新目标数据库。
本发明实施例中还提供了一种数据更新装置，如下面的实施例所述。由于该装置解决问题的原理与数据更新方法相似，因此该装置的实施可以参见数据更新方法的实施，重复之处不再赘述。
图4为数据更新装置结构示意图，位于外围系统，如图所示，包括：
实时更新模块401，用于接收核心系统推送的实时消息，根据实时消息去数据库中查询缓存数据，根据业务要求对查询到的缓存数据进行业务计算后将结果存入目标数据库中；
批量更新模块402，用于接收核心系统每日下发的批量数据，将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据；根据要求确定批量数据中变化的数据后存入目标数据库中；
其中，目标数据库用于向外围系统用户提供数据查询服务。
实施中，实时更新模块进一步用于接收核心系统检测到数据库中数据发生变动后，通过Kafka推送的所述实时消息。
实施中，实时更新模块进一步用于在Redis数据库查询缓存数据。
实施中，实时更新模块进一步用于存在以下情况之一或者其组合时，对实时消息进行ETL处理后进行业务计算：
数据不正确、数据重复、数据格式与外围系统需要的数据格式不一致。
实施中，实时更新模块进一步用于接收来自核心系统中联机查询次数大于预设次数的接口涉及的数据的所述实时消息。
本发明实施例还提供一种计算机设备，包括存储器、处理器、收发机及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据更新方法。
在实施本发明实施例提供的技术方案时，可以按如下方式实施。
图5为计算机设备示意图，用于外围系统，如图所示，计算机设备中包括：
处理器500，用于读取存储器520中的程序，执行下列过程：
接收核心系统推送的实时消息，根据实时消息去数据库中查询缓存数据，根据业务要求对查询到的缓存数据进行业务计算后将结果存入目标数据库中；
接收核心系统每日下发的批量数据，将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据；
接收核心系统每日下发的批量数据，根据要求确定批量数据中变化的数据后存入目标数据库中；
其中，目标数据库用于向外围系统用户提供数据查询服务；
收发机510，用于在处理器500的控制下接收和发送数据。
实施中，所述实时消息是核心系统检测到数据库中数据发生变动后，通过Kafka推送的。
实施中，所述用以供查询缓存数据的数据库是Redis数据库。
实施中，进一步包括：
存在以下情况之一或者其组合时，外围系统对实时消息进行ETL处理后进行业务计算：
数据不正确、数据重复、数据格式与外围系统需要的数据格式不一致。
实施中，所述实时消息是核心系统中联机查询次数大于预设次数的接口涉及的数据。
其中，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器500代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机510可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器500负责管理总线架构和通常的处理，存储器520可以存储处理器500在执行操作时所使用的数据。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据更新方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据更新方法。
在本发明实施提供的技术方案中，上游系统实时推送变动数据到Kafka中。下游系统将实时计算所用到的批量数据缓存到Redis数据库中。下游系统实时消费Kafka消息，并结合Redis数据库中缓存的相关批量数据进行业务计算后存入目标数据库中。下游系统每日计算有变化的批量数据，根据变动数据批量更新目标数据库。
缓解了上游系统(如核心系统)的联机查询压力，且提升了下游系统(如外围系统)用户查询业务数据(这些业务数据均由多个系统数据关联计算得出)的时效性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种数据更新方法，其特征在于，包括：
外围系统接收核心系统推送的实时消息，根据实时消息去数据库中查询缓存数据，根据业务要求对查询到的缓存数据进行业务计算后将结果存入目标数据库中；
外围系统接收核心系统每日下发的批量数据，将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据；
外围系统接收核心系统每日下发的批量数据，根据要求确定批量数据中变化的数据后存入目标数据库中；
其中，目标数据库用于向外围系统用户提供数据查询服务。
2.如权利要求1所述的方法，其特征在于，所述实时消息是核心系统检测到数据库中数据发生变动后，通过Kafka推送的。
3.如权利要求1所述的方法，其特征在于，所述用以供查询缓存数据的数据库是Redis数据库。
4.如权利要求1所述的方法，其特征在于，进一步包括：
存在以下情况之一或者其组合时，外围系统对实时消息进行ETL处理后进行业务计算：
数据不正确、数据重复、数据格式与外围系统需要的数据格式不一致。
5.如权利要求1至4任一所述的方法，其特征在于，所述实时消息是核心系统中联机查询次数大于预设次数的接口涉及的数据。
6.一种数据更新装置，其特征在于，位于外围系统，包括：
实时更新模块，用于接收核心系统推送的实时消息，根据实时消息去数据库中查询缓存数据，根据业务要求对查询到的缓存数据进行业务计算后将结果存入目标数据库中；
批量更新模块，用于接收核心系统每日下发的批量数据，将需要实时计算的批量数据加载到数据库中，用以供查询缓存数据；根据要求确定批量数据中变化的数据后存入目标数据库中；
其中，目标数据库用于向外围系统用户提供数据查询服务。
7.如权利要求6所述的装置，其特征在于，实时更新模块进一步用于接收核心系统检测到数据库中数据发生变动后，通过Kafka推送的所述实时消息。
8.如权利要求6所述的装置，其特征在于，实时更新模块进一步用于在Redis数据库查询缓存数据。
9.如权利要求6所述的装置，其特征在于，实时更新模块进一步用于存在以下情况之一或者其组合时，对实时消息进行ETL处理后进行业务计算：
数据不正确、数据重复、数据格式与外围系统需要的数据格式不一致。
10.如权利要求6至9任一所述的装置，其特征在于，实时更新模块进一步用于接收来自核心系统中联机查询次数大于预设次数的接口涉及的数据的所述实时消息。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。
CN202210630765.8A 2022-06-06 2022-06-06 一种数据更新方法及装置 Pending CN114969071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210630765.8A CN114969071A (zh) 2022-06-06 2022-06-06 一种数据更新方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210630765.8A CN114969071A (zh) 2022-06-06 2022-06-06 一种数据更新方法及装置

Publications (1)

Publication Number Publication Date
CN114969071A true CN114969071A (zh) 2022-08-30

Family

ID=82959318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210630765.8A Pending CN114969071A (zh) 2022-06-06 2022-06-06 一种数据更新方法及装置

Country Status (1)

Country Link
CN (1) CN114969071A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067832A1 (zh) * 2022-09-29 2024-04-04 顺丰科技有限公司 数据处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067832A1 (zh) * 2022-09-29 2024-04-04 顺丰科技有限公司 数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110276614B (zh) 分户账的更新方法和装置
CN110889754B (zh) 提高不可透支热点账户处理效率的方法
CN111125106B (zh) 一种跑批任务执行方法、装置、服务器和存储介质
CN111639965B (zh) 积分更新方法及装置
CN111429241A (zh) 一种账务处理方法和装置
CN108830715A (zh) 批量文件部分回盘处理方法和系统
CN112184240A (zh) 一种退款请求处理方法和装置
CN107273451A (zh) 余额数据更新方法和系统
CN114969071A (zh) 一种数据更新方法及装置
CN108563776A (zh) 离线数据获取方法及系统、服务器及存储介质
CN110889687A (zh) 分布式架构下账户余额的处理方法及装置
CN111400283B (zh) 一种数据处理方法、系统、电子设备及存储介质
CN112905677A (zh) 数据处理方法及装置、业务处理系统和计算机设备
CN110858199A (zh) 一种单据数据分布式计算的方法和装置
CN112801616B (zh) 异常账簿处理方法及装置
CN111666291A (zh) 一种金融工具核算处理方法、装置、电子设备及介质
CN112199930B (zh) 一种根据报表配置自动生成报表的方法和系统
CN113971007B (zh) 信息处理方法、装置、电子设备及介质
CN114186267A (zh) 一种虚拟资产数据处理方法、装置及计算机可读存储介质
JP2009031902A (ja) 為替レート更新システムおよびその方法
CN108763247B (zh) 在数据迁移过程中处理用户请求的方法及装置
CN116303593A (zh) 交易数据实时查询方法、装置、电子设备和存储介质
CN117151862A (zh) 数据处理方法、装置、系统、设备和存储介质
CN116029848A (zh) 一种用于电子票据跨系统对账的方法及系统
CN116416042A (zh) 一种在大交易量下实时获取总账余额的方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination