CN112634021A - 客户数据处理方法和装置 - Google Patents
客户数据处理方法和装置 Download PDFInfo
- Publication number
- CN112634021A CN112634021A CN202011554242.7A CN202011554242A CN112634021A CN 112634021 A CN112634021 A CN 112634021A CN 202011554242 A CN202011554242 A CN 202011554242A CN 112634021 A CN112634021 A CN 112634021A
- Authority
- CN
- China
- Prior art keywords
- sub
- client data
- client
- data
- request message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000012508 change request Methods 0.000 claims abstract description 59
- 230000008859 change Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000003860 storage Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 abstract description 17
- 230000005012 migration Effects 0.000 description 14
- 238000013508 migration Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 239000007795 chemical reaction product Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Abstract
本申请提供了一种客户数据处理方法和装置，其中，该方法包括：分布式业务系统接收批量客户数据变更请求；响应于批量客户数据变更请求，分布式业务系统向客户查询系统发送查询请求，以确定是否需要变更分库分表；在确定需要变更分库分表的情况下，分布式业务系统生成异步请求消息，并将异步请求消息发送至流处理系统；响应于异步请求消息，流处理系统从分布式业务系统获取目标数据表，并对目标数据表中的客户数据进行并发更新。上述方案可以有效提升分布式系统中的客户数据变更效率，缩短响应时间以及缓解数据库运行压力。
Description
技术领域
本申请涉及分布式系统数据处理技术领域，特别涉及一种客户数据处理方法和装置。
背景技术
目前，各种业务系统逐渐采用分布式系统。与传统的单体架构相比，分布式系统可以增大系统的容量，加强系统的可用性，还可以提高系统的扩展性。
然而，分布式系统具备上述优势的同时，也给带来了一些问题。例如，传统的银行系统以分行为维度进行数据分布，以便夜间进行批量业务处理，即分行为维度内聚账户，这就导致了以客户为维度的业务难以与核心系统更好的结合，如银行最常用交易之一变更借款人。通过关联贷款数据后，用户可以向银行申请变更用户借款人的客户三要素(客户名字、证件类型、证件号码)，然而由于涉及数据迁移约100张表，故导致该交易响应时间过长，且对数据库产生较大压力。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种客户数据处理方法和装置，以解决现有技术中分布式系统中变更客户数据响应时间长的问题。
本申请实施例提供了一种客户数据处理方法，包括：分布式业务系统接收批量客户数据变更请求；响应于所述批量客户数据变更请求，所述分布式业务系统向所述客户查询系统发送查询请求，以确定是否需要变更分库分表；在确定需要变更分库分表的情况下，所述分布式业务系统生成异步请求消息，并将所述异步请求消息发送至流处理系统；响应于所述异步请求消息，所述流处理系统从所述分布式业务系统获取目标数据表，并对所述目标数据表中的客户数据进行并发更新。
本申请实施例还提供了一种客户数据处理方法，应用于分布式业务系统，包括：接收批量客户数据变更请求；响应于所述批量客户数据变更请求，向所述客户查询系统发送查询请求，以确定是否需要变更分库分表；在确定需要变更分库分表的情况下，生成异步请求消息，并将所述异步请求消息发送至流处理系统，其中，所述流处理系统响应于所述异步请求消息，从所述分布式业务系统获取目标数据表，并对所述目标数据表中的客户数据进行并发更新。
在一个实施例中，在将所述异步请求消息发送至流处理系统之后，还包括：接收所述流处理系统返回的执行结果文件。
在一个实施例中，生成异步请求消息，包括：将所述批量客户数据变更请求进行数据切片，得到多个请求数据切片；根据所述多个请求数据切片，生成异步请求消息。
在一个实施例中，根据所述多个请求数据切片，生成异步请求消息，包括：基于Kafka消息中间件，根据所述多个请求数据切片生成异步请求消息。
在一个实施例中，所述流处理系统基于Apache Flink对所述目标数据表中的客户数据进行并发更新。
在一个实施例中，所述批量客户数据变更请求包括多个客户数据变更请求，所述客户数据变更请求中包括变更前后的客户数据；所述客户查询系统根据所述变更前后的客户数据，确定是否需要变更分库分表。
本申请实施例还提供了一种客户数据处理装置，位于分布式业务系统，包括：接收模块，用于接收批量客户数据变更请求；查询模块，用于响应于所述批量客户数据变更请求，向所述客户查询系统发送查询请求，以确定是否需要变更分库分表；发送模块，用于在确定需要变更分库分表的情况下，生成异步请求消息，并将所述异步请求消息发送至流处理系统，其中，所述流处理系统响应于所述异步请求消息，从所述分布式业务系统获取目标数据表，并对所述目标数据表中的客户数据进行并发更新。
本申请实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的客户数据处理方法的步骤。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的客户数据处理方法的步骤。
在本申请实施例中，提供了一种客户数据处理方法，分布式业务系统接收批量客户数据变更请求，响应于批量客户数据变更请求，分布式业务系统向客户查询系统发送查询请求，以确定是否需要变更分库分表，在确定需要变更分库分表的情况下，分布式业务系统生成异步请求消息，并将异步请求消息发送至流处理系统，响应于异步请求消息，流处理系统从分布式业务系统获取目标数据表，并对目标数据表中的客户数据进行并发更新，对分布式系统中的客户数据实现快速更新。上述方案中，通过生成异步消息并采用流处理系统进行并行处理，可以并行处理多张数据表，从而缩短响应时间，提高处理效率，还可以缓解数据库的运行压力。通过上述方案解决了现有的分布式系统中变更客户数据响应时间长的技术问题，达到了有效提升分布式系统中的客户数据变更效率，缩短响应时间以及缓解数据库运行压力的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：
图1示出了本申请一实施例中客户数据处理方法的流程图；
图2示出了本申请一实施例中的客户数据处理方法的流程图；
图3示出了本申请一实施例中的客户数据处理方法的时序图；
图4示出了本申请一实施例中的客户数据处理方法的流程图；
图5示出了本申请一实施例中的客户数据处理装置的示意图；
图6示出了本申请一实施例中的计算机设备的示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域的技术人员知道，本申请的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本申请公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
在本说明书的一个场景示例中，员工渠道系统可以向服务发布系统发送批量的变更客户数据的交易请求。其中，客户数据可以是贷款的借款人数据。服务发布系统可以应用路由查询索引，并获取分布式地址。服务发布系统可以基于获得的分布式地址将接收到的批量的变更客户数据的交易请求发送至分布式业务系统。分布式业务系统接收到批量的变更客户数据的交易请求之后，可以内呼客户查询系统，以确定变更客户数据的交易请求是否需要变更分库分表。在确定需要变更分库分表的情况下，分布式业务系统可以生成异步请求消息，并将异步请求消息发送至流处理系统。流处理系统接收到异步请求消息之后，可以从分布式业务系统获取目标数据表，并对目标数据表中的客户数据进行并发更新。
其中，员工渠道系统可以是供员工进行业务操作的系统。员工渠道系统可以与服务发布系统通信连接。分布式业务系统可以主要处理业务数据，可以采用按分行分库按客户分表的分布式策略。服务发布系统可以用于连接员工渠道系统和分布式业务系统，将从员工渠道系统接收到的交易请求路由至分布式的分布式业务系统。客户查询系统可以是采用集中库未分库分表策略，用于处理客户维度的交易。
在一个实施方式中，流处理系统在对目标数据表中的客户数据进行并发更新之后，可以生成执行结果文件，并将执行结果文件返回至分布式业务系统。
在一个实施方式中，分布式业务系统可以将批量客户数据变更请求进行数据切片，得到多个请求数据切片。之后，分布式业务系统可以根据多个请求数据切片，生成异步请求消息。
在一个实施方式中，分布式业务系统可以基于Kafka消息中间件，根据多个请求数据切片生成异步请求消息。可以基于Kafaka消息中间件发送异步请求，即定义对应消息主题，并生成消息供消费者使用。
在一个实施方式中，流处理系统可以基于Apache Flink对目标数据表中的客户数据进行并发更新。Apache Flink可以订阅Kafaka的消息，获取消息内容，消息内容表明需要进行变更客户数据的消息迁移。Apache Flink设置增加和删除任务，一个任务设置多个并发实例。同时，每个实例设置最大并发数(例如，可以根据Oracle的并发进行设置)，进行新表的数据新增和旧表的数据删除，完成整个数据迁移。
在一个实施方式中，批量客户数据变更请求包括多个客户数据变更请求，客户数据变更请求中包括变更前后的客户数据；综合查询系统根据变更前后的客户数据，确定是否需要变更分库分表。
图1示出了本申请一实施例提供的客户数据处理方法的流程图。然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。
具体地，如图1所示，本申请一种实施例提供的客户数据处理方法可以包括以下步骤。
步骤S101，分布式业务系统接收批量客户数据变更请求。
分布式业务系统可以主要处理业务数据，可以采用按分行分库按客户分表的分布式策略。分布式业务系统可以接收批量客户数据变更请求。在一个实施例中，分布式业务系统可以接收服务发布系统发送的批量客户数据变更请求。其中，客户数据可以是贷款的借款人数据。服务发布系统可以应用路由查询索引，并获取分布式地址。服务发布系统可以基于获得的分布式地址将接收到的批量的变更客户数据的交易请求发送至分布式业务系统。服务发布系统可以接收员工渠道系统发送的批量客户数据变更请求。
步骤S102，响应于批量客户数据变更请求，分布式业务系统向客户查询系统发送查询请求，以确定是否需要变更分库分表。
具体地，在接收到批量客户数据变更请求之后，分布式业务系统需要确定这些批量客户数据变更请求中各客户数据变更请求是否需要变更分库分表。分布式业务系统可以向客户查询系统发送查询请求。其中，客户查询系统可以是采用集中库未分库分表策略，用于处理客户维度的交易。客户查询系统该可以确定批量客户数据变更请求中各请求是否需要变更分库分表，并将结果返回给分布式业务系统。
步骤S103，在确定需要变更分库分表的情况下，分布式业务系统生成异步请求消息，并将异步请求消息发送至流处理系统。
步骤S104，响应于异步请求消息，流处理系统从分布式业务系统获取目标数据表，并对目标数据表中的客户数据进行并发更新。
在确定需要变更分库分表的情况下，分布式业务系统生成异步请求消息，并将异步请求消息发送至流处理系统。其中，流处理系统可以响应于异步请求消息从分布式业务系统获取要变更的目标数据表，并对目标数据表中的客户数据进行并发更新。例如，可以设置新增和删除任务，将目标数据表中的旧客户数据进行删除和/或将目标数据表中的新客户数据进行添加，从而实现客户数据变更。
上述实施例中的客户数据处理方法，通过生成异步消息并采用流处理系统进行并行处理，可以并行处理多张数据表，从而缩短响应时间，提高处理效率，还可以缓解数据库的运行压力，能更好满足分布式的架构需求，能快速响应处理结果给员工渠道系统，带来很好的用户体验；此外，还可以减少系统间的耦合性，将数据迁移和业务逻辑处理进行分离，使得两个系统都能更加高效平稳运行。
图2示出了本申请一实施例中客户数据处理方法的流程图，该方法应用于分布式业务系统。具体地，如图2所示，本申请一种实施例提供的客户数据处理方法可以包括以下步骤。
步骤S201，接收批量客户数据变更请求。
分布式业务系统可以主要处理业务数据，可以采用按分行分库按客户分表的分布式策略。分布式业务系统可以接收批量客户数据变更请求。在一个实施例中，分布式业务系统可以接收服务发布系统发送的批量客户数据变更请求。其中，客户数据可以是贷款的借款人数据。服务发布系统可以应用路由查询索引，并获取分布式地址。服务发布系统可以基于获得的分布式地址将接收到的批量的变更客户数据的交易请求发送至分布式业务系统。服务发布系统可以接收员工渠道系统发送的批量客户数据变更请求。
步骤S202，响应于批量客户数据变更请求，向客户查询系统发送查询请求，以确定是否需要变更分库分表。
具体地，在接收到批量客户数据变更请求之后，分布式业务系统需要确定这些批量客户数据变更请求中各客户数据变更请求是否需要变更分库分表。分布式业务系统可以向客户查询系统发送查询请求。其中，客户查询系统可以是采用集中库未分库分表策略，用于处理客户维度的交易。客户查询系统该可以确定批量客户数据变更请求中各请求是否需要变更分库分表，并将结果返回给分布式业务系统。
步骤S203，在确定需要变更分库分表的情况下，生成异步请求消息，并将异步请求消息发送至流处理系统。
在确定需要变更分库分表的情况下，分布式业务系统生成异步请求消息，并将异步请求消息发送至流处理系统。其中，流处理系统可以响应于异步请求消息从分布式业务系统获取要变更的目标数据表，并对目标数据表中的客户数据进行并发更新。例如，可以设置新增和删除任务，将目标数据表中的旧客户数据进行删除和/或将目标数据表中的新客户数据进行添加，从而实现客户数据变更。
上述实施例中的客户数据处理方法，通过生成异步消息并采用流处理系统进行并行处理，可以并行处理多张数据表，从而缩短响应时间，提高处理效率，还可以缓解数据库的运行压力，能更好满足分布式的架构需求，能快速响应处理结果给员工渠道系统，带来很好的用户体验；此外，还可以减少系统间的耦合性，将数据迁移和业务逻辑处理进行分离，使得两个系统都能更加高效平稳运行。
在本申请一些实施例中，在将异步请求消息发送至流处理系统之后，还可以包括：接收流处理系统返回的执行结果文件。
具体地，在将异步请求消息发送至流处理系统，流处理系统对目标数据表中的客户数据进行变更之后，流处理系统可以生成执行结果文件，并将执行结果文件返回至分布式业务系统。其中，执行结果文件中可以包括变更后的目标数据表，还可以包括执行成功或失败的信息。分布式业务系统接收到执行结果文件之后，可以将变更成功或失败的结果返回给员工渠道系统。通过上述方式，可以实时让用户获知执行结果，提高用户体验。
在本申请一些实施例中，生成异步请求消息，可以包括：将批量客户数据变更请求进行数据切片，得到多个请求数据切片；根据多个请求数据切片，生成异步请求消息。
具体地，分布式业务系统可以将批量客户数据变更请求进行数据切片，得到多个请求数据切片。例如，分布式业务系统可以按照客户数据变更请求中的客户账号对批量客户数据变更请求进行切片。又例如，分布式业务系统可以按照客户数据所对应的分库分表进行切片。在得到多个请求数据切片之后，可以根据多个请求数据切片，生成异步请求消息。通过上述方式，可以生成异步请求消息。
在本申请一些实施例中，根据多个请求数据切片，生成异步请求消息，可以包括：基于Kafka消息中间件，根据多个请求数据切片生成异步请求消息。具体地，可以基于Kafka消息中间件，根据多个请求数据切片生成异步请求消息，即定义对应消息主题，并生成消息供消费者使用。通过上述方式，可以运用Kafka的高性能和高并发的异步特性，来提高数据处理效率。
在本申请一些实施例中，流处理系统可以基于Apache Flink对目标数据表中的客户数据进行并发更新。具体地，Apache Flink可以订阅Kafaka的消息，获取消息内容，消息内容表明需要进行变更客户数据的消息迁移。Apache Flink设置增加和删除任务，一个任务设置多个并发实例。同时，每个实例设置最大并发数(例如，可以根据Oracle的并发进行设置)，进行新表的数据新增和旧表的数据删除，完成整个数据迁移。通过整合ApacheFlink并发处理流的特性，可以实现海量数据的迁移。
在本申请一些实施例中，批量客户数据变更请求可以包括多个客户数据变更请求，客户数据变更请求中可以包括变更前后的客户数据；客户查询系统可以根据变更前后的客户数据，确定是否需要变更分库分表。具体地，客户查询系统中可以查询客户数据与分库分表标识的对应表。客户数据变更请求中可以包括变更前后的客户数据。客户数据可以包括客户编号。客户查询系统可以根据客户编号确定对应的客户编号的数据所存储的分库分表标识。客户查询系统可以确定变更前的客户数据对应的分库分表标识以及变更后的客户数据对应的分库分表标识。在变更前的客户数据对应的分库分表标识与变更后的客户数据对应的分库分表标识不一致的情况下，确定需要变更分库分表。在确定需要变更分库分表的情况下，涉及的数据迁移量较大，可以生成异步消息请求并基于流处理系统并行处理，从而提高数据变更效率。
下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。
请参考图3和图4，图3示出了本申请一实施例中的客户数据处理方法的时序图，图4示出了本申请一实施例中的客户数据处理方法的流程图。如图3和图4所示，本具体实施例中的客户数据处理方法可以包括以下步骤。
步骤1，员工渠道系统向服务于发布系统发送变更借款人的交易请求。
步骤2，服务发布系统可以应用路由查询索引，并获取分布式地址，并将变更借款人的交易请求路由到对应的财务核心系统(即分布式业务系统)。
步骤3，财务核心系统可以根据客户编号的类型进行分别处理；在客户编号的类型为额度时，变更客贷关系表；在客户编号的类型不为额度时，内呼综合查询系统(即客户查询系统)检查新账户是否存在，不存在则新增；检查新旧客户编号是否一致，不一致则更新客贷关系表。
步骤4，财务核心系统内呼综合查询系统，确定是否需要变更分库分表，在确定需要变更分库分表的情况下，根据篮子号和分行编号发送消息至批量代理系统，进行数据迁移。具体地，财务核心系统可以进行数据切片，数据切片后，异步生成消息，发送Kafka消息至批量代理系统(即，流处理系统)，准备数据迁移。
步骤5，批量代理系统接收到Kafka信息之后，可以基于Flink进行并发多表的数据迁移。
步骤6，批量代理系统将执行结果返回给财务核心系统，财务核心系统根据执行结果生成结果报文。
步骤7，财务核心系统将结果报文返回给服务发布系统。
步骤8，服务发布系统路由分布式地址，并返回结果报文给员工渠道系统。
步骤9，员工渠道系统将处理结果返回给调用者。
上述实施例中的方法，运用Kafka的高性能和高并发的异步特性，并整合ApacheFlink并发处理流的特性，解决了海量数据迁移的瓶颈。解耦入库、业务处理、结果文件生成；全流程自动化、分布式流处理高效批转；可以实现高效海量数据实时代理，能快速响应处理结果给员工渠道系统，带来很好的用户体验；可以提高项目的可拓展性和维护性，大大缩短了项目周期；可以提高交易的高并发能力，这样能更好满足分布式的架构需求，可以减少系统间的耦合性，将数据迁移和业务逻辑处理进行分离，使得两个系统都能更加高效平稳运行。
基于同一发明构思，本申请实施例中还提供了一种客户数据处理装置，位于分布式业务系统中。如下面的实施例所述。由于客户数据处理装置解决问题的原理与客户数据处理方法相似，因此客户数据处理装置的实施可以参见客户数据处理方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图5是本申请实施例的客户数据处理装置的一种结构框图，如图5所示，包括：接收模块501、查询模块502和发送模块503，下面对该结构进行说明。
接收模块501用于接收批量客户数据变更请求。
查询模块502用于响应于批量客户数据变更请求，向客户查询系统发送查询请求，以确定是否需要变更分库分表。
发送模块503用于在确定需要变更分库分表的情况下，生成异步请求消息，并将异步请求消息发送至流处理系统，其中，流处理系统响应于异步请求消息，从分布式业务系统获取目标数据表，并对目标数据表中的客户数据进行并发更新。
在本申请一些实施例中，该装置还可以包括结果接收模块，用于在将所述异步请求消息发送至流处理系统之后，接收所述流处理系统返回的执行结果文件。
在本申请一些实施例中，发送模块可以具体用于：将所述批量客户数据变更请求进行数据切片，得到多个请求数据切片；根据所述多个请求数据切片，生成异步请求消息。
在本申请一些实施例中，根据所述多个请求数据切片，生成异步请求消息，可以包括：基于Kafka消息中间件，根据所述多个请求数据切片生成异步请求消息。
在本申请一些实施例中，所述流处理系统可以基于Apache Flink对所述目标数据表中的客户数据进行并发更新。
在本申请一些实施例中，所述批量客户数据变更请求可以包括多个客户数据变更请求，所述客户数据变更请求中可以包括变更前后的客户数据；所述客户查询系统可以根据所述变更前后的客户数据，确定是否需要变更分库分表。
从以上的描述中，可以看出，本申请实施例实现了如下技术效果：分布式业务系统接收批量客户数据变更请求，响应于批量客户数据变更请求，分布式业务系统向客户查询系统发送查询请求，以确定是否需要变更分库分表，在确定需要变更分库分表的情况下，分布式业务系统生成异步请求消息，并将异步请求消息发送至流处理系统，响应于异步请求消息，流处理系统从分布式业务系统获取目标数据表，并对目标数据表中的客户数据进行并发更新，对分布式系统中的客户数据实现快速更新。上述方案中，通过生成异步消息并采用流处理系统进行并行处理，可以并行处理多张数据表，从而缩短响应时间，提高处理效率，还可以缓解数据库的运行压力。通过上述方案解决了现有的分布式系统中变更客户数据响应时间长的技术问题，达到了有效提升数据变更效率、缩短响应时间以及缓解数据库运行压力的技术效果。
本申请实施方式还提供了一种计算机设备，具体可以参阅图6所示的基于本申请实施例提供的客户数据处理方法的计算机设备组成结构示意图，所述计算机设备具体可以包括输入设备61、处理器62、存储器63。其中，所述存储器63用于存储处理器可执行指令。所述处理器62执行所述指令时实现上述任意实施例中所述的客户数据处理方法的步骤。
在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
在本实施方式中，该计算机设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
本申请实施方式中还提供了一种基于客户数据处理方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述客户数据处理方法的步骤。
在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本申请的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种客户数据处理方法，其特征在于，包括：
分布式业务系统接收批量客户数据变更请求；
响应于所述批量客户数据变更请求，所述分布式业务系统向所述客户查询系统发送查询请求，以确定是否需要变更分库分表；
在确定需要变更分库分表的情况下，所述分布式业务系统生成异步请求消息，并将所述异步请求消息发送至流处理系统；
响应于所述异步请求消息，所述流处理系统从所述分布式业务系统获取目标数据表，并对所述目标数据表中的客户数据进行并发更新。
2.一种客户数据处理方法，其特征在于，应用于分布式业务系统，包括：
接收批量客户数据变更请求；
响应于所述批量客户数据变更请求，向所述客户查询系统发送查询请求，以确定是否需要变更分库分表；
在确定需要变更分库分表的情况下，生成异步请求消息，并将所述异步请求消息发送至流处理系统，其中，所述流处理系统响应于所述异步请求消息，从所述分布式业务系统获取目标数据表，并对所述目标数据表中的客户数据进行并发更新。
3.根据权利要求2所述的方法，其特征在于，在将所述异步请求消息发送至流处理系统之后，还包括：
接收所述流处理系统返回的执行结果文件。
4.根据权利要求2所述的方法，其特征在于，生成异步请求消息，包括：
将所述批量客户数据变更请求进行数据切片，得到多个请求数据切片；
根据所述多个请求数据切片，生成异步请求消息。
5.根据权利要求4所述的方法，其特征在于，根据所述多个请求数据切片，生成异步请求消息，包括：
基于Kafka消息中间件，根据所述多个请求数据切片生成异步请求消息。
6.根据权利要求2所述的方法，其特征在于，所述流处理系统基于Apache Flink对所述目标数据表中的客户数据进行并发更新。
7.根据权利要求2所述的方法，其特征在于，所述批量客户数据变更请求包括多个客户数据变更请求，所述客户数据变更请求中包括变更前后的客户数据；
所述客户查询系统根据所述变更前后的客户数据，确定是否需要变更分库分表。
8.一种客户数据处理装置，其特征在于，位于分布式业务系统，包括：
接收模块，用于接收批量客户数据变更请求；
查询模块，用于响应于所述批量客户数据变更请求，向所述客户查询系统发送查询请求，以确定是否需要变更分库分表；
发送模块，用于在确定需要变更分库分表的情况下，生成异步请求消息，并将所述异步请求消息发送至流处理系统，其中，所述流处理系统响应于所述异步请求消息，从所述分布式业务系统获取目标数据表，并对所述目标数据表中的客户数据进行并发更新。
9.一种计算机设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求2至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求2至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011554242.7A CN112634021A (zh) | 2020-12-24 | 2020-12-24 | 客户数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011554242.7A CN112634021A (zh) | 2020-12-24 | 2020-12-24 | 客户数据处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112634021A true CN112634021A (zh) | 2021-04-09 |
Family
ID=75324768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011554242.7A Pending CN112634021A (zh) | 2020-12-24 | 2020-12-24 | 客户数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634021A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127564A (zh) * | 2021-04-20 | 2021-07-16 | 建信金融科技有限责任公司 | 一种参数同步方法和装置 |
| CN114257582A (zh) * | 2021-12-17 | 2022-03-29 | 中国农业银行股份有限公司 | 批量作业处理方法、分布式系统及批量作业处理架构 |
| CN114567857A (zh) * | 2022-01-25 | 2022-05-31 | 银盛通信有限公司 | 一种移动转售系统机器卡批量套餐价格变更的方法 |
| CN115374219A (zh) * | 2022-08-29 | 2022-11-22 | 中电金信软件有限公司 | 一种客户数据同步方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765087A (zh) * | 2018-05-31 | 2018-11-06 | 康键信息技术（深圳）有限公司 | 订单异步处理方法、服务器及存储介质 |
| CN110275767A (zh) * | 2019-06-26 | 2019-09-24 | 深圳前海微众银行股份有限公司 | 一种批量数据处理方法及装置 |
| CN110287264A (zh) * | 2019-06-28 | 2019-09-27 | 北京百度网讯科技有限公司 | 分布式数据库的数据批量更新方法、装置以及系统 |
| CN111309746A (zh) * | 2020-02-13 | 2020-06-19 | 贝壳技术有限公司 | 异步并行数据同步方法及装置 |
| CN111752939A (zh) * | 2019-03-28 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 用于多个系统的数据处理方法、装置、计算机系统、介质 |
-
2020
- 2020-12-24 CN CN202011554242.7A patent/CN112634021A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765087A (zh) * | 2018-05-31 | 2018-11-06 | 康键信息技术（深圳）有限公司 | 订单异步处理方法、服务器及存储介质 |
| CN111752939A (zh) * | 2019-03-28 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 用于多个系统的数据处理方法、装置、计算机系统、介质 |
| CN110275767A (zh) * | 2019-06-26 | 2019-09-24 | 深圳前海微众银行股份有限公司 | 一种批量数据处理方法及装置 |
| CN110287264A (zh) * | 2019-06-28 | 2019-09-27 | 北京百度网讯科技有限公司 | 分布式数据库的数据批量更新方法、装置以及系统 |
| CN111309746A (zh) * | 2020-02-13 | 2020-06-19 | 贝壳技术有限公司 | 异步并行数据同步方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127564A (zh) * | 2021-04-20 | 2021-07-16 | 建信金融科技有限责任公司 | 一种参数同步方法和装置 |
| CN113127564B (zh) * | 2021-04-20 | 2023-02-28 | 建信金融科技有限责任公司 | 一种参数同步方法和装置 |
| CN114257582A (zh) * | 2021-12-17 | 2022-03-29 | 中国农业银行股份有限公司 | 批量作业处理方法、分布式系统及批量作业处理架构 |
| CN114567857A (zh) * | 2022-01-25 | 2022-05-31 | 银盛通信有限公司 | 一种移动转售系统机器卡批量套餐价格变更的方法 |
| CN115374219A (zh) * | 2022-08-29 | 2022-11-22 | 中电金信软件有限公司 | 一种客户数据同步方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634021A (zh) | 客户数据处理方法和装置 | |
| Chandra | BASE analysis of NoSQL database | |
| CN103390041B (zh) | 一种基于中间件提供数据服务的方法和系统 | |
| US20210382899A1 (en) | Dual-stack architecture that integrates relational database with blockchain | |
| CN104202423B (zh) | 一种通过软件架构扩展缓存的系统 | |
| US10382380B1 (en) | Workload management service for first-in first-out queues for network-accessible queuing and messaging services | |
| US7693882B2 (en) | Replicating data across the nodes in a cluster environment | |
| US20090234906A1 (en) | Computer processing system for realizing data upgrade and a data upgrading method | |
| CN101375241A (zh) | 集群文件系统中的有效数据管理 | |
| CN101071434B (zh) | 一种分布式数据库系统中用户分布的方法、装置及系统 | |
| CN112559637B (zh) | 基于分布式存储的数据处理方法、装置、设备以及介质 | |
| CN104202424B (zh) | 一种使用软件架构扩展缓存的方法 | |
| CN107729176A (zh) | 一种配置文件管理系统的容灾方法及容灾系统 | |
| CN104252466A (zh) | 流计算处理方法、设备和系统 | |
| CN105069152A (zh) | 数据处理方法及装置 | |
| CN113886434A (zh) | 基于数据库集群的查询和存储方法、装置以及设备 | |
| CN111147605B (zh) | 服务注册方法、装置和设备 | |
| CN112527844A (zh) | 数据处理方法及装置、数据库架构 | |
| CN112131305A (zh) | 账户处理系统 | |
| CN111753019A (zh) | 一种应用于数据仓库的数据分区方法和装置 | |
| CN109361778A (zh) | 一种管理会话的方法及终端 | |
| US20200110632A1 (en) | Method and system for routing and executing transactions | |
| Coelho et al. | GeoPaxos+: practical geographical state machine replication | |
| CN113297516A (zh) | 客户交互界面生成方法、装置和电子设备 | |
| CN112597219A (zh) | 用于将大数据量的文本文件导入分布式数据库的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |