CN116016561A - 数据的同步方法和装置 - Google Patents

数据的同步方法和装置 Download PDF

Info

Publication number
CN116016561A
CN116016561A CN202211671480.5A CN202211671480A CN116016561A CN 116016561 A CN116016561 A CN 116016561A CN 202211671480 A CN202211671480 A CN 202211671480A CN 116016561 A CN116016561 A CN 116016561A
Authority
CN
China
Prior art keywords
data
target client
processing node
processing
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211671480.5A
Other languages
English (en)
Inventor
赵娜
程浩
谢晖
钱俊杰
陈杰华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202211671480.5A priority Critical patent/CN116016561A/zh
Publication of CN116016561A publication Critical patent/CN116016561A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据的同步方法和装置,涉及高性能计算技术领域。该方法的一具体实施方式包括:接收目标客户的登录请求;根据目标客户的客户信息,从多个部署节点中,确定出目标客户对应的处理节点;响应于处理节点需要进行针对目标客户的数据同步处理,获取目标客户的第一数据,并将第一数据同步至处理节点;响应于处理节点的系统信息符合同步条件,获取目标客户的第二数据,并将第二数据同步至处理节点;其中,处理节点利用第一数据及第二数据处理目标客户的业务处理请求。该实施方式无需进行多节点之间的数据同步,能够减轻服务器和数据库的运行压力。

Description

数据的同步方法和装置
技术领域
本发明涉及高性能计算技术领域,尤其涉及一种数据的同步方法和装置。
背景技术
很多服务系统通过多个节点同时处理客户发出的业务请求,来保证系统的高效响应。现有技术中,通常基于负载均衡,将处理请求随机分发给任一节点,由任一节点进行处理,任一节点处理请求之后,需要将处理请求的相关数据同步给其它节点。在运行过程中,采用数据同步中间件,进行多节点之间的数据同步,多节点之间的数据同步逻辑复杂,服务器和数据库的运行压力大。
发明内容
有鉴于此,本发明实施例提供一种数据的同步方法和装置,同一客户请求由同一节点处理,无需进行多节点之间的数据同步,能够减轻服务器和数据库的运行压力。
第一方面,本发明实施例提供了一种数据的同步方法,包括:
接收目标客户的登录请求;
根据所述目标客户的客户信息,从多个部署节点中,确定出所述目标客户对应的处理节点;
响应于所述处理节点需要进行针对所述目标客户的数据同步处理,获取所述目标客户的第一数据,并将所述第一数据同步至所述处理节点;
响应于所述处理节点的系统信息符合同步条件,获取所述目标客户的第二数据,并将所述第二数据同步至所述处理节点;其中,所述处理节点利用所述第一数据及所述第二数据处理所述目标客户的业务处理请求。
可选地,所述响应于所述处理节点需要进行针对所述目标客户的数据同步处理,获取所述目标客户的第一数据之前,还包括:
响应于所述处理节点符合以下条件中的任一项,确定所述处理节点需要进行针对所述目标客户的数据同步处理:
所述目标客户首次登录所述处理节点;
所述处理节点没有存储所述目标客户的业务数据;
所述处理节点存储的所述目标客户的业务数据已过期。
可选地,所述获取所述目标客户的第一数据,包括:
获取所述目标客户对应的同步参数;
根据所述同步参数,从中心节点中获取所述目标客户的第一数据。
可选地,所述获取所述目标客户的第一数据,包括:
接收所述目标客户的业务处理请求,并确定所述业务处理请求对应的请求参数;
根据所述请求参数,从中心节点中获取所述目标客户的第一数据。
可选地,所述获取所述目标客户的第一数据,包括:
从中心节点中获取所述目标客户的第一数据,所述第一数据包括以下至少之一:所述目标客户的客户文件、客户图像及统计时段内的业务数据。
可选地,所述同步条件包括:
所述处理节点的系统时间到达日终时间点;
和/或,所述处理节点的系统信息大于资源阈值,所述系统信息包括以下至少之一:CPU空闲率、可用内存及可用空间。
可选地,所述响应于所述处理节点的系统信息符合同步条件,获取所述目标客户的第二数据,并将所述第二数据同步至所述处理节点之后,还包括:
接收所述目标客户的业务处理请求;
所述处理节点利用所述第一数据及所述第二数据,响应所述目标客户的业务处理请求。
第二方面,本发明实施例提供了一种数据的同步装置,包括:
请求接收模块,用于接收目标客户的登录请求;
节点确定模块,用于根据所述目标客户的客户信息,从多个部署节点中,确定出所述目标客户对应的处理节点;
第一同步模块,用于响应于所述处理节点需要进行针对所述目标客户的数据同步处理,获取所述目标客户的第一数据,并将所述第一数据同步至所述处理节点;
第二同步模块,用于响应于所述处理节点的系统信息符合同步条件,获取所述目标客户的第二数据,并将所述第二数据同步至所述处理节点;其中,所述处理节点利用所述第一数据及所述第二数据处理所述目标客户的业务处理请求。
可选地,还包括:
同步确定模块,用于响应于所述处理节点符合以下条件中的任一项,确定所述处理节点需要进行针对所述目标客户的数据同步处理:
所述目标客户首次登录所述处理节点;
所述处理节点没有存储所述目标客户的业务数据;
所述处理节点存储的所述目标客户的业务数据已过期。
可选地,所述第一同步模块具体用于:
获取所述目标客户对应的同步参数;
根据所述同步参数,从中心节点中获取所述目标客户的第一数据。
可选地,所述第一同步模块具体用于:
接收所述目标客户的业务处理请求,并确定所述业务处理请求对应的请求参数;
根据所述请求参数,从中心节点中获取所述目标客户的第一数据。
可选地,所述第一同步模块具体用于:
从中心节点中获取所述目标客户的第一数据,所述第一数据包括以下至少之一:所述目标客户的客户文件、客户图像及统计时段内的业务数据。
第三方面,本发明实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一实施例所述的方法。
第四方面,本发明实施例提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
第五方面,本发明实施例提供了一种计算机程序产品,包括计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果:按照客户信息定向分发客户的登录请求,同一客户请求由同一节点负责处理。因此,处理节点无需将目标客户的业务数据再转发给其它节点,能够减轻服务器和数据库的运行压力。
此外,第一数据可以为时效要求较高的数据,第二数据可以为时效要求较低的数据。第一数据用于及时响应客户发出的登录请求及业务处理请求,第一数据可据根据同步参数或客户发出的处理请求等确定。将目标客户的业务数据拆分为第一数据及第二数据,并在不同时间段进行同步,能够减轻高峰时段服务器及数据库的压力,提升系统的响应速度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明第一实施例提供的一种数据的同步方法的流程示意图;
图2是本发明第二实施例提供的一种数据的同步方法的流程示意图;
图3是本发明第三实施例提供的一种业务指纹库构建方法的流程示意图;
图4是本发明的实施例提供的一种数据的同步装置的结构示意图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,本发明的技术方案中,所涉及的用户个人信息的采集、分析、使用、传输、存储等方面,均符合相关法律法规的规定,被用于合法且合理的用途,不在这些合法使用等方面之外共享、泄露或出售,并且接受监管部门的监督管理。应当对用户个人信息采取必要措施,以防止对此类个人信息数据的非法访问,确保有权访问个人信息数据的人员遵守相关法律法规的规定,确保用户个人信息安全。一旦不再需要这些用户个人信息数据,应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。
图1是本发明第一实施例提供的一种数据的同步方法的流程示意图,如图1所示,该方法包括:
步骤101:接收目标客户的登录请求。
步骤102:根据目标客户的客户信息,从多个部署节点中,确定出目标客户对应的处理节点。
目标系统通过多个部署节点响应客户的登录请求及业务处理请求。同一个客户的登录请求及业务处理请求,都由该客户对应的处理节点负责处理。客户与该客户对应的处理节点为一一对应关系。如处理节点出现问题,将客户的请求自动分发至其他部署节点上,实现系统灾备高可用。从单节点到多节点的转换中,客户请求的分发和数据的读取写入通过软件应用实现,避免在数据存储层面的复杂逻辑。
可通过多种方式,确定出目标客户对应的处理节点。如对客户标识取模,来确定目标客户对应的处理节点。确定客户所属区域,根据所属区域,确定目标客户对应的处理节点等。
步骤103:响应于处理节点需要进行针对目标客户的数据同步处理,获取目标客户的第一数据,并将第一数据同步至处理节点。
在处理节点没有存储目标客户的业务数据或存储的目标客户的业务数据已过期的情况下,确定处理节点需要进行针对目标客户的数据同步处理。
可将目标客户的业务数据拆分为第一数据及第二数据。第一数据可以为时效要求较高的数据,第二数据可以为时效要求较低的数据,第二数据还可以为较大的文件,如目标客户的客户文件、客户图像等。第一数据用于及时响应客户发出的登录请求及业务处理请求,第一数据可据根据同步参数或客户发出的处理请求等确定。
在本发明的一个实施例中,获取目标客户的第一数据,包括:获取目标客户对应的同步参数;根据同步参数,从原有节点中获取目标客户的第一数据。
可根据具体需要,设置同步参数。例如,同步参数可包括:业务类型,在处理节点需要进行针对目标客户的数据同步处理时,从中心节点、原有节点、原数据库或原系统中,获取目标客户对应于该业务类型的业务数据,并将获取到的业务数据作为第一数据。
又如,同步参数可包括:数据同步期限,在处理节点需要进行针对目标客户的数据同步处理时,从中心节点、原有节点、原数据库或原系统中,获取目标客户在该数据同步期限内的业务数据,并将获取到的业务数据作为第一数据。
在本发明的一个实施例中,获取目标客户的第一数据,包括:接收目标客户的业务处理请求,并确定业务处理请求对应的请求参数;根据请求参数,从原有节点中获取目标客户的第一数据。
根据业务处理请求对应的请求参数,从中心节点、原有节点、原数据库或原系统中获取目标客户的第一数据,以利用第一数据及时响应目标客户的业务处理请求,提升系统响应速度,减少客户的等待时间。
在本发明的一个实施例中,获取目标客户的第一数据,包括:从中心节点中获取目标客户的第一数据,第一数据包括以下至少之一:目标客户的客户文件、客户图像及统计时段内的业务数据。对于客户文件、客户图像及统计时段内的业务数据,处理节点可调用下载服务,以将上述文件及数据下载到处理节点本地。除上述文件及数据以外,可根据业务需求,配置同步参数,通过同步参数获取并保存目标客户对应的第一数据。
步骤104:响应于处理节点的系统信息符合同步条件,获取目标客户的第二数据,并将第二数据同步至处理节点。
同步条件可根据具体需求进行设置,如同步条件可包括:处理节点的系统时间到达日终时间点;和/或,处理节点的系统信息大于资源阈值,系统信息包括以下至少之一:CPU空闲率、可用内存及可用空间。在到达日终时间点或处理节点的系统空闲时,启动异步线程从主节点、原有节点或原系统中,获取客户的第二数据,并将第二数据同步至处理节点中,以均衡处理节点的运行压力,提升处理节点的处理性能。
在同步第一数据及第二数据之后,处理节点利用第一数据及第二数据,能够正常处理目标客户的业务处理请求。按照客户信息定向分发客户的登录请求,同一客户请求由同一节点处理。因此,处理节点无需将目标客户的业务数据再转发给其它节点,能够减轻服务器和数据库的运行压力。
此外,将目标客户的业务数据拆分为第一数据及第二数据,并在不同时间段进行同步,能够减轻高峰时段服务器及数据库的压力,提升系统的响应速度。
此外,本发明实施例的方案从软件的层面对客户的请求进行分发和数据同步处理,对数据库进行逻辑分离,实现了请求处理的分流。
图2是本发明第二实施例提供的一种数据的同步方法的流程示意图,如图2所示,该方法包括:
步骤201:接收目标客户的登录请求。
步骤202:根据目标客户的客户信息,从多个部署节点中,确定出目标客户对应的处理节点。
步骤203:响应于处理节点符合预设条件,确定处理节点需要进行针对目标客户的数据同步处理。
如果处理节点符合预设条件,则确定处理节点需要进行针对目标客户的数据同步处理。预设条件可包括:目标客户首次登录处理节点;处理节点没有存储目标客户的业务数据;处理节点存储的目标客户的业务数据已过期等。
步骤204:响应于处理节点需要进行针对目标客户的数据同步处理,获取目标客户的第一数据,并将第一数据同步至处理节点。
可从中心节点、原系统、原有节点或原数据库中获取目标客户的第一数据。再将目标客户的第一数据存储在处理节点本地。第一数据可以为时效要求较高的数据,第二数据可以为时效要求较低的数据。第一数据用于及时响应客户发出的登录请求及业务处理请求,第一数据可据根据同步参数或客户发出的处理请求等确定。
步骤205:响应于处理节点的系统信息符合同步条件,获取目标客户的第二数据,并将第二数据同步至处理节点。
可在每日终或系统空闲时,启动异步线程,从主节点或原有节点中同步目标客户的第二数据;设置线程池,从迁移队列中读取目标客户,迁移队列用于保存处理节点对应的需同步的客户标识;按同步参数,确定第二数据,对目标客户按表跨库逐个将数据从主节点或原有节点中导入处理节点中。具体地,设置条数阈值,每个表每次导入条数阈值数目的记录,条数阈值可以为:500、1000、1500等。如果表中的记录数超过条数阈值,则记录上次同步的最后一条记录的标识,下次导入时,从该最后一条记录的下一条记录开始继续导入,直至将全部记录导入到处理节点中。
在本发明实施例中,可根据业务需求,设置处理节点对应的预设条件,以判断处理节点需要进行针对目标客户的数据同步处理,以防止处理节点向客户返回错误或过期的信息,以及避免进行错误的业务处理。
图3是本发明第三实施例提供的一种数据的同步方法的流程示意图,如图3所示,该方法包括:
步骤301:接收目标客户的登录请求。
步骤302:根据目标客户的客户信息,从多个部署节点中,确定出目标客户对应的处理节点。
步骤303:响应于处理节点需要进行针对目标客户的数据同步处理,获取目标客户的第一数据,并将第一数据同步至处理节点。
步骤304:响应于处理节点的系统信息符合同步条件,获取目标客户的第二数据,并将第二数据同步至处理节点。
步骤305:接收目标客户的业务处理请求。
步骤306:处理节点利用第一数据及第二数据,响应目标客户的业务处理请求。
在本发明实施例中,在将目标客户的第一数据及第二数据同步至处理节点之后,再接收到目标客户的业务处理请求,该业务处理请求将会被定向分配给处理节点,处理节点利用第一数据及第二数据,响应目标客户的业务处理请求。由于目标客户的业务处理请求由处理节点定向处理里,处理节点无需再将目标客户的相关数据再转发给其它部署节点,避免了多节点之间数据同步的复杂逻辑。
可定时在主节点中,备份处理节点中存储的业务数据。在该处理节点出现故障时,将目标客户的业务处理请求转发给其它节点,其它节点能够基于主节点中备份的目标客户的业务数据,及时有效地响应目标客户的业务处理请求。
本发明实施例提出一种多节点多活的软件应用方案,在多个节点上分别部署逻辑数据库,形成多通道,多个节点同时对外提供服务。可以对客户标识取模,将同一客户请求分发至同一通道处理。从单节点到多节点的转换中,客户请求的分发和数据的读取写入通过软件应用实现,避免在数据存储层面的复杂逻辑,对于系统多活部署的实现具有一定的实用性。
图4是本发明的一个实施例提供的一种数据的同步装置的结构示意图,如图4所示,该装置包括:
请求接收模块401,用于接收目标客户的登录请求;
节点确定模块402,用于根据目标客户的客户信息,从多个部署节点中,确定出目标客户对应的处理节点;
第一同步模块403,用于响应于处理节点需要进行针对目标客户的数据同步处理,获取目标客户的第一数据,并将第一数据同步至处理节点;
第二同步模块404,用于响应于处理节点的系统信息符合同步条件,获取目标客户的第二数据,并将第二数据同步至处理节点;其中,处理节点利用第一数据及第二数据处理目标客户的业务处理请求。
可选地,还包括:
同步确定模块405,用于响应于处理节点符合以下条件中的任一项,确定处理节点需要进行针对目标客户的数据同步处理:
目标客户首次登录处理节点;
处理节点没有存储目标客户的业务数据;
处理节点存储的目标客户的业务数据已过期。
可选地,第一同步模块403具体用于:
获取目标客户对应的同步参数;
根据同步参数,从中心节点中获取目标客户的第一数据。
可选地,第一同步模块403具体用于:
接收目标客户的业务处理请求,并确定业务处理请求对应的请求参数;
根据请求参数,从中心节点中获取目标客户的第一数据。
可选地,第一同步模块403具体用于:
从中心节点中获取目标客户的第一数据,第一数据包括以下至少之一:目标客户的客户文件、客户图像及统计时段内的业务数据。
可选地,同步条件包括:
处理节点的系统时间到达日终时间点;
和/或,处理节点的系统信息大于资源阈值,系统信息包括以下至少之一:CPU空闲率、可用内存及可用空间。
可选地,还包括:
请求响应模块406,用于接收目标客户的业务处理请求;
处理节点利用第一数据及第二数据,响应目标客户的业务处理请求。
本发明实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述任一实施例的方法。
本发明实施例提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本发明实施例中的企业风险评估方法。
下面参考图5,其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了根据本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:请求接收模块、节点确定模块、第一同步模块及第二同步模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,请求接收模块还可以被描述为“接收目标客户的登录请求的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
接收目标客户的登录请求;
根据所述目标客户的客户信息,从多个部署节点中,确定出所述目标客户对应的处理节点;
响应于所述处理节点需要进行针对所述目标客户的数据同步处理,获取所述目标客户的第一数据,并将所述第一数据同步至所述处理节点;
响应于所述处理节点的系统信息符合同步条件,获取所述目标客户的第二数据,并将所述第二数据同步至所述处理节点;其中,所述处理节点利用所述第一数据及所述第二数据处理所述目标客户的业务处理请求。
根据本发明实施例的技术方案,按照客户信息定向分发客户的登录请求,同一客户请求由同一节点处理。因此,处理节点无需将目标客户的业务数据再转发给其它节点,能够减轻服务器和数据库的运行压力。
此外,第一数据可以为时效要求较高的数据,第二数据可以为时效要求较低的数据。第一数据用于及时响应客户发出的登录请求及业务处理请求,第一数据可据根据同步参数或客户发出的处理请求等确定。将目标客户的业务数据拆分为第一数据及第二数据,并在不同时间段进行同步,能够减轻高峰时段服务器及数据库的压力,提升系统的响应速度。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (15)

1.一种数据的同步方法,其特征在于,包括:
接收目标客户的登录请求;
根据所述目标客户的客户信息,从多个部署节点中,确定出所述目标客户对应的处理节点;
响应于所述处理节点需要进行针对所述目标客户的数据同步处理,获取所述目标客户的第一数据,并将所述第一数据同步至所述处理节点;
响应于所述处理节点的系统信息符合同步条件,获取所述目标客户的第二数据,并将所述第二数据同步至所述处理节点;其中,所述处理节点利用所述第一数据及所述第二数据处理所述目标客户的业务处理请求。
2.根据权利要求1所述的方法,其特征在于,所述响应于所述处理节点需要进行针对所述目标客户的数据同步处理,获取所述目标客户的第一数据之前,还包括:
响应于所述处理节点符合以下条件中的任一项,确定所述处理节点需要进行针对所述目标客户的数据同步处理:
所述目标客户首次登录所述处理节点;
所述处理节点没有存储所述目标客户的业务数据;
所述处理节点存储的所述目标客户的业务数据已过期。
3.根据权利要求1所述的方法,其特征在于,所述获取所述目标客户的第一数据,包括:
获取所述目标客户对应的同步参数;
根据所述同步参数,从中心节点中获取所述目标客户的第一数据。
4.根据权利要求1所述的方法,其特征在于,所述获取所述目标客户的第一数据,包括:
接收所述目标客户的业务处理请求,并确定所述业务处理请求对应的请求参数;
根据所述请求参数,从中心节点中获取所述目标客户的第一数据。
5.根据权利要求1所述的方法,其特征在于,所述获取所述目标客户的第一数据,包括:
从中心节点中获取所述目标客户的第一数据,所述第一数据包括以下至少之一:所述目标客户的客户文件、客户图像及统计时段内的业务数据。
6.根据权利要求1所述的方法,其特征在于,所述同步条件包括:
所述处理节点的系统时间到达日终时间点;
和/或,所述处理节点的系统信息大于资源阈值,所述系统信息包括以下至少之一:CPU空闲率、可用内存及可用空间。
7.根据权利要求1所述的方法,其特征在于,所述响应于所述处理节点的系统信息符合同步条件,获取所述目标客户的第二数据,并将所述第二数据同步至所述处理节点之后,还包括:
接收所述目标客户的业务处理请求;
所述处理节点利用所述第一数据及所述第二数据,响应所述目标客户的业务处理请求。
8.一种数据的同步装置,其特征在于,包括:
请求接收模块,用于接收目标客户的登录请求;
节点确定模块,用于根据所述目标客户的客户信息,从多个部署节点中,确定出所述目标客户对应的处理节点;
第一同步模块,用于响应于所述处理节点需要进行针对所述目标客户的数据同步处理,获取所述目标客户的第一数据,并将所述第一数据同步至所述处理节点;
第二同步模块,用于响应于所述处理节点的系统信息符合同步条件,获取所述目标客户的第二数据,并将所述第二数据同步至所述处理节点;其中,所述处理节点利用所述第一数据及所述第二数据处理所述目标客户的业务处理请求。
9.根据权利要求8所述的装置,其特征在于,还包括:
同步确定模块,用于响应于所述处理节点符合以下条件中的任一项,确定所述处理节点需要进行针对所述目标客户的数据同步处理:
所述目标客户首次登录所述处理节点;
所述处理节点没有存储所述目标客户的业务数据;
所述处理节点存储的所述目标客户的业务数据已过期。
10.根据权利要求8所述的装置,其特征在于,所述第一同步模块具体用于:
获取所述目标客户对应的同步参数;
根据所述同步参数,从中心节点中获取所述目标客户的第一数据。
11.根据权利要8所述的装置,其特征在于,所述第一同步模块具体用于:
接收所述目标客户的业务处理请求,并确定所述业务处理请求对应的请求参数;
根据所述请求参数,从中心节点中获取所述目标客户的第一数据。
12.根据权利要求8所述的装置,其特征在于,所述第一同步模块具体用于:
从中心节点中获取所述目标客户的第一数据,所述第一数据包括以下至少之一:所述目标客户的客户文件、客户图像及统计时段内的业务数据。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202211671480.5A 2022-12-26 2022-12-26 数据的同步方法和装置 Pending CN116016561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211671480.5A CN116016561A (zh) 2022-12-26 2022-12-26 数据的同步方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211671480.5A CN116016561A (zh) 2022-12-26 2022-12-26 数据的同步方法和装置

Publications (1)

Publication Number Publication Date
CN116016561A true CN116016561A (zh) 2023-04-25

Family

ID=86036619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211671480.5A Pending CN116016561A (zh) 2022-12-26 2022-12-26 数据的同步方法和装置

Country Status (1)

Country Link
CN (1) CN116016561A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737678A (zh) * 2023-08-14 2023-09-12 浙江同信企业征信服务有限公司 一种数据同步方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737678A (zh) * 2023-08-14 2023-09-12 浙江同信企业征信服务有限公司 一种数据同步方法、装置、设备及存储介质
CN116737678B (zh) * 2023-08-14 2024-04-19 浙江同信企业征信服务有限公司 一种数据同步方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108388479B (zh) 延迟消息推送方法、装置、计算机设备及存储介质
CN107241281B (zh) 一种数据处理方法及其装置
CN110262807B (zh) 集群创建进度日志采集系统、方法和装置
CN112860451A (zh) 一种基于SaaS的多租户数据处理方法和装置
CN113485962B (zh) 日志文件的存储方法、装置、设备和存储介质
CN110321252B (zh) 一种技能服务资源调度的方法和装置
CN113094434A (zh) 数据库同步方法、系统、装置、电子设备及介质
CN116016561A (zh) 数据的同步方法和装置
CN111338834B (zh) 数据存储方法和装置
CN116303608A (zh) 一种应用服务的数据处理方法和装置
CN108520401B (zh) 用户名单管理方法、装置、平台及存储介质
CN112948498A (zh) 一种分布式系统全局标识的生成方法和装置
CN111539281A (zh) 分布式人脸识别方法及系统
CN116775712A (zh) 联表查询方法、装置、电子设备、分布式系统和存储介质
CN117194562A (zh) 数据同步方法和装置、电子设备和计算机可读介质
CN116319810A (zh) 分布式系统的流量控制方法、装置、设备、介质及产品
US10250515B2 (en) Method and device for forwarding data messages
CN115269719A (zh) 数据同步方法及装置
CN110019445B (zh) 数据同步方法和装置、计算设备和存储介质
CN110908810A (zh) 一种消息传输方法和装置
CN111061719A (zh) 数据收集方法、装置、设备和存储介质
CN117478535B (zh) 一种日志存储的方法和装置
CN114490128A (zh) 一种异地多活架构下的数据存储方法和装置
CN117312452A (zh) 一种数据同步方法、装置、电子设备及计算机可读介质
CN116303566A (zh) 一种数据查询的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination