CN115629909A - 业务数据处理的方法、装置、电子设备和存储介质 - Google Patents

业务数据处理的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115629909A
CN115629909A CN202211202502.3A CN202211202502A CN115629909A CN 115629909 A CN115629909 A CN 115629909A CN 202211202502 A CN202211202502 A CN 202211202502A CN 115629909 A CN115629909 A CN 115629909A
Authority
CN
China
Prior art keywords
data
service
list
backup
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211202502.3A
Other languages
English (en)
Inventor
李海
郝学宇
杨明
李正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202211202502.3A priority Critical patent/CN115629909A/zh
Publication of CN115629909A publication Critical patent/CN115629909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了业务数据处理的方法、装置、电子设备和存储介质,涉及数据存储技术领域。该方法的一具体实施方式包括:响应于目标数据的数据处理指令,调用客户端服务组件,获取对应的属地信息;查询目标数据对应服务分区的元数据,确定服务分区所属的第一数据中心和第一分区地址信息;获取异常数据中心的列表;或者响应于列表中包括第一数据中心,获取服务分区对应的备用服务分区列表,确定所属数据中心不属于列表的备份服务分区,获取备份服务分区的第二分区地址信息,以发送目标数据的处理请求。该实施方式能够解决业务数据处理对业务数据处理系统的依赖性提高,如何提高业务数据处理系统可用性和安全性成的问题。

Description

业务数据处理的方法、装置、电子设备和存储介质
技术领域
本发明涉及数据存储技术领域,尤其涉及一种业务数据处理的方法、装置、电子设备和存储介质。
背景技术
为了保证业务处理中的数据安全,尤其是大型业务的处理,如交易业务,通常需要业务数据处理系统具有可靠的安全性和可用性。现有技术中,业务数据处理系统会将业务数据传输至服务端后在进行数据处理,但是,随着业务的多样化、复杂化,业务数据处理的复杂度也在逐渐提升,所以对业务数据处理系统的依赖性提高,如何提高业务数据处理系统可用性和安全性成为重要问题。
发明内容
有鉴于此,本发明实施例提供一种业务数据处理的方法、装置、电子设备和存储介质,能够解决业务数据处理对业务数据处理系统的依赖性提高,如何提高业务数据处理系统可用性和安全性成的问题。
为实现上述目的,根据本发明实施例的一个方面,提供了一种业务数据处理的方法。
本发明实施例的一种业务数据处理的方法,用于客户端,包括:响应于目标数据的数据处理指令,调用客户端服务组件,以获取对应的属地信息;
基于预设的映射表查询所述目标数据对应服务分区的元数据,以确定所述服务分区所属的第一数据中心和第一分区地址信息;
获取异常数据中心的列表,响应于所述列表中不包括所述第一数据中心,基于所述第一分区地址信息发送所述目标数据的处理请求;或者响应于所述列表中包括所述第一数据中心,获取所述服务分区对应的备用服务分区列表,确定所属数据中心不属于所述列表的备份服务分区,获取所述备份服务分区的第二分区地址信息,以发送所述目标数据的处理请求。
在一个实施例中,所述服务分片和所述备用服务分区对应的属性信息不同。
在又一个实施例中,还包括:
调用预设的全局路由组件,监听更新的路由参数,以更新所述异常数据中心的列表。
在又一个实施例中,发送所述目标数据的处理请求,包括:
基于预设的报文格式封装所述目标数据的处理请求,以调用预设通信协议发送封装后的目标数据。
为实现上述目的,根据本发明实施例的又一个方面,提供了又一种业务数据处理的方法。
本发明实施例的又一种业务数据处理的方法,用于服务端,包括:接收目标数据的处理请求,获取对应的服务分区元数据,以调用数据处理组件,以获取所述处理请求中目标数据,基于属性信息拆分目标数据得出各数据分表,并存储至备份数据列表;调用数据同步组件,查询所述备份数据列表中数据量,响应于所述数据量大于或等于预设阈值,将所述备份数据列表中数据生成数据对象并发送至备份服务分片;或者响应于所述数据量小于预设阈值,基于预设同步周期,将所述备份数据列表中数据生成数据对象并发送至备份服务分片。
在一个实施例中,所述属性信息包括数据生成时间;
基于所述属性信息拆分所述目标数据,得出各数据分表,包括:
基于所述数据生成时间和预设拆分周期拆分所述目标数据,得出各数据分表。
在一个实施例中,将所述备份数据列表中数据生成数据对象并发送至备份服务分片,包括:
调用预设的序列化模型,以将所述备份数据列表中数据生成数据对象,并发送至备份服务分片。
在一个实施例中,将所述备份数据列表中数据生成数据对象并发送至备份服务分片,包括:
将所述同步列表中数据生成数据对象;
查询所述服务分区对应的消息中间件的主体标识,将所述数据对象发送至所述主体标识对应的主体,以使所述备用服务分片从所述主体中订阅所述数据对象。
为实现上述目的,根据本发明实施例的另一方面,提供了一种业务数据处理的装置。
本发明实施例的一种业务数据处理的装置,设置于客户端,包括:获取单元,用于响应于目标数据的数据处理指令,调用客户端服务组件,以获取对应的属地信息;
确定单元,用于基于预设的映射表查询所述目标数据对应服务分区的元数据,以确定所述服务分区所属的第一数据中心和第一分区地址信息;
发送单元,用于获取异常数据中心的列表,响应于所述列表中不包括所述第一数据中心,基于所述第一分区地址信息发送所述目标数据的处理请求;或者响应于所述列表中包括所述第一数据中心,获取所述服务分区对应的备用服务分区列表,确定所属数据中心不属于所述列表的备份服务分区,获取所述备份服务分区的第二分区地址信息,以发送所述目标数据的处理请求。
在一个实施例中,所述服务分片和所述备用服务分区对应的属性信息不同。
在又一个实施例中,所述装置还包括:
更新单元,用于调用预设的全局路由组件,监听更新的路由参数,以更新所述异常数据中心的列表。
在又一个实施例中,所述发送单元,具体用于:
基于预设的报文格式封装所述目标数据的处理请求,以调用预设通信协议发送封装后的目标数据。
为实现上述目的,根据本发明实施例的另一方面,提供了一种业务数据处理的装置。
本发明实施例的一种业务数据处理的装置,设置于服务端,包括:
存储单元,用于接收目标数据的处理请求,获取对应的服务分区元数据,以调用数据处理组件,以获取所述处理请求中目标数据,基于属性信息拆分目标数据得出各数据分表,并存储至备份数据列表;
同步单元,用于调用数据同步组件,查询所述备份数据列表中数据量,响应于所述数据量大于或等于预设阈值,将所述备份数据列表中数据生成数据对象并发送至备份服务分片;或者响应于所述数据量小于预设阈值,基于预设同步周期,将所述备份数据列表中数据生成数据对象并发送至备份服务分片。
在一个实施例中,所述属性信息包括数据生成时间;
所述存储单元,具体用于:
基于所述数据生成时间和预设拆分周期拆分所述目标数据,得出各数据分表。
在又一个实施例中,所述同步单元,具体用于:
调用预设的序列化模型,以将所述备份数据列表中数据生成数据对象,并发送至备份服务分片。
在又一个实施例中,所述同步单元,具体用于:
将所述同步列表中数据生成数据对象;
查询所述服务分区对应的消息中间件的主体标识,将所述数据对象发送至所述主体标识对应的主体,以使所述备用服务分片从所述主体中订阅所述数据对象。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种电子设备。
本发明实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的业务数据处理的方法。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例提供的业务数据处理的方法。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机程序产品。
本发明实施例的一种计算机程序产品,包括计算机程序,所述程序被处理器执行时实现本发明实施例提供的业务数据处理方法。
上述发明中的一个实施例具有如下优点或有益效果:本发明实施例中,对于业务数据可以从客户端确定出对应的服务分片,以进行数据切分后在传输至服务端处理,从而降低数据处理的时间,同时数据在服务端可以进一步拆分存储,并通过数据同步组件同步至备用服务分片,提高数据处理的安全性和效率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的业务数据处理系统的一种系统架构的示意图;
图2是根据本发明实施例的业务数据处理的方法的一种主要流程的示意图;
图3是根据本发明实施例的业务数据处理的方法的又一种主要流程的示意图;
图4是根据本发明实施例的数据通的一种系统结构的示意图;
图5是根据本发明实施例的业务数据处理的装置的一种主要单元的示意图;
图6是根据本发明实施例的业务数据处理的装置的又一种主要单元的示意图;
图7是本发明实施例可以应用于其中的又一种示例性系统架构图;
图8是适于用来实现本发明实施例的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明中的实施例以及实施例中的特征可以互相组合。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
本发明实施例提供一种业务数据处理系统,该系统可以用于对业务数据的处理场景,如对银行机构等交易数据的处理场景。
本发明实施例中,业务数据处理系统可以包括客户端和服务端,客户端可以用于面向用户,通过业务处理生成业务数据并发送至服务端,服务端可以用于对业务数据的处理和存储。本发明实施例中,以组件实现对业务数据的处理,客户端可以包括客户端服务组件,业务处理的用户可以通过柜面服务组件来触发业务数据的处理,进而可以调用客户端服务组件,服务端可以包括数据处理组件和数据同步组件,数据处理组件可以用于将业务数据存储至数据库,数据同步组件可以用于将业务数据同步备份数据库。
本发明实施例中,服务端可以设置多个服务器,各服务器可以基于业务需求进行服务分区,如可以基于服务器数量和业务要求确定,例如,可以将服务器数量为2的N次幂个分区,可以得出N的值,如服务器数量为64,可以分为4个分区。在确定出服务分区后,可以对其记性标号,以确定服务分区的标识,如可以Z1、Z2、Z3、Z4,各服务分区均可以对外提供服务,各服务分区可以作为互为主备服务分区,即保证每一个服务分区对应至少一个其他服务分区作为备服务分区。进一步的,可以基于业务处理的属性和服务性能配置,可以将各服务分区分配至和时的数据中心(IDC),为了提高业务数据的安全性,互为主备的服务分区可以部署于属于不同属地的数据中心,例如,服务分区Z1为服务分区Z2的备服务分区,所以Z1和Z2需要设置于不同地区,即属性信息不同,如此,在某个服务分区故障或异常时,可以启用不同属地的备服务分区。
图1所示,为本发明实施例中业务数据处理系统的系统架构示意图。如图1所示,用户通过柜面服务组件触发数据处理指令,客户端服务组件可以确定服务分区,进而将业务数据发送至服务分区,而服务分区所配置的服务端中数据处理组件进行数据处理,数据同步组件进行数据备份。如图1所示,本发明实施例中还可以设置全局路由组件,其可以用于存储更新服务分区的元数据和异常数据中心信息等等,以将这些提供给所需的客户端和服务端,全局路由组件可以通过Zookeeper技术实现,具体的,可以将客户端属性信息和服务分区之间的映射表,如哈希映射表,服务分区和备份服务分区之间对应关系,全局路由组件可以将这些信息通过Hessian序列化技术序列化后更新到各客户端。
需要说明的是,由于全局路由组件基于Zookeeper分布式协调框架实现,可以部署在多个IDC,所以即使单IDC或同一属地的多个IDC发生故障,全局路由组件也可正常运行。全局路由组件可以通过自动化运维平台或者人工录入的方式进行信息的更新和配置。
本发明实施例提供了一种业务数据处理的方法,该方法可由图1所示系统架构中客户端执行,如图2所示,该方法包括:
S201:响应于目标数据的数据处理指令,调用客户端服务组件,以获取对应的属地信息。
其中,目标数据可以为需要进行处理的业务数据。用户可以通过柜面服务组件触发数据处理指令,进而客户端调用客户端服务组件,获取目标数据的属地信息,也可以为客户端的属地信息。属地信息可以包括属地标识,本发明实时汇率中可以建立客户端与属地标识之间的映射关系,进而可以基于此映射关系获取到属地标识。
在一些实施例中,还可以设置全局路由组件,进而本步骤中客户端服务组件可以调用全局路由组件来获取路由策略,如属性信息与服务分区之间的映射关系、异常数据中心的列表、服务分区和备份服务分区之间对应关系等等。
需要说明的是,本发明实施例中,客户端服务组件可以提供查询、记录等接口,查询接口可以用于数据查询,记录接口可以用于数据处理。具体的,客户端服务组件可以基于Zookeeper Client、Apache Http Component实现,Zookeeper Client可以用于与全局路由组件进行数据交互,Apache Http Component可以用于与数据处理组件进行数据交互。
S202:基于预设的映射表查询目标数据对应服务分区的元数据,以确定服务分区所属的第一数据中心和第一分区地址信息。
其中,预设的映射表可以具体为哈希映射表,本步骤中可以基于属性信息查询出目标数据对应服务分区,进而可以获取到服务分区的元数据。元数据可以包括服务分区所属数据中心和服务分区的分区地址信息。
S203:获取异常数据中心的列表,响应于列表中不包括第一数据中心,基于第一分区地址信息发送目标数据的处理请求;或者响应于列表中包括第一数据中心,获取服务分区对应的备用服务分区列表,确定所属数据中心不属于列表的备用服务分区,获取备份服务分区的第二分区地址信息,以发送目标数据的处理请求。
其中,异常数据中心的列表可以为预先存储并实时更新,以出现新的数据中心异常时可以及时更细异常数据中心的列表。本步骤获取异常数据中心的列表后,可以判断步骤S202中服务分区所属的第一数据中心是否在列表中,以确定第一数据中心是否异常。如果列表中不包括第一数据中心,说明第一数据中心正常,可以进行数据处理,则可以直接基于第一分区地址信息发送目标数据的处理请求;如果列表中包括第一数据中心,说明第一数据中心异常,此时可以获取服务分区对应的备份服务分区列表,进而将备份服务分区列表与异常数据中心的列表比较,以确定出所属数据中心不属于所述列表的备份服务分区,并获取该备份服务分区的元数据,从中确定出备份服务分区的分区地址信息,即第二分区地址信息,来发送目标数据的处理请求。
本发明实施例中,发送目标数据的处理请求的方式可以具体为:基于预设的报文格式封装目标数据的处理请求,以调用预设通信协议发送封装后的目标数据。预设报文格式可以具体为xml报文格式,预设通信协议可以为HTTP协议。目标数据的处理请求中可以包括目标数据和目标数据的属性信息,如生成时间、时间戳、客户端信息等等。例如,以目标数据为交易数据为例,数据请求可以包括交易全局事件跟踪号、交易事件时间戳、交易开始时间、交易结束时间、交易摘要信息、柜员信息、网点信息等等。
本发明实施例中,对于业务数据可以从客户端确定出对应的服务分片,以进行数据切分后在传输至服务端处理,从而降低数据处理的时间,同时数据在服务端可以进一步拆分存储,并通过数据同步组件同步至备用服务分片,提高数据处理的安全性和效率。
下面结合图1所示的系统架构和图2所示实施例,本发明实施例提供了一种业务数据处理的方法,该方法可由图1所示系统架构中服务端执行,如图3所示,该方法包括:
S301:接收目标数据的处理请求,获取对应的服务分区元数据,以调用数据处理组件,以获取所述处理请求中目标数据,基于属性信息拆分目标数据得出各数据分表,并存储至备份数据列表。
其中,服务端接收目标数据的处理请求,其中可以包括服务分区的元数据,如分区地址信息,进而可以确定出服务分区,如此可以调用对应的数据处理组件进行处理。处理请求中包括了目标数据的属性参数和目标数据,为了避免大数据表处理导致系统性能降低,本步骤中可以基于属性信息拆分目标数据得出各数据分表并存储。本步骤中对应数据分表可以存储至数据库中,同时为了对目标数据进行数据同步备份,还可以将其缓存至备份数据列表。
在一些实施例中,目标数据的属性信息包括数据生成时间,本发明实施例中可以基于数据生成时间和预设拆分周期来拆分目标数据,得出各数据分表,其中预设拆分周期可以基于需求和场景设置,例如可以设置为一天。
需要说明的是,本发明实施例中在数据存储时,可以将数据分表的参数写入进入sql,使用ibatis的jdbc连接池连接数据库,进而进行数据存储。数据处理组件可以用于处理请求的解析,并将写入或查询目标数据,将数据进行Hessian序列化后上送到数据同步组件,具体可以基于Weblogic、Oracle RAC、Spring等Web技术实现。
S302:调用数据同步组件,查询备份数据列表中数据量,响应于数据量大于或等于预设阈值,将备份数据列表中数据生成数据对象并发送至备份服务分片;或者响应于数据量小于预设阈值,基于预设同步周期,将备份数据列表中数据生成数据对象并发送至备份服务分片。
其中,备份获取同步列表中为需要进行备份的数据,数据同步组件可以将需要备份的数据同步至备份服务分区进行存储。
本发明实施例中可以采用分批定时发送的策略,为了提高数据处理效率,可以限定每次数据同步的阈值,即预设阈值。因此本发明实施例中在调用数据同步组件后,可以将备份数据列表中数据量与预设阈值进行比较。如果备份数据列表中数据量大于预设阈值,则可以将备份数据列表中数据生成数据对象并发送至备份服务分片;如果备份数据列表中数据量小于或等于预设阈值,则可以再判断当前时间是否到达预设同步周期,若是,则可以将备份数据列表中数据生成数据对象并发送至备份服务分片,若否,则可以在当前时间达预设同步周期时再将备份数据列表中数据生成数据对象并发送至备份服务分片。
在又一些实施例中,本步骤中可以预设序列化模型,以通过调用预设的序列化模型,将备份数据列表中数据生成数据对象,并发送至备份服务分片。
在又一些实施例中,将数据对象发送至备份服务分片可以通过消息中间件实现(如Kafka),具体可以将每个服务分区初始化为消息中间件的主体(topic)并建立主体标识和服务分区之间对应关系,进而在数据同步时可以将数据对象同步至消息中间件中对应的主体,备份服务分区可以通过订阅的方式,从消息中间件的主体中获取到同步的数据对象。所以本步骤中将数据对象发送至备份服务分片可以执行为:查询服务分区对应的消息中间件的主体标识,将数据对象发送至主体标识对应的主体,以使备用服务分片从主体中订阅数据对象。以服务分区1配置与服务器1和服务器2中,其对应于消息中间件中topic1,其对应的备份服务分区为服务分区2,服务分区2配置与服务器3和服务器4为例,如图4所示,为数据同步的一种架构示意图。
需要说明的是,以消息中间件为Kafka为例,当同一个服务分区对应了N(N>1)个备用分区时,则N个备用服务分区独立分为N个Kafka Consumer Group同时消费该Topic中数据。数据同步组件还可以用于将服务分区存储的数据异步更新到备份服务分区中,保证数据的最终一致性。
本发明实施例中,对于业务数据可以从客户端确定出对应的服务分片,以进行数据切分后在传输至服务端处理,从而降低数据处理的时间,同时数据在服务端可以进一步拆分存储,并通过数据同步组件同步至备用服务分片,提高数据处理的安全性和效率。
为了解决现有技术存在的问题,本发明实施例提供了一种业务数据处理的装置500,设置于客户端,如图5所示,该装置500包括:
获取单元501,用于响应于目标数据的数据处理指令,调用客户端服务组件,以获取对应的属地信息;
确定单元502,用于基于预设的映射表查询所述目标数据对应服务分区的元数据,以确定所述服务分区所属的第一数据中心和第一分区地址信息;
发送单元503,用于获取异常数据中心的列表,响应于所述列表中不包括所述第一数据中心,基于所述第一分区地址信息发送所述目标数据的处理请求;或者响应于所述列表中包括所述第一数据中心,获取所述服务分区对应的备用服务分区列表,确定所属数据中心不属于所述列表的备份服务分区,获取所述备份服务分区的第二分区地址信息,以发送所述目标数据的处理请求。
应理解的是,实施本发明实施例的方式与实施图1所示实施例的方式相同,在此不再赘述。
在一个实施例中,所述服务分片和所述备用服务分区对应的属性信息不同。
在又一个实施例中,所述装置500还包括:
更新单元,用于调用预设的全局路由组件,监听更新的路由参数,以更新所述异常数据中心的列表。
在又一个实施例中,所述发送单元503,具体用于:
基于预设的报文格式封装所述目标数据的处理请求,以调用预设通信协议发送封装后的目标数据。
应理解的是,实施本发明实施例的方式与实施图1所示实施例的方式相同,在此不再赘述。
本发明实施例中,对于业务数据可以从客户端确定出对应的服务分片,以进行数据切分后在传输至服务端处理,从而降低数据处理的时间,同时数据在服务端可以进一步拆分存储,并通过数据同步组件同步至备用服务分片,提高数据处理的安全性和效率。
为了解决现有技术存在的问题,本发明实施例提供了一种业务数据处理的装置600,设置于服务端,如图6所示,该装置600包括:
存储单元601,用于接收目标数据的处理请求,获取对应的服务分区元数据,以调用数据处理组件,以获取所述处理请求中目标数据,基于属性信息拆分目标数据得出各数据分表,并存储至备份数据列表;
同步单元602,用于调用数据同步组件,查询所述备份数据列表中数据量,响应于所述数据量大于或等于预设阈值,将所述备份数据列表中数据生成数据对象并发送至备份服务分片;或者响应于所述数据量小于预设阈值,基于预设同步周期,将所述备份数据列表中数据生成数据对象并发送至备份服务分片。
应理解的是,实施本发明实施例的方式与实施图2所示实施例的方式相同,在此不再赘述。
在一个实施例中,所述属性信息包括数据生成时间;
所述存储单元601,具体用于:
基于所述数据生成时间和预设拆分周期拆分所述目标数据,得出各数据分表。
在又一个实施例中,所述同步单元602,具体用于:
调用预设的序列化模型,以将所述备份数据列表中数据生成数据对象,并发送至备份服务分片。
在又一个实施例中,所述同步单元602,具体用于:
将所述同步列表中数据生成数据对象;
查询所述服务分区对应的消息中间件的主体标识,将所述数据对象发送至所述主体标识对应的主体,以使所述备用服务分片从所述主体中订阅所述数据对象。
应理解的是,实施本发明实施例的方式与实施图2所示实施例的方式相同,在此不再赘述。
本发明实施例中,对于业务数据可以从客户端确定出对应的服务分片,以进行数据切分后在传输至服务端处理,从而降低数据处理的时间,同时数据在服务端可以进一步拆分存储,并通过数据同步组件同步至备用服务分片,提高数据处理的安全性和效率。
根据本发明的实施例,本发明实施例还提供了一种电子设备和一种可读存储介质。
本发明实施例的电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行本发明实施例所提供的业务数据处理的方法。
图7示出了可以应用本发明实施例的业务数据处理的方法或业务数据处理的装置的示例性系统架构700。
如图7所示,系统架构700可以包括终端设备701、702、703,网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互,以接收或发送消息等。终端设备701、702、703上可以安装有各种客户端应用。
终端设备701、702、703可以是但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器,服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的业务数据处理的方法一般由服务器705执行,相应地,业务数据处理的装置一般设置于服务器705中。
应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图8,其示出了适于用来实现本发明实施例的计算机系统800的结构示意图。图8示出的计算机系统仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分,上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、确定单元和对比单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“信息获取功能的单元”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行本发明所提供的业务数据处理的方法。
作为另一方面,本发明还提供了一种计算机程序产品,包括计算机程序,所述程序被处理器执行时实现本发明实施例提供的业务数据处理方法。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (15)

1.一种业务数据处理的方法,其特征在于,用于客户端,包括:
响应于目标数据的数据处理指令,调用客户端服务组件,以获取对应的属地信息;
基于预设的映射表查询所述目标数据对应服务分区的元数据,以确定所述服务分区所属的第一数据中心和第一分区地址信息;
获取异常数据中心的列表,响应于所述列表中不包括所述第一数据中心,基于所述第一分区地址信息发送所述目标数据的处理请求;或者响应于所述列表中包括所述第一数据中心,获取所述服务分区对应的备用服务分区列表,确定所属数据中心不属于所述列表的备份服务分区,获取所述备份服务分区的第二分区地址信息,以发送所述目标数据的处理请求。
2.根据权利要求1所述的方法,其特征在于,所述服务分片和所述备用服务分区对应的属性信息不同。
3.根据权利要求1所述的方法,其特征在于,还包括:
调用预设的全局路由组件,监听更新的路由参数,以更新所述异常数据中心的列表。
4.根据权利要求1所述的方法,其特征在于,发送所述目标数据的处理请求,包括:
基于预设的报文格式封装所述目标数据的处理请求,以调用预设通信协议发送封装后的目标数据。
5.一种业务数据处理的方法,其特征在于,用于服务端,包括:
接收目标数据的处理请求,获取对应的服务分区元数据,以调用数据处理组件,以获取所述处理请求中目标数据,基于属性信息拆分目标数据得出各数据分表,并存储至备份数据列表;
调用数据同步组件,查询所述备份数据列表中数据量,响应于所述数据量大于或等于预设阈值,将所述备份数据列表中数据生成数据对象并发送至备份服务分片;或者响应于所述数据量小于预设阈值,基于预设同步周期,将所述备份数据列表中数据生成数据对象并发送至备份服务分片。
6.根据权利要求5所述的方法,其特征在于,所述属性信息包括数据生成时间;
基于所述属性信息拆分所述目标数据,得出各数据分表,包括:
基于所述数据生成时间和预设拆分周期拆分所述目标数据,得出各数据分表。
7.根据权利要求5所述的方法,其特征在于,将所述备份数据列表中数据生成数据对象并发送至备份服务分片,包括:
调用预设的序列化模型,以将所述备份数据列表中数据生成数据对象,并发送至备份服务分片。
8.根据权利要求5所述的方法,其特征在于,将所述备份数据列表中数据生成数据对象并发送至备份服务分片,包括:
将所述同步列表中数据生成数据对象;
查询所述服务分区对应的消息中间件的主体标识,将所述数据对象发送至所述主体标识对应的主体,以使所述备用服务分片从所述主体中订阅所述数据对象。
9.一种业务数据处理的装置,其特征在于,设置于客户端,包括:
获取单元,用于响应于目标数据的数据处理指令,调用客户端服务组件,以获取对应的属地信息;
确定单元,用于基于预设的映射表查询所述目标数据对应服务分区的元数据,以确定所述服务分区所属的第一数据中心和第一分区地址信息;
发送单元,用于获取异常数据中心的列表,响应于所述列表中不包括所述第一数据中心,基于所述第一分区地址信息发送所述目标数据的处理请求;或者响应于所述列表中包括所述第一数据中心,获取所述服务分区对应的备用服务分区列表,确定所属数据中心不属于所述列表的备份服务分区,获取所述备份服务分区的第二分区地址信息,以发送所述目标数据的处理请求。
10.根据权利要求9所述的装置,其特征在于,所述服务分片和所述备用服务分区对应的属性信息不同。
11.一种业务数据处理的装置,其特征在于,设置于服务端,包括:
存储单元,用于接收目标数据的处理请求,获取对应的服务分区元数据,以调用数据处理组件,以获取所述处理请求中目标数据,基于属性信息拆分目标数据得出各数据分表,并存储至备份数据列表;
同步单元,用于调用数据同步组件,查询所述备份数据列表中数据量,响应于所述数据量大于或等于预设阈值,将所述备份数据列表中数据生成数据对象并发送至备份服务分片;或者响应于所述数据量小于预设阈值,基于预设同步周期,将所述备份数据列表中数据生成数据对象并发送至备份服务分片。
12.根据权利要求11所述的装置,其特征在于,所述属性信息包括数据生成时间;
所述存储单元,具体用于:
基于所述数据生成时间和预设拆分周期拆分所述目标数据,得出各数据分表。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN202211202502.3A 2022-09-29 2022-09-29 业务数据处理的方法、装置、电子设备和存储介质 Pending CN115629909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211202502.3A CN115629909A (zh) 2022-09-29 2022-09-29 业务数据处理的方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211202502.3A CN115629909A (zh) 2022-09-29 2022-09-29 业务数据处理的方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115629909A true CN115629909A (zh) 2023-01-20

Family

ID=84903886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211202502.3A Pending CN115629909A (zh) 2022-09-29 2022-09-29 业务数据处理的方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115629909A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117170941A (zh) * 2023-11-02 2023-12-05 建信金融科技有限责任公司 数据备份的方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117170941A (zh) * 2023-11-02 2023-12-05 建信金融科技有限责任公司 数据备份的方法、装置、电子设备和存储介质
CN117170941B (zh) * 2023-11-02 2024-02-13 建信金融科技有限责任公司 数据备份的方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112860451A (zh) 一种基于SaaS的多租户数据处理方法和装置
CN111212085B (zh) 物联网平台同步调用的方法、物联网系统和网络设备
CN111064626B (zh) 配置更新方法、装置、服务器及可读存储介质
CN110837423A (zh) 一种自动导引运输车数据采集的方法和装置
CN110837409A (zh) 一种定时执行任务的方法和系统
CN111460129A (zh) 标识生成的方法、装置、电子设备和存储介质
CN112948498A (zh) 一种分布式系统全局标识的生成方法和装置
CN110019539A (zh) 一种数据仓库的数据同步的方法和装置
CN108667660B (zh) 路由管理和业务路由的方法和装置及路由系统
CN115629909A (zh) 业务数据处理的方法、装置、电子设备和存储介质
CN110609656B (zh) 存储管理方法、电子设备和计算机程序产品
CN113220342A (zh) 中心化配置方法、装置、电子设备及存储介质
CN116032867A (zh) 会话处理方法、装置、电子设备及存储介质
CN115982133A (zh) 数据处理方法及装置
CN115454666A (zh) 消息队列集群间的数据同步方法和装置
CN115277707A (zh) 业务处理方法、装置、电子设备和存储介质
CN112187916B (zh) 一种跨系统的数据同步方法与装置
CN113076343B (zh) 数据查询方法、装置、设备及存储介质
CN113783826B (zh) 一种微服务异常处理方法和装置
CN114615025A (zh) 一种密钥同步处理方法和装置
CN110661857B (zh) 一种数据同步方法和装置
CN114070889A (zh) 配置方法、流量转发方法、设备、存储介质及程序产品
CN112328615A (zh) 数据更新方法、装置、系统、服务器及存储介质
CN114978786B (zh) 一种将第三方接口转化为系统标准接口的方法及装置
CN117478535B (zh) 一种日志存储的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination