CN117061324A - 一种业务数据处理方法以及分布式系统 - Google Patents
一种业务数据处理方法以及分布式系统 Download PDFInfo
- Publication number
- CN117061324A CN117061324A CN202311309099.9A CN202311309099A CN117061324A CN 117061324 A CN117061324 A CN 117061324A CN 202311309099 A CN202311309099 A CN 202311309099A CN 117061324 A CN117061324 A CN 117061324A
- Authority
- CN
- China
- Prior art keywords
- client
- service data
- data processing
- master node
- slave node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012795 verification Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000007812 deficiency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种业务数据处理方法以及分布式系统,包括:主节点接收客户端发送的访问请求并将其转发到第一从节点,第一从节点对访问请求中封装的用户身份进行验证,并在身份验证通过后通过主节点向客户端反馈用户验证通过的信息;主节点接收到任一业务数据处理请求时将其转发到第二从节点和第三从节点,第二从节点将任一业务数据处理请求的业务数据通过主节点反馈到客户端;第三从节点接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在接收频率大于设定阈值时,向主节点反馈报警信息;主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。上述方法能够缓解单个节点处理业务数据处理请求的压力。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种业务数据处理方法以及分布式系统。
背景技术
随着互联网大数据的快速发展,业务前端对于后端的业务数据处理请求越来越多,后端数据处理量越来越大。当前,对于业务前端发起的业务数据处理请求,后端通过同一处理设备进行处理。即,通过同一处理设备接收业务前端的多个业务数据处理请求,并响应各业务数据处理请求。此种方式,在业务前端发起的业务数据处理请求量多大时,后端承受不了过多的业务数据处理请求量而造成过大的系统压力,甚至容易造成后端服务故障。
发明内容
本发明的目的在于克服现有技术的不足,提供了一种业务数据处理方法以及分布式系统,通过分布式系统将业务前端中客户端发起的多个业务数据处理请求分别分配给多个节点,节点间通过网络进行信息交互,能够缓解单个节点处理业务数据处理请求的压力。
为了解决上述中至少一个技术问题,本发明实施例提供了一种业务数据处理方法,应用于分布式系统,分布式系统包括主节点和多个从节点,包括:主节点接收任一客户端发送的访问请求时,将访问请求转发到第一从节点,第一从节点利用预先存储的账号密码以及加解秘钥对访问请求中封装的用户身份进行验证,在用户的身份验证通过后,通过主节点向任一客户端反馈用户验证通过的信息,以使得任一客户端向主节点发送任一业务数据处理请求;主节点接收到任一业务数据处理请求时,将任一业务数据处理请求转发到第二从节点,第二从节点用于响应任一业务数据处理请求,并将任一业务数据处理请求的业务数据通过主节点到任一客户端;主节点将任一业务数据处理请求发送到第三从节点,第三从节点用于接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在业务数据处理请求的接收频率大于设定阈值时,向主节点反馈报警信息;主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。
优选地,一种业务数据处理方法还包括:主节点将获得的任一业务数据处理请求的业务数据备份到第四从节点;主节点检测到第二从节点的系统故障且再接收到任一业务数据处理请求时,将再接收到的业务数据处理请求转发到第四从节点,第四从节点用于响应再接收到的业务数据处理请求,并将再接收到的业务数据处理请求的业务数据通过主节点反馈到对应的客户端;主节点检测到第二从节点的系统故障已修复时,从第四从节点读取备份的业务数据,并将备份的业务数据发送到第二从节点。
优选地,业务数据处理请求包括版式文件的操作请求,第二从节点用于响应版式文件的操作请求,并将版式文件通过主节点到任一客户端;一种业务数据处理方法还包括:主节点接收到任一客户端反馈的版式文件无法展示时,获取任一客户端的版本信息,将任一客户端的版本信息发送到第二从节点;第二从节点根据任一客户端的版本信息识别出任一客户端的配置信息,根据任一客户端的配置信息识别出任一客户端与版式文件不匹配时,根据版式文件识别出客户端版本,通过主节点向任一客户端发送包含客户端版本的升级提示,以使得配置任一客户端的终端设备对任一客户端进行版本升级。
优选地,一种业务数据处理方法还包括:主节点接收到任一客户端发送的版式文件的更新数据时,将版式文件的更新数据转发到第二从节点;第二从节点从存储区中获取版式文件关联的多个账号,并通过主节点向各账号对应的客户端发送表征版式文件的数据已更新的信息,以使得各账号对应的客户端下载版式文件的更新数据。
优选地,一种业务数据处理方法还包括:主节点接收各账号对应的客户端发送的版式文件的更新数据的获取请求,将各获取请求转发到第二从节点以及第三从节点;第二从节点响应各获取请求,并通过主节点向各账号对应的客户端发送版式文件的更新数据;第三从节点统计获取请求的并发量,在并发量大于阈值时,向主节点发送获取请求的熔断通知;主节点接收到熔断通知后,若再接收到的获取请求,则将再接收到的获取请求进行熔断处理,直至设定时间后停止熔断处理的操作。
优选地,通过主节点向各账号对应的客户端发送版式文件的更新数据的步骤之后,还包括:主节点接收到目标客户端发送的流式文件并将流式文件发送到第二从节点,流式文件为目标客户端对版式文件进行解析并基于解析得到的版式文件数据以及更新数据按照设定的流式文件的文件模板构建得到;第二从节点从流式文件中读取流式文件数据,并从存储区读取版式文件的文件模板,基于版式文件的文件模板和流式文件数据构建新的版式文件。
优选地,一种业务数据处理方法还包括:第二从节点将包含新的版式文件的更新信息通过主节点同步更新到各账号对应的客户端,以使得各账号对应的客户端向主节点请求下载新的版式文件。
优选地,将访问请求转发到第一从节点,包括:主节点对任一述客户端进行客户端身份识别,在任一客户端身份识别通过后将访问请求转发到第一从节点。
优选地,在任一客户端身份识别通过后将访问请求转发到第一从节点,包括:在任一客户端身份识别通过后,获得任一客户端客户端对应的终端设备的设备标识码;基于设备标识码对终端设备进行身份验证,在终端设备的身份验证通过后将访问请求转发到第一从节点。
一种分布式系统,包括主节点和多个从节点;主节点接收任一客户端发送的访问请求时,将访问请求转发到第一从节点,第一从节点利用预先存储的账号密码以及加解秘钥对访问请求中封装的用户身份进行验证,在用户的身份验证通过后,通过主节点向任一客户端反馈用户验证通过的信息,以使得任一客户端向主节点发送任一业务数据处理请求;主节点接收到任一业务数据处理请求时,将任一业务数据处理请求转发到第二从节点,第二从节点用于响应任一业务数据处理请求,并将任一业务数据处理请求的业务数据通过主节点到任一客户端;主节点将任一业务数据处理请求发送到第三从节点,第三从节点用于接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在业务数据处理请求的接收频率大于设定阈值时,向主节点反馈报警信息;主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。
本发明实施例中一种业务数据处理方法以及分布式系统,应用于分布式系统,分布式系统包括主节点和多个从节点,主节点接收任一客户端发送的访问请求时,将访问请求转发到第一从节点,第一从节点利用预先存储的账号密码以及加解秘钥对访问请求中封装的用户身份进行验证,在用户的身份验证通过后,通过主节点向任一客户端反馈用户验证通过的信息,以使得任一客户端向主节点发送任一业务数据处理请求;主节点接收到任一业务数据处理请求时,将任一业务数据处理请求转发到第二从节点,第二从节点用于响应任一业务数据处理请求,并将任一业务数据处理请求的业务数据通过主节点到任一客户端;主节点将任一业务数据处理请求发送到第三从节点,第三从节点用于接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在业务数据处理请求的接收频率大于设定阈值时,向主节点反馈报警信息;主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。
主节点负责接收客户端发起的请求并转发请求,第一从节点负责对客户端的身份进行验证,第二从节点负责处理业务数据处理请求,第三从节点负责统计业务数据处理请求的接收频率,并在业务数据处理请求的接收频率大于设定阈值时向主节点反馈报警信息,以使得主节点对再接收到的业务数据处理请求进行熔断处理,避免短时间内业务数据处理请求量过大时引起第二从节点的数据处理过大导致资源缺乏而引发系统故障。因此,对客户端发起的数据服务进行多节点处理,能够缓解单个节点处理业务数据处理请求的压力。
附图说明
图1是本发明实施例中的一种业务数据处理方法的应用环境图;
图2是本发明实施例中的一种业务数据处理方法的流程示意图;
图3是本发明另一实施例中的一种业务数据处理方法的应用环境图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明提供的一种业务数据处理方法,应用于如图1所示的分布式系统中。如图1所示,分布式系统包括主节点和多个从节点,多个从节点包括第一从节点、第二从节点和第三从节点。主节点接收任一终端设备上安装的客户端发送的访问请求时,将访问请求转发到第一从节点,第一从节点利用预先存储的账号密码以及加解秘钥对访问请求中封装的用户身份进行验证,在用户的身份验证通过后,通过主节点向任一客户端反馈用户验证通过的信息,以使得任一客户端向主节点发送任一业务数据处理请求;主节点接收到任一业务数据处理请求时,将任一业务数据处理请求转发到第二从节点,第二从节点中存储有多个业务数据,第二从节点响应任一业务数据处理请求,并将任一业务数据处理请求的业务数据通过主节点到客户端;主节点将任一业务数据处理请求发送到第三从节点,第三从节点用于接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在业务数据处理请求的接收频率大于设定阈值时,向主节点反馈报警信息;主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。
本发明提供的一种业务数据处理方法,应用于如图1所示的分布式系统中。如图2所示,本发明的一种业务数据处理方法,包括以下步骤:
S201,主节点接收任一客户端发送的访问请求时,将访问请求转发到第一从节点,第一从节点利用预先存储的账号密码以及加解秘钥对访问请求中封装的用户身份进行验证,在用户的身份验证通过后,通过主节点向任一客户端反馈用户验证通过的信息,以使得任一客户端向主节点发送任一业务数据处理请求。
具体地,任一终端设备中安装有任一客户端,用户通过任一客户端向后端发起业务数据的访问请求时,任一客户端将用户的账号密码进行加密后封装到访问请求。后端采用本申请的分布式系统处理任一客户端发起的业务数据相关的请求。即,采用主节点接收任一客户端发送的访问请求时,将访问请求转发到第一从节点。
第一从节点预先存储有配置权限的用户的账号密码以及加解秘钥。通过加解秘钥对访问请求进行解压后提取用户的账号密码,对账号密码进行验证,验证通过后确定用户的身份验证通过,并通过主节点向对应的客户端进行身份验证通过的反馈。
在一个实施例中,将访问请求转发到第一从节点,包括:主节点对任一述客户端进行客户端身份识别,在任一客户端身份识别通过后将访问请求转发到第一从节点。
其中,在任一客户端身份识别通过后将访问请求转发到第一从节点,包括:在任一客户端身份识别通过后,获得任一客户端客户端对应的终端设备的设备标识码;基于设备标识码对终端设备进行身份验证,在终端设备的身份验证通过后将访问请求转发到第一从节点。
具体地,主节点在转发访问请求之前,对任一客户端的客户端身份识别,且在任一客户端身份识别通过后,对任一客户端客户端对应的终端设备的设备标识码进行身份验证,在终端设备的身份验证通过后将访问请求转发到第一从节点。因此,通过双重身份识别,能够保证访问请求的安全性。在初步保证访问请求的安全性之后,再将访问请求转发到第一从节点进行用户身份验证,能够保证分布式系统中后端多个从节点的数据安全性。
S202,主节点接收到任一业务数据处理请求时,将任一业务数据处理请求转发到第二从节点,第二从节点用于响应任一业务数据处理请求,并将任一业务数据处理请求的业务数据通过主节点到任一客户端。
具体地,任一客户端向主节点发送任一业务数据处理请求。主节点将将任一业务数据处理请求转发到第二从节点,第二从节点用于处理任一业务数据处理请求的实际业务服务。
S203,主节点将任一业务数据处理请求发送到第三从节点,第三从节点用于接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在业务数据处理请求的接收频率大于设定阈值时,向主节点反馈报警信息。
具体地,主节点还将任一业务数据处理请求发送到第三从节点。第三从节点主要用于统计主节点接收到的业务数据处理请求的数量以及接收频率。在业务数据处理请求的接收频率大于设定阈值时,向主节点反馈报警信息。
S204,主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。
具体地,主节点接收到第三从节点反馈的报警信息时,若后续再接收到业务数据处理请求,则对再接收到的业务数据处理请求进行熔断处理。因此,能够避免分布式系统短时间内业务数据处理请求量过大而引起第二从节点的数据处理过大时导致资源缺乏而引发系统故障。
上述一种业务数据处理方法,主节点负责接收客户端发起的请求并转发请求,第一从节点负责对客户端的身份进行验证,第二从节点负责处理业务数据处理请求,第三从节点负责统计业务数据处理请求的接收频率,并在业务数据处理请求的接收频率大于设定阈值时向主节点反馈报警信息,以使得主节点对再接收到的业务数据处理请求进行熔断处理,避免短时间内业务数据处理请求量过大时引起第二从节点的数据处理过大导致资源缺乏而引发系统故障。因此,对客户端发起的数据服务进行多节点处理,能够缓解单个节点处理业务数据处理请求的压力。
在一个实施例中,上述S202之后,还包括:主节点将获得的任一业务数据处理请求的业务数据备份到第四从节点;主节点检测到第二从节点的系统故障且再接收到任一业务数据处理请求时,将再接收到的业务数据处理请求转发到第四从节点,第四从节点用于响应再接收到的业务数据处理请求,并将再接收到的业务数据处理请求的业务数据通过主节点反馈到对应的客户端;主节点检测到第二从节点的系统故障已修复时,从第四从节点读取备份的业务数据,并将备份的业务数据发送到第二从节点。
本实施例中,主节点对业务数据进行数据备份。具体地,如图1所示,第二从节点将任一业务数据处理请求的业务数据通过主节点到任一客户端,因此主节点能够获得任一业务数据处理请求的业务数据,并将其备份到第四从节点。当主节点检测到第二从节点的系统故障,且再接收到任一业务数据处理请求时,将对应的业务数据处理请求转发到第四从节点,由第四从节点相应业务数据处理请求。此外,主节点检测到第二从节点的系统故障已修复时,将第四从节点备份的业务数据发送到第二从节点。因此,通过业务数据备份的方式,防止第二从节点的系统故障导致整体分布式系统无法响应客户端的业务数据处理请求。
在一个实施例中,业务数据处理请求包括版式文件的操作请求,第二从节点用于响应版式文件的操作请求,并将版式文件通过主节点到任一客户端。上述S202之后,还包括:主节点接收到任一客户端反馈的版式文件无法展示时,获取任一客户端的版本信息,将任一客户端的版本信息发送到第二从节点;第二从节点根据任一客户端的版本信息识别出任一客户端的配置信息,根据任一客户端的配置信息识别出任一客户端与版式文件不匹配时,根据版式文件识别出客户端版本,通过主节点向任一客户端发送包含客户端版本的升级提示,以使得配置任一客户端的终端设备对任一客户端进行版本升级。
具体地,如图3所示,第二从节点中存储有版式文件与客户端的配置信息的关联关系,以及版式文件与客户端版本的关联关系,客户端的配置信息与客户端版本的关联关系。各版式文件对应各客户端的配置信息,且各版式文件对应各客户端版本,各客户端的配置信息对应各客户端版本。第二从节点根据任一客户端的版本信息识别出任一客户端的配置信息,若根据任一客户端的配置信息识别出任一客户端与版式文件不匹配,则根据版式文件识别出客户端版本,通过主节点向任一客户端发送包含客户端版本的升级提示。因此,能够在客户端无法展示版式文件时,识别出版式文件对应的客户端版本并通知客户端升级到该客户端版本,以使得终端设备能够打开对应的版式文件。
在一个实施例中,上述S202之后,还包括:主节点接收到任一客户端发送的版式文件的更新数据时,将版式文件的更新数据转发到第二从节点;第二从节点从存储区中获取版式文件关联的多个账号,并通过主节点向各账号对应的客户端发送表征版式文件的数据已更新的信息,以使得各账号对应的客户端下载版式文件的更新数据。
具体地,如图3所示,第二从节点的存储区中预先存储版式文件关联的多个账号。在接收到版式文件关联的多个账号时,通过主节点向各账号对应的客户端发送表征版式文件的数据已更新的信息,以使得各账号对应的客户端下载版式文件的更新数据。因此,能够在任一客户端更新版式文件数据时,将更新信息实时共享到其他客户端,实现快速数据共享。
在一实施例中,上述通过主节点向各账号对应的客户端发送表征版式文件的数据已更新的信息的步骤之后,还包括:主节点接收各账号对应的客户端发送的版式文件的更新数据的获取请求,将各获取请求转发到第二从节点以及第三从节点;第二从节点响应各获取请求,并通过主节点向各账号对应的客户端发送版式文件的更新数据;第三从节点统计获取请求的并发量,在并发量大于阈值时,向主节点发送获取请求的熔断通知;主节点接收到熔断通知后,若再接收到的获取请求,则将再接收到的获取请求进行熔断处理,直至设定时间后停止熔断处理的操作。
具体地,如图3所示,主节点在接收到各账号对应的客户端发送的版式文件的更新数据的获取请求时,将各获取请求转发到第二从节点进行数据处理,同时将各获取请求转发到第三从节点进行统计。第三从节点统计获取请求的并发量,在并发量大于阈值时,向主节点发送获取请求的熔断通知。主节点对再接收到的获取请求进行熔断处理,从而避免在短时间内请求并发量过大,导致第二从节点无法承受过大的数据处理压力而产生的系统故障。
在一个实施例中,上述通过主节点向各账号对应的客户端发送版式文件的更新数据的步骤之后,还包括:主节点接收到目标客户端发送的流式文件并将流式文件发送到第二从节点,流式文件为目标客户端对版式文件进行解析并基于解析得到的版式文件数据以及更新数据按照设定的流式文件的文件模板构建得到;第二从节点从流式文件中读取流式文件数据,并从存储区读取版式文件的文件模板,基于版式文件的文件模板和流式文件数据构建新的版式文件。
具体地,目标客户端为多个客户端中任意一个客户端。目标客户端接收到版式文件之后,按照设定算法对版式文件进行解析,得到解析得到的版式文件数据,版式文件数据中包含上述更新数据。进而,基于解析得到的版式文件数据以及更新数据按照设定的流式文件的文件模板构建流式文件,并将流式文件上传到主节点。其中,解析版式文件的设定算法为目标客户端内置现有的与版式文件对应的解析算法。例如,版式文件为PDF格式文件,流式文件为WORD文件,则设定算法为将PDF格式文件转换为WORD文件的算法。
主节点将其转发到第二从节点。第二从节点从流式文件中读取流式文件数据,并从存储区读取版式文件的文件模板,基于版式文件的文件模板和流式文件数据构建新的版式文件。因此,为版式文件和流式文件之间的转换和更新提供更多方式,便于文件间的灵活数据处理。
在一个实施例中,上述基于版式文件的文件模板和流式文件数据构建新的版式文件的步骤之后,还包括:第二从节点将包含新的版式文件的更新信息通过主节点同步更新到各账号对应的客户端,以使得各账号对应的客户端向主节点请求下载新的版式文件。
具体地,第二从节点将包含新的版式文件的更新信息通过主节点同步更新到各账号对应的客户端,从而实现对新的版式文件的信息共享,使各账号对应的客户端能够实时获知版式文件的更新信息。
本发明还提供的一种分布式系统,如图1所示。一种分布式系统包括主节点和多个从节点;主节点接收任一客户端发送的访问请求时,将访问请求转发到第一从节点,第一从节点利用预先存储的账号密码以及加解秘钥对访问请求中封装的用户身份进行验证,在用户的身份验证通过后,通过主节点向任一客户端反馈用户验证通过的信息,以使得任一客户端向主节点发送任一业务数据处理请求;主节点接收到任一业务数据处理请求时,将任一业务数据处理请求转发到第二从节点,第二从节点用于响应任一业务数据处理请求,并将任一业务数据处理请求的业务数据通过主节点到任一客户端;主节点将任一业务数据处理请求发送到第三从节点,第三从节点用于接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在业务数据处理请求的接收频率大于设定阈值时,向主节点反馈报警信息;主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。
具体地,一种分布式系统的主节点和各从节点的数据处理过程,参见上述对应实施例的说明,此处不再详述。
另外,以上对本发明实施例所提供的一种业务数据处理方法和一种分布式系统进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种业务数据处理方法,其特征在于,应用于分布式系统,所述分布式系统包括主节点和多个从节点,所述方法包括:
所述主节点接收任一客户端发送的访问请求时,将所述访问请求转发到第一从节点,所述第一从节点利用预先存储的账号密码以及加解秘钥对所述访问请求中封装的用户身份进行验证,在用户的身份验证通过后,通过所述主节点向所述任一客户端反馈用户验证通过的信息,以使得所述任一客户端向所述主节点发送任一业务数据处理请求;
所述主节点接收到所述任一业务数据处理请求时,将所述任一业务数据处理请求转发到第二从节点,所述第二从节点用于响应所述任一业务数据处理请求,并将所述任一业务数据处理请求的业务数据通过所述主节点到所述任一客户端;
所述主节点将所述任一业务数据处理请求发送到第三从节点,所述第三从节点用于接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在业务数据处理请求的接收频率大于设定阈值时,向所述主节点反馈报警信息;
所述主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述主节点将获得的所述任一业务数据处理请求的业务数据备份到第四从节点;
所述主节点检测到所述第二从节点的系统故障且再接收到任一业务数据处理请求时,将再接收到的业务数据处理请求转发到第四从节点,所述第四从节点用于响应再接收到的业务数据处理请求,并将再接收到的业务数据处理请求的业务数据通过所述主节点反馈到对应的客户端;
所述主节点检测到所述第二从节点的系统故障已修复时,从所述第四从节点读取备份的业务数据,并将备份的业务数据发送到所述第二从节点。
3.根据权利要求1-2中任一项所述的方法,其特征在于,所述业务数据处理请求包括版式文件的操作请求,所述第二从节点用于响应所述版式文件的操作请求,并将所述版式文件通过所述主节点到所述任一客户端;
所述方法还包括:
所述主节点接收到所述任一客户端反馈的所述版式文件无法展示时,获取所述任一客户端的版本信息,将所述任一客户端的版本信息发送到所述第二从节点;
所述第二从节点根据所述任一客户端的版本信息识别出所述任一客户端的配置信息,根据所述任一客户端的配置信息识别出所述任一客户端与所述版式文件不匹配时,根据所述版式文件识别出客户端版本,通过所述主节点向所述任一客户端发送包含所述客户端版本的升级提示,以使得配置所述任一客户端的终端设备对所述任一客户端进行版本升级。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
所述主节点接收到所述任一客户端发送的所述版式文件的更新数据时,将所述版式文件的更新数据转发到所述第二从节点;
所述第二从节点从存储区中获取所述版式文件关联的多个账号,并通过所述主节点向各账号对应的客户端发送表征所述版式文件的数据已更新的信息,以使得各账号对应的客户端下载所述版式文件的更新数据。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
所述主节点接收各账号对应的客户端发送的所述版式文件的更新数据的获取请求,将各获取请求转发到所述第二从节点以及所述第三从节点;
所述第二从节点响应各获取请求,并通过所述主节点向各账号对应的客户端发送所述版式文件的更新数据;
所述第三从节点统计所述获取请求的并发量,在所述并发量大于阈值时,向所述主节点发送所述获取请求的熔断通知;
所述主节点接收到所述熔断通知后,若再接收到的获取请求,则将再接收到的获取请求进行熔断处理,直至设定时间后停止熔断处理的操作。
6.根据权利要求5所述的方法,其特征在于,所述通过所述主节点向各账号对应的客户端发送所述版式文件的更新数据的步骤之后,还包括:
所述主节点接收到目标客户端发送的流式文件并将所述流式文件发送到所述第二从节点,所述流式文件为所述目标客户端对所述版式文件进行解析并基于解析得到的版式文件数据以及所述更新数据按照设定的流式文件的文件模板构建得到;
所述第二从节点从所述流式文件中读取流式文件数据,并从所述存储区读取所述版式文件的文件模板,基于所述版式文件的文件模板和所述流式文件数据构建新的版式文件。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
所述第二从节点将包含所述新的版式文件的更新信息通过所述主节点同步更新到所述各账号对应的客户端,以使得各账号对应的客户端向所述主节点请求下载所述新的版式文件。
8.根据权利要求1所述的方法,其特征在于,所述将所述访问请求转发到第一从节点,包括:
所述主节点对任一述客户端进行客户端身份识别,在所述任一客户端身份识别通过后将所述访问请求转发到第一从节点。
9.根据权利要求8所述的方法,其特征在于,所述在所述任一客户端身份识别通过后将所述访问请求转发到第一从节点,包括:
在所述任一客户端身份识别通过后,获得所述任一客户端客户端对应的终端设备的设备标识码;
基于所述设备标识码对所述终端设备进行身份验证,在所述终端设备的身份验证通过后将所述访问请求转发到第一从节点。
10.一种分布式系统,其特征在于,包括主节点和多个从节点;
所述主节点接收任一客户端发送的访问请求时,将所述访问请求转发到第一从节点,所述第一从节点利用预先存储的账号密码以及加解秘钥对所述访问请求中封装的用户身份进行验证,在用户的身份验证通过后,通过所述主节点向所述任一客户端反馈用户验证通过的信息,以使得所述任一客户端向所述主节点发送任一业务数据处理请求;
所述主节点接收到所述任一业务数据处理请求时,将所述任一业务数据处理请求转发到第二从节点,所述第二从节点用于响应所述任一业务数据处理请求,并将所述任一业务数据处理请求的业务数据通过所述主节点到所述任一客户端;
所述主节点将所述任一业务数据处理请求发送到第三从节点,所述第三从节点用于接收多个业务数据处理请求并统计业务数据处理请求的接收频率,在业务数据处理请求的接收频率大于设定阈值时,向所述主节点反馈报警信息;
所述主节点接收到报警信息时,对再接收到的业务数据处理请求进行熔断处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311309099.9A CN117061324B (zh) | 2023-10-11 | 2023-10-11 | 一种业务数据处理方法以及分布式系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311309099.9A CN117061324B (zh) | 2023-10-11 | 2023-10-11 | 一种业务数据处理方法以及分布式系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117061324A true CN117061324A (zh) | 2023-11-14 |
CN117061324B CN117061324B (zh) | 2023-12-15 |
Family
ID=88664794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311309099.9A Active CN117061324B (zh) | 2023-10-11 | 2023-10-11 | 一种业务数据处理方法以及分布式系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117061324B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170149772A1 (en) * | 2015-11-24 | 2017-05-25 | Alibaba Group Holding Limited | Identity authentication method, system, business server and authentication server |
CN108829787A (zh) * | 2018-05-31 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种元数据分布式系统 |
CN110169040A (zh) * | 2018-07-10 | 2019-08-23 | 深圳花儿数据技术有限公司 | 基于多层一致性哈希的分布式数据存储方法与系统 |
CN112764913A (zh) * | 2021-04-09 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 服务熔断方法和装置、存储介质及电子设备 |
CN113064732A (zh) * | 2020-01-02 | 2021-07-02 | 阿里巴巴集团控股有限公司 | 一种分布式系统及其管理方法 |
CN113377817A (zh) * | 2021-06-28 | 2021-09-10 | 深圳市华曦达科技股份有限公司 | 数据处理方法、系统、设备及存储介质 |
CN114124507A (zh) * | 2021-11-16 | 2022-03-01 | 北京安天网络安全技术有限公司 | 一种数据请求频次统计方法、装置、电子设备及存储介质 |
CN116232893A (zh) * | 2023-03-01 | 2023-06-06 | 深圳前海微众银行股份有限公司 | 分布式系统的共识方法、装置、电子设备及存储介质 |
CN116232744A (zh) * | 2023-03-16 | 2023-06-06 | 中国建设银行股份有限公司 | 业务数据处理方法、装置和计算机可读存储介质 |
-
2023
- 2023-10-11 CN CN202311309099.9A patent/CN117061324B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170149772A1 (en) * | 2015-11-24 | 2017-05-25 | Alibaba Group Holding Limited | Identity authentication method, system, business server and authentication server |
CN108829787A (zh) * | 2018-05-31 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种元数据分布式系统 |
CN110169040A (zh) * | 2018-07-10 | 2019-08-23 | 深圳花儿数据技术有限公司 | 基于多层一致性哈希的分布式数据存储方法与系统 |
CN113064732A (zh) * | 2020-01-02 | 2021-07-02 | 阿里巴巴集团控股有限公司 | 一种分布式系统及其管理方法 |
CN112764913A (zh) * | 2021-04-09 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 服务熔断方法和装置、存储介质及电子设备 |
CN113377817A (zh) * | 2021-06-28 | 2021-09-10 | 深圳市华曦达科技股份有限公司 | 数据处理方法、系统、设备及存储介质 |
CN114124507A (zh) * | 2021-11-16 | 2022-03-01 | 北京安天网络安全技术有限公司 | 一种数据请求频次统计方法、装置、电子设备及存储介质 |
CN116232893A (zh) * | 2023-03-01 | 2023-06-06 | 深圳前海微众银行股份有限公司 | 分布式系统的共识方法、装置、电子设备及存储介质 |
CN116232744A (zh) * | 2023-03-16 | 2023-06-06 | 中国建设银行股份有限公司 | 业务数据处理方法、装置和计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
彭勇;黄剑华;王?;王全亮;王欢;: "分布式协同统一身份认证平台的设计与实现", 软件工程, no. 10 * |
Also Published As
Publication number | Publication date |
---|---|
CN117061324B (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11388005B2 (en) | Connected gateway server system for real-time vehicle control service | |
CN108833521B (zh) | 消息推送方法、装置、系统、计算机设备和存储介质 | |
US20210036907A1 (en) | Methods and apparatuses for pushing a message | |
KR101560185B1 (ko) | Url을 이용한 분산 컨트롤 방법 및 장치 | |
CN110120970B (zh) | 基于车联网的数据处理方法、装置及网关系统 | |
CN105120530B (zh) | 一种获取数据的方法、装置及数据获取系统 | |
CN110995513A (zh) | 物联网系统中的数据发送、接收方法、物联网设备及平台 | |
CN108241576B (zh) | 一种接口测试方法及系统 | |
CN108769743B (zh) | 一种视频播放控制方法、系统、节点和计算机存储介质 | |
CN113904847B (zh) | 物联网卡的云平台绑定方法、系统、设备及介质 | |
KR20120048525A (ko) | Sms를 통해 원격 디바이스를 제어하는 방법 및 이를 위한 장치 | |
CN110650097B (zh) | 一种数据传播方法、装置以及计算机可读存储介质 | |
CN113993137B (zh) | 配置数据的监管系统、方法、装置、电子设备和介质 | |
CN111416992A (zh) | 文件转码方法及装置 | |
CN117061324B (zh) | 一种业务数据处理方法以及分布式系统 | |
CN107105037B (zh) | 一种基于文件校验的分布式视频cdn资源管理系统及方法 | |
CN111787093B (zh) | 应用管理方法、应用管理装置、相关设备及介质 | |
CN112995321A (zh) | 基于mqtt协议远程即时更新客户端的方法 | |
CN116319088B (zh) | 物联网络路由节点状态监控和信息采集方法 | |
CN115174561B (zh) | 一种文件分段传输方法及系统 | |
CN111008209A (zh) | 数据的对账方法、装置及系统、存储介质、电子装置 | |
CN113076380B (zh) | 数据同步方法、装置、系统、设备及存储介质 | |
CN109039696A (zh) | 一种cdn节点、cdn节点修复方法及节点修复系统 | |
CN113746851A (zh) | 一种支持实时解析grpc请求的代理系统和方法 | |
CN115202800A (zh) | 边缘云业务数据处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |