CN109672627A - 基于集群服务器的业务处理方法、平台、设备及存储介质 - Google Patents

基于集群服务器的业务处理方法、平台、设备及存储介质 Download PDF

Info

Publication number
CN109672627A
CN109672627A CN201811129099.XA CN201811129099A CN109672627A CN 109672627 A CN109672627 A CN 109672627A CN 201811129099 A CN201811129099 A CN 201811129099A CN 109672627 A CN109672627 A CN 109672627A
Authority
CN
China
Prior art keywords
service request
token
processing
message queue
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811129099.XA
Other languages
English (en)
Inventor
熊晓龙
聂品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201811129099.XA priority Critical patent/CN109672627A/zh
Publication of CN109672627A publication Critical patent/CN109672627A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/215Flow control; Congestion control using token-bucket
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services

Abstract

本发明公开了一种基于集群服务器的业务处理方法,包括:在接收到集群中各服务器发送的业务请求时,根据业务请求的处理类型,将业务请求缓存至对应类型的消息队列中;根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求;异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理;在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理。本发明还公开了一种平台、设备及存储介质。本发明不仅能够提高集群数据吞吐和并发量,还能够保证数据处理的可靠性和实时性。

Description

基于集群服务器的业务处理方法、平台、设备及存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于集群服务器的业务处理方法、平台、设备及存储介质。
背景技术
随着科学技术的进步及计算机信息业务量的快速增长,用户使用网络应用也日益增加,进而产生大量的信息数据。在处理大规模数据时,容易造成网络信息堵塞、网络超负载,进而导致服务器运行缓慢,甚至拒绝服务或宕机,而这已经不能满足当前及时高效的业务处理需求。
目前,多采用令牌桶算法对网络流量进行限制,以达到防止网络拥塞的目的,但存在不能随着业务环境改变而自动调整流速,从而对网络数据传输有一定的限制。另一方面,处理数据还存在处理异常情况,进而占用系统资源,严重拖后整体处理效率,进而影响与客户端之间的数据交互,降低用户的使用体验。
发明内容
本发明的主要目的在于提供一种基于集群服务器的业务处理方法、平台、设备及存储介质,旨在解决集群数据如何随业务环境变化而自动调整流速,以及数据突发异常处理的技术问题。
为实现上述目的,本发明提供的一种基于集群服务器的业务处理方法,述基于集群服务器的业务处理方法包括以下步骤:
在接收到集群中各服务器发送的业务请求时,根据业务请求的处理类型,将业务请求缓存至对应类型的消息队列中;
根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求;
异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理;
在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理。
可选的,在所述将业务请求缓存至对应类型的消息队列中之后,所述基于集群服务器的业务处理方法还包括:
根据缓存的时间顺序,对同一消息队列中的业务请求进行排序。
可选的,所述预设令牌规则与根据各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求包括:
获取当前网络流量或速率限制,以配置令牌桶在预设时间内产生令牌的总数;
基于各消息队列缓存的业务请求数量与所述产生令牌的总数,调节每一消息队列分配到令牌的令牌数;
基于调节后的令牌数,将令牌分配给各消息队列中的业务请求。
可选的,所述异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理包括:
异步读取各消息队列中的业务请求;
当读取的业务请求匹配有令牌时,消耗令牌并执行该业务请求的任务;
当读取的业务请求未匹配有令牌时,跳过该业务请求并等待下次读取。
可选的,所述在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理包括:
在对业务请求进行业务处理时,监控是否存在异常情况,其中,所述异常情况至少包括执行超时或执行失败;
当存在业务处理执行超时或执行失败时,终止执行业务处理,并判断所述异常情况是否为首次异常;
当所述异常情况为首次异常时,将对应的业务请求重新添加至消息队列中,以供等待下次执行。
可选的,所述在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理还包括:
当所述异常情况不为首次异常时,分析异常原因;
将分析的异常原因与对应的业务请求转发至后台,以供后台人员进行人工处理;和/或
向对应的服务器下发重新发送业务请求的指令。
可选的,所述基于集群服务器的业务处理方法还包括:
在对业务请求进行业务处理时,检测当前是否满足预设条件,其中,所述预设条件至少包括存在实时监控指令、当前时间为设定的监控时间中的任一项;
若满足,则执行所述监控是否存在异常情况,以根据异常情况对业务请求进行异常处理的操作。
此外,为实现上述目的,本发明还提供一种数据处理平台,所述数据处理平台包括:
缓存模块,用于在接收到集群中各服务器发送的业务请求时,根据业务请求的处理类型,将业务请求缓存至对应类型的消息队列中;
令牌分配模块,用于根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求;
处理模块,用于异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理;
处理模块,还用于在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理。
此外,为实现上述目的,本发明还提供一种数据处理设备,所述数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序,所述数据处理程序被所述处理器执行时实现如上述中任一项所述的基于集群服务器的业务处理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如上述中任一项所述的基于集群服务器的业务处理方法的步骤。
本发明首先基于预设业务处理类型,创建若干消息队列,然后在接收到集群中各服务器发送的业务请求时,将业务请求缓存至对应类型的消息队列中,进而根据预设令牌规则与各队列缓存的业务请求数量,将令牌分配给业务请求,最后异步读取各队列中的业务请求,并基于分配的令牌对业务请求进行业务处理,从而实现集群数据随业务环境变化而自动调整流速,有效避免数据流量过载而导致系统瘫痪,进而保证各类型数据的处理效率,提高了系统吞吐和并发量。同时在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理,能够避免数据处理异常而占用系统资源、降低处理效率,进而保证数据处理的可靠性和实时性,缩短了与集群服务器之间数据交互的响应时间。
附图说明
图1为本发明实施例方案涉及的数据处理设备运行环境的结构示意图;
图2为本发明基于集群服务器的业务处理方法一实施例的流程示意图;
图3为图2中步骤S30一实施例的细化流程图;
图4为图2中步骤S40一实施例的细化流程图;
图5为本发明数据处理平台一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的数据处理设备运行环境的结构示意图。
本发明实施例数据处理设备是一种服务平台,可以部署于具有访问网络、收发数据、运算处理等功能的服务器上。
如图1所示,该数据处理设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的数据处理设备的硬件结构并不构成对数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。其中,操作系统是管理和控制数据处理设备和软件资源的程序,支持数据处理程序以及其它软件和/或程序的运行。
在图1所示的数据处理设备的硬件结构中,网络接口1004主要用于接入网络;用户接口1003主要用于侦测确认指令和编辑指令等。而处理器1001可以用于调用存储器1005中存储的数据处理程序,并执行以下操作:
在接收到集群中各服务器发送的业务请求时,根据业务请求的处理类型,将业务请求缓存至对应类型的消息队列中;
根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求;
异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理;
在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理。
进一步地,所述数据处理设备通过处理器1001调用存储器1005中存储的数据处理程序,以执行下述操作:
根据缓存的时间顺序,对同一消息队列中的业务请求进行排序。
进一步地,所述数据处理设备通过处理器1001调用存储器1005中存储的数据处理程序,以执行下述操作:
获取当前网络流量或速率限制,以配置令牌桶在预设时间内产生令牌的总数;
基于各消息队列缓存的业务请求数量与所述产生令牌的总数,调节每一消息队列分配到令牌的令牌数;
基于调节后的令牌数,将令牌分配给各消息队列中的业务请求。
进一步地,所述数据处理设备通过处理器1001调用存储器1005中存储的数据处理程序,以执行下述操作:
异步读取各消息队列中的业务请求;
当读取的业务请求匹配有令牌时,消耗令牌并执行该业务请求的任务;
当读取的业务请求未匹配有令牌时,跳过该业务请求并等待下次读取。
进一步地,所述数据处理设备通过处理器1001调用存储器1005中存储的数据处理程序,以执行下述操作:
在执行所述对业务请求进行业务处理时,监控是否存在异常情况,其中,所述异常情况至少包括执行超时或执行失败;
当存在业务处理执行超时或执行失败时,终止执行业务处理,并判断所述异常情况是否为首次异常;
当所述异常情况为首次异常时,将对应的业务请求重新添加至消息队列中,以供等待下次执行。
进一步地,所述数据处理设备通过处理器1001调用存储器1005中存储的数据处理程序,以执行下述操作:
当所述异常情况不为首次异常时,分析异常原因;
将分析的异常原因与对应的业务请求转发至后台,以供后台人员进行人工处理;和/或
向对应的服务器下发重新发送业务请求的指令。
进一步地,所述数据处理设备通过处理器1001调用存储器1005中存储的数据处理程序,以执行下述操作:
在执行所述对业务请求进行业务处理时,检测当前是否满足预设条件,其中,所述预设条件至少包括存在实时监控指令、当前时间为设定的监控时间中的任一项;
若满足,则执行所述监控是否存在异常情况,以根据异常情况对业务请求进行异常处理的操作。
基于上述数据处理设备硬件结构,提出本发明基于集群服务器的业务处理方法的各个实施例。
参照图2,图2为本发明基于集群服务器的业务处理方法一实施例的流程示意图。
本实施例中,基于集群服务器的业务处理方法包括:
步骤S10,在接收到集群中各服务器发送的业务请求时,根据业务请求的处理类型,将业务请求缓存至对应类型的消息队列中;
本实施例中,多个服务器采用分布式部署架构,集中起来一起进行同一种服务,形成集群。集群中的任意一台服务器均可向同一服务平台请求服务,也就是向本数据处理设备发送业务请求。而业务请求的处理类型包括查询、交易、上传日志、订阅、下订单、注册等,具体可根据实际应用场景需要进行设置。需要补充说明的是,对于不同业务处理类型,相应设置同等类型的消息队列,从而将不同业务类型的数据划分并对应写入消息队列中。作为中间件,消息队列是分布式应用间交换信息的重要组件。消息队列可驻留在内存或磁盘上,队列可以存储消息直到它们被系统读走。通过消息队列,系统可以在不知道彼此位置的情况下独立处理消息。需要理解的是,此处保存消息即为缓存业务请求。
步骤S20,根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求;
本实施例中,在网络中传输数据时,为了防止网络拥塞、平台压力过大,需限制集群数据的流量,令牌桶算法是网络流量整形(Traffic Shaping)和速率限制(RateLimiting)中最常使用的一种算法。令牌桶算法是周期性以一速率向令牌桶增加令牌,令牌数不超过令牌桶所能容纳的数量。输入数据会消耗令牌桶中的令牌,进而实现数据流量的限定。但现有令牌桶算法只能对整体数据做限定,而不能对多种不同业务处理类型的数据分别做限定。预设令牌规则是预先设置好分发令牌的规则,是对现有令牌桶算法的改进,具体地,是结合各消息队列缓存的业务请求数量,发放令牌给各消息队列中的业务请求以进行令牌消耗和数据处理。
步骤S30,异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理;
本实施例中,由于存在若干消息队列,每一消息队列缓存有若干业务请求,而异步读取各消息队列中的业务请求,就是各业务请求之间没有等待关系,不需要前面读取完后再读取后面的,进而节省响应时间,提高数据处理效率。当读取到业务请求时,基于分配的令牌对业务请求进行业务处理,也就是响应集群服务器的请求,如查询、交易等操作,实现数据交互。
步骤S40,在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理。
本实施例中,由于在对业务请求进行业务处理的过程中存在多种情况,比如处理顺畅完成、运算异常导致处理延时、网络异常处理超时等,因而还对业务处理的进展进行监控,用以在第一时间发现存在异常时,能够第一时间处理异常。异常处理如中止处理、向相关人员发送告警提示、向对应服务器下发重新发送请求,或重新处理等,具体根据实际情况进行设置,进而优化数据处理的效果,保证数据处理的可靠性和实时性。
本实施例首先基于预设业务处理类型,创建若干消息队列,然后在接收到集群中各服务器发送的业务请求时,将业务请求缓存至对应类型的消息队列中,进而根据各队列缓存的业务请求数量与预设令牌规则,将令牌分配给业务请求,最后异步读取各队列中的业务请求,并基于分配的令牌对业务请求进行业务处理,从而实现集群数据随业务环境变化而自动调整流速,有效避免数据流量过载而导致系统瘫痪,进而保证各类型数据的处理效率,提高了系统吞吐和并发量。同时在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理,能够避免数据处理异常而占用系统资源、降低处理效率,进而保证数据处理的可靠性和实时性,缩短了与集群服务器之间数据交互的响应时间。
进一步可选的,基于上述实施例,为方便令牌分配给业务请求,在本发明另一实施例中,基于集群服务器的业务处理方法还包括:根据缓存的时间顺序,对同一消息队列中的业务请求进行排序。
本实施例中,由于集群服务器发送的业务请求可以是相同也可以是不同,对应的时间可以是相同也可以是不同,因而本设备接收到业务请求的类型和对应时间也不尽相同。将接收到的业务请求按类型分别缓存到对应的消息队列中,同时,消息队列存在有的缓存的业务请求数量多,有的缓存的业务请求数量少。为方便管理和分配令牌,对同一消息队列中的业务请求进行排序,即根据业务请求缓存至队列的时间顺序进行排序,进而在分配令牌时,按序将令牌有序的分配到同一消息队列中的业务请求。
参照图3,图3为图2中步骤S20一实施例的细化流程图。
基于上述实施例,本实施例中,步骤S20,根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求,包括:
步骤S21,获取当前网络流量或速率限制,以配置令牌桶在预设时间内产生令牌的总数;
步骤S22,基于各消息队列缓存的业务请求数量与产生令牌的总数,调节每一消息队列分配到令牌的令牌数;
步骤S23,基于调节后的令牌数,将令牌分配给各消息队列中的业务请求。
本实施例中,令牌桶可自行生产和发放令牌,每一令牌代表一个字节。根据当前网络流量或速率限制,调节令牌数量,也就是配置令牌桶在预设时间内产生令牌的总数,比如速率限制为r,配置令牌桶每隔1/r秒生产一个令牌。根据各消息队列缓存的业务请求数量与产生令牌的总数,确定各类型可允许处理的流量。比如同一时间段A类型消息队列缓存的业务请求数量比B类型多,则A类型的令牌数量相应增多,B类型相应减少,进一步地,若C类型队列无请求,则C类型令牌为0,进而保证各类型数据的处理效率。同时,每个业务请求的数据大小不一,因而在分配令牌时,以一个完整的业务请求为单位分配对应数量的令牌。若某一业务请求分配到的令牌数少于本身数据大小,则当有新生成新令牌时,优先补足。由于同一消息队列中的业务请求有多个,令牌可按序分配也可随机分配,具体可根据具体需要设置,优选按队列中各业务请求排列的顺序按序分配,避免缓存时间较早的业务请求未分配到令牌而在读取时受限制无法进行处理,延长响应时间。
参照图4,图4为图2中步骤S30一实施例的细化流程图。
基于上述实施例,本实施例中,步骤S30,异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理,包括:
步骤S31,异步读取各消息队列中的业务请求;
步骤S32,当读取的业务请求匹配有令牌时,消耗令牌并执行该业务请求的任务;
步骤S33,当读取的业务请求未匹配有令牌时,跳过该业务请求并等待下次读取。
本实施例中,通过消息队列,实现异步处理,即可以在不知道彼此位置的情况下独立处理消息,也就是队列中的业务请求只需要匹配有令牌,即可被系统读取并进行处理,而不需要等待上一个业务处理完成后再进行下一个业务,从而提高集群数据吞吐量,缩短响应时间,提高处理效率。通过令牌实现数据管控,具体地,每一令牌代表一个字节,而每个业务请求的数据大小不一。在读取时,若业务请求A匹配有对应字节大小的令牌数量时,消耗令牌并执行任务;若业务请求B未匹配有令牌时,则跳过并等待下次读取。需要补充说明的是,执行业务请求的任务只跟匹配令牌有关,因而异步读取各消息队列中的业务请求,可保证每一类型数据以被允许通过的流量进行处理。
进一步可选的,基于上述实施例,步骤S40,在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理,包括:
1、在对业务请求进行业务处理时,监控是否存在异常情况,其中,异常情况至少包括执行超时或执行失败;
2、当存在业务处理执行超时或执行失败时,终止执行业务处理,并判断异常情况是否为首次异常;
3、当异常情况为首次异常时,将对应的业务请求重新添加至消息队列中,以供等待下次执行。
4、当异常情况不为首次异常时,分析异常原因;
5、将分析的异常原因与对应的业务请求转发至后台,以供后台人员进行人工处理;和/或
6、向对应的服务器下发重新发送业务请求的指令。
本实施例中,业务处理异常一般可分为执行超时或执行失败,执行超时或执行失败都将占用系统资源、加大系统负载,因而若监测到存在异常,首先终止执行异常业务,用以释放资源、减轻系统负载,其次判断异常情况是否为首次异常,用以根据判断结果执行不同异常处理。若异常情况为首次异常,则自动将对应的业务请求重新添加至消息队列中,若不为首次,则分析原因。比如同时处理业务请求A、B、C、D,当监控到业务请求A、B存在异常时,首先终止业务请求A、B的处理,其次判断业务请求A、B是否为首次异常。当业务请求A为首次异常时,自动将业务请求A重新添加至消息队列中,用以下次读取并分配有令牌时再次重新处理。当业务请求B不为首次异常时,分析异常原因。异常原因有多种,如脚本语法错误、数据丢失等。若异常原因为脚本语法错误,可将脚本语法错误的异常原因和业务请求B转发至后台,以供后台人员查看原因后,解决存在问题,并可将解决后的业务请求B指定重新进行处理。异常原因如传输过程中导致的数据丢失,可向对应的服务器下发重新发送业务请求的指令,进而将再次接收到的业务请求B’按上述步骤执行。
进一步可选的,基于上述实施例,在本发明另一实施例中,基于集群服务器的业务处理方法还包括:
步骤A,在对业务请求进行业务处理时,检测当前是否满足预设条件,其中,预设条件至少包括存在实时监控指令、当前时间为设定的监控时间中的任一项;
步骤B,若满足,则执行监控是否存在异常情况,以根据异常情况对业务请求进行异常处理的操作。
本实施例中,由于业务处理的过程中存在多种可能,如处理顺畅完成、运算异常导致处理延时、网络异常处理超时等,因而对业务处理进行监控。监控异常情况可以是实时监控或定时监控,实时监控能够在第一时间发现异常,并第一时间处理异常,而定时监控可对异常业务进行批量处理,进而节省监控所占用的资源。具体地,在执行业务处理时,先检测当前是否满足预设条件,若满足才对业务处理开启监控功能。当存在实时监控指令时,可确定为实时监控,开启监控功能;当当前时间为设定的监控时间时,确定为定时监控,在设定时间点上开启监控功能,具体采用何种方式可根据实际应用进行设置。
参照图5,图5为本发明数据处理平台一实施例的功能模块示意图。
本实施例中,数据处理平台包括:
缓存模块10,用于在接收到集群中各服务器发送的业务请求时,根据业务请求的处理类型,将业务请求缓存至对应类型的消息队列中;
令牌分配模块20,用于根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求;
处理模块30,用于异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理;
处理模块30,还用于在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理。
需要说明的是,数据处理平台的各个实施例与上述基于集群服务器的业务处理方法的各实施例基本相同,在此不再详细赘述。
此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如上述中任一项所述的基于集群服务器的业务处理方法的步骤。
本发明计算机可读存储介质具体实施例与上述基于集群服务器的业务处理方法的各实施例基本相同,在此不再详细赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本发明的保护之内。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于集群服务器的业务处理方法,其特征在于,所述基于集群服务器的业务处理方法包括以下步骤:
在接收到集群中各服务器发送的业务请求时,根据业务请求的处理类型,将业务请求缓存至对应类型的消息队列中;
根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求;
异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理;
在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理。
2.如权利要求1所述的基于集群服务器的业务处理方法,其特征在于,在所述将业务请求缓存至对应类型的消息队列中之后,所述基于集群服务器的业务处理方法还包括:
根据缓存的时间顺序,对同一消息队列中的业务请求进行排序。
3.如权利要求1所述的基于集群服务器的业务处理方法,其特征在于,所述预设令牌规则与根据各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求包括:
获取当前网络流量或速率限制,以配置令牌桶在预设时间内产生令牌的总数;
基于各消息队列缓存的业务请求数量与所述产生令牌的总数,调节每一消息队列分配到令牌的令牌数;
基于调节后的令牌数,将令牌分配给各消息队列中的业务请求。
4.如权利要求1所述的基于集群服务器的业务处理方法,其特征在于,所述异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理包括:
异步读取各消息队列中的业务请求;
当读取的业务请求匹配有令牌时,消耗令牌并执行该业务请求的任务;
当读取的业务请求未匹配有令牌时,跳过该业务请求并等待下次读取。
5.如权利要求1所述的基于集群服务器的业务处理方法,其特征在于,所述在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理包括:
在对业务请求进行业务处理时,监控是否存在异常情况,其中,所述异常情况至少包括执行超时或执行失败;
当存在业务处理执行超时或执行失败时,终止执行业务处理,并判断所述异常情况是否为首次异常;
当所述异常情况为首次异常时,将对应的业务请求重新添加至消息队列中,以供等待下次执行。
6.如权利要求5所述的基于集群服务器的业务处理方法,其特征在于,所述在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理还包括:
当所述异常情况不为首次异常时,分析异常原因;
将分析的异常原因与对应的业务请求转发至后台,以供后台人员进行人工处理;和/或
向对应的服务器下发重新发送业务请求的指令。
7.如权利要求1至6中任一项所述的基于集群服务器的业务处理方法,其特征在于,所述基于集群服务器的业务处理方法还包括:
在对业务请求进行业务处理时,检测当前是否满足预设条件,其中,所述预设条件至少包括存在实时监控指令、当前时间为设定的监控时间中的任一项;
若满足,则执行所述监控是否存在异常情况,以根据异常情况对业务请求进行异常处理的操作。
8.一种数据处理平台,其特征在于,所述数据处理平台包括:
缓存模块,用于在接收到集群中各服务器发送的业务请求时,根据业务请求的处理类型,将业务请求缓存至对应类型的消息队列中;
令牌分配模块,用于根据预设令牌规则与各消息队列缓存的业务请求数量,确定每一消息队列所需的令牌数量后,将令牌分配给各消息队列中的业务请求;
处理模块,用于异步读取各消息队列中的业务请求,并基于分配的令牌对业务请求进行业务处理;
处理模块,还用于在对业务请求进行业务处理时,监控是否存在异常情况,以根据异常情况对业务请求进行异常处理。
9.一种数据处理设备,其特征在于,所述数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序,所述数据处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于集群服务器的业务处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如权利要求1至7中任一项所述的基于集群服务器的业务处理方法的步骤。
CN201811129099.XA 2018-09-26 2018-09-26 基于集群服务器的业务处理方法、平台、设备及存储介质 Pending CN109672627A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811129099.XA CN109672627A (zh) 2018-09-26 2018-09-26 基于集群服务器的业务处理方法、平台、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811129099.XA CN109672627A (zh) 2018-09-26 2018-09-26 基于集群服务器的业务处理方法、平台、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109672627A true CN109672627A (zh) 2019-04-23

Family

ID=66142021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811129099.XA Pending CN109672627A (zh) 2018-09-26 2018-09-26 基于集群服务器的业务处理方法、平台、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109672627A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365752A (zh) * 2019-06-27 2019-10-22 北京大米科技有限公司 业务数据的处理方法、装置、电子设备和存储介质
CN110362401A (zh) * 2019-06-20 2019-10-22 深圳壹账通智能科技有限公司 数据跑批方法、装置、存储介质及集群中的成员主机
CN110688208A (zh) * 2019-09-09 2020-01-14 平安普惠企业管理有限公司 线性递增的任务处理方法、装置、计算机设备和存储介质
CN110943934A (zh) * 2019-11-19 2020-03-31 上海钧正网络科技有限公司 服务请求处理方法、系统、终端及可读存储介质
CN111045810A (zh) * 2019-12-17 2020-04-21 浙江大华技术股份有限公司 一种任务调度处理方法及装置
CN111083143A (zh) * 2019-12-17 2020-04-28 北京思维造物信息科技股份有限公司 请求响应方法、装置、设备和存储介质
CN111104235A (zh) * 2019-12-06 2020-05-05 江苏苏宁物流有限公司 一种基于队列的业务请求异步处理方法及装置
CN111107012A (zh) * 2019-12-27 2020-05-05 上海浦东发展银行股份有限公司 一种多维度集中流量的控制方法及系统
CN111901352A (zh) * 2020-07-30 2020-11-06 彩讯科技股份有限公司 消息分发处理的方法、装置、服务器及存储介质
CN112099975A (zh) * 2020-09-25 2020-12-18 Oppo广东移动通信有限公司 一种消息处理方法及系统、存储介质
CN112364079A (zh) * 2020-11-12 2021-02-12 北京思特奇信息技术股份有限公司 一种多业务交互异常处理方法、系统和电子设备
CN112506978A (zh) * 2020-12-15 2021-03-16 中国联合网络通信集团有限公司 大数据实时处理方法、装置和设备
CN112564968A (zh) * 2020-12-03 2021-03-26 腾讯科技(深圳)有限公司 故障处理方法、装置及存储介质
CN112633953A (zh) * 2021-03-08 2021-04-09 支付宝(杭州)信息技术有限公司 基于区块链的业务处理方法及系统
CN112948075A (zh) * 2021-02-04 2021-06-11 北京淇瑀信息科技有限公司 任务拥堵处理方法、装置和电子设备
CN113031872A (zh) * 2021-03-26 2021-06-25 山东英信计算机技术有限公司 一种存储系统的数据写入方法及相关装置
CN113098792A (zh) * 2021-02-07 2021-07-09 北京思特奇信息技术股份有限公司 基于令牌绑定的接口数据通信方法及系统
CN113765818A (zh) * 2020-06-28 2021-12-07 北京沃东天骏信息技术有限公司 分布式限流方法、装置、设备、存储介质和系统
CN113765864A (zh) * 2020-06-11 2021-12-07 北京京东振世信息技术有限公司 一种业务请求的处理方法和装置
CN113835859A (zh) * 2021-09-24 2021-12-24 成都质数斯达克科技有限公司 一种任务调度方法、装置、设备及可读存储介质
CN114124399A (zh) * 2021-10-22 2022-03-01 杭州安恒信息安全技术有限公司 数据接入方法、装置和计算机设备
CN114520808A (zh) * 2020-11-19 2022-05-20 南京亚信软件有限公司 请求处理方法、装置、电子设备及计算机可读存储介质
CN114553777A (zh) * 2020-11-10 2022-05-27 浙江宇视科技有限公司 一种系统内的消息处理方法、装置、介质及电子设备
CN114971163A (zh) * 2022-04-13 2022-08-30 中移互联网有限公司 重新发起业务请求的执行方法及执行装置
CN115174485A (zh) * 2022-05-27 2022-10-11 中国经济信息社有限公司 播放控制管理方法和系统、设备及存储介质
CN115242701A (zh) * 2022-07-25 2022-10-25 中国民用航空总局第二研究所 一种机场数据平台集群消费的处理方法、装置及存储介质
WO2023040399A1 (zh) * 2021-09-18 2023-03-23 深圳前海微众银行股份有限公司 一种业务持久化方法及装置
CN116661969A (zh) * 2023-06-07 2023-08-29 上海汉朔信息科技有限公司 一种基于消息队列的业务处理方法及系统
CN117453422A (zh) * 2023-12-22 2024-01-26 南京研利科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005453A (zh) * 2006-12-26 2007-07-25 华为技术有限公司 流量限制技术中刷新令牌桶的方法及装置
CN101997766A (zh) * 2009-08-31 2011-03-30 中兴通讯股份有限公司 一种基于优先级的令牌桶限速的方法及系统
CN102118314A (zh) * 2011-02-28 2011-07-06 华为技术有限公司 流量管理的方法和管理装置
CN106413002A (zh) * 2016-11-22 2017-02-15 京信通信技术(广州)有限公司 终端速率的控制方法、装置及基站
CN106970846A (zh) * 2017-03-15 2017-07-21 北京驰波信息工程有限公司 支付系统消息控制和处理方法、装置
CN107391268A (zh) * 2016-05-17 2017-11-24 阿里巴巴集团控股有限公司 服务请求处理方法及装置
CN108089915A (zh) * 2016-11-22 2018-05-29 北京京东尚科信息技术有限公司 基于消息队列的业务控件化处理的方法及系统
CN108111333A (zh) * 2017-11-22 2018-06-01 链家网(北京)科技有限公司 一种基于web的流量限制方法及系统
CN108509286A (zh) * 2018-03-27 2018-09-07 中国银联股份有限公司 一种消息分类的处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005453A (zh) * 2006-12-26 2007-07-25 华为技术有限公司 流量限制技术中刷新令牌桶的方法及装置
CN101997766A (zh) * 2009-08-31 2011-03-30 中兴通讯股份有限公司 一种基于优先级的令牌桶限速的方法及系统
CN102118314A (zh) * 2011-02-28 2011-07-06 华为技术有限公司 流量管理的方法和管理装置
CN107391268A (zh) * 2016-05-17 2017-11-24 阿里巴巴集团控股有限公司 服务请求处理方法及装置
CN106413002A (zh) * 2016-11-22 2017-02-15 京信通信技术(广州)有限公司 终端速率的控制方法、装置及基站
CN108089915A (zh) * 2016-11-22 2018-05-29 北京京东尚科信息技术有限公司 基于消息队列的业务控件化处理的方法及系统
CN106970846A (zh) * 2017-03-15 2017-07-21 北京驰波信息工程有限公司 支付系统消息控制和处理方法、装置
CN108111333A (zh) * 2017-11-22 2018-06-01 链家网(北京)科技有限公司 一种基于web的流量限制方法及系统
CN108509286A (zh) * 2018-03-27 2018-09-07 中国银联股份有限公司 一种消息分类的处理方法及装置

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362401A (zh) * 2019-06-20 2019-10-22 深圳壹账通智能科技有限公司 数据跑批方法、装置、存储介质及集群中的成员主机
CN110365752A (zh) * 2019-06-27 2019-10-22 北京大米科技有限公司 业务数据的处理方法、装置、电子设备和存储介质
CN110688208A (zh) * 2019-09-09 2020-01-14 平安普惠企业管理有限公司 线性递增的任务处理方法、装置、计算机设备和存储介质
CN110943934A (zh) * 2019-11-19 2020-03-31 上海钧正网络科技有限公司 服务请求处理方法、系统、终端及可读存储介质
CN111104235A (zh) * 2019-12-06 2020-05-05 江苏苏宁物流有限公司 一种基于队列的业务请求异步处理方法及装置
CN111083143A (zh) * 2019-12-17 2020-04-28 北京思维造物信息科技股份有限公司 请求响应方法、装置、设备和存储介质
CN111045810B (zh) * 2019-12-17 2023-08-29 浙江大华技术股份有限公司 一种任务调度处理方法及装置
CN111083143B (zh) * 2019-12-17 2022-10-21 北京思维造物信息科技股份有限公司 请求响应方法、装置、设备和存储介质
CN111045810A (zh) * 2019-12-17 2020-04-21 浙江大华技术股份有限公司 一种任务调度处理方法及装置
CN111107012A (zh) * 2019-12-27 2020-05-05 上海浦东发展银行股份有限公司 一种多维度集中流量的控制方法及系统
CN111107012B (zh) * 2019-12-27 2023-08-08 上海浦东发展银行股份有限公司 一种多维度集中流量的控制方法及系统
CN113765864B (zh) * 2020-06-11 2023-06-23 北京京东振世信息技术有限公司 一种业务请求的处理方法和装置
CN113765864A (zh) * 2020-06-11 2021-12-07 北京京东振世信息技术有限公司 一种业务请求的处理方法和装置
CN113765818A (zh) * 2020-06-28 2021-12-07 北京沃东天骏信息技术有限公司 分布式限流方法、装置、设备、存储介质和系统
CN111901352B (zh) * 2020-07-30 2023-08-25 彩讯科技股份有限公司 消息分发处理的方法、装置、服务器及存储介质
CN111901352A (zh) * 2020-07-30 2020-11-06 彩讯科技股份有限公司 消息分发处理的方法、装置、服务器及存储介质
CN112099975B (zh) * 2020-09-25 2024-03-26 Oppo广东移动通信有限公司 一种消息处理方法及系统、存储介质
CN112099975A (zh) * 2020-09-25 2020-12-18 Oppo广东移动通信有限公司 一种消息处理方法及系统、存储介质
CN114553777B (zh) * 2020-11-10 2024-03-12 浙江宇视科技有限公司 一种系统内的消息处理方法、装置、介质及电子设备
CN114553777A (zh) * 2020-11-10 2022-05-27 浙江宇视科技有限公司 一种系统内的消息处理方法、装置、介质及电子设备
CN112364079A (zh) * 2020-11-12 2021-02-12 北京思特奇信息技术股份有限公司 一种多业务交互异常处理方法、系统和电子设备
CN114520808A (zh) * 2020-11-19 2022-05-20 南京亚信软件有限公司 请求处理方法、装置、电子设备及计算机可读存储介质
CN112564968A (zh) * 2020-12-03 2021-03-26 腾讯科技(深圳)有限公司 故障处理方法、装置及存储介质
CN112564968B (zh) * 2020-12-03 2022-03-29 深圳市腾讯计算机系统有限公司 故障处理方法、装置及存储介质
CN112506978A (zh) * 2020-12-15 2021-03-16 中国联合网络通信集团有限公司 大数据实时处理方法、装置和设备
CN112948075A (zh) * 2021-02-04 2021-06-11 北京淇瑀信息科技有限公司 任务拥堵处理方法、装置和电子设备
CN112948075B (zh) * 2021-02-04 2024-02-27 北京淇瑀信息科技有限公司 任务拥堵处理方法、装置和电子设备
CN113098792A (zh) * 2021-02-07 2021-07-09 北京思特奇信息技术股份有限公司 基于令牌绑定的接口数据通信方法及系统
CN113098792B (zh) * 2021-02-07 2022-11-18 北京思特奇信息技术股份有限公司 基于令牌绑定的接口数据通信方法及系统
CN112633953A (zh) * 2021-03-08 2021-04-09 支付宝(杭州)信息技术有限公司 基于区块链的业务处理方法及系统
CN112633953B (zh) * 2021-03-08 2021-07-06 支付宝(杭州)信息技术有限公司 基于区块链的业务处理方法及系统
CN113031872A (zh) * 2021-03-26 2021-06-25 山东英信计算机技术有限公司 一种存储系统的数据写入方法及相关装置
WO2023040399A1 (zh) * 2021-09-18 2023-03-23 深圳前海微众银行股份有限公司 一种业务持久化方法及装置
CN113835859A (zh) * 2021-09-24 2021-12-24 成都质数斯达克科技有限公司 一种任务调度方法、装置、设备及可读存储介质
CN113835859B (zh) * 2021-09-24 2023-12-26 成都质数斯达克科技有限公司 一种任务调度方法、装置、设备及可读存储介质
CN114124399B (zh) * 2021-10-22 2024-04-16 杭州安恒信息安全技术有限公司 数据接入方法、装置和计算机设备
CN114124399A (zh) * 2021-10-22 2022-03-01 杭州安恒信息安全技术有限公司 数据接入方法、装置和计算机设备
CN114971163A (zh) * 2022-04-13 2022-08-30 中移互联网有限公司 重新发起业务请求的执行方法及执行装置
CN114971163B (zh) * 2022-04-13 2023-08-18 中移互联网有限公司 重新发起业务请求的执行方法及执行装置
CN115174485A (zh) * 2022-05-27 2022-10-11 中国经济信息社有限公司 播放控制管理方法和系统、设备及存储介质
CN115242701A (zh) * 2022-07-25 2022-10-25 中国民用航空总局第二研究所 一种机场数据平台集群消费的处理方法、装置及存储介质
CN115242701B (zh) * 2022-07-25 2024-04-02 中国民用航空总局第二研究所 一种机场数据平台集群消费的处理方法、装置及存储介质
CN116661969A (zh) * 2023-06-07 2023-08-29 上海汉朔信息科技有限公司 一种基于消息队列的业务处理方法及系统
CN116661969B (zh) * 2023-06-07 2024-03-12 上海汉朔信息科技有限公司 一种基于消息队列的业务处理方法及系统
CN117453422B (zh) * 2023-12-22 2024-03-01 南京研利科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN117453422A (zh) * 2023-12-22 2024-01-26 南京研利科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109672627A (zh) 基于集群服务器的业务处理方法、平台、设备及存储介质
CN105281981B (zh) 网络服务的数据流量监控方法和装置
CN112162865B (zh) 服务器的调度方法、装置和服务器
CN107018175B (zh) 移动云计算平台的调度方法和装置
CN105956138B (zh) 数据库连接的控制方法和装置
US8484650B2 (en) Resource management system, resource information providing method and program for providing resource information relating to a plurality of resources
US8387059B2 (en) Black-box performance control for high-volume throughput-centric systems
JP3812236B2 (ja) イベント制御手段を備えたネットワーク管理システム
JP4984169B2 (ja) 負荷分散プログラム、負荷分散方法、負荷分散装置およびそれを含むシステム
CN107800756A (zh) 一种负载均衡方法及负载均衡器
CN105933408B (zh) 一种Redis通用中间件的实现方法及装置
CN105446653B (zh) 一种数据合并方法和设备
CN104468407A (zh) 实现业务平台资源弹性分配的方法与装置
CN108366021B (zh) 一种处理并发网页访问业务的方法及系统
CN104092756A (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN110247856A (zh) 服务器资源释放方法和装置
CN107168853A (zh) 一种服务器性能信息获取方法、系统和基板控制管理器
CN107341045A (zh) 一种虚拟机调度管理方法及调度器
CA2857727C (en) Computer-implemented method, computer system, computer program product to manage traffic in a network
JPH05216842A (ja) 資源管理装置
CN109348486B (zh) 一种异构无线网络资源分配方法
CN102523107B (zh) 均衡网管系统服务端和客户端运算压力的方法及装置
CN108111578B (zh) 基于nio的配电终端数据采集平台接入终端设备的方法
CN113726856A (zh) 基于微服务的调控画面综合数据轻量化交互方法及系统
CN109445931A (zh) 一种大数据资源调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231229

AD01 Patent right deemed abandoned