CN117785439A - 一种集群分布式系统的业务处理方法、装置及应用 - Google Patents
一种集群分布式系统的业务处理方法、装置及应用 Download PDFInfo
- Publication number
- CN117785439A CN117785439A CN202311597950.2A CN202311597950A CN117785439A CN 117785439 A CN117785439 A CN 117785439A CN 202311597950 A CN202311597950 A CN 202311597950A CN 117785439 A CN117785439 A CN 117785439A
- Authority
- CN
- China
- Prior art keywords
- subtasks
- module
- servers
- lower module
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000012360 testing method Methods 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 48
- 238000012546 transfer Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种集群分布式系统的业务处理方法、装置及应用,系统包括级联的上层模块、中转器和下层模块,方法包括在上层模块接到任务后,将任务划分为若干个子任务,使上层模块将划分的子任务通过中转器下发至下层模块,通过下层模块使多个服务器分别处理不同的子任务,在所有服务器处理完成后,使下层模块将所有服务器的处理结果汇总,并将汇总后的处理结果通过中转器上报至上层模块。本发明提出的方法采用了集群分布式技术,使业务处理不依赖于单一的服务器,并通过多个服务器形成足够的并发压力,在测试场景中可利用测试服务器集群模拟线上真实的业务场景,进而分析得出服务器潜在的性能瓶颈。
Description
技术领域
本发明属于服务器技术领域,具体涉及一种集群分布式系统的业务处理方法、装置及应用。
背景技术
服务器是计算机的一种,它比普通计算机运行更快、负载更高、价格更贵。服务器在网络中为其它客户机如PC机、智能手机、ATM等终端甚至是火车系统等大型设备提供计算或者应用服务。服务器具有高速的CPU运算能力、长时间的可靠运行、强大的I/O外部数据吞吐能力以及更好的扩展性。
根据服务器所提供的服务,一般来说服务器都具备承担响应服务请求、承担服务、保障服务的能力。服务器作为电子设备,其内部的结构十分的复杂,但与普通的计算机内部结构相差不大,如:cpu、硬盘、内存,系统、系统总线等。
现有技术中,许多业务的处理依赖单一的服务器,处理速度较慢,同时容易出现服务器达到性能瓶颈的情况,进而导致无法满足业务处理任务。
例如,在测试场景中,微服务系统转测封板完成后,根据线上客户需求进行性能测试,备份线上数据库数据,从而在内部搭建仿真测试环境。在较为复杂的测试场景中,若仅使用单台测试服务器,会因为单台测试服务器硬件资源有限,无法满足线上测试系统峰值点,从而不能测试出对应的性能瓶颈,在遇到对应的测试场景时,会无法实现相应的测试功能。
发明内容
为了克服上述现有技术的缺陷,本发明提出了一种集群分布式系统的业务处理方法,系统包括级联的上层模块、中转器和下层模块,所述方法包括:
在所述上层模块接到任务后,将所述任务划分为若干个子任务;
使所述上层模块将划分的子任务通过所述中转器下发至所述下层模块;所述下层模块包括多个用于处理子任务的服务器;
通过所述下层模块使多个服务器分别处理不同的子任务;
在所有服务器处理完成后,使所述下层模块将所有服务器的处理结果汇总,并将汇总后的所述处理结果通过所述中转器上报至所述上层模块。
优选地,所述中转器与多个所述下层模块连接,所述中转器可根据各所述下层模块上报汇总后的所述处理结果的历史数据,得到测试数据,并基于所述测试数据获取各所述下层模块的性能,所述“使所述上层模块将划分的子任务通过中转器下发至下层模块”包括:
使所述中转器在接收到所述上层模块发送的子任务后,计算得到所述子任务的复杂度,并基于所述子任务的复杂度和各所述下层模块的性能,将所述子任务转发至可达到最高性能的所述下层模块。
进一步地,所述方法还包括:
若可达到最高性能的所述下层模块不为唯一,将所述子任务转发至可达到最高性能且包含的服务器数量最少的所述下层模块。
优选地,所述“通过所述下层模块使多个服务器分别处理不同的子任务”包括:
预设特定字段,使接收到子任务的所述下层模块检索所述子任务中是否包含特定字段;
若所述子任务中包含所述特定字段,使所述下层模块分配多个服务器同时处理该子任务;
在所有分配于处理所述子任务的服务器处理完成后,比对各处理器的处理结果,并选择最多相同的处理结果作为所述子任务的最终处理结果。
进一步地,所述下层模块分配多个服务器同时重复处理所述子任务,各服务器重复处理所述子任务的次数由用户预设。
具体地,所述方法还包括:
在所有分配于处理所述子任务的服务器处理完成后,分别将各处理器的处理结果中最多相同的处理结果作为各处理器的子处理结果,并选择最多相同的子处理结果作为所述子任务的最终处理结果;
或,在所有分配于处理所述子任务的服务器处理完成后,选择各处理器的所有处理结果中最多相同的处理结果作为所述子任务的最终处理结果。
优选地,所述方法还包括:
根据测试需求,调整所述上层模块的并发数据量和线程数,以将测试任务划分为测试子任务后通过所述中转器下发至所述下层模块;
通过所述上层模块接收所述中转器上报的测试结果;所述测试结果是通过所述下层模块使多个服务器分别处理不同的所述测试子任务,并使所述下层模块将所有服务器的处理结果汇总得到的;
对所述测试结果进行分析,并基于分析结果优化所述集群分布式系统。
进一步地,所述通过所述下层模块使多个服务器分别处理不同的所述测试子任务包括:
通过所述下层模块使用多线程或异步请求方式实现并发发送请求,使多个服务器分别处理不同的所述测试子任务
本发明还提出了一种集群分布式系统的业务处理装置,用于实现如前文所述的集群分布式系统的业务处理方法,所述装置包括:
划分模块,用于在上层模块接到任务后,将所述任务划分为若干个子任务;
下发模块,用于使所述上层模块将划分的子任务通过中转器下发至下层模块;所述下层模块包括多个用于处理子任务的服务器;
分包模块,用于通过所述下层模块使多个服务器分别处理不同的子任务;
汇总模块,用于在所有服务器处理完成后,使所述下层模块将所有服务器的处理结果汇总;
上报模块,用于将汇总后的所述处理结果通过所述中转器上报至所述上层模块。
本发明还提出了一种集群分布式系统,用于应用如前文所述的集群分布式系统的业务处理方法,所述系统包括级联的上层模块、中转器和下层模块,所述下层模块包括多个用于处理业务的服务器。
本发明至少具有以下有益效果:
本发明提出的方法通过集群分布式技术,将一个业务划分为多个子任务并分配给多个服务器进行处理,使业务处理不依赖于单一的服务器,加快了业务处理的速度,解决了业务处理过程中容易达到服务器性能瓶颈的问题;
优选地,本发明提出的方法在测试场景中可利用测试服务器集群模拟线上真实的业务场景,进而分析得出服务器潜在的性能瓶颈,且同时可以验证高并发服务器场景的性能,并基于测试结果进行相应的优化,解决集群分布式系统的性能瓶颈,确保集群分布式系统能够满足未来的业务需求;
进一步地,本发明提出的方法可同时应用多个服务器分布式集群,为相应的业务分配最合适的集群进行处理,并可使服务器多次处理用户指定的特定任务以获得高准确度的处理结果。
以此,本发明提供了一种集群分布式系统的业务处理方法、装置及应用,本发明提出的方法采用了集群分布式技术,使业务处理不依赖于单一的服务器,并通过多个服务器形成足够的并发压力,在测试场景中可利用测试服务器集群模拟线上真实的业务场景,进而分析得出服务器潜在的性能瓶颈。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为实施例1提供的集群分布式系统的业务处理方法的整体流程示意图;
图2为使下层模块分配多个服务器同时处理同一关键子任务的流程示意图;
图3为模拟业务场景以验证和优化系统性能的流程示意图;
图4为实施例2提供的集群分布式系统的业务处理装置的模块结构示意图;
图5为实施例3提供的集群分布式系统的模块结构示意图;
图6为主从分布式架构的示例图。
附图标记:
21-划分模块;22-下发模块;23-分包模块;24-汇总模块;25-上报模块;31-上层模块;32-中转器;33-下层模块;221-计算单元;222-转发单元;231-检索单元;232-分配单元;331-服务器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下文中,将更全面地描述本发明的各种实施例。本发明可具有各种实施例,并且可在其中做出调整和改变。然而,应理解:不存在将本发明的各种实施例限于在此公开的特定实施例的意图,而是应将本发明理解为涵盖落入本发明的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
在下文中,可在本发明的各种实施例中使用的术语“包括”或“可包括”指示所公开的功能、操作或元件的存在,并且不限制一个或更多个功能、操作或元件的增加。此外,如在本发明的各种实施例中所使用,术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
在本发明的各种实施例中,表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如,表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。
在本发明的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件,不过可不限制相应组成元件。例如,以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如,第一用户装置和第二用户装置指示不同用户装置,尽管二者都是用户装置。例如,在不脱离本发明的各种实施例的范围的情况下,第一元件可被称为第二元件,同样地,第二元件也可被称为第一元件。
应注意到:在本发明中,除非另有明确的规定和定义,“安装”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接、也可以是可拆卸连接、或者一体地连接;可以是机械连接,也可以是电连接;可以是直接连接,也是可以通过中间媒介间接相连;可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,本领域的普通技术人员需要理解的是,文中指示方位或者位置关系的术语为基于附图所示的方位或者位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本发明的各种实施例。如在此所使用,单数形式意在也包括复数形式,除非上下文清楚地另有指示。除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本发明的各种实施例中被清楚地限定。
实施例1
本实施例提出了一种集群分布式系统的业务处理方法,请参考图1,所述方法包括:
S100:在上层模块接到任务后,将任务划分为若干个子任务。
S200:使上层模块将划分的子任务通过中转器下发至下层模块。
需要说明的是,下层模块包括多个用于处理子任务的服务器,一个下层模块包括的所有用于处理任务的服务器形成一个集群。
S300:通过下层模块使多个服务器分别处理不同的子任务。
S400:在所有服务器处理完成后,使下层模块将所有服务器的处理结果汇总,并将汇总后的处理结果通过中转器上报至上层模块。
具体地,步骤S400具体包括:
在所有服务器处理完成后汇总结果后,将所有服务器返回的数据包汇总为请求数、请求频率、响应时间等结果并打包成一个数据包,并上报到中转器以通过中转器上报至上层模块。
优选地,中转器连接有多个下层模块,在测试场景中,中转器能够根据各下层模块上报汇总后的处理结果的历史数据得到测试数据,并基于测试数据获取各下层模块及各下层模块包含的服务器的性能瓶颈,所述方法还包括:
中转器在接收到上层模块发送的子任务后,计算得到子任务的复杂度,并基于子任务的复杂度和各下层模块的性能,将上层模块发送的子任务转发至可达到最高性能的下层模块。
需要说明的是,下层模块的性能瓶颈由该下层模块包含的服务器性能和包含的服务器数量决定。
进一步地,所述方法还包括:
若可达到最高性能的下层模块不为唯一,将上层模块发送的子任务转发至可达到最高性能且包含的服务器数量最少的下层模块。
可选地,请参考图2,所述“通过下层模块使多个服务器分别处理不同的子任务”包括:
S310:预设特定字段,使接收到子任务的下层模块检索子任务中是否包含特定字段。
需要说明的是,特定字段可由用户预设,用户可预设指定的字段使较为关键的子任务在下层模块中多次处理以获取具有更高准确度的结果。
若子任务中包含特定字段,执行步骤S320。
S320:使下层模块分配多个服务器同时处理该子任务。
S330:在所有分配于处理该子任务的服务器处理完成后,比对各处理器的处理结果,并选择最多相同的处理结果作为该子任务的最终处理结果。
进一步地,步骤S320中下层模块可分配多个服务器重复处理复数次该子任务,各服务器重复处理该子任务的次数可由用户预设。
所述方法还包括:
在所有分配于处理该子任务的服务器处理完成后,分别将各处理器的处理结果中最多相同的处理结果作为各处理器的子处理结果,并选择最多相同的子处理结果作为该子任务的最终处理结果;
或,在所有分配于处理该子任务的服务器处理完成后,选择各处理器的所有处理结果中最多相同的处理结果作为该子任务的最终处理结果。
优选地,本方法还能通过模拟业务场景的方式实现对用户操作的模拟,并以此验证和优化集群分布式系统的性能,参考图3,所述方法还包括:
S510:根据测试需求,调整上层模块的并发数据量和线程数,以将测试任务划分为子任务后通过中转器下发至下层模块。
S520:通过上层模块接收中转器上报的测试结果。
需要说明的是,测试结果是通过下层模块使多个服务器分别处理不同的测试子任务,并使下层模块将服务器的处理结果汇总得到的。
优选地,上层模块在接收测试结果后,可以进行数据分析和可视化,以评估性能指标、识别潜在问题并提供性能报告。
S530:对测试结果进行分析,并基于分析结果优化集群分布式系统。
具体地,步骤S530中对集群分布式系统的优化方式包括系统优化和容量规划优化,系统优化用于解决集群分布式系统的性能瓶颈,容量规划优化则用于确保集群分布式系统能够满足未来的业务需求。
需要说明的是,在模拟真实网络通信场景时,应选择适当的通信协议如超文本传输协议(http)、安全超文本传输协议(https)、传输控制协议(TCP)、消息队列遥测传输协议(MQTT),其中,对于https协议和SSL协议,需要配置证书以确保安全通信。
具体地,可以使用QUERY参数、REST参数和相应的form-data来模拟不同的请求场景,并根据业务场景编写断言,本实施例中使用正则表达式对响应数据进行判断,以验证测试结果的正确性。进一步地,在测试过程中,通过下层模块使多个服务器分别处理不同的测试子任务包括:
通过下层模块使用多线程或异步请求方式实现并发发送请求,使多个服务器分别处理不同的测试子任务。
由此,可以实现模拟多用户或并行操作场景,从而验证高并发服务器场景的性能。
实施例2
本实施例提出了一种集群分布式系统的业务处理装置,用于实现如实施例1提出的集群分布式系统的业务处理方法,请参考图4,所述装置包括:
划分模块21,用于在上层模块接到任务后,将任务划分为若干个子任务;
下发模块22,用于使上层模块将划分的子任务通过中转器下发至下层模块;下层模块包括多个用于处理子任务的服务器;
分包模块23,用于通过下层模块使多个服务器分别处理不同的子任务;
汇总模块24,用于在所有服务器处理完成后,使下层模块将所有服务器的处理结果汇总;
上报模块25,用于将汇总后的处理结果通过中转器上报至上层模块。
中转器与多个下层模块连接,在测试场景中,中转器能够根据各下层模块上报汇总后的处理结果的历史数据得到测试数据,并基于测试数据获取各下层模块及各下层模块包含的服务器的性能瓶颈,优选地,下发模块22包括:
计算单元221,用于使中转器在接收到上层模块发送的子任务后,计算得到子任务的复杂度;
转发单元222,用于基于子任务的复杂度和各下层模块的性能,将子任务转发至可达到最高性能的下层模块。
进一步地,若可达到最高性能的下层模块不为唯一,转发单元222将上层模块发送的子任务转发至可达到最高性能且包含的服务器数量最少的下层模块。
可选地,分包模块23包括:
检索单元231,用于使接收到子任务的下层模块检索子任务中是否包含特定字段;该特定字段可由用户预设,用户可预设指定的字段使较为关键的子任务在下层模块中多次处理以获取具有更高准确度的结果;
分配单元232,用于当子任务中包含特定字段时,使下层模块分配多个服务器同时处理该子任务;汇总模块24在所有分配于处理子任务的服务器处理完成后,比对各处理器的处理结果,并选择最多相同的处理结果作为子任务的最终处理结果。
进一步地,分配单元232可分配多个服务器重复处理复数次该子任务,各服务器重复处理该子任务的次数可由用户预设,汇总模块24可在所有分配于处理该子任务的服务器处理完成后,分别将各处理器的处理结果中最多相同的处理结果作为各处理器的子处理结果,并选择最多相同的子处理结果作为该子任务的最终处理结果;
或,在所有分配于处理该子任务的服务器处理完成后,选择各处理器的所有处理结果中最多相同的处理结果作为该子任务的最终处理结果。
实施例3
本实施例提出了一种集群分布式系统,用于实现如实施例1提出的集群分布式系统的业务处理方法,请参考图5,系统包括级联的上层模块31、中转器32和下层模块33,下层模块33包括多个用于处理业务的服务器331(即图5中所示的serve)。
参见图6,需要说明的是,本实施例提出的集群分布式系统基于集群分布式并发压测模式(Master-slave)建立,英文简称为M-S,核心的思想是一个机器运行执行一个程序资源力量是有限的,通过这种集群分布式模式可以集齐多台机器的资源,多线程同时执行程序,结果将会达到准确,可以将原始任务的结果通过整合各个slave的任务汇总。结果准确的依据包括:
并行计算,验证高并发服务器场景的性能;
容错处理,提升数据汇总结果的可靠性;
计算精度,提升数据汇总结果的精确程度。
其中,Master(主)的功能包括:
配置(configuration),主调节器(控制器)发送控制指令、接收指令,配置slave集群服务器的IP及端口,实现连接控制;
汇报(report),集合所有slave中汇总数据后再进行分析汇总;
调度(Schedule),接收到写入数据,并可调节并发数据量及线程数。
slave(从)的功能包括:
配置(configuration),与Master一样,都可以进行执行下发以及控制,随时可以从slave转变为Master;
汇报(report),slave为单机视角,只能聚合serve返回单机的数据进行汇总分析;
调度(Schedule),只能控制自己本身,发起数据请求。
上层模块31用于设计高频业务场景,主要从应用端实现调用场景,在具体实施中,上层模块31根据设计的业务场景,编写服务器系统接口数据包脚本,并根据业务场景选择适当的协议如超文本传输协议(http)、安全超文本传输协议(https)、传输控制协议(TCP)、消息队列遥测传输协议(MQTT),进行多线程进行高并发测试,并且配置接口请求信息,在添加对应的证书,路径、端口后,使信息头管理器中添加如sn(序列号)、tenantCode(租户代码)、Content-Type(内容类型)、Authorization(授权)等对应的键和值,判断请求的类型,并通过查询参数(QUERY)或者可变参数(REST)以及对应的表单数据(form-data),根据对应的业务场景进行断言编写,并编写功能脚本,添加数据收集器来接收来自slave集群的消息。
需要说明的是,断言即为通过正则表达式对响应数据进行判断,上层模块31的功能以Java源代码解释器中的BeanShell脚本编写,同时通过添加收集数据器接收slave集群返回的消息。
中转器32是脚本信息和控制指令的传递中心,用于将脚本信息、控制指令及操作指令下发,中转器32作为接收数据的集中器,聚合来自各个slave节点的数据,通过内部逻辑计算方式,将对应的slave返回数据进行逻辑处理后得出一个测试数据,并基于测试数据进行分析,定位下层模块33及其包含的服务器331的性能瓶颈。
下层模块33用于接收中转器32下发的操作指令,在获取中转器32转发的脚本信息后,执行动作操作,并用于接收服务器331返回的数据包,将数据包汇总为请求数、请求频率、响应时间等结果,打包成一个数据包并上报到中转器32,此环节需要通过多个slave执行,从而达到需求所需的并发需求,下层模块33同样有助于分析测试数据,以定位服务器的性能瓶颈。
服务器331为被测系统层,主要架构是微服务架构,docker容器部署,其中涉及的流量流向Nginx、网关(Gateway)、服务层。
需要说明的是,docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的Linux或Windows操作系统的机器上,也可以实现虚拟化;Nginx(engine x)是一个高性能的HTTP和反向代理web服务器。
综上所述,本发明提供了一种集群分布式系统的业务处理方法、装置及应用,本发明提出的方法采用了集群分布式技术,使业务处理不依赖于单一的服务器,并通过多个服务器形成足够的并发压力,在测试场景中可利用测试服务器集群模拟线上真实的业务场景,进而分析得出服务器潜在的性能瓶颈。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种集群分布式系统的业务处理方法,其特征在于,系统包括级联的上层模块、中转器和下层模块,所述方法包括:
在所述上层模块接到任务后,将所述任务划分为若干个子任务;
使所述上层模块将划分的子任务通过所述中转器下发至所述下层模块;所述下层模块包括多个用于处理子任务的服务器;
通过所述下层模块使多个服务器分别处理不同的子任务;
在所有服务器处理完成后,使所述下层模块将所有服务器的处理结果汇总,并将汇总后的所述处理结果通过所述中转器上报至所述上层模块。
2.根据权利要求1所述的集群分布式系统的业务处理方法,其特征在于,所述中转器与多个所述下层模块连接,所述中转器可根据各所述下层模块上报汇总后的所述处理结果的历史数据,得到测试数据,并基于所述测试数据获取各所述下层模块的性能,所述“使所述上层模块将划分的子任务通过中转器下发至下层模块”包括:
使所述中转器在接收到所述上层模块发送的子任务后,计算得到所述子任务的复杂度,并基于所述子任务的复杂度和各所述下层模块的性能,将所述子任务转发至可达到最高性能的所述下层模块。
3.根据权利要求2所述的集群分布式系统的业务处理方法,其特征在于,所述方法还包括:
若可达到最高性能的所述下层模块不为唯一,将所述子任务转发至可达到最高性能且包含的服务器数量最少的所述下层模块。
4.根据权利要求1-3任一项所述的集群分布式系统的业务处理方法,其特征在于,所述“通过所述下层模块使多个服务器分别处理不同的子任务”包括:
预设特定字段,使接收到子任务的所述下层模块检索所述子任务中是否包含特定字段;
若所述子任务中包含所述特定字段,使所述下层模块分配多个服务器同时处理该子任务;
在所有分配于处理所述子任务的服务器处理完成后,比对各处理器的处理结果,并选择最多相同的处理结果作为所述子任务的最终处理结果。
5.根据权利要求4所述的集群分布式系统的业务处理方法,其特征在于,所述下层模块分配多个服务器同时重复处理所述子任务,各服务器重复处理所述子任务的次数由用户预设。
6.根据权利要求5所述的集群分布式系统的业务处理方法,其特征在于,所述方法还包括:
在所有分配于处理所述子任务的服务器处理完成后,分别将各处理器的处理结果中最多相同的处理结果作为各处理器的子处理结果,并选择最多相同的子处理结果作为所述子任务的最终处理结果;
或,在所有分配于处理所述子任务的服务器处理完成后,选择各处理器的所有处理结果中最多相同的处理结果作为所述子任务的最终处理结果。
7.根据权利要求1所述的集群分布式系统的业务处理方法,其特征在于,所述方法还包括:
根据测试需求,调整所述上层模块的并发数据量和线程数,以将测试任务划分为测试子任务后通过所述中转器下发至所述下层模块;
通过所述上层模块接收所述中转器上报的测试结果;所述测试结果是通过所述下层模块使多个服务器分别处理不同的所述测试子任务,并使所述下层模块将所有服务器的处理结果汇总得到的;
对所述测试结果进行分析,并基于分析结果优化所述集群分布式系统。
8.根据权利要求7所述的集群分布式系统的业务处理方法,其特征在于,所述通过所述下层模块使多个服务器分别处理不同的所述测试子任务包括:
通过所述下层模块使用多线程或异步请求方式实现并发发送请求,使多个服务器分别处理不同的所述测试子任务。
9.一种集群分布式系统的业务处理装置,其特征在于,用于实现如权利要求1-8任一项所述的方法,所述装置包括:
划分模块,用于在上层模块接到任务后,将所述任务划分为若干个子任务;
下发模块,用于使所述上层模块将划分的子任务通过中转器下发至下层模块;所述下层模块包括多个用于处理子任务的服务器;
分包模块,用于通过所述下层模块使多个服务器分别处理不同的子任务;
汇总模块,用于在所有服务器处理完成后,使所述下层模块将所有服务器的处理结果汇总;
上报模块,用于将汇总后的所述处理结果通过所述中转器上报至所述上层模块。
10.一种集群分布式系统,其特征在于,用于应用如权利要求1-6任一项所述的方法,所述系统包括级联的上层模块、中转器和下层模块,所述下层模块包括多个用于处理业务的服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311597950.2A CN117785439A (zh) | 2023-11-24 | 2023-11-24 | 一种集群分布式系统的业务处理方法、装置及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311597950.2A CN117785439A (zh) | 2023-11-24 | 2023-11-24 | 一种集群分布式系统的业务处理方法、装置及应用 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117785439A true CN117785439A (zh) | 2024-03-29 |
Family
ID=90390034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311597950.2A Pending CN117785439A (zh) | 2023-11-24 | 2023-11-24 | 一种集群分布式系统的业务处理方法、装置及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117785439A (zh) |
-
2023
- 2023-11-24 CN CN202311597950.2A patent/CN117785439A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20140215077A1 (en) | Methods and systems for detecting, locating and remediating a congested resource or flow in a virtual infrastructure | |
EP0595440B1 (en) | Method for modeling and simulating data traffic on networks | |
US9762471B2 (en) | Methods and systems for estimating and analyzing flow activity and path performance data in cloud or distributed systems | |
CN106533806B (zh) | 多租户SDN网络中基于应用感知提供跨层QoS的方法 | |
CN112671560A (zh) | 一种高可用的分布式实时告警处理方法及系统 | |
CN112929187B (zh) | 网络切片管理方法、装置和系统 | |
CN112039722B (zh) | 一种mqtt协议仿真方法及仿真设备 | |
Cao et al. | {ENVI}: elastic resource flexing for network function virtualization | |
CN108737163B (zh) | 一种基于OpenFlow协议的SDN控制器应用性能分析方法 | |
CN113364624A (zh) | 基于边缘计算的混合云流量采集方法和系统 | |
Nikolaidis et al. | Iotier: A virtual testbed to evaluate systems for iot environments | |
EP4285231A1 (en) | System and method for network and computation performance probing for edge computing | |
Sriraman et al. | Deconstructing the tail at scale effect across network protocols | |
US11962434B2 (en) | Methods, systems, and computer readable media for capturing dropped packets at a switching fabric emulator | |
CN117785439A (zh) | 一种集群分布式系统的业务处理方法、装置及应用 | |
Lu et al. | Enabling inference inside software switches | |
Velrajan et al. | QoS management in multi-access edge compute | |
CN106933718B (zh) | 性能监控方法及装置 | |
Cabarkapa et al. | Software-Defined Networking: The Impact of Scalability on Controller Performance | |
Cranfield et al. | Computer modeling the ATLAS Trigger/DAQ system performance | |
KR20200063343A (ko) | Trvn 인프라구조의 운용 관리 장치 및 방법 | |
Wu et al. | Performance modeling for interconnection networks | |
CN114189454B (zh) | 网络调度策略的评估方法、框架、装置及电子设备 | |
US20240069099A1 (en) | Methods, systems, and computer readable media for using a testbed transpiler | |
Dasari et al. | Application Performance Monitoring in Software Defined Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |