CN112749174B - 高并发处理方法、装置、处理设备及计算机存储介质 - Google Patents
高并发处理方法、装置、处理设备及计算机存储介质 Download PDFInfo
- Publication number
- CN112749174B CN112749174B CN201911044177.0A CN201911044177A CN112749174B CN 112749174 B CN112749174 B CN 112749174B CN 201911044177 A CN201911044177 A CN 201911044177A CN 112749174 B CN112749174 B CN 112749174B
- Authority
- CN
- China
- Prior art keywords
- key value
- storage nodes
- key
- value list
- purchase request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 abstract description 12
- 230000015556 catabolic process Effects 0.000 description 9
- 230000002147 killing effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及计算机技术领域,公开了一种高并发处理方法、装置、处理设备及计算机存储介质,该方法包括:设置由多组存储节点组成的分布式缓存集群;根据所述存储节点的数量,生成对应的键值列表,所述键值列表存储有多个键值,每一个键值与一组存储节点对应;通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求。通过上述方式,本发明实施例实现了提升高并发处理能力,确保网络系统处于高可用的状态,不容易因高并发而出现错误或者宕机等的问题的技术效果。
Description
技术领域
本发明实施例涉及计算机技术领域,具体涉及一种高并发处理方法、装置、处理设备及计算机可读存储介质。
背景技术
目前电商网络的不断发展状态,互联网线上电商之间的竞争也越来越激烈,为了吸引用户的关注,各种不同类型的营销活动也越来越丰富。其中,通过各类秒杀或者抢购等形式,以优惠价格推广产品的方式因良好的推广效果而备受推崇。但是,在上线这类型的营销活动时,会产生瞬间的高并发大流量,对整个系统造成瞬间的冲击,很容易出现系统宕机等的问题,影响了活动的正常运行。为了避免高并发带来的影响,现有一些利用Redis缓存和消息队列等方式实现高并发处理的技术方案。
在实现本发明实施例的过程中,发明人发现:现有的高并发处理方案没有考虑到redis缓存为单线程的特性,在极高并发流量的情况时,仍然可能存在性能瓶颈。而且在redis的单个键值也会存在读写冲突的问题,高并发处理性能仍有待提高。
发明内容
鉴于上述问题,本发明实施例提供了一种高并发处理方法、装置、处理设备及计算机可读存储介质,克服了上述问题。
根据本发明实施例的一个方面,提供了一种高并发处理方法,所述方法包括:
设置由多组存储节点组成的分布式缓存集群;
根据所述存储节点的数量,生成对应的键值列表,所述键值列表存储有多个键值,每一个键值与一组存储节点对应;
通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求。
在一种可选的方式中,所述存储节点下包含有预设数量的库存;所述通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求,具体包括:
在所述键值列表中,为所述购买请求随机分配一个键值;
若所述随机分配的键值对应的存储节点的库存数量为零,则在所述键值列表中删除所述对应的存储节点的库存数量为零的键值,并重新为所述购买请求分配一个新的键值;
若所述随机分配的键值对应的存储节点的库存数量不为零,则扣减一个所述与所述随机分配的键值对应的存储节点的库存,并确定所述购买请求执行成功。
在一种可选的方式中,所述方法还包括:
在起始时刻,加载所述键值列表到程序内存中;若所述键值列表中键值的数量为零,则确定所述购买请求执行失败。
在一种可选的方式中,所述方法还包括:根据总库存数量,计算每一组存储节点的库存数量;其中,总库存数量为N,存储节点的数量为M,每一组存储节点分配获得的库存数量为N/M,M和N均为正整数。
在一种可选的方式中,每一个库存通过一个库存数组表示,存储在对应的存储节点中。
在一种可选的方式中,所述根据所述存储节点的数量,生成对应的键值列表,具体包括:通过分片算法,生成包含有M个键值的键值列表。
在一种可选的方式中,所述设置由多组存储节点组成的分布式缓存集群,具体包括:
为每一组存储节点设置主节点和从节点;所述从节点为所述主节点的备份节点;
在所述主节点故障时,由其中一个从节点替代所述主节点的位置。
根据本发明实施例的另一方面,提供了一种高并发处理装置。其中,所述装置包括:
分布式缓存集群设置模块,用于设置由多组存储节点组成的分布式缓存集群,每组存储节点下包含有预设数量的库存;
键值列表管理模块,用于根据所述存储节点的数量,生成对应的键值列表,所述键值列表存储有多个键值;
多线程处理模块,用于通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求。
根据本发明实施例的另一方面,提供了一种高并发处理设备。其中,所述高并发处理设备包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述高并发处理方法。
根据本发明实施例的又一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使所述处理器执行上述高并发处理方法。
本发明实施例通过分布式缓存集群以及多个键值读写的方式,能够有效的提升高并发处理能力,确保网络系统处于高可用的状态,不容易因高并发而出现错误或者宕机等的问题,可以广泛的应用于网络秒杀以及抢购等产生高并发请求的业务场景。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的高并发处理方法流程图;
图2示出了本发明实施例提供的步骤130的流程图;
图3示出了本发明实施例提供的分布式缓存集群的示意图;
图4示出了本发明实施例提供的高并发处理装置的结构示意图;
图5示出了本发明实施例提供的高并发处理设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明高并发处理方法实施例的流程图,该方法应用于线上购物系统中,满足秒杀或者抢购等活动所造成的高并发业务场景的需求。线上购物系统是指由一个或者多个服务器搭建的,用于提供线上购买和销售功能的系统平台。其通常集成有相应的数据库,用以管理商品库存和下单购买请求等。如图1所示,该方法包括以下步骤:
步骤110:设置由多组存储节点组成的分布式缓存集群。每组存储节点下包含有预设数量的库存。
其中,该分布式缓存集群是采用分布式网络结构,由多组不同的节点组成的缓存集群。
具体可以采用任何合适类型的分布式缓存集群。例如,codis分布式缓存集群。在codis分布式缓存集群中,管理有多组不同的redis存储节点,这些redis存储节点以分布式结构,分别用于存储一部分的数据信息。在本实施例中,每组存储节点下都可以根据预设的分配方式,分配存储记录相应数量的库存。
较佳的是,在设置一组redis存储节点时,可以在每一组存储节点中设置一个主节点和多个从节点。额外设置的从节点作为所述主节点的备份节点,只具有读的功能,保持与主节点的数据同步。
在所述主节点故障时,由其中一个从节点替代所述主节点,发挥主节点的读写功能,从而为每一组存储节点提供良好的保障,不会因某个主节点崩溃故障而导致整个分布式集群的崩溃。
在一些实施例中,可以采用平均分配的方式,确定每一组存储节点的库存数量。在分配时,首先确定总库存数量。然后,将总库存数量除以存储节点的组数,得到每一组存储节点的库存数量。
步骤120:根据所述存储节点的数量,生成对应的键值列表。其中,所述键值列表存储有多个键值,每一个键值与一组存储节点对应。
“键值”也可以被称为key,是一个用于标识或者发挥指引作用的索引。通过不同的键值可以将相应的操作指向分布式缓存集群中对应的存储节点。
在本实施例中,该键值列表可以被理解为所有键值的数据集合。每一个键值为键值列表中的一个元素。具体可以根据实际情况的需要设置或者生成相应数量的键值用以作为索引使用。
较佳的是,可以通过分片算法生成特定数量的键值,从而构成相应的键值列表。其中,生成的键值数量与分布式缓存集群的存储节点之间的数量相同。根据实际情况的需要,可以选择使用不同的分片算法以获得目标数量的键值,包括但不限于基于哈希函数映射等的方式。
步骤130:通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求。
“购买请求”是指接收到的,用户想要购买特定商品的数据请求。在抢购或者秒杀等营销活动时,针对参与该营销活动的商品将会在瞬间爆发非常高数量的购买请求。
“多线程的方式”是指同时对两个或以上的购买请求进行处理。由于分布式缓存集群具有多组不同的存储节点。因此,可以通过合适的分配方式,为不同的购买请求分配不同的key,从而引导不同组的存储节点来响应和处理,实现多线程处理的方式。
本发明实施例提供的高并发处理方法利用键值列表中存储的多个不同的键值以及分布式缓存集群,可以实现以多线程的方式来并行处理这些购买请求,从而有效的提升高并发的处理能力,可以突破单线程存在的性能瓶颈,避免直接对数据库操作而造成宕机或者系统崩溃的风险。
图2示出了本发明实施例步骤130的具体流程图。如图2所示,步骤130具体可以包括以下步骤:
步骤131、在所述键值列表中,为所述购买请求随机分配一个键值。
“随机分配”是指采用任何合适的方式,在键值列表中随机抽取一个键值作为购买请求的索引,指引其通过分布式缓存集群中相应的存储节点进行处理。
步骤132、判断与所述随机分配的键值对应的存储节点的库存数量是否为零。若是,执行步骤133,若否,执行步骤134。
在高并发的情况下,购买请求可以由键值引导至某组存储节点进行处理。此时需要判断该组存储节点下是否还有剩余的库存。亦即,库存数量是否为零。只有在仍有库存的情况下,才能够为购买请求分配相应的库存,实现购买。
步骤133、在所述键值列表中删除所述对应的存储节点的库存数量为零的键值,并重新为所述购买请求分配一个新的键值。
在库存数量为零时,表明在当前的这次销售活动中,该存储节点所负责的库存已经清空,已经无法继续为后续购买请求提供和分配库存。因此,可以将相应的键值删除,避免后续的购买请求继续被分配到该组存储节点中。
另外,在高并发的场景下,多个购买请求可能会在一个存储节点中排列等待进行处理。因此,当该存储节点的库存已经消耗完毕时,这些仍在存储节点中排序的购买请求可以为其重新分配一个新的键值,引导由其他组的存储节点进行处理。
步骤134、扣减一个所述与所述随机分配的键值对应的存储节点的库存,并确定所述购买请求执行成功。
在还有剩余库存的情况下,存储节点可以扣除一个库存,作为与该购买请求对应的库存,并抛出购买请求已经执行成功的相关信息。
通过上述方式可以保证筛选执行成功的购买请求的数量与总库存数量是一致的。在一些实施例中,购买请求具体对应的库存商品可以在整个秒杀或者抢购活动结束后再重新确定,形成相应的商品订单并写入到数据库中。当然,也可以采用其他合适的方式确定购买请求具体对应的商品。
图3示出了本发明的高并发处理方法设置的分布式缓存集群的一个实施例的示意图。在图3所示的分布式缓存集群中,每一个库存通过一个特定的库存数组来表示。亦即,每一组存储节点可以通过存储若干个库存数组来负责对部分库存的管理。
假设在实际应用时,抢购活动可以提供的总库存数量为N,设置的分布式缓存集群由M组存储节点组成。则每一组存储节点可以存储有N/M个库存数组。另外,通过分片算法,生成由M个键值组成的键值列表。每一个键值与一组存储节点对应,作为索引信息。
在抢购活动的起始时刻,可以将初始的键值列表加载到程序内存中,为每个接收到的购买请求随机分配一个键值。
根据购买请求分配到的键值,引导至对应的存储节点进行排序,依次扣减所述存储节点中的库存。亦即,存储节点每处理一个购买请求时,扣减一个库存数组,直至所有的库存数组均被扣减完毕。
一方面,在存储节点包含的所有库存数组扣减为零时,可以在键值列表中删除与其对应的键值,使后续的购买请求不会继续被引导到该组存储节点。另一方面,在该存储节点中仍有购买请求等待处理时,可以在键值列表中重新为这些购买请求随机选择另一个键值,引导至其他组的存储节点中继续进行处理。
可以理解的是,当所有的键值都被删除以后,表明每一组存储节点的库存数组都已经被扣减为零,总库存已经全部被抢购完毕。因此,在所述键值列表中的键值数量为零时,可以提示抢购活动已经结束,剩余没有分配到库存数组的购买请求抢购失败。
本发明实施例提供的高并发处理方法应用于总库存数量有限的抢购活动时,可以利用多个不同的键值引导购买请求到不同的缓存节点中执行,实现了多线程的处理方式,有效的提升高并发的处理能力,避免直接对数据库操作而造成宕机或者系统崩溃的风险。
图4示出了本发明高并发处理装置实施例的结构示意图。如图4所示,该高并发处理装置400包括:分布式缓存集群设置模块410、键值列表管理模块420以及多线程处理模块430。
其中,分布式缓存集群设置模块410用于设置由多组存储节点组成的分布式缓存集群,每组存储节点下包含有预设数量的库存。键值列表管理模块420用于根据所述存储节点的数量,生成对应的键值列表,所述键值列表存储有多个键值,每一个键值与一组存储节点对应。多线程处理模块430用于通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求。
本发明高并发处理装置通过搭建高可用缓存服务,生成多个键值,确保系统高可用,可以充分利用缓存集群的资源,进一步提高服务性能。另外,通过多个键值的控制,可以确保秒杀或者抢购活动不会出现多扣、少扣等情况,具有良好的应用前景。
在一种可选的方式中,多线程处理模块430具体可以用于:在所述键值列表中,为所述购买请求随机分配一个键值;判断与所述随机分配的键值对应的存储节点的库存数量是否为零;若是,在所述键值列表中删除所述对应的存储节点的库存数量为零的键值,并重新为所述购买请求分配一个新的键值;若否,扣减一个所述与所述随机分配的键值对应的存储节点的库存,并确定所述购买请求执行成功。
在一种可选的方式中,多线程处理模块430还可以用于在起始时刻,加载所述键值列表到程序内存中;判断所述键值列表中键值的数量是否为零;若是,确定所述购买请求执行失败。
在库存数量为零时,表明在当前的这次销售活动中,该存储节点所负责的库存已经清空,已经无法继续为后续购买请求提供和分配库存。因此,可以将相应的键值删除,避免后续的购买请求继续被分配到该组存储节点中。
应当说明的是,当键值列表中所有的键值都被删除以后,可以表明总库存已经被购买完毕,可以确定抢购或者秒杀活动结束。
在一种可选的方式中,分布式缓存集群设置模块410在设置每组存储节点包含的库存数量时,可以根据总库存数量,计算每一组存储节点的库存数量;其中,总库存数量为N,存储节点的数量为M,每一组存储节点分配获得的库存数量为N/M,M和N均为正整数。
在一种可选的方式中,每一个库存通过一个库存数组表示,存储在对应的存储节点中。亦即,每组存储节点中可以存储有N/M个库存数组。每一次有购买请求成功执行时,扣减一个库存数组。
在一种可选的方式中,键值列表管理模块420具体用于通过分片算法,生成包含有M个键值的键值列表。
在一种可选的方式中,分布式缓存集群设置模块410在设置多组存储节点时,具体用于:
为每一组存储节点设置主节点和从节点;所述从节点为所述主节点的备份节点;在所述主节点故障时,由其中一个从节点替代所述主节点的位置。
这样的,可以为每一组存储节点提供良好的保障,不会因某个主节点崩溃故障而导致整个分布式集群的崩溃。
本发明实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的高并发处理方法。
可执行指令具体可以用于使得处理器执行以下操作:
设置由多组存储节点组成的分布式缓存集群,每组存储节点下包含有预设数量的库存;根据所述存储节点的数量,生成对应的键值列表,所述键值列表存储有多个键值,每一个键值与一组存储节点对应;通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求。
本发明实施例的高并发处理装置利用键值列表中存储的多个不同的键值以及分布式缓存集群,可以实现以多线程的方式来并行处理这些购买请求,从而有效的提升高并发的处理能力,可以突破单线程存在的性能瓶颈,避免直接对数据库操作而造成宕机或者系统崩溃的风险。
在一种可选的方式中,所述通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求,具体包括:
在所述键值列表中,为所述购买请求随机分配一个键值;判断与所述随机分配的键值对应的存储节点的库存数量是否为零;若是,在所述键值列表中删除所述对应的存储节点的库存数量为零的键值,并重新为所述购买请求分配一个新的键值;若否,扣减一个所述与所述随机分配的键值对应的存储节点的库存,并确定所述购买请求执行成功。
在一种可选的方式中,可执行指令具体还可以用于使得处理器执行以下操作:
在起始时刻,加载所述键值列表到程序内存中;判断所述键值列表中键值的数量是否为零;若是,确定所述购买请求执行失败
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
根据总库存数量,计算每一组存储节点的库存数量;其中,总库存数量为N,存储节点的数量为M,每一组存储节点分配获得的库存数量为N/M,M和N均为正整数。
在一种可选的方式中,每一个库存通过一个库存数组表示,存储在对应的存储节点中。
在一种可选的方式中,所述根据所述存储节点的数量,生成对应的键值列表,具体包括:通过分片算法,生成包含有M个键值的键值列表。
在一种可选的方式中,设置由多组存储节点组成的分布式缓存集群,具体包括:
为每一组存储节点设置主节点和从节点;所述从节点为所述主节点的备份节点;在所述主节点故障时,由其中一个从节点替代所述主节点的位置。
通过执行该非易失性程序指令,可以搭建高可用的分布式缓存集群,进一步提高服务性能。另外,通过多个键值的控制,可以确保秒杀或者抢购活动不会出现多扣、少扣等情况,具有良好的应用前景。
图5示出了本发明高并发处理设备实施例的结构示意图,本发明具体实施例并不对高并发处理设备的具体实现做限定。
如图5所示,该高并发处理设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。通信接口504,用于与其它设备比如客户端或其它服务器等的网元通信。处理器502,用于执行程序510,具体可以执行上述用于高并发处理设备的高并发处理方法实施例中的相关步骤。
具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。高并发处理设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器402执行以下操作:
设置由多组存储节点组成的分布式缓存集群,每组存储节点下包含有预设数量的库存;根据所述存储节点的数量,生成对应的键值列表,所述键值列表存储有多个键值,每一个键值与一组存储节点对应;通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求
在一种可选的方式中,每一个库存通过一个库存数组表示,存储在对应的存储节点中。
在一种可选的方式中,所述程序510使所述处理器执行以下操作:在所述键值列表中,为所述购买请求随机分配一个键值;判断与所述随机分配的键值对应的存储节点的库存数量是否为零;若是,在所述键值列表中删除所述对应的存储节点的库存数量为零的键值,并重新为所述购买请求分配一个新的键值;
若否,扣减一个所述与所述随机分配的键值对应的存储节点的库存,并确定所述购买请求执行成功。
在一种可选的方式中,所述程序510使所述处理器执行以下操作:在起始时刻,加载所述键值列表到程序内存中;判断所述键值列表中键值的数量是否为零;若是,确定所述购买请求执行失败
在一种可选的方式中,所述程序510使所述处理器执行以下操作:根据总库存数量,计算每一组存储节点的库存数量;其中,总库存数量为N,存储节点的数量为M,每一组存储节点分配获得的库存数量为N/M,M和N均为正整数。
在一种可选的方式中,所述程序510使所述处理器执行以下操作:通过分片算法,生成包含有M个键值的键值列表。
在一种可选的方式中,所述程序510使所述处理器执行以下操作:为每一组存储节点设置主节点和从节点;所述从节点为所述主节点的备份节点;在所述主节点故障时,由其中一个从节点替代所述主节点的位置。
这样的,可以为每一组存储节点提供良好的保障,不会因某个主节点崩溃故障而导致整个分布式集群的崩溃。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
Claims (9)
1.一种高并发处理方法,其特征在于,所述方法包括:
设置由多组存储节点组成的分布式缓存集群;
根据所述存储节点的数量,生成对应的键值列表,所述键值列表存储有多个键值,每一个键值与一组存储节点对应;
通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求;所述存储节点下包含有预设数量的库存;
所述通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求,具体包括:
在所述键值列表中,为所述购买请求随机分配一个键值;随机分配指采用任何合适的方式,在键值列表中随机抽取一个键值作为购买请求的索引,指引其通过分布式缓存集群中相应的存储节点进行处理;
若所述随机分配的键值对应的存储节点的库存数量为零,则在所述键值列表中删除所述对应的存储节点的库存数量为零的键值,并重新为所述购买请求分配一个新的键值;当确定所述存储节点的库存已经消耗完毕时,为在所述存储节点中排序的购买请求重新分配一个新的键值,引导由其他组的存储节点进行处理;
若所述随机分配的键值对应的存储节点的库存数量不为零,则扣减一个与所述随机分配的键值对应的存储节点的库存,并确定所述购买请求执行成功。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在起始时刻,加载所述键值列表到程序内存中;
若所述键值列表中键值的数量为零,则确定所述购买请求执行失败。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据总库存数量,计算每一组存储节点的库存数量;其中,总库存数量为N,存储节点的数量为M,每一组存储节点分配获得的库存数量为N/M,M和N均为正整数。
4.根据权利要求1-3任一项所述的方法,其特征在于,每一个库存通过一个库存数组表示,存储在对应的存储节点中。
5.根据权利要求3所述的方法,其特征在于,根据所述存储节点的数量,生成对应的键值列表,具体包括:
通过分片算法,生成包含有M个键值的键值列表。
6.根据权利要求1所述的方法,其特征在于,设置由多组存储节点组成的分布式缓存集群,具体包括:
为每一组存储节点设置主节点和从节点;所述从节点为所述主节点的备份节点;
在所述主节点故障时,由其中一个从节点替代所述主节点的位置。
7.一种高并发处理装置,其特征在于,所述装置包括:
分布式缓存集群设置模块,用于设置由多组存储节点组成的分布式缓存集群;
键值列表管理模块,用于根据所述存储节点的数量,生成对应的键值列表,所述键值列表存储有多个键值,每一个键值与一组存储节点对应;
多线程处理模块,用于通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求;所述存储节点下包含有预设数量的库存;
所述通过所述键值列表中存储的多个键值,以多线程的方式处理高并发的购买请求,具体包括:
在所述键值列表中,为所述购买请求随机分配一个键值;随机分配指采用任何合适的方式,在键值列表中随机抽取一个键值作为购买请求的索引,指引其通过分布式缓存集群中相应的存储节点进行处理;
若所述随机分配的键值对应的存储节点的库存数量为零,则在所述键值列表中删除所述对应的存储节点的库存数量为零的键值,并重新为所述购买请求分配一个新的键值;以及,当确定所述存储节点的库存已经消耗完毕时,为在所述存储节点中排序的购买请求重新分配一个新的键值,引导由其他组的存储节点进行处理;
若所述随机分配的键值对应的存储节点的库存数量不为零,则扣减一个与所述随机分配的键值对应的存储节点的库存,并确定所述购买请求执行成功。
8.一种高并发处理设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-6任意一项所述的高并发处理方法。
9.一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-6任意一项所述的高并发处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911044177.0A CN112749174B (zh) | 2019-10-30 | 2019-10-30 | 高并发处理方法、装置、处理设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911044177.0A CN112749174B (zh) | 2019-10-30 | 2019-10-30 | 高并发处理方法、装置、处理设备及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112749174A CN112749174A (zh) | 2021-05-04 |
CN112749174B true CN112749174B (zh) | 2024-05-10 |
Family
ID=75640471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911044177.0A Active CN112749174B (zh) | 2019-10-30 | 2019-10-30 | 高并发处理方法、装置、处理设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112749174B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105468690A (zh) * | 2015-11-17 | 2016-04-06 | 中国建设银行股份有限公司 | 一种库存数据处理方法和装置 |
WO2016110263A1 (zh) * | 2015-01-08 | 2016-07-14 | 北京京东尚科信息技术有限公司 | 高并发数据存储方法及装置 |
CN108471385A (zh) * | 2017-02-23 | 2018-08-31 | 苏宁云商集团股份有限公司 | 一种针对分布式系统的流量控制方法及装置 |
CN108512768A (zh) * | 2017-02-23 | 2018-09-07 | 苏宁云商集团股份有限公司 | 一种访问量的控制方法及装置 |
CN109800236A (zh) * | 2019-01-28 | 2019-05-24 | 上海雷腾软件股份有限公司 | 支持多节点的分布式缓存方法及设备 |
CN109949135A (zh) * | 2019-03-20 | 2019-06-28 | 江苏满运软件科技有限公司 | 高并发交易请求处理方法、系统、设备及存储介质 |
WO2019184739A1 (zh) * | 2018-03-29 | 2019-10-03 | 阿里巴巴集团控股有限公司 | 一种数据查询方法、装置及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9928264B2 (en) * | 2014-10-19 | 2018-03-27 | Microsoft Technology Licensing, Llc | High performance transactions in database management systems |
-
2019
- 2019-10-30 CN CN201911044177.0A patent/CN112749174B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016110263A1 (zh) * | 2015-01-08 | 2016-07-14 | 北京京东尚科信息技术有限公司 | 高并发数据存储方法及装置 |
CN105468690A (zh) * | 2015-11-17 | 2016-04-06 | 中国建设银行股份有限公司 | 一种库存数据处理方法和装置 |
CN108471385A (zh) * | 2017-02-23 | 2018-08-31 | 苏宁云商集团股份有限公司 | 一种针对分布式系统的流量控制方法及装置 |
CN108512768A (zh) * | 2017-02-23 | 2018-09-07 | 苏宁云商集团股份有限公司 | 一种访问量的控制方法及装置 |
WO2019184739A1 (zh) * | 2018-03-29 | 2019-10-03 | 阿里巴巴集团控股有限公司 | 一种数据查询方法、装置及设备 |
CN109800236A (zh) * | 2019-01-28 | 2019-05-24 | 上海雷腾软件股份有限公司 | 支持多节点的分布式缓存方法及设备 |
CN109949135A (zh) * | 2019-03-20 | 2019-06-28 | 江苏满运软件科技有限公司 | 高并发交易请求处理方法、系统、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
"基于分布式集群技术的SSM购物商城系统设计";童二宝 等;《软件》;20190815;第40卷(第8期);第123-126页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112749174A (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684065B (zh) | 一种资源调度方法、装置及系统 | |
CN100487659C (zh) | 用于优化分段资源分配的方法和设备 | |
Almeida et al. | ChainReaction: a causal+ consistent datastore based on chain replication | |
US8595732B2 (en) | Reducing the response time of flexible highly data parallel task by assigning task sets using dynamic combined longest processing time scheme | |
JP6254949B2 (ja) | 仮想マシンプールにおけるリソースの価格設定 | |
US9092266B2 (en) | Scalable scheduling for distributed data processing | |
US10067793B2 (en) | Data processing method and apparatus for executing task code using reservation instruction and release instruction | |
US10523743B2 (en) | Dynamic load-based merging | |
CN108334396A (zh) | 一种数据处理方法和装置、资源组的创建方法和装置 | |
CN109191233A (zh) | 一种秒杀下单请求处理方法、装置和存储介质 | |
US10846245B2 (en) | Minimizing usage of hardware counters in triggered operations for collective communication | |
US20070226342A1 (en) | Transaction request processing system and method | |
US10942772B2 (en) | Dispatching jobs for execution in parallel by multiple processors | |
US20160306665A1 (en) | Managing resources based on an application's historic information | |
CN106227469A (zh) | 用于分布式存储集群的数据删除方法及系统 | |
US20200285510A1 (en) | High precision load distribution among processors | |
CN110333951A (zh) | 一种商品抢购请求分配方法 | |
CN109426550A (zh) | 资源的调度方法及设备 | |
CN114677222A (zh) | 区块链的并行交易处理方法、系统和计算机存储介质 | |
US20220050827A1 (en) | Block verification method, apparatus and device | |
CN112749174B (zh) | 高并发处理方法、装置、处理设备及计算机存储介质 | |
Yu et al. | Stateful large language model serving with pensieve | |
US11531642B2 (en) | Synchronous object placement for information lifecycle management | |
CN116360994A (zh) | 分布式异构资源池的调度方法、装置、服务器及存储介质 | |
CN113986846A (zh) | 数据处理方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |