CN103268321B - 高并发交易数据处理方法和装置 - Google Patents

高并发交易数据处理方法和装置 Download PDF

Info

Publication number
CN103268321B
CN103268321B CN201310137250.5A CN201310137250A CN103268321B CN 103268321 B CN103268321 B CN 103268321B CN 201310137250 A CN201310137250 A CN 201310137250A CN 103268321 B CN103268321 B CN 103268321B
Authority
CN
China
Prior art keywords
correlation degree
high concurrent
concurrent transaction
user data
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310137250.5A
Other languages
English (en)
Other versions
CN103268321A (zh
Inventor
周振
于潇
陈林
王伟
赵金鑫
庞以新
胡立强
许剑峰
杨愚非
戴醴郴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN201310137250.5A priority Critical patent/CN103268321B/zh
Publication of CN103268321A publication Critical patent/CN103268321A/zh
Application granted granted Critical
Publication of CN103268321B publication Critical patent/CN103268321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种高并发交易数据处理方法,包括:在高并发交易开始前,将与所述高并发交易关联的数据根据关联程度分别存入不同存储区域,所述存储区域包括一级缓存、二级缓存、内存桶、数据库,具体而言,包括将具有第二关联程度的用户数据预先存入二级缓存,在应用逻辑层,通过各应用服务器的内存桶中存储的具有第三关联程度的分布式限流计数器控制进入高并发交易的用户数据的数目,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。本发明还提供了相应的装置。实施本发明提供的方法和装置,可以有效地解决高并发情形下的网络流量耗尽等问题。

Description

高并发交易数据处理方法和装置
技术领域
本发明涉及数据处理领域,具体而言,涉及一种高并发交易数据处理方法和装置。
背景技术
在通过网络进行商品秒杀的高并发交易数据处理过程中,为了确保并发交易处理中数据的一致性和完整性,不发生数据处理过失(例如,在商品秒杀过程中,多卖了商品或少买了商品等),通常的解决方案是在用户登陆、搜索、秒杀、订单、支付等流程中全流程与数据库实时交互。这样的全流程、实时数据库交互的数据处理模式,导致数据处理对数据库的依赖性较强,增加了整体数据处理的性能瓶颈风险。但是,这样的高并发交易也不能完全采用诸如队列等待之类的慢存储模式进行数据库交互,这样的慢存储交互模式不能满足高并发交易数据对实时性的应用需求。在高并发交易发生时,会出现网络流量耗尽、服务器平均响应时间延长、甚至服务器停止响应和数据库瘫痪的风险。
现有的解决上述高并发交易风险的方法,一般采用超文本标记语言(HypertextMarkupLanguage,HTML)静态化、图片服务器分离、集群和负载均衡等技术。这些技术大多是从提高整个WEB系统性能的角度出发,当用户数量较多或使用秒杀器时高并发带来的网络流量耗尽、服务器平均响应时间延长、数据库瘫痪的问题并不能得到有效的解决。
发明内容
本发明提供了一种高并发的数据处理方法和装置,通过将与高并发交易关联的数据根据关联程度分别存入不同存储区域,在所述不同存储区域按照关联程度与数据库进行不同频率的交互,在高并发情形下降低了对数据库的瞬间访问强度,并且通过应用逻辑层的分布式限流计数器控制进行访问的用户数据个数,降低了高并发情形下网络流量的使用,从预处理层面和应用逻辑层来多层次的控制并发流量。
根据本发明实施方式的第一方面,提供了一种并发交易数据处理方法,包括:
在高并发交易开始前,将与所述高并发交易关联的数据根据关联程度分别存入不同存储区域,所述存储区域包括一级缓存、二级缓存、内存桶、数据库,具体而言,包括将具有第二关联程度的用户数据预先存入二级缓存;
在应用逻辑层,通过各应用服务器的内存桶中存储的具有第三关联程度的分布式限流计数器控制进入高并发交易的用户数据的数目,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。
根据本发明实施方式的第二方面,提供了一种高并发交易数据处理装置,包括:
预处理单元,用于在高并发交易开始前,将与所述高并发交易关联的数据根据关联程度分别存入不同存储区域,所述存储区域包括一级缓存、二级缓存、内存桶、数据库,具体而言,包括将具有第二关联程度的用户数据预先存入二级缓存;
限流单元,用于在应用逻辑层,通过各应用服务器的内存桶中存储的具有第三关联程度的分布式限流计数器控制进入高并发交易的用户数据的数目,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。
实施本发明实施方式提供的高并发交易数据处理方法和装置,在高并发交易的情形下可以从多个层次上控制流量,有效地解决高并发带来的网络流量耗竭、数据库连接过多而导致的系统交易数据处理效率低下甚至瘫痪的风险。
附图说明
图1图示了根据本发明实施方式的高并发交易数据处理方法。
图2图示了根据本发明实施方式的高并发交易数据处理装置。
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
参见图1,图示了根据本发明实施方式的高并发交易数据处理方法,该处理方法具体可包括如下步骤:
S101,在高并发交易开始前,将与所述高并发交易关联的数据根据关联程度分别存入不同存储区域,所述存储区域包括一级缓存、二级缓存、内存桶、数据库,具体而言,包括将具有第二关联程度的用户数据预先存入二级缓存;
S102,在应用逻辑层,通过各应用服务器的内存桶中存储的具有第三关联程度的分布式限流计数器控制进入高并发交易的用户数据的数目,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。
本发明实施方式中,在高并发交易(例如,秒杀交易)开始前,将与高并发交易关联的数据根据与高并发交易的关联程度进行划分,具体而言,与高并发交易关联的数据可包括:高并发交易页面图片信息、商品价格信息、用户数据、用户限流计数器、商品交易库存等。与高并发交易关联的程度可分为四个等级的关联程度,具体为第一关联程度、第二关联程度、第三关联程度和第四关联程度,其中第四关联程度具有比第一关联程度、第二关联程度和第三关联程度高的关联程度。本实施方式中对关联程度的划分可以参考在高并发交易中对实时性的要求、需要实时访问数据库的要求进行划分。本领域技术人员可根据应用需要将关联程度划分为三个等级、五个等级等其他的等级,不同的关联程度等级可存入不同的存储区域。
本发明实施方式中将与高并发交易关联的数据根据关联程度存入不同存储区域,所述存储区域可以包括一级缓存、二级缓存、内存桶和数据库,其中不同存储区域具有不同数据访问速度。可以根据与高并发交易的关联程度存入不同存储区域,利用对不同存储区域的数据访问效率不同,通过对不同关联程度的数据采用不同的存储区域来处理,从而在不影响高并发交易外部应用要求的前提下改善高并发交易情形下的数据处理效率。例如,对于待出售商品的页面图片信息、商品价格信息等相对而言不会很短时间(例如,1秒或2秒时间内)内发生快速变化、实时性要求较低的交易数据,可设置具有第一关联程度,存储在内容分发网络(ContentDeliveryNetwork,CDN)和memcache一级缓存,并将网络访问层静态化,做到与数据库零交互,以便在高并发交易的情形下降低对数据库的瞬时访问频率,提高交易数据的处理效率。又例如,对于用户数据而言,对数据的实时性要求比页面图片信息、商品价格信息的实时性稍高,可设置为具有第二关联程度,其也可以做到与数据库无交互,从而在高并发的情形下降低对数据库的访问频率,提高交易数据的处理效率。其中,用户数据可以进入秒杀交易的用户名单的各用户的手机号码,通过预处理,在秒杀交易开始前,从数据库服务器的库表中读取可以进行秒杀交易的用户名单中各用户的手机号码(用户名单中各用户的手机号码可以事先导入数据库中),并将读取的手机号码进行数据压缩后放置在二级缓存中。其中,用户名单可以通过用户的手机号码唯一标识,并且可以对用户的手机号码数据进行压缩,例如通过哈希表方法进行压缩。手机号码是11位的整数,可以根据手机号码的前3位散列到对应的位图,采用对手机号前3位进行模100运算找到对应的位图,例如:手机号前3位是159,散列后对应标号为59的位图,以位图的形式在缓存中进行存储,用计算机的一个位表示对应的手机号码的后8位。采用这种压缩方式,对于800多万用户的用户名单,大概只需要1M的内存,可以减少近30%的数据库访问次数。将压缩后的用户手机号码数据存入不同的内存桶区域,无需访问数据库,并且访问内存的速度远高于访问数据库的数据,达到压缩存储和快速检索的效果,有效提高了高并发交易情形下的数据处理效率、缓解了数据库连接较多的问题。
其中,存入二级缓存的具有第二关联程度的用户手机号码的个数是可以适应性变化的,例如,对于不同的秒杀商品,其对应的可参与秒杀的用户群体可以是不一样的,对于秒杀商品aa,其对应的可参与秒杀的用户群体为金牌用户,对于秒杀商品bb,其对应的可参与秒杀的用户群体为铜牌用户,其中金牌用户与铜牌用户可认为是不同用户群体。可以读取用户手机号码的个数作为参与秒杀的用户数的上限,只允许最多这些个数的用户访问秒杀商品的详情。
在本发明的实施方式中,可以从外到内划分为网络层负载均衡层(即F5负载均衡层)、WEB访问层、应用软负载均衡层、应用逻辑层和数据层。可以采用漏斗原理层层过滤访问流量,在网络层负载均衡层设置阈值(例如,用户访问数的上限),根据流量情况(例如,用户访问数据)对访问用户进行流量控制;在WEB访问层,针对用户可能多次请求资源的特点,设置保留用户长连接,并拒绝短时间内对同一资源的多次连接,过滤非法访问;在应用软负载均衡层,采用随机分配流量的形式来分配流量,这是基于应用采用的是无状态访问请求机制,即用户对服务端的请求无论分发到哪个应用服务器上,都不会造成交易状态丢失,提高了高并发交易处理请求处理性能。
在应用逻辑层,采用分布式限流计数器进行单独计数,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。分布式限流计数器可以分散到每一个应用服务器的内存桶中,单独进行计算。本发明实施方式中分布式限流计数器的流量峰值可以设置为:(N/(q-1))*k,其中N为高并发交易的库存,q为应用服务器的数量,k为比例系数,可以是整数或小数,/为取模运算,N/(q-1)被分配剩余的一台应用服务器上,将库存N通过q-1取模,是将库存平均分配到q台应用服务器中的q-1台应用服务器,将库存N通过q-1取模的余数,分配到最后一台应用服务器。如果当前用户访问数量超过限流计数器的流量峰值,在直接在应用逻辑层拒绝峰值之后的用户数据访问,从而控制进入高并发交易的用户数据的数据,也就是说,这些被拒绝的流量数据不会访问数据库,在应用逻辑层上将流量控制在一个可控的线性k倍值上。在应用逻辑层上采用分布式限流计数器,使得只允许有限的用户访问请求与数据库交互,在限流的流量峰值之外其他流量被阻隔在应用逻辑层,有效地缓解了数据库连接过多、流量耗尽的问题。
此外,本发明的实施方式还可以通过交易验证码分配集中访问数据库的时间。具体而言,利用用户输入交易验证码的时间来避免高并发交易情形下对数据库的瞬时集中访问。交易验证码可以是需要用户输入的校验码,包括汉字和数字两种形式。可以采用平均分布的模型随机生成复杂度不同的交易验证码,在各用户对相同复杂度的验证码具有同等辨识和输入速度的情形下,那么不同复杂度的验证码可以起到将集中访问数据库的时间进行分配的作用。交易验证码的验证流程,例如,可以设置在高并发交易待访问数据库操作之前的流程。
参见图2,图示了根据本发明实施方式的高并发交易数据处理装置,该高并发交易数据处理装置200具体可以包括:
预处理单元201,用于在高并发交易开始前,将与所述高并发交易关联的数据根据关联程度分别存入不同存储区域,所述存储区域包括一级缓存、二级缓存、内存桶、数据库,具体而言,包括将具有第二关联程度的用户数据预先存入二级缓存;
限流单元202,用于在应用逻辑层,通过各应用服务器的内存桶中存储的具有第三关联程度的分布式限流计数器控制进入高并发交易的用户数据的数目,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。
本发明实施方式中,在高并发交易(例如,秒杀交易)开始前,预处理单元201将高并发交易关联的数据根据与高并发交易的关联程度进行划分,具体而言,与高并发交易关联的数据可包括:高并发交易页面图片信息、商品价格信息、用户数据、用户限流计数器、商品交易库存等。与高并发交易关联的程度可分为四个等级的关联程度,具体为第一关联程度、第二关联程度、第三关联程度和第四关联程度,其中第四关联程度具有比第一关联程度、第二关联程度和第三关联程度高的关联程度。本实施方式中对关联程度的划分可以参考在高并发交易中对实时性的要求、需要实时访问数据库的要求进行划分。本领域技术人员可根据应用需要将关联程度划分为三个等级、五个等级等其他的等级,不同的等级可存入不同的存储区域。
本发明实施方式中,通过预处理单元将与高并发交易关联的数据根据关联程度存入不同存储区域,所述存储区域可以包括一级缓存、二级缓存、内存桶和数据库,其中不同存储区域具有不同数据访问速度。可以根据与高并发交易的关联程度存入不同存储区域,利用对不同存储区域的数据访问效率不同,通过对不同关联程度的数据采用不同的存储区域来处理,从而在不影响高并发交易外部应用要求的前提下改善高并发交易情形下的数据处理效率。例如,对于待出售商品的页面图片信息、商品价格信息等相对而言不会很短时间内发生快速变化、实时性要求较低的交易数据,可设置具有第一关联程度,存储在内容分发网络(ContentDeliveryNetwork,CDN)和memcache一级缓存,并将网络访问层静态化,做到与数据库零交互,以便在高并发交易的情形下降低对数据库的瞬时访问频率,提高交易数据的处理效率。又例如,对于用户数据而言,对数据的实时性要求比页面图片信息、商品价格信息的实时性要求稍高,可设置为具有第二关联程度,其也可以做到与数据库无交互,从而在高并发的情形下降低对数据库的访问频率,提高交易数据的处理效率。其中,用户数据可以进入秒杀交易的用户名单的各用户的手机号码,通过预处理单元,在秒杀交易开始前,从数据库服务器的库表中读取可以进行秒杀交易的用户名单中各用户的手机号码(用户名单中各用户的手机号码可以事先导入数据库中),并将读取的手机号码进行数据压缩后放置在二级缓存中。其中,用户名单可以通过用户的手机号码唯一标识,并且可以对用户的手机号码数据进行压缩,例如通过哈希表方法进行压缩。手机号码是11位的整数,可以根据手机号码的前3位散列到对应的位图,采用对手机号前3位进行模100运算找到对应的位图,例如:手机号前3位是159,散列后对应标号为59的位图,以位图的形式在缓存中进行存储,用计算机的一个位表示对应的手机号码的后8位。采用这种压缩方式,对于800多万用户的用户名单,大概只需要1M的内存,可以减少近30%的数据库访问次数。将压缩后的用户手机号码数据存入不同的内存桶区域,无需访问数据库,并且访问内存的速度远高于访问数据库的数据,达到压缩存储和快速检索的效果,有效提高了高并发交易情形下的数据处理效率、缓解了数据库连接较多的问题。
预处理单元将具有第二关联程度的用户手机号码存入二级缓存,其中存入二级缓存的用户手机号码的个数是可以适应性变化的,例如,对于不同的秒杀商品,其对应的可参与秒杀的用户群体可以是不一样的,对于秒杀商品aa,其对应的可参与秒杀的用户群体为金牌用户,对于秒杀商品bb,其对应的可参与秒杀的用户群体为铜牌用户,其中金牌用户与铜牌用户可认为是不同用户群体。可以读取用户手机号码的个数作为参与秒杀的用户数的上限,只允许最多这些个数的用户访问秒杀商品的详情。
在本发明的实施方式中,可以从外到内划分为网络层负载均衡层(即F5负载均衡层)、WEB访问层、应用软负载均衡层、应用逻辑层和数据层。可以采用漏斗原理层层过滤访问流量,在网络层负载均衡层设置阈值(例如,用户访问数的上限),根据流量情况(例如,用户访问数据)对访问用户进行流量控制;在WEB访问层,针对用户可能多次请求资源的特点,设置保留用户长连接,并拒绝短时间内对同一资源的多次连接,过滤非法访问;在应用软负载均衡层,采用随机分配流量的形式来分配流量,这是基于应用采用的是无状态访问请求机制,即用户对服务端的请求无论分发到哪个应用服务器上,都不会造成交易状态丢失,提高了高并发交易处理请求处理性能。
限流单元,在应用逻辑层,采用分布式限流计数器进行单独计数,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。分布式限流计数器可以分散到每一个应用服务器的内存桶中,单独进行计算。本发明实施方式中分布式限流计数器的流量峰值可以设置为:(N/(q-1))*k,其中N为高并发交易的库存,q为应用服务器的数量,k为比例系数,可以是整数或小数,/为取模运算,N/(q-1)被分配剩余的一台应用服务器上,将库存N通过q-1取模,是将库存平均分配到q台应用服务器中的q-1台应用服务器,将库存N通过q-1取模的余数,分配到最后一台应用服务器。如果当前用户访问数量超过限流计数器的流量峰值,在直接在应用逻辑层拒绝峰值之后的用户数据访问,从而控制进入高并发交易的用户数据的数据,也就是说,这些被拒绝的流量数据不会访问数据库,在应用逻辑层上将流量控制在一个可控的线性k倍值上。在应用逻辑层上采用分布式限流计数器,使得只允许有限的用户访问请求与数据库交互,在限流的流量峰值之外其他流量被阻隔在应用逻辑层,有效地缓解了数据库连接过多、流量耗尽的问题。
本发明实施方式中,还可包括验证单元,验证单元可以通过交易验证码校验来分配集中访问数据库的时间。具体而言,利用用户输入交易验证码的时间来避免高并发交易情形下对数据库的瞬时集中访问。其中,交易验证码可以是需要用户输入的校验码,包括汉字和数字两种形式。可以采用平均分布的模型随机生成复杂度不同的交易验证码,在各用户对相同复杂度的验证码具有同等辨识和输入速度的情形下,那么不同复杂度的验证码可以起到将集中访问数据库的时间进行分配的作用。验证单元可以在高并发交易待访问数据库之前的流程进行验证。
综上所述,实施本发明提供的高并发交易数据处理方法和装置,可以通过将与高并发交易关联的数据根据关联程度分别存入不同存储区域,在不同的存储区域可以与数据库进行不同频率的交互,以从数据预处理层面避免高并发情形下对数据库的瞬时访问强度;并且通过应用逻辑层的分布式限流计数器控制在各应用服务器上进行访问的用户数据个数,降低了高并发情形下网络流量的使用,从而在预处理层面和应用逻辑层面实现了多层级的并发流量控制,有效地解决了高并发交易带来的网络流量耗竭、数据库连接过多、系统交易处理效率低下甚至瘫痪的风险。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现,当然也可以全部通过硬件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所揭露的仅为本发明的一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (14)

1.一种高并发交易数据处理方法,其特征在于,包括:
在高并发交易开始前,将与所述高并发交易关联的数据根据关联程度分别存入不同存储区域,所述存储区域包括一级缓存、二级缓存、内存桶、数据库,具体而言,包括将具有第二关联程度的用户数据预先存入二级缓存;
在应用逻辑层,通过各应用服务器的内存桶中存储的具有第三关联程度的分布式限流计数器控制进入高并发交易的用户数据的数目,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。
2.根据权利要求1所述的方法,其特征在于,与所述高并发交易关联的数据包括:具有第一关联程度的高并发交易页面图片信息、商品价格信息,具有第二关联程度的用户数据,具有第三关联程度的用户限流计数器,具有第四关联程度的交易商品库存,其中所述第四关联程度具有比第一、第二、第三关联程度高的关联程度。
3.根据权利要求2所述的方法,其特征在于,所述用户数据包括用户手机号码。
4.根据权利要求2所述的方法,其特征在于,所述具有第一关联程度的高并发交易页面图片信息和商品价格信息存入一级缓存,在高并发交易处理中与数据库无交互;具有第二关联程度的用户数据存入二级缓存,在高并发交易处理中与数据库无交互;具有第三关联程度的用户限流计数器存入各应用服务器的内存,以分布式分散在各应用服务器中,在各应用服务器中独立地计算流量峰值,与数据库低频率交互;具有第四关联程度的交易商品库存在高并发交易过程中与数据库实时交互。
5.根据权利要求4所述的方法,其特征在于,所述分布式限流计数器的流量峰值设置为:(N/(q-1))*k,其中N为高并发交易的库存,q为应用服务器的数量,k为比例系数,/为取模运算,当所述分布式限流计数器的数值达到所述峰值时,在应用逻辑层拒绝峰值之后的用户数据访问以控制进入高并发交易的用户数据的数目。
6.根据权利要求2所述的方法,其特征在于,所述用户数据在哈希表压缩之后存入二级缓存,其中,
所述用户数据的个数可变,
所述用户数据为用户手机号码,以及
所述哈希表压缩包括:根据所述用户手机号码的前3位散列到对应的位图,以便以位图的形式在缓存中进行存储。
7.根据权利要求5所述的方法,其特征在于,还包括:
通过交易验证码校验以分配集中访问数据库的时间。
8.一种高并发交易数据处理装置,其特征在于,包括:
预处理单元,用于在高并发交易开始前,将与所述高并发交易关联的数据根据关联程度分别存入不同存储区域,所述存储区域包括一级缓存、二级缓存、内存桶、数据库,具体而言,包括将具有第二关联程度的用户数据预先存入二级缓存;
限流单元,用于在应用逻辑层,通过各应用服务器的内存桶中存储的具有第三关联程度的分布式限流计数器控制进入高并发交易的用户数据的数目,其中所述分布式限流计数器用于限制具有第二关联程度的用户数据的个数。
9.根据权利要求8所述的装置,其特征在于,与所述高并发交易关联的数据包括:具有第一关联程度的高并发交易页面图片信息、商品价格信息,具有第二关联程度的用户数据,具有第三关联程度的用户限流计数器,具有第四关联程度的交易商品库存,其中所述第四关联程度具有比第一、第二、第三关联程度高的关联程度。
10.根据权利要求9所述的装置,其特征在于,所述用户数据包括用户手机号码。
11.根据权利要求9所述的装置,其特征在于,所述具有第一关联程度的高并发交易页面图片信息和商品价格信息存入一级缓存,在高并发交易处理中与数据库无交互;具有第二关联程度的用户数据存入二级缓存,在高并发交易处理中与数据库无交互;具有第三关联程度的用户限流计数器存入各应用服务器的内存,以分布式分散在各应用服务器中,在各应用服务器中独立地计算流量峰值,与数据库低频率交互;具有第四关联程度的交易商品库存在高并发交易过程中与数据库实时交互。
12.根据权利要求11所述的装置,其特征在于,所述分布式限流计数器的流量峰值设置为:(N/(q-1))*k,其中N为高并发交易的库存,q为应用服务器的数量,k为比例系数,/为取模运算,当所述分布式限流计数器的数值达到所述峰值时,在应用逻辑层拒绝峰值之后的用户数据访问以控制进入高并发交易的用户数据的数目。
13.根据权利要求9所述的装置,其特征在于,所述预处理单元,还用于将所述用户数据在哈希表压缩之后存入二级缓存,其中,所述用户数据的个数可变,所述用户数据为用户手机号码,以及所述哈希表压缩包括:根据所述用户手机号码的前3位散列到对应的位图,以便以位图的形式在缓存中进行存储。
14.根据权利要求12所述的装置,其特征在于,还包括:
验证单元,通过交易验证码校验以分配集中访问数据库的时间。
CN201310137250.5A 2013-04-19 2013-04-19 高并发交易数据处理方法和装置 Active CN103268321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310137250.5A CN103268321B (zh) 2013-04-19 2013-04-19 高并发交易数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310137250.5A CN103268321B (zh) 2013-04-19 2013-04-19 高并发交易数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN103268321A CN103268321A (zh) 2013-08-28
CN103268321B true CN103268321B (zh) 2016-04-27

Family

ID=49011950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310137250.5A Active CN103268321B (zh) 2013-04-19 2013-04-19 高并发交易数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN103268321B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636395A (zh) * 2013-11-15 2015-05-20 北京信威通信技术股份有限公司 一种计数处理方法及装置
CN103825835A (zh) * 2013-11-29 2014-05-28 中邮科通信技术股份有限公司 一种互联网高并发秒杀系统
CN104243582A (zh) * 2014-09-15 2014-12-24 厦门福旺达信息科技股份有限公司 一种网购平台并发访问优化装置和方法
CN104408056B (zh) * 2014-10-29 2020-09-15 中国建设银行股份有限公司 一种数据处理方法和装置
CN105868017B (zh) * 2015-01-21 2019-04-05 方正宽带网络服务有限公司 一种资源缓存方法及装置
CN105139245A (zh) * 2015-08-28 2015-12-09 江苏讯狐信息科技有限公司 一种互联网电子商务系统
CN105468690B (zh) * 2015-11-17 2018-11-30 中国建设银行股份有限公司 一种库存数据处理方法和装置
CN106997546A (zh) * 2016-01-26 2017-08-01 中国移动通信集团安徽有限公司 一种订单处理方法及装置
CN105786973A (zh) * 2016-02-02 2016-07-20 重庆秒盈电子商务有限公司 基于大数据技术的数据并发处理方法及系统
CN106204232A (zh) * 2016-07-18 2016-12-07 苏州华车网络科技有限公司 一种处理高并发交互数据请求的系统和方法
WO2018032399A1 (en) * 2016-08-17 2018-02-22 Zte Corporation Server and method having high concurrency capability
CN106372178A (zh) * 2016-08-30 2017-02-01 中国民生银行股份有限公司 交易文件处理方法、装置及服务器
CN106446067B (zh) * 2016-09-06 2020-02-18 联动优势科技有限公司 一种获取交易数据的方法和装置
CN106411777A (zh) * 2016-09-27 2017-02-15 福建中金在线信息科技有限公司 一种处理高并发数据的方法和系统
CN108243220B (zh) * 2016-12-26 2021-04-16 航天信息股份有限公司 一种基于税控服务器的支持多类型发票终端的发票开具方法及系统
CN109150929B (zh) * 2017-06-15 2021-11-12 北京京东尚科信息技术有限公司 高并发场景下的数据请求处理方法和装置
CN107241279A (zh) * 2017-06-22 2017-10-10 北京天德科技有限公司 一种基于多级缓冲队列的区块链交易限流方法
CN107609976A (zh) * 2017-09-25 2018-01-19 中国银行股份有限公司 一种交易接口的限流方法及装置
CN107809480A (zh) * 2017-10-25 2018-03-16 上海瀚银信息技术有限公司 一种交易整流系统
CN107862082B (zh) * 2017-11-29 2021-06-25 努比亚技术有限公司 基于MySQL计数器表的高并发计数方法及web服务器
CN108512938B (zh) * 2018-04-17 2021-03-30 创新先进技术有限公司 一种数据请求的处理方法、装置及电子设备
KR20210003234A (ko) * 2018-04-27 2021-01-11 엔체인 홀딩스 리미티드 분할된 블록체인 네트워크에서 블록체인의 블록을 유지하는 것
CN109345353B (zh) * 2018-10-15 2022-04-22 广东鸭梨云信息科技有限公司 一种基于关系型分布式数据库的新型秒杀方法
CN110049084B (zh) * 2018-12-10 2021-08-24 创新先进技术有限公司 分布式系统的限流方法、装置及设备
CN110363482A (zh) * 2019-07-16 2019-10-22 腾讯科技(上海)有限公司 计数方法、装置、服务器以及存储介质
CN110955681B (zh) * 2019-10-14 2021-09-03 京东数字科技控股有限公司 一种信息处理方法、装置、电子设备及存储介质
CN111782391A (zh) * 2020-06-29 2020-10-16 北京达佳互联信息技术有限公司 资源分配方法、装置、电子设备和存储介质
CN112003920B (zh) * 2020-08-18 2021-05-25 天津四立科技有限责任公司 一种信息共享系统
CN113986961B (zh) * 2021-10-29 2022-05-20 北京泰策科技有限公司 一种分布式高并发的消息匹配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226624A (zh) * 2008-02-15 2008-07-23 上海申通轨道交通研究咨询有限公司 轨道交通票务数据分级分类处理系统及其方法
CN103049482A (zh) * 2012-11-30 2013-04-17 中国电力科学研究院 一种分布式异构系统中数据融合存储的实现方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060242104A1 (en) * 2005-04-21 2006-10-26 Microsoft Corporation Systems and methods for manipulating data in a data storage system
US7353319B2 (en) * 2005-06-02 2008-04-01 Qualcomm Incorporated Method and apparatus for segregating shared and non-shared data in cache memory banks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226624A (zh) * 2008-02-15 2008-07-23 上海申通轨道交通研究咨询有限公司 轨道交通票务数据分级分类处理系统及其方法
CN103049482A (zh) * 2012-11-30 2013-04-17 中国电力科学研究院 一种分布式异构系统中数据融合存储的实现方法

Also Published As

Publication number Publication date
CN103268321A (zh) 2013-08-28

Similar Documents

Publication Publication Date Title
CN103268321B (zh) 高并发交易数据处理方法和装置
CN108897615B (zh) 秒杀请求处理方法、应用服务器集群及存储介质
CN104519018B (zh) 一种防止针对服务器的恶意请求的方法、装置和系统
CN113037869B (zh) 用于内容分发网络系统的回源的方法和装置
CN105912624B (zh) 分布式部署的异构数据库的查询方法
CN103905472B (zh) 一种通过网页方式访问的云存储方法和系统
CN108112038B (zh) 一种控制访问流量的方法及装置
WO2019041738A1 (zh) 客户资源获取方法、装置、终端设备及存储介质
CN105227786A (zh) 一种基于虚拟号码的通讯方法和装置
Al-Bahri et al. Testbed for identify IoT-devices based on digital object architecture
CN109299144A (zh) 一种数据处理方法、装置、系统及应用服务器
CN109902075A (zh) 一种基于ipfs和区块链的分布式云存储管理平台系统
CN104348798B (zh) 一种分配网络的方法、装置、调度服务器和系统
CN104899482B (zh) 限制批量请求服务的方法和装置
CN107360117B (zh) 数据处理的方法、装置及系统
CN110198530A (zh) 免流量服务的调度处理方法、装置、设备及存储介质
CN107786628A (zh) 业务编号分配方法、装置、计算机设备和存储介质
CN111918225A (zh) 一种基于多运营商发送短信的方法
CN108242999A (zh) 密钥托管方法、设备及计算机可读存储介质
CN109960904A (zh) 业务系统管理方法、管理服务器、用户终端和管理系统
CN106960142A (zh) 一种权限管理和资源控制的方法及装置
CN113676563A (zh) 内容分发网络服务的调度方法、装置、设备及存储介质
CN102467533A (zh) 一种处理产品统计数据的方法及装置
CN105809466A (zh) 一种请求发送方法及其装置
CN102664894A (zh) 一种基于云计算的软件提供系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant