CN104598563A - 高并发数据存储方法及装置 - Google Patents

高并发数据存储方法及装置 Download PDF

Info

Publication number
CN104598563A
CN104598563A CN201510009667.2A CN201510009667A CN104598563A CN 104598563 A CN104598563 A CN 104598563A CN 201510009667 A CN201510009667 A CN 201510009667A CN 104598563 A CN104598563 A CN 104598563A
Authority
CN
China
Prior art keywords
high concurrent
data
concurrent data
queue
local queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510009667.2A
Other languages
English (en)
Other versions
CN104598563B (zh
Inventor
兰健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201510009667.2A priority Critical patent/CN104598563B/zh
Publication of CN104598563A publication Critical patent/CN104598563A/zh
Priority to US15/542,088 priority patent/US11327945B2/en
Priority to JP2017554633A priority patent/JP6464284B2/ja
Priority to PCT/CN2016/070397 priority patent/WO2016110263A1/zh
Priority to RU2017128080A priority patent/RU2666245C1/ru
Application granted granted Critical
Publication of CN104598563B publication Critical patent/CN104598563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/461—Saving or restoring of program or task context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种高并发数据存储方法及装置。所述方法包括：接收多个客户端发送来的高并发数据；将所述高并发数据推送到主数据队列，并响应相应的客户端；利用多线程消费所述主数据队列中的高并发数据；根据本地队列的数量将所述高并发数据进行分片；将分片后的高并发数据推送到本地队列中；消费本地队列上的高并发数据并存储到数据库中。本发明通过主数据队列和本地队列对高并发数据进行缓存，采用了异步存储方式进行数据存储，缓解了数据库的压力，避免了数据库在高并发存储情况下宕机的问题，提升了高并发数据的存储效率。

Description

高并发数据存储方法及装置
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种高并发数据存储方法及装置。
背景技术
随着互联网信息的爆炸式增长，越来越多的互联网服务器将遭遇高并发、海量数据的环境，在这种环境下会面临高并发数据存储的问题。为了解决这个问题，Hadoop、MongoDB、Hbase等一些NoSql(Not Only SQL，非关系型数据库)语言得到了广泛的应用。
但是，针对一些老业务系统，更换新的存储方式所消耗的成本会比较大，因此仍然使用着传统的关系型数据库存储数据，如MySql，Oracle等。当系统面临高并发数据存储的时候，会导致数据库的链接太多，占用资源过多，使得存储效率下降，进而导致服务器宕机等问题。
发明内容
有鉴于此，本发明实施例提供一种高并发数据存储方法及装置，以提升高并发数据的存储效率。
第一方面，本发明实施例提供了一种高并发数据存储方法，所述方法包括：
接收多个客户端发送来的高并发数据；
将所述高并发数据推送到主数据队列，并响应相应的客户端；
利用多线程消费所述主数据队列中的高并发数据；
根据本地队列的数量将所述高并发数据进行分片；
将分片后的高并发数据推送到本地队列中；
消费本地队列上的高并发数据并存储到数据库中。
第二方面，本发明实施例还提供了一种高并发数据存储装置，所述装置包括：
接收模块，用于接收多个客户端发送来的高并发数据；
第一推送模块，用于将所述高并发数据推送到主数据队列，并响应相应的客户端；
消费模块，用于利用多线程消费所述主数据队列中的高并发数据；
分片模块，用于根据本地队列的数量将所述高并发数据进行分片；
第二推送模块，用于将分片后的高并发数据推送到本地队列中；
存储模块，用于消费本地队列上的高并发数据并存储到数据库中。
本发明实施例通过将所述高并发数据推送到主数据队列，利用多线程消费所述主数据队列中的高并发数据，根据本地队列的数量将所述高并发数据进行分片，将分片后的高并发数据推送到本地队列中，消费本地队列上的高并发数据并存储到数据库中，通过主数据队列和本地队列对高并发数据进行缓存，采用了异步存储方式进行数据存储，缓解了直接将高并发数据存储到数据库时带给数据库的压力，避免了数据库在高并发存储情况下宕机的问题，提升了高并发数据的存储效率。
附图说明
图1是本发明实施例一提供的高并发数据存储方法的流程图；
图2是本发明实施例二提供的高并发数据存储方法的架构设计图；
图3是本发明实施例二提供的高并发数据存储方法的流程图；
图4是本发明实施例三提供的高并发数据存储装置的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
实施例一
图1是本发明实施例一提供的高并发数据存储方法的流程图，本实施例可适用于对高并发数据的存储，该方法可以由服务器来执行，具体包括如下步骤：
步骤110，接收多个客户端发送来的高并发数据。
其中，高并发是指在某一时刻访问量比较大。服务器接收多个客户端的请求，许多客户端同时请求形成高并发数据。
步骤120，将所述高并发数据推送到主数据队列，并响应相应的客户端。
其中，数据队列采用分布式MQ(Message Queue，消息队列)，可以支持分布式扩展，也可以使得框架具有高可用性，在大数据处理的时候仍可具有较为客观的性能。其中，ActiveMQ是Apache出品的，最流行的、能力强劲的开源消息总线。
服务器接收到高并发数据后，将所述高并发数据推送到主数据队列，并响应发送该高并发数据的客户端。其中，主数据队列是所有数据的主入口队列，当数据推送到该队列之后，立刻返回结果，提升响应速度。
步骤130，利用多线程消费所述主数据队列中的高并发数据。
其中，多线程由线程池进行分配，线程池提供多线程处理数据并将数据进行分片推送到对应的本地队列，提升消息的消费速度，同时还能利用MQ的特性，持久化数据，防止数据的丢失。服务器利用线程池分配的多线程快速消费所述主数据队列中的高并发数据。其中，消费所述主数据队列中的高并发数据是指将主数据队列中的高并发数据移出该主数据队列。
步骤140，根据本地队列的数量将所述高并发数据进行分片。
其中，本地队列用于存放分片后的高并发数据，防止分片后的数据丢失。本地队列可以根据所述高并发数据的数据量进行横向扩展，当数据量大的时候可以扩展本地队列的数量。服务器根据本地队列的数量，将从主数据队列中移出的高并发数据分成与本地队列相同数量的片段，以将分片后的高并发数据存储到本地队列中。对高并发数据进行分片处理，保证数据处理不重复，且提升处理速度。本领域技术人员可以了解，对高并发数据进行分片有多种策略：可以根据数据的主键特征进行分片，将高并发数据的主键对本地队列的数量进行取模计算，得到的结果是几就将该数据分配到编号为几的本地队列中；也可以根据时间范围进行分片，例如：可以将前100万个数据分配到第一个本地队列中，将第二个100万个数据分配到第二个本地队列中；当然，还有其他分片策略。
步骤150，将分片后的高并发数据推送到本地队列中。
服务器根据对高并发数据进行分片的分片策略，将分片后的高并发数据推送到相应的本地队列中，由本地队列对高并发数据进行缓存。
步骤160，消费本地队列上的高并发数据并存储到数据库中。
服务器消费本地队列上的高并发数据，即将本地队列上的高并发数据移出本地队列，然后将移出本地队列的高并发数据存储到数据库中。
本实施例中的高并发数据在传递过程(例如：将高并发数据推送到主数据队列、消费数据等)中，可以采用高性能的JSON格式进行传递，方便数据的序列化和反序列化，使得数据的传递速度更快。其中，JSON(JavaScript ObjectNotation)是一种轻量级的数据交换格式，是基于JavaScript语法的子集，即数组和对象表示。序列化是一种用来处理对象流的机制，对象流是将对象的内容进行流化，可以对流化后的对象进行读写操作，序列化是为了解决对象流进行读写操作时引发的问题的。
本实施例通过将所述高并发数据推送到主数据队列，利用多线程消费所述主数据队列中的高并发数据，根据本地队列的数量将所述高并发数据进行分片，将分片后的高并发数据推送到本地队列中，消费本地队列上的高并发数据并存储到数据库中，通过主数据队列和本地队列对高并发数据进行缓存，采用了异步存储方式进行数据存储，缓解了直接将高并发数据存储到数据库时带给数据库的压力，避免了数据库在高并发存储情况下宕机的问题，提升了高并发数据的存储效率。
在上述技术方案的基础上，根据本地队列的数量将所述高并发数据进行分片，优选包括：
将所述高并发数据的主键对所述本地队列的数量进行取模；
根据相同的取模计算结果将对应的高并发数据分成一片。
首先将高并发数据中生成的主键对所述本地队列的数量进行取模计算，将得到相同取模计算结果的高并发数据分成一个片段。
在上述技术方案的基础上，将分片后的高并发数据推送到本地队列中，具体包括：
根据取模计算结果将分片后的高并发数据推送到相应编号的本地队列中。
其中，每个本地队列有自己的编号。将分片后的高并发数据推送到与取模计算结果相同编号的本地队列中。
在上述任一技术方案的基础上，消费本地队列上的高并发数据并存储到数据库中，优选包括：
利用定时调度消费本地队列上的高并发数据；
将消费的高并发数据存储到数据库中。
服务器利用定时调度将本地队列上的高并发数据定时/即时移出本地队列，用户可以根据需求控制抓取数据(移出本地队列)的数量和抓取数据的时间间隔，将定时/即时移出本地队列的高并发数据存储到数据库中。通过定时调度可以配置定时/即时处理数据的功能，缓解数据库的存储压力。优选的，所述定时调度由Quartz实现。其中，Quartz是一个完全由Java编写的开源作业调度框架。
实施例二
图2是本发明实施例二提供的高并发数据存储方法的架构设计图。如图2所示，主数据队列是所有数据的主入口队列，当数据推送到该队列之后，立刻返回结果，提升响应速度；线程池(Thread Pool)提供多线程处理数据并将数据进行分片推送到对应的本地队列，提升消息的消费速度，同时还能利用MQ的特性，持久化数据，防止数据的丢失；本地队列用于存放数据分片后的数据，防止分片后的数据丢失；工作(Work)1、工作2、工作3通过定时/即时消费数据，处理数据并存储到数据库中，可以自主控制抓取数据的数量和抓取数据的时间间隔。
图3是本发明实施例二提供的高并发数据存储方法的流程图。如图3所示，本实施例提供的高并发数据存储方法具体包括如下步骤：
步骤310，将待存储的高并发数据推送到主数据队列。
首先将待存储的高并发数据推送到主数据队列，当高并发数据推送到主数据队列后，返回结果，响应客户端。
步骤320，多线程消费主数据队列中的高并发数据。
利用线程池提供的多线程快速消费主数据队列中的高并发数据。
步骤330，将高并发数据进行分片并推送到对应的本地队列中。
根据本地队列的数量，将高并发数据的主键对本地队列的数量进行取模计算，按照取模计算结果将分片后的高并发数据推送到编号为取模计算结果的本地队列中。
步骤340，定时消费本地队列中的高并发数据。
利用Quartz实现定时/即时消费本地队列中的高并发数据。
步骤350，存储数据到数据库。
本实施例针对传统的关系型数据库，利用主数据队列对高并发数据进行缓存，利用本地队列对高并发数据进行二次数据缓存，可以防止数据丢失，也能够提升主数据队列的消费速度，提升了高并发数据的存储效率，可以配置定时/即时处理数据的功能，缓解了数据库的压力，避免了数据库在高并发存储情况下宕机的问题。
实施例三
图4是本发明实施例三提供的高并发数据存储装置的示意图。本实施例提供的高并发数据存储装置用于实现实施例一提供的高并发数据存储方法。如图4所示，本实施例提供的高并发数据存储装置包括：接收模块410、第一推送模块420、消费模块430、分片模块440、第二推送模块450和存储模块460。
其中，接收模块410用于接收多个客户端发送来的高并发数据；第一推送模块420用于将所述高并发数据推送到主数据队列，并响应相应的客户端；消费模块430用于利用多线程消费所述主数据队列中的高并发数据；分片模块440用于根据本地队列的数量将所述高并发数据进行分片；第二推送模块450用于将分片后的高并发数据推送到本地队列中；存储模块460用于消费本地队列上的高并发数据并存储到数据库中。
优选的，所述分片模块包括：取模子模块，用于将所述高并发数据的主键对所述本地队列的数量进行取模；分片子模块，用于根据相同的取模计算结果将对应的高并发数据分成一片。优选的，所述第二推送模块具体用于根据取模计算结果将分片后的高并发数据推送到相应编号的本地队列中。
优选的，所述存储模块包括：消费子模块，用于利用定时调度消费本地队列上的高并发数据；存储子模块，用于将消费的高并发数据存储到数据库中。有选的，所述定时调度由Quartz实现。
本实施例通过接收模块接收多个客户端发送来的高并发数据；第一推送模块将所述高并发数据推送到主数据队列，并响应相应的客户端；消费模块利用多线程消费所述主数据队列中的高并发数据；分片模块根据本地队列的数量将所述高并发数据进行分片；第二推送模块将分片后的高并发数据推送到本地队列中；存储模块消费本地队列上的高并发数据并存储到数据库中。通过主数据队列和本地队列对高并发数据进行缓存，采用了异步存储方式进行数据存储，缓解了直接将高并发数据存储到数据库时带给数据库的压力，避免了数据库在高并发存储情况下宕机的问题，提升了高并发数据的存储效率。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种高并发数据存储方法，其特征在于，所述方法包括：
接收多个客户端发送来的高并发数据；
将所述高并发数据推送到主数据队列，并响应相应的客户端；
利用多线程消费所述主数据队列中的高并发数据；
根据本地队列的数量将所述高并发数据进行分片；
将分片后的高并发数据推送到本地队列中；
消费本地队列上的高并发数据并存储到数据库中。
2.根据权利要求1所述的方法，其特征在于，根据本地队列的数量将所述高并发数据进行分片，包括：
将所述高并发数据的主键对所述本地队列的数量进行取模；
根据相同的取模计算结果将对应的高并发数据分成一片。
3.根据权利要求2所述的方法，其特征在于，将分片后的高并发数据推送到本地队列中，具体包括：
根据取模计算结果将分片后的高并发数据推送到相应编号的本地队列中。
4.根据权利要求1-3任一项所述的方法，其特征在于，消费本地队列上的高并发数据并存储到数据库中，包括：
利用定时调度消费本地队列上的高并发数据；
将消费的高并发数据存储到数据库中。
5.根据权利要求4所述的方法，其特征在于，所述定时调度由Quartz实现。
6.一种高并发数据存储装置，其特征在于，所述装置包括：
接收模块，用于接收多个客户端发送来的高并发数据；
第一推送模块，用于将所述高并发数据推送到主数据队列，并响应相应的客户端；
消费模块，用于利用多线程消费所述主数据队列中的高并发数据；
分片模块，用于根据本地队列的数量将所述高并发数据进行分片；
第二推送模块，用于将分片后的高并发数据推送到本地队列中；
存储模块，用于消费本地队列上的高并发数据并存储到数据库中。
7.根据权利要求6所述的装置，其特征在于，所述分片模块包括：
取模子模块，用于将所述高并发数据的主键对所述本地队列的数量进行取模；
分片子模块，用于根据相同的取模计算结果将对应的高并发数据分成一片。
8.根据权利要求7所述的装置，其特征在于，所述第二推送模块具体用于根据取模计算结果将分片后的高并发数据推送到相应编号的本地队列中。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述存储模块包括：
消费子模块，用于利用定时调度消费本地队列上的高并发数据；
存储子模块，用于将消费的高并发数据存储到数据库中。
10.根据权利要求9所述的装置，其特征在于，所述定时调度由Quartz实现。
CN201510009667.2A 2015-01-08 2015-01-08 高并发数据存储方法及装置 Active CN104598563B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201510009667.2A CN104598563B (zh) 2015-01-08 2015-01-08 高并发数据存储方法及装置
US15/542,088 US11327945B2 (en) 2015-01-08 2016-01-07 Method and device for storing high-concurrency data
JP2017554633A JP6464284B2 (ja) 2015-01-08 2016-01-07 高同時実行性データの記憶方法および装置
PCT/CN2016/070397 WO2016110263A1 (zh) 2015-01-08 2016-01-07 高并发数据存储方法及装置
RU2017128080A RU2666245C1 (ru) 2015-01-08 2016-01-07 Способ и устройство для сохранения данных с высокой степенью многопоточности

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510009667.2A CN104598563B (zh) 2015-01-08 2015-01-08 高并发数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN104598563A true CN104598563A (zh) 2015-05-06
CN104598563B CN104598563B (zh) 2018-09-04

Family

ID=53124348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510009667.2A Active CN104598563B (zh) 2015-01-08 2015-01-08 高并发数据存储方法及装置

Country Status (5)

Country Link
US (1) US11327945B2 (zh)
JP (1) JP6464284B2 (zh)
CN (1) CN104598563B (zh)
RU (1) RU2666245C1 (zh)
WO (1) WO2016110263A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468710A (zh) * 2015-11-19 2016-04-06 中国建设银行股份有限公司 应用于高并发场景的图片处理方法及系统
CN105760452A (zh) * 2016-02-04 2016-07-13 深圳市嘉力达实业有限公司 一种高并发海量数据的采集、处理和存储的方法及系统
WO2016110263A1 (zh) * 2015-01-08 2016-07-14 北京京东尚科信息技术有限公司 高并发数据存储方法及装置
CN105786629A (zh) * 2016-02-02 2016-07-20 四川长虹电器股份有限公司 基于消息队列的数据处理方法
CN107241279A (zh) * 2017-06-22 2017-10-10 北京天德科技有限公司 一种基于多级缓冲队列的区块链交易限流方法
CN107957903A (zh) * 2017-11-13 2018-04-24 中国平安财产保险股份有限公司 异步任务调度方法、服务器及存储介质
CN108073444A (zh) * 2016-11-18 2018-05-25 北京京东尚科信息技术有限公司 向客户端推送用户数据的方法及系统
CN108595121A (zh) * 2018-04-17 2018-09-28 湖北文理学院 数据存储方法和装置
CN108664315A (zh) * 2017-03-30 2018-10-16 北京京东尚科信息技术有限公司 多线程动态处理业务的方法、电子设备和可读存储介质
CN109150929A (zh) * 2017-06-15 2019-01-04 北京京东尚科信息技术有限公司 高并发场景下的数据请求处理方法和装置
CN109284335A (zh) * 2018-09-10 2019-01-29 郑州云海信息技术有限公司 一种跨数据库批量传导数据的方法与装置
CN109874027A (zh) * 2019-03-11 2019-06-11 宸瑞普惠(广州)科技有限公司 一种低延时手术示教直播方法及其系统
CN110019008A (zh) * 2017-11-03 2019-07-16 北京金山安全软件有限公司 一种数据存储方法及装置
CN110162401A (zh) * 2019-05-24 2019-08-23 广州中望龙腾软件股份有限公司 Dwg文件并行读取方法、电子设备和存储介质
CN110515741A (zh) * 2018-05-21 2019-11-29 北京京东尚科信息技术有限公司 一种基于本地任务队列的降级处理方法和装置
CN110704110A (zh) * 2019-09-30 2020-01-17 浪潮软件股份有限公司 一种提高系统高并发情况下的响应速度的方法和装置
CN111629019A (zh) * 2019-08-13 2020-09-04 广州凡科互联网科技股份有限公司 一种异步处理大数据和高并发的方法
CN111831458A (zh) * 2020-06-11 2020-10-27 武汉烽火技术服务有限公司 一种高并发高解耦数据处理方法及数据中台系统
CN112019689A (zh) * 2019-05-29 2020-12-01 北京奇虎科技有限公司 来电秀业务处理系统及方法
CN112131286A (zh) * 2020-11-26 2020-12-25 畅捷通信息技术股份有限公司 一种基于时间序列的数据处理方法、装置及存储介质
CN113312386A (zh) * 2021-05-10 2021-08-27 四川新网银行股份有限公司 一种基于分布式消息的批量入库方法
WO2022267837A1 (zh) * 2021-06-23 2022-12-29 比亚迪股份有限公司 一种数据归档方法、电子设备及可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379605B (zh) * 2018-09-29 2020-10-16 武汉斗鱼网络科技有限公司 基于弹幕顺序的弹幕分发方法、装置、设备和存储介质
US10972342B2 (en) * 2018-12-17 2021-04-06 Juniper Networks, Inc. Network device configuration using a message bus
CN112749174B (zh) * 2019-10-30 2024-05-10 中国移动通信集团安徽有限公司 高并发处理方法、装置、处理设备及计算机存储介质
CN114238037B (zh) * 2022-02-28 2022-04-29 北京金堤科技有限公司 高并发服务请求结果存储方法和装置、以及电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858735A (zh) * 2005-12-30 2006-11-08 华为技术有限公司 一种海量数据的处理方法
US20110302583A1 (en) * 2010-06-04 2011-12-08 Yale University Systems and methods for processing data
CN102622426A (zh) * 2012-02-27 2012-08-01 杭州闪亮科技有限公司 数据库写入系统及方法
CN103699660A (zh) * 2013-12-26 2014-04-02 清华大学 一种大规模网络流式数据缓存写入的方法
CN104102693A (zh) * 2014-06-19 2014-10-15 广州华多网络科技有限公司 对象处理方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205122B1 (en) * 1998-07-21 2001-03-20 Mercury Interactive Corporation Automatic network topology analysis
US6321265B1 (en) * 1999-11-02 2001-11-20 Altavista Company System and method for enforcing politeness while scheduling downloads in a web crawler
US6922724B1 (en) * 2000-05-08 2005-07-26 Citrix Systems, Inc. Method and apparatus for managing server load
US7171613B1 (en) * 2000-10-30 2007-01-30 International Business Machines Corporation Web-based application for inbound message synchronization
US7234139B1 (en) * 2000-11-24 2007-06-19 Catharon Productions, Inc. Computer multi-tasking via virtual threading using an interpreter
US6892199B2 (en) * 2001-06-29 2005-05-10 Trendium, Inc. Saving burst data by using semi-merge sorting module
US6886041B2 (en) * 2001-10-05 2005-04-26 Bea Systems, Inc. System for application server messaging with multiple dispatch pools
US8266327B2 (en) * 2005-06-21 2012-09-11 Cisco Technology, Inc. Identity brokering in a network element
US20070192431A1 (en) * 2006-02-10 2007-08-16 Sun Microsystems, Inc. Method and apparatus for service oriented architecture infrastructure switch
US7764678B2 (en) * 2006-10-10 2010-07-27 Oracle America, Inc. Routing based on dynamic classification rules
US8295306B2 (en) * 2007-08-28 2012-10-23 Cisco Technologies, Inc. Layer-4 transparent secure transport protocol for end-to-end application protection
US20100332593A1 (en) * 2009-06-29 2010-12-30 Igor Barash Systems and methods for operating an anti-malware network on a cloud computing platform
US8880524B2 (en) * 2009-07-17 2014-11-04 Apple Inc. Scalable real time event stream processing
CN101739296B (zh) * 2009-12-28 2013-10-02 广州菲音信息科技有限公司 数据处理系统和方法
US20140082066A1 (en) * 2011-05-06 2014-03-20 Hitachi, Ltd. Computer system and information processing method
US9436532B1 (en) * 2011-12-20 2016-09-06 Emc Corporation Method and system for implementing independent message queues by specific applications
CN103024014B (zh) * 2012-12-03 2015-08-19 北京京东世纪贸易有限公司 通过消息队列的海量数据分发处理的方法和系统
CN104598563B (zh) 2015-01-08 2018-09-04 北京京东尚科信息技术有限公司 高并发数据存储方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858735A (zh) * 2005-12-30 2006-11-08 华为技术有限公司 一种海量数据的处理方法
US20110302583A1 (en) * 2010-06-04 2011-12-08 Yale University Systems and methods for processing data
CN102622426A (zh) * 2012-02-27 2012-08-01 杭州闪亮科技有限公司 数据库写入系统及方法
CN103699660A (zh) * 2013-12-26 2014-04-02 清华大学 一种大规模网络流式数据缓存写入的方法
CN104102693A (zh) * 2014-06-19 2014-10-15 广州华多网络科技有限公司 对象处理方法和装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110263A1 (zh) * 2015-01-08 2016-07-14 北京京东尚科信息技术有限公司 高并发数据存储方法及装置
US11327945B2 (en) 2015-01-08 2022-05-10 Beijing Jingdong Shangke Information Technology Co., Ltd. Method and device for storing high-concurrency data
CN105468710A (zh) * 2015-11-19 2016-04-06 中国建设银行股份有限公司 应用于高并发场景的图片处理方法及系统
CN105786629A (zh) * 2016-02-02 2016-07-20 四川长虹电器股份有限公司 基于消息队列的数据处理方法
CN105760452A (zh) * 2016-02-04 2016-07-13 深圳市嘉力达实业有限公司 一种高并发海量数据的采集、处理和存储的方法及系统
CN108073444A (zh) * 2016-11-18 2018-05-25 北京京东尚科信息技术有限公司 向客户端推送用户数据的方法及系统
CN108664315A (zh) * 2017-03-30 2018-10-16 北京京东尚科信息技术有限公司 多线程动态处理业务的方法、电子设备和可读存储介质
CN109150929A (zh) * 2017-06-15 2019-01-04 北京京东尚科信息技术有限公司 高并发场景下的数据请求处理方法和装置
CN107241279A (zh) * 2017-06-22 2017-10-10 北京天德科技有限公司 一种基于多级缓冲队列的区块链交易限流方法
CN110019008A (zh) * 2017-11-03 2019-07-16 北京金山安全软件有限公司 一种数据存储方法及装置
CN107957903A (zh) * 2017-11-13 2018-04-24 中国平安财产保险股份有限公司 异步任务调度方法、服务器及存储介质
CN108595121A (zh) * 2018-04-17 2018-09-28 湖北文理学院 数据存储方法和装置
CN110515741A (zh) * 2018-05-21 2019-11-29 北京京东尚科信息技术有限公司 一种基于本地任务队列的降级处理方法和装置
CN109284335A (zh) * 2018-09-10 2019-01-29 郑州云海信息技术有限公司 一种跨数据库批量传导数据的方法与装置
CN109874027A (zh) * 2019-03-11 2019-06-11 宸瑞普惠(广州)科技有限公司 一种低延时手术示教直播方法及其系统
CN110162401A (zh) * 2019-05-24 2019-08-23 广州中望龙腾软件股份有限公司 Dwg文件并行读取方法、电子设备和存储介质
CN112019689A (zh) * 2019-05-29 2020-12-01 北京奇虎科技有限公司 来电秀业务处理系统及方法
CN111629019A (zh) * 2019-08-13 2020-09-04 广州凡科互联网科技股份有限公司 一种异步处理大数据和高并发的方法
CN111629019B (zh) * 2019-08-13 2022-11-18 广州凡科互联网科技股份有限公司 一种异步处理大数据和高并发的方法
CN110704110A (zh) * 2019-09-30 2020-01-17 浪潮软件股份有限公司 一种提高系统高并发情况下的响应速度的方法和装置
CN111831458A (zh) * 2020-06-11 2020-10-27 武汉烽火技术服务有限公司 一种高并发高解耦数据处理方法及数据中台系统
CN111831458B (zh) * 2020-06-11 2024-04-26 武汉烽火技术服务有限公司 一种高并发高解耦数据处理方法及数据中台系统
CN112131286A (zh) * 2020-11-26 2020-12-25 畅捷通信息技术股份有限公司 一种基于时间序列的数据处理方法、装置及存储介质
CN112131286B (zh) * 2020-11-26 2021-03-02 畅捷通信息技术股份有限公司 一种基于时间序列的数据处理方法、装置及存储介质
CN113312386A (zh) * 2021-05-10 2021-08-27 四川新网银行股份有限公司 一种基于分布式消息的批量入库方法
CN113312386B (zh) * 2021-05-10 2022-06-24 四川新网银行股份有限公司 一种基于分布式消息的批量入库方法
WO2022267837A1 (zh) * 2021-06-23 2022-12-29 比亚迪股份有限公司 一种数据归档方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN104598563B (zh) 2018-09-04
WO2016110263A1 (zh) 2016-07-14
JP2018507496A (ja) 2018-03-15
US11327945B2 (en) 2022-05-10
US20180276265A1 (en) 2018-09-27
JP6464284B2 (ja) 2019-02-06
RU2666245C1 (ru) 2018-09-06

Similar Documents

Publication Publication Date Title
CN104598563A (zh) 高并发数据存储方法及装置
CN112307037B (zh) 一种数据同步方法和装置
EP2998863B1 (en) Converting a serial transaction schedule to a parallel transaction schedule
US8276154B2 (en) Hash partitioning streamed data
CN103092903B (zh) 数据库日志并行化
CN106250226B (zh) 基于一致性哈希算法的任务调度方法及系统
CN103914399B (zh) 一种并行计算系统中的磁盘缓存方法及装置
US20140156586A1 (en) Big-fast data connector between in-memory database system and data warehouse system
CN104754036A (zh) 一种基于kafka的消息处理系统及处理方法
CN106503020B (zh) 日志数据处理方法及装置
CN103106249A (zh) 一种基于Cassandra的数据并行处理系统
CN107273542B (zh) 高并发数据同步方法及系统
Bohlouli et al. Towards an integrated platform for big data analysis
CN107515784B (zh) 一种在分布式系统中计算资源的方法与设备
CN104731956A (zh) 同步数据的方法、系统及相关数据库
CN103793273A (zh) 一种基于Redis的分布式队列调度方法及装置
TW202021313A (zh) 訊息佇列發佈與訂閱之同步方法及其系統
CN105183549A (zh) 基于任务分配的自动出票系统
CN103399894A (zh) 一种基于共享存储池的分布式事务处理方法
CN104683472A (zh) 一种支持大数据量的数据传输方法
CN107562803B (zh) 数据供应系统及方法、终端
Wolf et al. On the optimization of schedules for MapReduce workloads in the presence of shared scans
CN105786629A (zh) 基于消息队列的数据处理方法
CN110673959A (zh) 用于处理任务的系统、方法和装置
CN103338156B (zh) 一种基于线程池的命名管道服务器并发通信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant