CN107193539A

CN107193539A - 多线程并发处理方法和多线程并发处理系统

Info

Publication number: CN107193539A
Application number: CN201610143991.8A
Authority: CN
Inventors: 周剑桥
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2016-03-14
Filing date: 2016-03-14
Publication date: 2017-09-22
Anticipated expiration: 2036-03-14
Also published as: CN107193539B

Abstract

本发明中提供的多线程并发处理系统，包括：接收线程、分发线程、多个处理线程和汇聚线程，其中，所述接收线程用于接收多个待处理数据并发送给所述分发线程；所述分发线程用于将所述待处理数据分配给多个处理线程；每一所述处理线程用于将所述待处理数据进行处理后，将已处理数据发送给汇聚线程；所述汇聚线程用于按照所述分发线程分发的顺序从所述多个处理线程中接收所述已处理数据进行汇总，所述接收线程、所述分发线程、多个所述处理线程和所述汇聚线程为并发执行的线程。通过带有时序功能的多线程处理系统，能够处理具有时序性要求的海量数据，目前已应用于订单数据的处理。本发明同时提供对应的多线程并发处理方法。

Description

多线程并发处理方法和多线程并发处理系统

技术领域

本发明涉及计算机技术领域，具体涉及一种多线程并发处理方法和多线程并发处理系统。

背景技术

随着信息与通讯技术的发展，海量数据时代已经到来。各个行业，尤其是对实时性要求较高的行业要求系统在单位时间内处理的数据量与日俱增，例如金融、电信、网络通信服务(电子邮件、即时通信)、电子商务系统等。

对海量数据的处理，通过硬件提高处理效率的空间已经很小。在软件方面，主要通过多进程、多线程并发处理海量数据。将业务数据拆分为若干任务，分别将每个任务分配给不同的进程/线程进行处理，最终完成整个业务的处理过程。由于单个线程相对于单个进程占用的系统资源较小，处理的效率更高，因此，多线程并发技术更普遍地应用于在互联网领域。

但是大多数多线程系统在处理任务时，不考虑业务数据之间的内在逻辑关系，这在某些情况下会导致业务处理出现问题。例如，电子商务系统中，用户在提交一个订单请求后，又追加了一个订单，最后又取消了前面两个订单，系统对应生成三条订单数据，这三条订单数据的处理必须按照固定的顺序，否则就可能造成处理失败。

发明内容

有鉴于此，本发明提供一种多线程并发处理方法和多线程并发处理系统，以解决上述问题。

根据本发明的第一方面，提供一种多线程并发处理方法，包括：接收线程接收多个待处理数据，并发送给分发线程；所述分发线程将所述待处理数据分配给多个处理线程；每一所述处理线程将所述待处理数据进行处理后，将已处理数据发送给汇聚线程；所述汇聚线程按照所述分发线程分发的顺序从所述多个处理线程中接收所述已处理数据进行汇总，

其中所述接收线程、所述分发线程、多个所述处理线程和所述汇聚线程并发执行。

优选地，所述接收线程和所述分发线程将所述待处理数据存储到数据通道，每一所述处理线程将所述已处理数据存储到数据通道，所述分发线程和所述处理线程从所述数据通道中读取所述待处理数据，所述汇聚线程从所述数据通道中读取所述已处理数据。

优选地，所述数据通道包括：消息队列、共享内存和异步IO。

优选地，如果所述汇聚线程从一个所述数据通道中无法读取到数据，阻塞预定时间后，按照分发的顺序读取下一个数据通道内的数据。

优选地，所述分发线程将所述待处理数据分配给多个处理线程包括：所述分发线程读取N*M条所述待处理数据；按顺序将N*M条的所述待处理数据的每M条分别分配给N个所述处理线程，以此类推,

所述汇聚线程按照所述分发线程分发的顺序从所述多个处理线程中依次接收所述已处理数据包括：所述汇聚线程按照分发的顺序分别从N个所述处理线程中的一个读取M条所述已处理数据，以此类推，其中M大于等于1，N为大于等于2的整数。

优选地，还包括：在所述分发线程将所述待处理数据分配给多个处理线程前，对所述待处理数据进行排序。

优选地，还包括：在所述分发线程将所述待处理数据分配给多个处理线程前，所述分发线程通过所述待处理数据的自增型主键与所述处理线程的个数进行取模运算，以确定所述分发线程分发的顺序。

根据本发明的第二方面，提供一种多线程并发处理系统，包括：接收线程、分发线程、多个处理线程和汇聚线程，其中，所述接收线程用于接收多个待处理数据并发送给所述分发线程；所述分发线程用于将所述待处理数据分配给多个处理线程；每一所述处理线程用于将所述待处理数据进行处理后，将已处理数据发送给汇聚线程；所述汇聚线程用于按照所述分发线程分发的顺序从所述多个处理线程中接收所述已处理数据进行汇总，

所述接收线程、所述分发线程、多个所述处理线程和所述汇聚线程为并发执行的线程。

优选地，还包括：消息通道，所述接收线程、所述分发线程、多个所述处理线程和所述汇聚线程通过消息通道进行数据传输。

优选地，所述汇聚线程还包括：容错单元，如果所述汇聚线程从一个所述数据通道中无法读取数据，阻塞预定时间后，按照分发的顺序读取下一个数据通道内的数据。

附图说明

通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是根据本发明实施例的多线程并发处理系统的结构图；

图2是根据本发明另一实施例的多线程并发处理系统的结构图；

图3是根据本发明实施例的多线程并发处理方法的流程图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

术语说明：

WMS3.0：大件仓储系统3.0版本。

WORK：一套独立的应用系统，它可以定时读取数据库或者其他来源的数据，进行指定的逻辑处理。

图1是根据本发明实施例的多线程并发处理系统的结构图。从图1中可以看出，并发处理系统10包括接收线程101、分发线程102、多个处理线程103和汇聚线程104，这些线程在系统中并发执行。其中线程可以理解为把一个进程分为很多片，每一片都可以是一个独立的流程。多进程是多个拷贝的流程，而多线程只是把一条河流截成很多条小溪。它没有拷贝这些额外的开销，仅仅是现存的一条河流，被多线程技术几乎无开销地转成很多条小流程，多线程并发在高效的处理效率的同时系统开销也较少。

在本系统中，接收线程101接收多个待处理数据并发送给分发线程。接收线程101可以同步或异步从外部系统中获取数据，例如，电子商务系统中的订单数据，通常通过消息队列或数据库进行存储，接收线程101从消息队列或者数据库中直接或间接提取订单数据，并将订单数据转发给分发线程。

分发线程102将待处理数据分配给多个处理线程。每个分发线程102对应多个处理线程103。应当注意的是，某些情况下，在数据分发之前需要做一些排序处理。例如，前述的订单数据，可以先按照订单交易的发生时间进行排序然后分发。

处理线程103将待处理数据进行处理后，将已处理数据发送给汇聚线程。分发线程的个数可以根据实际需要设定。例如，京东电商系统接收到的订单，在节假日会有几十倍的增长。因此在节假日期间增加处理线程个数，有利于提高处理效率。

汇聚线程104按照分发线程分发的顺序从多个处理线程中接收已处理数据进行汇总。汇聚线程按分发线程分发数据的顺序从多个处理线程中读取已处理数据，处理线程必须读取到对应的已处理数据才会按顺序去读下一个处理线程的数据，如果该线程没有收到已处理数据，则阻塞之，以此来保证数据处理的顺序。

应当注意的是，本发明的并发处理系统为具有排序功能的数据处理系统。分发线程分发数据的顺序和汇聚线程接收已处理数据的顺序保持一致。例如，如果有N个线程，分发线程顺序读取N条数据，然后将N个数据分发给第1个线程，第2个线程，……直至第N个线程，汇聚线程一定是按照第1个线程，第2个线程，……直至第N个线程的顺序接收已处理数据，如果中间某个线程没有接收到已处理数据，则会一直在该线程处阻塞直至接收到已处理数据。再例如，如果上述分发线程每次给N个处理线程分发M条数据，则汇聚线程也一定是按照第1个线程，第2个线程，……直至第N个线程的顺序每次接收对应的M个已处理数据。在实际应用中，如果处理线程处理每条待处理数据的时间能保证大致相同，则上述系统就能保证接收到处理结果的顺序和处理顺序一致，不会造成汇聚线程长时间等待某个已处理数据的情况发生。

在一个已实现的实例中，分发线程通过待处理数据的自增型主键与处理线程的个数进行取模运算，以确定分发线程分发的顺序。例如，5条订单数据的主键订单号分别为10000-10004，则通过主键除以5取模分别得到余数0-4，则将0-4对应的待处理数据分发给线程1,线程2，……,线程5，以此类推。汇聚线程也则按照这个顺序接收已处理数据。

上述并发处理系统目前用于京东WMS3.0的WORK改造项目，能够满足具有时序性要求的订单数据处理的需要。

图2是根据本发明另一实施例的多线程并发处理系统的结构图。在图2中，多线程并发系统20包括接收线程201、分发线程202、处理线程203和汇聚线程204，以及数据通道A，数据通道B(N个)，数据通道C(N个)。

接收线程负责接收待处理数据，然后发给数据通道A。

分发线程从数据通道A中按取出数据，顺序循环传给N条数据通道。

在N条处理线程中，每个处理线程固定从对应编号的数据通道读取数据，然后启动内部逻辑，完成对待处理数据的操作，并将它发到一个指定的数据通道。

通过对数据通道编号能够实现分发和接收顺序的一致。例如，处理线程1从数据通道B1读取数据，完成内部逻辑处理后，将已处理数据发给数据通道C1。也就是说，N条处理线程对应N个数据通道B入口，同时对应N个数据通道C出口。

汇聚线程负责按顺序循环从N条数据通道C中读取订单数据，每个数据通道必须读取到数据后才会按顺序去读下一个数据通道，如果该通道没有收到数据，则阻塞之，以此来保证数据处理的顺序。

汇聚线程在设计时包括容错处理。当汇聚线程在某条数据通道Cn中超过一定时间没有获取到数据时，会抛出对应的异常提示。异常分两种情况：如果是数据处理超时异常，则会记录下具体的日志信息，然后继续读取下一个数据通道Cn+1；如果是线程级别出现异常导致不能正常工作，则会在捕获该异常的同时，记录相应日志到单独的文件中，重新启动一个处理线程n，接替前任的工作，继续从数据通道Bn中读取订单数据。注意，此时可能会有一条订单信息因为线程挂掉，事务没有提交而导致处理没有完成或者部分完成。如果是没有完成，则重新启动的处理线程会继续处理它，如果是部分完成，则需要从单独的日志文件读取相关订单信息，进行特殊的处理。容错的目的是避免造成汇聚线程长时间阻塞的情况。

通过消息通道的设定使分发线程和多个处理线程异步读取待处理数据，汇聚线程异步读取已处理数据。本系统中的数据通道可以设定为：消息队列、共享内存和异步IO中的一种或几种。

图3是根据本发明实施例的多线程并发处理方法的流程图，包括步骤301-304。

在步骤301中，接收线程接收多个待处理数据，并发送给分发线程。

在一个优选的实施例中，接收线程从外部接收到待处理数据后，将其存储到数据通道中。这里的数据通道可以理解为某种数据存储方式，临时性和永久存储数据方式都可。优选地，数据通道采用消息队列，共享内存，异步IO的其中的一个或几个。

在步骤302中，分发线程将待处理数据分配给多个处理线程。

在一个优选的实施例中，分发线程从数据通道中读取数据处理后，将数据继续存储到另外的数据通道中。

在步骤303中，每一处理线程将待处理数据进行处理后，将已处理数据发送给汇聚线程。

在一个优选的实施例中，处理线程从数据通道中读取数据处理后，将数据继续存储到对应的数据通道中。

在步骤304中，汇聚线程按照分发线程的分发顺序依次从处理线程接收已处理数据进行汇总。

优选地，汇聚线程从处理线程对应的数据通道中读取数据进行汇总，分发线程分发的顺序和汇聚线程读取数据相同。

优选地，分发线程从数据通道中读取N*M待处理数据，按顺序将N*M条的所述待处理数据的每M条分别分配给N个所述处理线程，以此类推，其中M大于等于1，N为大于等于2的整数。

汇聚线程从数据通道中读取N*M条的已处理数据，按照分发的顺序从处理线程每次读取M条数据，读取N次，以此类推，其中M大于等于1，N为大于等于2的整数。

在一个优选的实施例中，汇聚线程可以包含容错处理，如果汇聚线程从一个数据通道中无法读取到数据，阻塞预定时间后，按照分发的顺序读取下一个数据通道内的数据。

在一个优选的实施例中，还包括：排序处理，在分发线程将待处理数据分配给多个处理线程前，对待处理数据进行排序。例如，订单数据，按照订单数据的生成时间或者订单交易的发生时间进行排序。

系统的各个模块或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本发明实施例的步骤以及步骤的顺序，但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合，从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序，可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。

根据本发明的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的模块分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、模块或系统，以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多线程并发处理方法，包括：

接收线程接收多个待处理数据，并发送给分发线程；

所述分发线程将所述待处理数据分配给多个处理线程；

每一所述处理线程将所述待处理数据进行处理后，将已处理数据发送给汇聚线程；

所述汇聚线程按照所述分发线程分发的顺序从所述多个处理线程中依次接收所述已处理数据进行汇总，

其中，所述接收线程、所述分发线程、多个所述处理线程和所述汇聚线程并发执行。

2.根据权利要求1所述的多线程并发处理方法，其中，所述接收线程和所述分发线程将所述待处理数据存储到数据通道，每一所述处理线程将所述已处理数据存储到数据通道，所述分发线程和所述处理线程从所述数据通道中读取所述待处理数据，所述汇聚线程从所述数据通道中读取所述已处理数据。

3.根据权利要求2所述的多线程并发处理方法，其中，所述数据通道包括：消息队列、共享内存和异步IO。

4.根据权利要求1所述的多线程并发处理方法，其中，如果所述汇聚线程从一个所述数据通道中无法读取到数据，阻塞预定时间后，按照分发的顺序读取下一个所述数据通道内的数据。

5.根据权利要求1所述的多线程并发处理方法，其中，所述分发线程将所述待处理数据分配给多个处理线程包括：

所述分发线程读取N*M条所述待处理数据；

按顺序将N*M条的所述待处理数据的每M条分别分配给N个所述处理线程，以此类推,

所述汇聚线程按照所述分发线程分发的顺序从所述多个处理线程中依次接收所述已处理数据包括：

所述汇聚线程按照分发的顺序分别从N个所述待处理线程中的一个读取M条所述已处理数据，以此类推，其中M大于等于1，N为大于等于2的整数。

6.根据权利要求1所述的多线程并发处理方法，还包括：在所述分发线程将所述待处理数据分配给多个处理线程前，对所述待处理数据进行排序。

7.根据权利要求1所述的多线程并发处理方法，还包括：在所述分发线程将所述待处理数据分配给多个处理线程前，所述分发线程通过所述待处理数据的自增型主键与所述处理线程的个数进行取模运算，以确定所述分发线程分发的顺序。

8.一种多线程并发处理系统，包括：接收线程、分发线程、多个处理线程和汇聚线程，其中，

所述接收线程用于接收多个待处理数据并发送给所述分发线程；

所述分发线程用于将所述待处理数据分配给多个处理线程；

每一所述处理线程用于将所述待处理数据进行处理后，将已处理数据发送给汇聚线程；

所述汇聚线程用于按照所述分发线程分发的顺序从所述多个处理线程中接收所述已处理数据进行汇总，

9.根据权利要求8所述的多线程并发处理系统，还包括：消息通道，所述接收线程、所述分发线程、多个所述处理线程和所述汇聚线程通过消息通道进行数据传输。

10.根据权利要求9所述的多线程并发处理系统，其中，所述数据通道包括：消息队列、共享内存和异步IO。

11.根据权利要求8所述的多线程并发处理系统，所述汇聚线程还包括：容错单元，如果所述汇聚线程从一个所述数据通道中无法读取数据，阻塞预定时间后，按照分发的顺序读取下一个数据通道内的数据。

12.根据权利要求8所述的多线程并发处理系统，其中，所述分发线程将所述待处理数据分配给多个处理线程包括：

所述分发线程读取N*M条所述待处理数据；

所述汇聚线程按照分发的顺序分别从N个所述处理线程中的一个读取M条所述已处理数据，以此类推，其中M大于等于1，N为大于等于2的整数。

13.根据权利要求8所述的多线程并发处理系统，还包括：在所述分发线程将所述待处理数据分配给多个处理线程前，对所述待处理数据进行排序。