CN107515795A - 基于队列的多任务并行数据处理方法、装置、介质和设备 - Google Patents

Abstract

本公开是关于一种基于队列的多任务并行数据处理方法、装置、存储介质和电子设备。该方法包括：接收多个终端设备发来的设备信息，为每个所述设备信息申请分配缓冲队列内不同的写入位置；在所述缓冲队列的所述不同的写入位置，同时将每个所述设备信息分别写入所述缓冲队列内对应的不同位置处。本公开可以实现多个生产者线程并行批量同时往队列里存放数据，提高生产者线程的并发执行，缩短服务器响应终端设备上报数据的回复时间，同时提高了服务器处理终端设备信息的处理量，并且可以无阻塞批量提交任务到队列中，进而可以提高系统性能。

Description

基于队列的多任务并行数据处理方法、装置、介质和设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种基于队列的多任务并行数据处理方法、基于队列的多任务并行数据处理装置、以及实现所述基于队列的多任务并行数据处理方法的计算机可读存储介质和电子设备。

背景技术

随着智能云系统中远程终端设备如家用智能电器的大量增加，系统服务器接收到设备上报信息的数量也随着而迅速增大。一般在服务器上会提供多个生产者线程来处理智能设备上报的信息，同时会有多个消费者线程根据用户智能设备上报的信息而执行相应的操作逻辑。为了提高系统的响应速度，通常服务器会基于共享队列来与生产者线程和消费者线程交互，以控制多个设备的如状态任务的生成，或者实现对共享队列里任务的添加和删除等操作。

相关技术中是通过加锁的方式，以防止多个线程同时对共享队列进行修改。这也导致了在多个线程同时对设备的任务进行提交时，只能有一个线程对该队列进行修改，而其他的生产者线程和消费者线程必须等待此提交线程完成对队列的修改后，才可以对该队列进行修改。比如生产者线程修改完后，根据队列大小从生产者线程和其它消费者线程中选一个线程，进而根据选取的线程进行系统调用，唤醒该线程以继续执行相应操作。

但是，目前相关技术中依然存在一些问题，例如，多个生产者线程难以无阻塞批量同时提交任务到队列中，也即多个生产者线程的并发执行难以实现，导致增加了服务器响应终端设备上报数据的回复时间，且服务器处理终端设备信息的处理量有限，系统性能受限。因此，有必要提供一种新的技术方案改善上述方案中存在的一个或者多个问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于队列的多任务并行数据处理方法、基于队列的多任务并行数据处理装置、以及实现所述基于队列的多任务并行数据处理方法的计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供一种基于队列的多任务并行数据处理方法，该方法包括：

接收多个终端设备发来的设备信息，为每个所述设备信息申请分配缓冲队列内不同的写入位置；

在所述缓冲队列的所述不同的写入位置，同时将每个所述设备信息分别写入所述缓冲队列内对应的不同位置处。

本公开的一种示例性实施例中，每个所述设备信息对应一第一线程；所述为每个所述设备信息申请分配缓冲队列内不同的写入位置包括：

每个所述第一线程分别获取对应的每个所述设备信息待占用的队列空间大小对应的第一数值，以及所述缓冲队列当前可存储数据的第一位置；

每个所述第一线程根据所述第一位置和每个所述设备信息的所述第一数值计算分配得到每个所述设备信息各自对应的写入位置。

本公开的一种示例性实施例中，所述每个所述第一线程根据所述第一位置和每个所述设备信息的所述第一数值计算分配得到每个所述设备信息各自对应的写入位置包括：

调用比较并交换CAS(Compare And Swap)操作执行每个所述第一线程，以使当前仅有一个第一线程执行成功而为对应的一个所述设备信息分配到对应的写入位置；

将该一个所述设备信息成功分配到的写入位置更新为所述第一位置，重新调用所述CAS操作重复执行以为剩余的设备信息分配到对应的写入位置。

本公开的一种示例性实施例中，该方法还包括：

在调用CAS操作执行每个所述第一线程前，判断当前的所述第一位置是否已被更改；

若是则重新为每个所述设备信息申请分配所述缓冲队列内对应的写入位置；若否则调用CAS操作执行每个所述第一线程。

本公开的一种示例性实施例中，该方法还包括：

在调用CAS操作执行每个所述第一线程之前，判断当前所述缓冲队列中是否有预设可用空间，若是则调用CAS操作执行每个所述第一线程。

本公开的一种示例性实施例中，该方法还包括：

在所述缓冲队列的每一写入位置处写入对应的设备信息后，通过所述CAS操作修改预设指示值；其中，所述预设指示值用于表征当前所述缓冲队列中已写入设备信息的位置。

本公开的一种示例性实施例中，该方法还包括：

在所述缓冲队列的每一写入位置处写入对应的设备信息时，第二线程同时从所述缓冲队列中读取已写入的所述设备信息。

本公开的一种示例性实施例中，所述第二线程同时从所述缓冲队列中读取已写入的所述设备信息包括：

获取所述缓冲队列中当前已读取设备信息的第二位置，将所述第二位置加一得到第三位置；

判断所述第三位置是否小于等于所述缓冲队列当前已写入设备信息的位置；

若是则从所述第三位置读取相应的设备信息，并以该第三位置来更新所述第二位置。

根据本公开实施例的第二方面，提供一种基于队列的多任务并行数据处理装置，该装置包括：

位置分配模块，用于接收多个终端设备发来的设备信息，为每个所述设备信息申请分配缓冲队列内不同的写入位置；

信息写入模块，用于在所述缓冲队列的所述不同的写入位置，同时将每个所述设备信息分别写入所述缓冲队列内对应的不同位置处。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一个实施例中所述基于队列的多任务并行数据处理方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述基于队列的多任务并行数据处理方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的一种实施例中，通过上述基于队列的多任务并行数据处理方法及装置，为每个所述设备信息申请分配缓冲队列内不同的写入位置，然后在所述缓冲队列的所述不同的写入位置，可以同时将每个所述设备信息分别写入缓冲队列内对应的不同位置处；这样，一方面，采用预分配可插入信息元素的位置方式来实现多个生产者线程可以并行批量同时往队列里放元素，提高生产者线程的并发执行，缩短服务器响应终端设备上报数据的回复时间；另一方面，提高了服务器处理终端设备信息的处理量，并且可以无阻塞批量提交任务到队列中，进而可以提高系统性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中基于队列的多任务并行数据处理方法一流程图；

图2示意性示出本公开示例性实施例中一应用场景示意图；

图3示意性示出本公开示例性实施例中基于队列的多任务并行数据处理方法二流程图；

图4示意性示出本公开示例性实施例中基于队列的多任务并行数据处理方法三流程图；

图5示意性示出本公开示例性实施例中基于队列的多任务并行数据处理方法四流程图；

图6示意性示出本公开示例性实施例中基于队列的多任务并行数据处理方法五流程图；

图7示意性示出本公开示例性实施例中一缓冲队列空间示意图；

图8示意性示出本公开示例性实施例中生产者线程并行提交任务到缓冲队列示意图；

图9示意性示出本公开示例性实施例中生产者线程和消费者线程并行修改缓冲队列示意图；

图10示意性示出本公开示例性实施例中基于队列的多任务并行数据处理装置示意图；

图11示意性示出本公开示例性实施例中计算机可读存储介质示意图；

图12示意性示出本公开示例性实施例中电子设备示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了一种基于队列的多任务并行数据处理方法，该方法可以应用于一终端设备，例如可以是服务器，也可以是例如笔记本电脑、台式电脑和平板电脑等。本实施例中以服务器为例说明，参考图1中所示，该方法可以包括以下步骤：

步骤S101：接收多个终端设备发来的设备信息，为每个所述设备信息申请分配缓冲队列内不同的写入位置。

步骤S102：在所述缓冲队列的所述不同的写入位置，同时将每个所述设备信息分别写入所述缓冲队列内对应的不同位置处。

通过上述基于队列的多任务并行数据处理方法，一方面，采用预分配可插入信息元素的位置方式来实现多个生产者线程可以并行批量同时往队列里放元素，提高生产者线程的并发执行，缩短服务器响应终端设备上报数据的回复时间；另一方面，提高了服务器处理终端设备信息的处理量，并且可以无阻塞批量提交任务到队列中，进而可以提高系统性能。

下面，将参考图1至图9对本示例实施方式中的上述方法的各个步骤进行更详细的说明。

首先，说明本示例实施方式一示例性应用场景，参考图2所示，该应用场景中可以包括一运行智能云系统的服务器202，以及与服务器202远程通信的各种家庭智能设备(201、203)，为了简化说明图2中仅示出两个智能设备，这不用于限定智能设备的数量。该智能设备(201、203)可以上报设备信息如状态信息至服务器202上的智能云系统，智能云系统可以对设备上报的状态信息进行进一步的业务处理，例如，将状态信息存储至底层存储系统，以便后续查看设备历史状态，或者，根据设备状态信息进行设备报警提醒，又或者把设备状态实时推送给用户终端204如手机端上的APP等，以使用户可以远程查看自己家里的智能设备的状态等。所述服务器202上可以设置一个缓冲的内存队列，即所述缓冲队列，通过生产者线程接收并存储用户智能设备(201、203)上报的设备信息，然后可以由消费者线程从内存队列中读取设备信息，并进行后续相关的业务逻辑处理，如执行上述列举的业务处理等。

在步骤S101中，接收多个终端设备发来的设备信息，为每个所述设备信息申请分配缓冲队列内不同的写入位置。

本示例实施方式中，所述终端设备(201、203)可以是家用电器等智能设备，例如空调、冰箱、电视机等等。所述设备信息可以包括但不限于设备状态信息，例如空调当前的设置温度等等。所述设备信息还可以包括设备标识信息如ID和关联的用户信息，如用户手机号、姓名等等。

示例性的，所述服务器202上的智能云系统可以接收多个家用电器发来的设备状态信息，为每个设备所述状态信息申请分配所述缓冲队列内不同的写入位置。

具体的，每个所述设备信息如状态信息可以对应一第一线程，即生产者线程，也可以说，每个智能设备(201、203)在服务器202上可以对应一生产者线程，用于处理对应的智能设备上报的信息。如图7所示，本实施例中以一个队列大小size为10个元素的缓冲队列(以下简称队列)为例说明。其中nextIndex指生产者线程可放入元素的位置，即队列可放入元素位置，对应下文的所述第一位置，cursorIndex指队列里已放入元素位置，takeIndex指消费者线程已消费元素的位置，即队列可以取元素位置。

继续结合参考图3中所示，步骤S101中所述为每个所述设备信息申请分配缓冲队列内不同的写入位置可以包括以下步骤：

步骤S301：每个所述第一线程分别获取对应的每个所述设备信息待占用的队列空间大小对应的第一数值，以及所述缓冲队列当前可存储数据的第一位置。

示例性的，如图8中所示，以两个生产者线程为例说明本实施例，比如生产者T1线程和生产者T2线程都同时准备放元素到队列里。首先T1和T2可以向队列申请放入元素的位置。具体的，假设T1准备放两个元素到队列里，T2准备放一个元素到队列里。那么首先两个线程T1和T2各自都获得到队列的nextIndex的值(对应当前的所述第一位置)，赋值给本线程可访问的变量nextIndexBefore；同时获取本次需要申请的空间大小即元素个数(对应第一数值)。

步骤S302：每个所述第一线程根据所述第一位置和每个所述设备信息的所述第一数值计算分配得到每个所述设备信息各自对应的写入位置。

示例性的，参考图4中所示，在本公开的一种示例性实施例中，步骤S302具体可以包括以下步骤：

步骤S401：调用比较并交换CAS操作执行每个所述第一线程，以使当前仅有一个第一线程执行成功而为对应的一个所述设备信息分配到对应的写入位置。

这里，所述CAS操作是原子操作的一种，可用于在多线程编程中实现不被打断的数据交换操作，从而避免多线程同时改写某一数据时由于执行顺序不确定性以及中断的不可预知性产生的数据不一致问题。该操作通过将内存中的值与指定数据进行比较，当数值一样时将内存中的数据替换为新的值。CAS操作也是一种CPU级别的并发调用操作，此调用能保证并发的对一个变量进行修改。对一个变量的值，当传入的值等于实际的值的情况下才能进行修改。

本实施例中，每一次执行CAS操作时，CAS操作使得仅有一个第一线程可以执行成功，假设开始执行且一第一线程执行成功，该第一线程将当前的所述第一位置和对应的所述设备信息的所述第一数值相加得到的位置作为该设备信息对应的写入位置。

步骤S402：将该一个所述设备信息成功分配到的写入位置更新为所述第一位置，重新调用所述CAS操作重复执行以为剩余的设备信息分配到对应的写入位置。

示例性的，当执行成功的该第一线程计算得到对应的一个写入位置后，更为所述第一位置，之后重新调用所述CAS操作依次重复执行剩余的第一线程以为剩余的设备信息分配到对应的写入位置。

举例来说，继续以上述如图8中所示T1和T2的例子说明，在nextIndexBefore基础上加上本次需要申请的空间大小即元素个数，即是本线程申请放入元素的位置produceSequence。假设T1拿到nextIndexBefore为2，T2拿到nextIndex也为2(因为目前还没有其他线程对nextIndex进行修改)。那么T1申请的队列位置为2+2(2个元素)即为4，也即produceSequence为4。所以队列中位置3和位置4是线程T1待申请的队列位置。而T2申请的队列位置为2+1(1个元素)即为3，也即produceSequence为3。所以位置3是线程T2的待申请的队列位置。

然后调用CAS操作执行T1和T2，此时T1和T2会传入变量nextIndex和之前获得nextIndx的值nextIndexBefore，T1为2，T2为2，以及各自想要修改的值即produceSequence(nextIndexBefore+申请元素的个数)，即T1为4，T2为3。此时CPU会进行并发控制，查看当前nextIndexBefore的值是否等于nextIndex的值(nextIndex此时还是为2)，如果不等于则返回失败信息(说明T1和T2线程在申请的过程中有其它如消费者线程修改了nextIndex)，且该生产者线程重新执行申请元素写入位置的过程；如果等于，则CAS操作会使得只有一个生产者线程执行成功，比如T1执行成功，nextIndex的值变为4。而T2执行失败，然后重新申请队列插入元素写入位置，即重复上面的申请插入队列元素空间的过程，而当T2重复执行时，获取到的nextIndex更新为4，其申请放入1个元素，那么计算到的待申请插入队列元素写入位置为4+1＝5，即位置5。然后可以调用CAS操作，假设T2执行成功，则返回队列元素待写入的位置5。

此时T1实际申请到了队列插入元素位置3和位置4，T2实际申请到了队列插入元素的位置5。那么两个线程T1和T2可以同时在队列的以上不同位置上进行元素的插入操作，而不会带来并发问题。以上也即举例说明了多个生产者线程并行提交插入数据到服务器202内存队列的过程。

在上述实施例的基础上，本公开的一种示例性实施例中，该方法还可以包括以下步骤：在调用CAS操作执行每个所述第一线程前，判断当前的所述第一位置是否已被更改，即上述的查看当前nextIndexBefore的值是否等于nextIndex的值；若是则重新为每个所述设备信息申请分配所述缓冲队列内对应的写入位置；若否则调用CAS操作执行每个所述第一线程。

在上述实施例的基础上，本公开的另一种示例性实施例中，该方法还可以包括以下步骤：在调用CAS操作执行每个所述第一线程之前，判断当前所述缓冲队列中是否有预设可用空间，若是则调用CAS操作执行每个所述第一线程。

示例性的，上述判断预设可用空间的具体方式可以是：生产者线程判断申请的元素个数是否大于队列里可用空间。例如线程申请的空间位置produceSequence减去当前消费者线程已经消费元素的位置takeIndex后是否大于队列大小size，如果小于等于队列大小则表示队列还有空间可用；如果大于则表示队列里没有可用空间，然后线程重复上面的申请过程，直到成功为止。例如，T2判断队列空间是否还有空间时，由于(5-1)小于队列大小10，那么就可以调用CAS操作。

在步骤S102中，在所述缓冲队列的所述不同的写入位置，同时将每个所述设备信息分别写入所述缓冲队列内对应的不同位置处。

示例性的，线程T1可以在队列位置3和位置4处同时写入设备信息。同时线程T2可以在队列位置5处写入设备信息。

本公开的一种示例性实施例中，该方法还可以包括以下步骤：在所述缓冲队列的每一写入位置处写入对应的设备信息后，通过所述CAS操作修改预设指示值；其中，所述预设指示值用于表征当前所述缓冲队列中已写入设备信息的位置。

示例性的，生产者线程往队列写入数据元素后，通过CAS操作可以修改cursorIndex的值，以指明队列里目前已放入元素的位置。具体的，生产者线程往队列放完数据元素后，判断之前申请的队列位置produceSequence减去cursorIndex后的值，是否等于该生产者线程已放入队列元素的个数。比如T1放完数据元素后，之前申请的队列位置为4，cursorIndex目前为2，4减去2等于T1已放入的元素个数2，若更新cursorIndex值的逻辑执行正确，则更新cursorIndex为4。而此时如果T2放完数据元素后，也正在修改cursorIndex。比如T2申请的队列位置produceSequence为5，此时cursorIndex也为2(假设和T1同时修改cursorIndex)，执行更新条件为5减去2为3，不等于T2放入元素的个数1，判断失败，重新执行更新cursorIndex值的逻辑，而T1如果此时执行成功，cursorIndex更新为4，则此时T2申请的队列位置produceSequence为5，5减去4后等于T2放入队列中元素的个数1。这样最终cursonIndex的值变为5。

参考图5中所示，在上述实施例的基础上，本公开的一种示例性实施例中，该方法还可以包括以下步骤：

步骤S501：在所述缓冲队列的每一写入位置处写入对应的设备信息时，第二线程同时从所述缓冲队列中读取已写入的所述设备信息。

本示例性实施例中，所述第二线程可以是消费者线程，这样消费者线程和生产者线程可以并行修改队列。

示例性的，参考图6中所示，步骤S501中所述第二线程同时从所述缓冲队列中读取已写入的所述设备信息具体可以包括以下步骤：

步骤S601：获取所述缓冲队列中当前已读取设备信息的第二位置，将所述第二位置加一得到第三位置。

示例性的，结合图9中所示，当生产者线程对队列进行修改时，消费者线程也可以同时对队列进行访问和修改。比如当前面的两个生产者线程T1和T2正在对队列进行放元素操作时，消费者线程可以从队列里取元素。例如，消费者线程首先获得消费者线程之前已经消费队列元素位置taskIndex，将taskIndex的值加上1得到结果(taskIndex+1)。

步骤S602：判断所述第三位置是否小于等于所述缓冲队列当前已写入设备信息的位置。

示例性的，可以判断(taskIndex+1)是否小于等于队列里已放入元素的位置cursorIndex，如果成立则返回(taskIndex+1)的值consumeSequence。

步骤S603：若是则从所述第三位置读取相应的设备信息，并以该第三位置来更新所述第二位置。

示例性的，返回后从队列的consumeSequence位置获得对应数据元素，执行对应的操作。执行完后可以调用CAS操作，以更新taskIndex的值为(taskIndex+1)，最终taskIndex的值更新变为2。本实施例中，消费者线程已经执行完此元素，而此时消费者线程对生产者线程不会有影响，即消费者线程不会提前消费生产者线程未放入队列里的元素(通过cursosrIndex控制)。

本实施例中任何时刻可以有多个生产者线程和多个消费者线程同时进行入队和出队的操作。多个生产者线程可以并行往队列里放入数据，提高生产者线程的并发执行，缩短智能云系统响应智能设备状态上报数据的回复时间。另外，在生产者线程提交任务到队列时，消费者线程也可以同时对队列里的数据进行操作执行。这样，提高了系统处理设备状态任务的处理量，生产者线程和消费者线程可以同时对内存队列进行访问和修改，并且多个生产者线程可以无阻塞批量提交任务到队列中，提高了系统性能。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。另外，也易于理解的是，这些步骤可以是例如在多个模块/进程/线程中同步或异步执行。

进一步的，本示例实施方式中，还提供了一种基于队列的多任务并行数据处理装置。参考图10中所示，装置100可以包括位置分配模块101和信息写入模块102。其中：

所述位置分配模块101，用于接收多个终端设备发来的设备信息，为每个所述设备信息申请分配缓冲队列内不同的写入位置；

所述信息写入模块102，用于在所述缓冲队列的所述不同的写入位置，同时将每个所述设备信息分别写入所述缓冲队列内对应的不同位置处。

本公开的一种示例性实施例中，每个所述设备信息对应一第一线程。相应的，所述位置分配模块101，可以用于通过每个所述第一线程分别获取对应的每个所述设备信息待占用的队列空间大小对应的第一数值，以及所述缓冲队列当前可存储数据的第一位置；然后，通过每个所述第一线程根据所述第一位置和每个所述设备信息的所述第一数值计算分配得到每个所述设备信息各自对应的写入位置。

在本公开的一种示例性实施例中，所述位置分配模块101执行时，其中所述每个所述第一线程根据所述第一位置和每个所述设备信息的所述第一数值计算分配得到每个所述设备信息各自对应的写入位置具体可以包括以下步骤：首先，调用比较并交换CAS操作执行每个所述第一线程，以使当前仅有一个第一线程执行成功而为对应的一个所述设备信息分配到对应的写入位置；然后，将该一个所述设备信息成功分配到的写入位置更新为所述第一位置，再重新调用所述CAS操作重复执行以为剩余的设备信息分配到对应的写入位置。

在本公开的一种示例性实施例中，该装置100还可以包括位置判断模块，用于在调用CAS操作执行每个所述第一线程前，判断当前的所述第一位置是否已被更改；若是则重新为每个所述设备信息申请分配所述缓冲队列内对应的写入位置；若否则调用CAS操作执行每个所述第一线程。

在本公开的一种示例性实施例中，该装置100还可以包括空间判断模块，用于在调用CAS操作执行每个所述第一线程之前，判断当前所述缓冲队列中是否有预设可用空间，若是则调用CAS操作执行每个所述第一线程。

在本公开的一种示例性实施例中，该装置100还可以包括预设值修改模块，用于在所述缓冲队列的每一写入位置处写入对应的设备信息后，通过所述CAS操作修改预设指示值；其中，所述预设指示值用于表征当前所述缓冲队列中已写入设备信息的位置。

在本公开的一种示例性实施例中，该装置100还可以包括信息读取模块，用于在所述缓冲队列的每一写入位置处写入对应的设备信息时，第二线程同时从所述缓冲队列中读取已写入的所述设备信息。

在本公开的一种示例性实施例中，所述信息读取模块执行时，其中第二线程同时从所述缓冲队列中读取已写入的所述设备信息可以包括以下步骤：首先，获取所述缓冲队列中当前已读取设备信息的第二位置，将所述第二位置加一得到第三位置；然后，判断所述第三位置是否小于等于所述缓冲队列当前已写入设备信息的位置；最后，若是则从所述第三位置读取相应的设备信息，并以该第三位置来更新所述第二位置。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现木公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述基于队列的多任务并行数据处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述基于队列的多任务并行数据处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品110，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述基于队列的多任务并行数据处理方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图12来描述根据本发明的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：至少一个处理单元1210、至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230、显示单元1240等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1210执行，使得所述处理单元1210执行本说明书上述基于队列的多任务并行数据处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1210可以执行如图1中所示的步骤。

所述存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1221和/或高速缓存存储单元1222，还可以进一步包括只读存储单元(ROM)1223。

所述存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224，这样的程序模块1225包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器1260可以通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述基于队列的多任务并行数据处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种基于队列的多任务并行数据处理方法，其特征在于，该方法包括：

接收多个终端设备发来的设备信息，为每个所述设备信息申请分配缓冲队列内不同的写入位置；

在所述缓冲队列的所述不同的写入位置，同时将每个所述设备信息分别写入所述缓冲队列内对应的不同位置处。

2.根据权利要求1所述基于队列的多任务并行数据处理方法，其特征在于，每个所述设备信息对应一第一线程；所述为每个所述设备信息申请分配缓冲队列内不同的写入位置包括：

每个所述第一线程分别获取对应的每个所述设备信息待占用的队列空间大小对应的第一数值，以及所述缓冲队列当前可存储数据的第一位置；

每个所述第一线程根据所述第一位置和每个所述设备信息的所述第一数值计算分配得到每个所述设备信息各自对应的写入位置。

3.根据权利要求2所述基于队列的多任务并行数据处理方法，其特征在于，所述每个所述第一线程根据所述第一位置和每个所述设备信息的所述第一数值计算分配得到每个所述设备信息各自对应的写入位置包括：

调用比较并交换CAS操作执行每个所述第一线程，以使当前仅有一个第一线程执行成功而为对应的一个所述设备信息分配到对应的写入位置；

将该一个所述设备信息成功分配到的写入位置更新为所述第一位置，重新调用所述CAS操作重复执行以为剩余的设备信息分配到对应的写入位置。

4.根据权利要求3所述基于队列的多任务并行数据处理方法，其特征在于，该方法还包括：

在调用CAS操作执行每个所述第一线程前，判断当前的所述第一位置是否已被更改；

若是则重新为每个所述设备信息申请分配所述缓冲队列内对应的写入位置；若否则调用CAS操作执行每个所述第一线程。

5.根据权利要求3所述基于队列的多任务并行数据处理方法，其特征在于，该方法还包括：

在调用CAS操作执行每个所述第一线程之前，判断当前所述缓冲队列中是否有预设可用空间，若是则调用CAS操作执行每个所述第一线程。

6.根据权利要求3所述基于队列的多任务并行数据处理方法，其特征在于，该方法还包括：

在所述缓冲队列的每一写入位置处写入对应的设备信息后，通过所述CAS操作修改预设指示值；其中，所述预设指示值用于表征当前所述缓冲队列中已写入设备信息的位置。

7.根据权利要求1～6中任一项所述基于队列的多任务并行数据处理方法，其特征在于，该方法还包括：

在所述缓冲队列的每一写入位置处写入对应的设备信息时，第二线程同时从所述缓冲队列中读取已写入的所述设备信息。

8.根据权利要求7所述基于队列的多任务并行数据处理方法，其特征在于，所述第二线程同时从所述缓冲队列中读取已写入的所述设备信息包括：

获取所述缓冲队列中当前已读取设备信息的第二位置，将所述第二位置加一得到第三位置；

判断所述第三位置是否小于等于所述缓冲队列当前已写入设备信息的位置；

若是则从所述第三位置读取相应的设备信息，并以该第三位置来更新所述第二位置。

9.一种基于队列的多任务并行数据处理装置，其特征在于，该装置包括：

位置分配模块，用于接收多个终端设备发来的设备信息，为每个所述设备信息申请分配缓冲队列内不同的写入位置；

信息写入模块，用于在所述缓冲队列的所述不同的写入位置，同时将每个所述设备信息分别写入所述缓冲队列内对应的不同位置处。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～8任一项所述基于队列的多任务并行数据处理方法的步骤。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～8任一项所述基于队列的多任务并行数据处理方法的步骤。