CN104809027A

CN104809027A - 一种基于无锁缓冲区的数据采集方法

Info

Publication number: CN104809027A
Application number: CN201510192246.8A
Authority: CN
Inventors: 王友钊; 黄静
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2015-04-21
Filing date: 2015-04-21
Publication date: 2015-07-29
Anticipated expiration: 2035-04-21
Also published as: CN104809027B

Abstract

本发明公开了一种基于无锁缓冲区的数据采集方法，该方法包括：使用面向对象方法抽象数据逻辑，建立生产者-消费者数据采集模型；使用多线程技术，建立数据生产者线程和消费者线程；使用有序堆作为多线程同步的数据缓冲区；使用CAS原子操作构建数据缓冲区数据读写的无锁同步算法。本发明使用生产者-消费者缓冲区实现有序的数据排列，并且能够以无锁的方式实现两部分线程的同步访问而不出现数据污染和冲突。

Description

一种基于无锁缓冲区的数据采集方法

技术领域

本发明涉及计算机应用领域，尤其涉及一种基于无锁缓冲区的数据采集方法。

背景技术

在传统的数据并发采集系统中，使用基于锁的生产者—消费者缓冲区队列模型，同一时间只能有一个线程获得数据队列缓冲区。基于锁的数据结构能够部分解决多线程成并发的问题，但是由于锁结构本身依赖与操作系统内核的实现方式，获得锁和释放锁设计线程从用户态到内核态的上下文切换问题，而且锁粒度大小难以控制，因此，在并发程序中的性能问题也逐渐显露。

阻塞型算法试图用不同形式的锁（Lock）来解决并行算法遇到的访问冲突问题，但是这种方法存在着死锁、活锁、条件竞争等多种多样的问题，为了解决这些问题，另一种并行算法——非阻塞型算法被提出来。非阻塞型算法一般要满足如下的前进条件之一：

（1）无等待条件（wait-free）：该条件要求当前线程的任务在有限步骤内完成，在任务所有的操作完成前，并不管其他线程的任何操作。也就是说把只有当前线程的所有操作完成之后，其他的线程才能开始任务，但在现实中一个线程的任务数量可能很大，这种方法十分依赖线程的数目，因此在实际中应用的比较少；

（2）无锁条件（lock-free）：该条件要求当前线程的任务能够在有限的步骤内完成，但是不同于无等待模型的是，每一次线程执行时只用保证完成部分操作。这就保证了多任务的调度顺利，因此在大多数的无锁数据结构都是采用此种模型；

（3）无干扰条件（obstruction-free）：该条件同样要求线程能够在有限的步骤内完成，同时要求当前线程被其它线程影响后能够继续执行。

这些条件中的每一个都能够保证能实现和阻塞锁达到的要求，但是在实践中条件越严苛的实现起来的代价就越高，但是性能也越好，目前主要的研究集中在满足无锁（lock-free）条件的并发数据结构上面。

无锁（lock-free）数据结构的实现基础是高级别的原子操作（High-level atomic operation），原子操作提供一个一致性接口：要么操作完成，要么操作失败什么也不做——如果操作失败，用户必须重试，失败后进行其他操作，因此用原子操作实现共享资源使用的线性化进而实现无锁数据结构成为研究者的首选。这其中CAS (Compare-And-Swap) 操作更加简洁和高效，用它能够实现解决多线程无锁同步问题。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于无锁缓冲区的数据采集方法。

本发明的目的是通过以下技术方案来来实现的：一种基于无锁缓冲区的数据采集方法，包括以下步骤：

（1）建立生产者-消费者数据采集模型；所述生产者-消费者数据采集模型包括采集部分和处理部分，采集部分和处理部分并行进行；

（2）建立数据生产者线程和测点数据消费者线程；

（3）使用有序堆建立数据缓冲区，数据缓冲区中的数据按时间戳有序排放，数据缓冲区容量固定，数据节点在逻辑上是树形结构；

（4）数据生产者线程和测点数据消费者线程对缓冲区进行同步操作，操作完成后缓冲区恢复有序；

（5）使用CAS原子操作实现对缓冲区的无锁增加、删除和排序，实现线程同步操作，避免两组工作线程阻塞。

进一步地，所述步骤（2）中，生产者和消费者可能是单一线程也可能是一组工作线程，两个线程单独工作互不影响。

进一步地，所述步骤（4）具体为：生产者采集数据存入数据缓冲区，若缓冲区不满，将生产者采集的数据直接放入缓冲区的末尾，并且对缓冲区中的数据按时间戳自动排序；若缓冲区满，生产者采集的数据与缓冲区中时间戳最旧的数据交换后按时间戳自动排序；消费者从数据缓冲区取数据，若缓冲区不空，将缓冲区中时间戳最新的数据取出，并且对缓冲区中剩余数据按时间戳自动排序；若缓冲区空，则等待生产者采集的数据。

本发明的有益效果是：本发明使用生产者-消费者缓冲区实现有序的数据排列，并且能够以无锁的方式实现两部分线程的同步访问而不出现数据污染和冲突。

附图说明

图1 无锁缓冲区的插入算法流程图；

图2 无锁缓冲区的删除算法流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明一种基于无锁缓冲区的数据采集方法，包括以下步骤：

（2）建立数据生产者线程和测点数据消费者线程；生产者和消费者可能是单一线程也可能是一组工作线程，两个线程单独工作互不影响。

（4）数据生产者线程和测点数据消费者线程对缓冲区进行同步操作，操作完成后缓冲区恢复有序；具体为：生产者采集数据存入数据缓冲区，若缓冲区不满，将生产者采集的数据直接放入缓冲区的末尾，并且对缓冲区中的数据按时间戳自动排序；若缓冲区满，生产者采集的数据与缓冲区中时间戳最旧的数据交换后按时间戳自动排序；消费者从数据缓冲区取数据，若缓冲区不空，将缓冲区中时间戳最新的数据取出，并且对缓冲区中剩余数据按时间戳自动排序；若缓冲区空，则等待生产者采集的数据。

实施例

利用定长数组实现堆（Heap），此时数组成为一种平衡二叉树。数组的第一个元素是树的根，数组的第二三个节点分别是树的左右孩子。这样树的索引非常方便，假如当前节点的索引值为i的话，那么他的双亲节点为：iParent = floor((i-1) / 2)；左孩子节点为：iLeftChild = 2*i + 1；右孩子节点为：iRightChild = 2*i + 2。插入的过程就是一个不断进行堆化的过程，每次插入一个节点同时删除一个节点，不仅能够保持元素的相对有序，而且不用进行显式的删除元素的操作。

无锁堆的数据结构如代码LockFreeHeap所示，包含一个恒定的数组以及保持修改状态的变量N，和数组的长度LEN，该无锁堆在第一次使用时分配恒定的内存，在使用的过程中，内存不会重新分配与释放。值得注意的是这里使用了另外一个显式的状态变量，这个变量叫做排序状态，它的作用是保证当前只有一个线程能够对堆进行堆化操作

class LockFreeHeap

{

Key* buffer; // 存储元素的数组

int N = 0; // 元素的最大索引，第0个位置不用

int LEN=10;//数组的最大长度

bool status=0;//堆所处的状态：0，未交换状态；1，交换状态

};

当生产者获取数据节点时，向LockFreeHeap中添加元素，普通的堆实现方法要在这时对堆进行堆化，使堆相对有序，但是这不能进行堆化，原因是堆化的过程是一个元素位置交换的过程，如果此时进行堆化，当消费者同时也在进行堆化的时候就会造成堆混乱。因此这里的堆化操作应该只由消费者获得节点数据后单独进行堆化，这个过程中不能产生新的节点，因此要对其进行CAS索引保护，这样生产者就不能进行增加测点的工作。

生产者线程插入数据的算法如图1所示，在缓冲区不满的时候，直接插入到缓冲区的末尾；当缓冲区已满的时候则要首先找到掉缓冲区中时间戳最旧元素，并与之交换信息，交换信息的过程中，保持无锁堆状态不能改变，因此用CAS操作来监测无锁堆的状态，直到确定其他的线程都不能访问。

消费者删除节点时，先要找到与当前时间比对最近的节点的时间戳，获取节点之后，修改索引值，然后再进行堆化操作，在这个过程中同样要保证无锁堆的交换状态和修改状态的一致性，删除节点的算法如图2所示。该算法与插入算法不同的地方在于要比对与当前时间最近的节点，然后进行堆化操作。

Claims

1.一种基于无锁缓冲区的数据采集方法，其特征在于，包括以下步骤：

（2）建立数据生产者线程和测点数据消费者线程；

2.根据权利要求1所述的一种基于无锁缓冲区的数据采集方法，其特征在于，所述步骤（2）中，生产者和消费者可能是单一线程也可能是一组工作线程，两个线程单独工作互不影响。

3.根据权利要求1所述的一种基于无锁缓冲区的数据采集方法，其特征在于，所述步骤（4）具体为：生产者采集数据存入数据缓冲区，若缓冲区不满，将生产者采集的数据直接放入缓冲区的末尾，并且对缓冲区中的数据按时间戳自动排序；若缓冲区满，生产者采集的数据与缓冲区中时间戳最旧的数据交换后按时间戳自动排序；消费者从数据缓冲区取数据，若缓冲区不空，将缓冲区中时间戳最新的数据取出，并且对缓冲区中剩余数据按时间戳自动排序；若缓冲区空，则等待生产者采集的数据。