CN103218176A - 数据处理方法及装置 - Google Patents

Abstract

本发明涉及一种数据处理方法及装置。其中，数据处理方法包括：创建共享内存环，所述共享内存环为存储待操作数据的环形结构空间；在对共享内存环中下一个操作目的单元进行操作前，将所述下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型；判断所述下一个操作目的单元是否能够进行所述下一个操作；根据判断结果对所述下一个操作目的单元中的数据进行处理。本发明的数据处理方法及装置，设计了一种共享内存中的环形数据结构，结合生产者和消费者的数据协调规则和共享内存环覆写机制，基于原子位操作对环的控制标识位进行更新，提高了数据并行处理场景下共享资源的数据读写效率，减小数据同步的开销，从而解决了共享资源读写效率低、同步开销大的问题。

Description

数据处理方法及装置

技术领域

本发明涉及计算机领域，尤其涉及一种数据处理方法及装置。

背景技术

互联网的高速发展带来了网络数据的膨胀。高速、海量的网络数据中却包含着错综复杂的信息，如IP业务流、用户点击流、用户查询流、服务器日志等。海量业务数据为网络数据处理带来了巨大的挑战。由于传统的数据同步处理方式对设备的利用率低，不能发挥多核计算、并行计算的优势，而且为了维持同步的有效性也会付出许多额外的系统资源开销，其处理效率往往很难满足业务系统的需求。因此，异步程序处理已经基本成为程序设计的主流思想，异步处理的好处就是提高设备使用率，从而在宏观上提升程序运行效率。

在异步程序设计中，数据的产生方称为生产者，数据的使用方称为消费者。在单生产者与多消费者模型中，主流的工作模式为生产者将数据写入数据缓冲区，多个消费者从数据缓冲区中读取数据，并行的处理数据。当不采用同步机制时，系统容易产生以下几种问题。（1）读写冲突。消费者试图读取生产者正在写入的数据块，这样消费者获取了错误的数据。（2）消费者存在僵尸问题，即计算量繁重的消费者数据处理效率极低或者故障停滞，对整体的资源协调和数据交互产生极大的负担。

为了避免以上生产者与消费者之间访问数据缓冲区时互相干扰的情况，通常的做法是采用一个锁来强制生产者和消费者以串行的方式对同一数据缓冲区进行处理，即生产者和消费者在写入数据和读取数据之前，都必须获取整个数据缓冲区的锁，只有成功获取缓冲区锁后才能进行后续读写操作。使用锁的方式可以解决生产者和消费者进行资源协调的问题，但是其同时存在一些缺点。锁机制影响了软件的实质并发性，对系统的处理效率产生了一定的影响。

目前比较好的无锁算法为Lamport于1977年提出的Lock-Free RingBuffer。其解决了无锁数据同步的问题，这个算法的实现流程为生产者拷贝数据到一个数组的尾端，而消费者从另一端移走数据。当到达数组末端，生产者回到数组的开始。因此其核心结构包括一个环形缓存和分别记录读写位置的指针，此结构不需要进行锁处理。生产者是唯一允许修改写指针的处理单元。只要生产者在更新写指针之前存储一个新值到缓存中，消费者将一直看到一个一致视图。而消费者是唯一存取读索引和它指向的值的处理单元。只要保证系统读写指针不相互覆盖，也即读指针持续保持在写指针之后，生产者和消费者可以并发存取缓存而没有竞争情况。然而，其限制就是只能一个生产者和一个消费者。

发明内容

本发明所要解决的技术问题是提供一种数据处理方法及装置，提高数据并行处理场景下共享资源的数据读写效率，减小数据同步的开销。

为解决上述技术问题，本发明提出了一种数据处理方法，包括：

创建共享内存环，所述共享内存环为存储待操作数据的环形结构空间；

在对共享内存环中下一个操作目的单元进行操作前，将所述下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型；

判断所述下一个操作目的单元是否能够进行所述下一个操作；

根据判断结果对所述下一个操作目的单元中的数据进行处理。

进一步地，上述数据处理方法还可具有以下特点，所述操作为写入或读取。

进一步地，上述数据处理方法还可具有以下特点，所述根据判断结果对所述下一个操作目的单元中的数据进行处理包括：

所述判断结果为能够进行所述下一个操作，则对所述下一个操作目的单元进行所述下一个操作。

进一步地，上述数据处理方法还可具有以下特点，所述根据判断结果对所述下一个操作目的单元中的数据进行处理包括：

所述操作为写入，所述判断结果为不能进行所述下一个操作，所述下一个操作目的单元的操作标识位有读标志位，则判断所述下一个操作目的单元是否存在僵尸读消费者；

若存在，则释放下一个操作目的单元的读标志位，释放后将下一个操作目的单元的读计数清零，并对所述下一个操作目的单元进行写入操作；

若不存在，则释放所述下一个操作目的单元的写标志位。

进一步地，上述数据处理方法还可具有以下特点，所述共享内存环中每一个操作目的单元包括读标识位、写标识位、数据覆写标志位、数据序列号和时间戳。

为解决上述技术问题，本发明还提出了一种数据处理装置，包括：

创建模块，用于创建共享内存环，所述共享内存环为存储待操作数据的环形结构空间；

设置模块，用于在对共享内存环中下一个操作目的单元进行操作前，将所述下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型；

判断模块，用于判断所述下一个操作目的单元是否能够进行所述下一个操作；

处理模块，用于根据所述判断模块的判断结果对所述下一个操作目的单元中的数据进行处理。

进一步地，上述数据处理装置还可具有以下特点，所述操作为写入或读取。

进一步地，上述数据处理装置还可具有以下特点，所述处理模块包括：

第一处理单元，用于在所述判断模块的判断结果为能够进行所述下一个操作时，对所述下一个操作目的单元进行所述下一个操作。

进一步地，上述数据处理装置还可具有以下特点，所述处理模块包括：

第二处理单元，用于在所述操作为写入，所述判断结果为不能进行所述下一个操作，所述下一个操作目的单元的操作标识位有读标志位时，判断所述下一个操作目的单元是否存在僵尸读消费者；若存在僵尸读消费者，则释放下一个操作目的单元的读标志位，释放后将下一个操作目的单元的读计数清零，并对所述下一个操作目的单元进行写入操作；若不存在僵尸读消费者，则释放所述下一个操作目的单元的写标志位。

进一步地，上述数据处理装置还可具有以下特点，所述共享内存环中每一个操作目的单元包括读标识位、写标识位、数据覆写标志位、数据序列号和时间戳。

本发明的数据处理方法及装置，设计了一种共享内存中的环形数据结构，结合生产者和消费者的数据协调规则和共享内存环覆写机制，基于原子位操作对环的控制标识位进行更新，提高了数据并行处理场景下共享资源的数据读写效率，减小数据同步的开销，从而解决了共享资源读写效率低、同步开销大的问题。

附图说明

图1为本发明实施例中数据处理方法的流程图；

图2为共享内存环系统示意图；

图3为操作为写入时的数据处理流程图；

图4为操作为读取时的数据处理流程图；

图5为本发明实施例中数据处理装置的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例中数据处理方法的流程图。如图1所示，本实施例中，数据处理方法包括如下步骤：

步骤101，创建共享内存环；

其中，共享内存环为存储待操作数据的环形结构空间。

图2为共享内存环系统示意图。如图2所示，共享内存环系统的核心结构包括一个生产者、多个消费者及一个共享内存环。共享内存环描述数据在共享内存中的缓存结构，共享内存环由多个数据块所构成，数据块描述了单一数据的组织方式。数据块的核心结构包括12个字节的逻辑结构描述，包括2个字节的读标识位、1个字节的写标识位、1个字节的数据覆写标志位，4个字节的数据序列号以及4个字节的时间戳。也就是说，共享内存环中每一个操作目的单元可以包括读标识位、写标识位、数据覆写标志位、数据序列号和时间戳。

其中，读标识位、写标识位、数据覆写标志位是共享数据环的控制标志位。数据覆写标志位是为了处理消费者的假死情况而设立的，生产者每次读到一个有读标志位的数据块时，此标志位增1,如果此标志位的值超过阈值，则生产者认为有僵尸消费者停顿在此数据块，此数据块被收回，写入新数据并清空其数据覆写标志位。数据序列号是进行差错控制的可选的第二层保证，生产者写入新数据后，此序列号自增，消费者可选的判断当前读到的序列号是否小于上一次读到的序列号，如果是，消费者可以认为此数据块无效，跳过此数据块内容。时间戳是为了一般网络程序所特定考虑的，一般网络应用的数据包处理都会对时间戳进行相关统计，因此可以将其固化到数据块内部。逻辑结构描述是为应用程序预留的内容。

根据配置情况，生产者在启动时会在共享内存中申请一块空间，并按照环形结构的定义初始化此共享内存空间，该共享内存空间即为共享内存环；多消费者启动时会检查对应的共享内存空间是否已经存在，如果存在，则将其挂载到此消费者对应的地址空间中进行操作。共享内存环由入口地址、环大小以及一些保存缓存数据的数据块所构成。

为了保证单生产者多消费者能够无锁的进行同步处理，共享内存环在每个数据块中设定标志位，并通过内核提供的原子位操作的方式进行标志位的修改等操作，结合生产者和消费者的读写协调机制，保证数据同步按照预期的方式运行。

步骤102，在对共享内存环中下一个操作目的单元进行操作前，将下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型；

其中，操作为写入或读取。

生产者与消费者之间的读写协调规则及覆写机制如下：

（1）消费者在判断下一块是否可读前先对该块设上读标志位，如果经过判断可读，则进行读操作，如果判断得不可读则清除最开始设置的读标志位；

同样地，生产者在判断下一块是否可写前先对该块设上写标志位，如果经过判断可写，则进行写操作，如果判断得不可写则清除最开始设置的写标志位。

（2）生产者采取hold then drop（持久占位）的方式工作，即生产者首先要找到一个可写块，才能将之前获取的可写块释放。通过这种处理，共享内存环上始终存在一个写块，消费者就永远不会超越生产者。

（3）当生产者遇到消费者正在处理的数据块的时候，增加读块计数。计数到达一定值后将数据块回收。

（4）当消费者遇到生产者正在处理的数据块的时候，在当前位置等待一小段时间，接着判断下一块是否可读。

（5）关于标志位的操作采用原子操作进行。

步骤103，判断下一个操作目的单元是否能够进行下一个操作；

步骤104，根据步骤103的判断结果对下一个操作目的单元中的数据进行处理。

下面分别对操作为写入和读取时的数据处理流程进行说明。

图3为操作为写入时的数据处理流程图。如图3所示，操作为写入时的数据处理流程包括如下步骤：

步骤301，开始，申请并初始化共享内存环；

步骤302，寻址下一个可用的数据块；

步骤303，用set＿bit位操作设置写操作位；

步骤304，判断是否有读标志位，若是执行步骤305，否则执行步骤309；

步骤305，判断是否存在读僵尸消费者，若是执行步骤306，否则执行步骤307；

步骤306，采用clear＿bit位操作释放写操作位，执行步骤302；

步骤307，位操作释放所有读标志位；

步骤308，数据块计数器清零；

步骤309，将数据拷贝（即复制）到缓存消息块中；

步骤310，采用clear＿bit位操作释放写操作位；

步骤311，释放共享内存，结束。

图4为操作为读取时的数据处理流程图。如图4所示，操作为读取时的数据处理流程包括如下步骤：

步骤401，开始，挂载共享内存环；

步骤402，判断挂载是否成功，若是执行步骤403，否则结束；

步骤403，注册消费者；

步骤404，寻址下一个可用的数据块；

步骤405，用set＿bit位操作设置读操作位；

步骤406，判断是否有写标志位，若是执行步骤407，否则执行步骤409；

步骤407，采用clear＿bit位操作释放读操作位；

步骤408，睡眠一小段时间，执行步骤404；

步骤409，获取数据进行处理；

步骤410，采用clear＿bit位操作释放读操作位；

步骤411，注销消费者，结束。

本发明的数据处理方法，设计了一种共享内存中的环形数据结构，结合生产者和消费者的数据协调规则和共享内存环覆写机制，基于原子位操作对环的控制标识位进行更新，提高了数据并行处理场景下共享资源的数据读写效率，减小数据同步的开销，从而解决了共享资源读写效率低、同步开销大的问题。

本发明还提出了一种数据处理装置，用以执行上述的数据处理方法。

图5为本发明实施例中数据处理装置的结构框图。如图5所示，本实施例中，数据处理装置包括创建模块510、设置模块520、判断模块530和处理模块540。创建模块510、设置模块520、判断模块530和处理模块540顺次相连。其中，创建模块510用于创建共享内存环，其中，共享内存环为存储待操作数据的环形结构空间。设置模块520用于在对共享内存环中下一个操作目的单元进行操作前，将该下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型。判断模块530用于判断该下一个操作目的单元是否能够进行下一个操作。处理模块540用于根据判断模块530的判断结果对该下一个操作目的单元中的数据进行处理。

其中，操作可以为写入或读取。

在本发明实施例中，共享内存环中每一个操作目的单元可以包括读标识位、写标识位、数据覆写标志位、数据序列号和时间戳。前面已有关于读标识位、写标识位、数据覆写标志位、数据序列号和时间戳的说明，此处不再赘述。

在本发明实施例中，处理模块540可以进一步包括第一处理单元。第一处理单元用于在判断模块530的判断结果为能够进行下一个操作时，对该下一个操作目的单元进行下一个操作。

在本发明实施例中，处理模块540还可以进一步包括第二处理单元。第二处理单元用于在操作为写入、判断模块530的判断结果为不能进行所述下一个操作、下一个操作目的单元的操作标识位有读标志位时，判断下一个操作目的单元是否存在僵尸读消费者；若存在僵尸读消费者，则释放下一个操作目的单元的读标志位，释放后将下一个操作目的单元的读计数清零，并对下一个操作目的单元进行写入操作；若不存在僵尸读消费者，则释放下一个操作目的单元的写标志位。

本发明的数据处理装置，能够执行上述的数据处理方法，设计了一种共享内存中的环形数据结构，结合生产者和消费者的数据协调规则和共享内存环覆写机制，基于原子位操作对环的控制标识位进行更新，提高了数据并行处理场景下共享资源的数据读写效率，减小数据同步的开销，从而解决了共享资源读写效率低、同步开销大的问题。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

创建共享内存环，所述共享内存环为存储待操作数据的环形结构空间；

在对共享内存环中下一个操作目的单元进行操作前，将所述下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型；

判断所述下一个操作目的单元是否能够进行所述下一个操作；

根据判断结果对所述下一个操作目的单元中的数据进行处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述操作为写入或读取。

3.根据权利要求1所述的数据处理方法，其特征在于，所述根据判断结果对所述下一个操作目的单元中的数据进行处理包括：

所述判断结果为能够进行所述下一个操作，则对所述下一个操作目的单元进行所述下一个操作。

4.根据权利要求1所述的数据处理方法，其特征在于，所述根据判断结果对所述下一个操作目的单元中的数据进行处理包括：

所述操作为写入，所述判断结果为不能进行所述下一个操作，所述下一个操作目的单元的操作标识位有读标志位，则判断所述下一个操作目的单元是否存在僵尸读消费者；

若存在，则释放下一个操作目的单元的读标志位，释放后将下一个操作目的单元的读计数清零，并对所述下一个操作目的单元进行写入操作；

若不存在，则释放所述下一个操作目的单元的写标志位。

5.根据权利要求1所述的数据处理方法，其特征在于，所述共享内存环中每一个操作目的单元包括读标识位、写标识位、数据覆写标志位、数据序列号和时间戳。

6.一种数据处理装置，其特征在于，包括：

创建模块，用于创建共享内存环，所述共享内存环为存储待操作数据的环形结构空间；

设置模块，用于在对共享内存环中下一个操作目的单元进行操作前，将所述下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型；

判断模块，用于判断所述下一个操作目的单元是否能够进行所述下一个操作；

处理模块，用于根据所述判断模块的判断结果对所述下一个操作目的单元中的数据进行处理。

7.根据权利要求6所述的数据处理装置，其特征在于，所述操作为写入或读取。

8.根据权利要求6所述的数据处理装置，其特征在于，所述处理模块包括：

第一处理单元，用于在所述判断模块的判断结果为能够进行所述下一个操作时，对所述下一个操作目的单元进行所述下一个操作。

9.根据权利要求6所述的数据处理装置，其特征在于，所述处理模块还包括：

第二处理单元，用于在所述操作为写入，所述判断结果为不能进行所述下一个操作，所述下一个操作目的单元的操作标识位有读标志位时，判断所述下一个操作目的单元是否存在僵尸读消费者；若存在僵尸读消费者，则释放下一个操作目的单元的读标志位，释放后将下一个操作目的单元的读计数清零，并对所述下一个操作目的单元进行写入操作；若不存在僵尸读消费者，则释放所述下一个操作目的单元的写标志位。

10.根据权利要求6所述的数据处理装置，其特征在于，所述共享内存环中每一个操作目的单元包括读标识位、写标识位、数据覆写标志位、数据序列号和时间戳。

Images