CN103514053A

CN103514053A - 一种基于共享内存的进程间通讯方法

Info

Publication number: CN103514053A
Application number: CN201310432622.7A
Authority: CN
Inventors: 刘庆云; 李世明; 刘洋; 秦鹏; 郑超; 孙永; 周舟; 杨威
Original assignee: Institute of Information Engineering of CAS
Current assignee: Institute of Information Engineering of CAS
Priority date: 2013-09-22
Filing date: 2013-09-22
Publication date: 2014-01-15
Anticipated expiration: 2033-09-22
Also published as: CN103514053B

Abstract

本发明涉及一种基于共享内存的多进程间通讯方法，本发明以循环队列形式对共享内存进行管理，共享内存供多个进程以队列形式顺序读写，读或写以块为单位，块大小由用户控制；共享内存被多进程共享，进程分为只读进程和只写进程；支持多个进程同时对该共享内存进行读操作，只能有一个进程对该共享内存进行写操作，读写不冲突，能同时进行；本发明所述方法大大减少了进程间交换信息时经由内核的拷贝次数，提高了后台系统的吞吐量，降低了系统的开销，有效地提高了系统的性能。

Description

一种基于共享内存的进程间通讯方法

技术领域

本发明涉及计算机领域，尤其涉及一种基于共享内存的进程间通讯方法。

背景技术

传统的Unix编程模型，在同一个操作系统上运行多个进程，每个进程都有各自的地址空间，Unix进程间的信息共享可以有多种形式，通常包括：管道，FIFO，消息队列，以及域间套接字和共享内存。除共享内存外的几种通信方式的问题在于，两个进程交换信息时，这些信息必须经由内核传递，从而造成了更高的开销，这在效率要求极高的系统中就成为了影响系统性能的瓶颈。

而利用共享内存进程间的通讯则不再涉及内核，如何利用共享内存，实现进程间的高效通讯，成为亟待解决的一个问题。

发明内容

本发明所要解决的技术问题是提供一种基于共享内存的进程间通讯方法，合理利用共享内存，减少系统开销，达到更高的性能要求。

本发明解决上述技术问题的技术方案如下：一种基于共享内存的多进程间通讯方法，包括如下步骤：

步骤1：写进程创建包括管理单元、循环队列和内存池的共享内存，并在管理单元中存储关于整个共享内存的管理信息；

步骤2：写进程从管理单元中获取关于当前写进程的操作位置，，根据每次待写入数据的大小，顺序开辟与待存入数据大小等大的第N（N=1,2,3…）存储块，将待写入的数据存入相应存储块中；

步骤3：开辟第N存储块时，记录所述第N存储块的大小、起始位置、结束位置以及存储的是否为完整数据，上述记录的信息形成第N结构体，并存入循环队列的队尾指针处；同时更新管理单元中关于当前写进程的操作位置的记录；

步骤4：在执行步骤2至3的同时，一个或若干个读进程可对共享内存进行读操作；

步骤5：每个读进程自循环队列的队头开始，依次读取第N（N=1,2,3…）结构体；

步骤6：判断第N结构体是否处于循环队列的队尾，如果是队尾，说明该结构体对应的存储块正在进行写操作，则等待，等到队尾指针不指向该结构体时，执行步骤7；如果不是队尾，则直接执行步骤7；

步骤7：根据该结构体中关于第N存储块的位置信息，读取内存池中相应第N存储块中的数据；

步骤8：判断所述写进程是否还要向内存池写入数据，如果是，返回步骤2；否则判断内存池中数据是否都已读完，如果未读完则返回步骤5；否则结束。

本发明的有益效果是：本发明以循环队列形式对共享内存进行管理，共享内存供多个进程以队列形式顺序读写，读或写以块为单位，块大小由用户控制；共享内存被多进程共享，进程分为只读进程和只写进程；支持多个进程同时对该共享内存进行读操作，只能有一个进程对该共享内存进行写操作，读写不冲突，能同时进行；本发明所述方法大大减少了进程间交换信息时经由内核的拷贝次数，提高了后台系统的吞吐量，降低了系统的开销，有效地提高了系统的性能。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1中所述的管理信息包括：

该共享内存创建者ID、队列规模、内存池大小、内存池起始位置、内存池结尾位置、当前写进程的操作位置、当前读该共享内存的所有读进程标记、当前使用该共享内存的进程数目、读写锁和互斥锁。

进一步，步骤2中开辟第N存储块时，还要进行如下操作，

步骤2.1：根据第N-1存储块的结束位置、待存入数据的大小以及内存池的结尾位置判断内存池是否还有足够空间开辟第N存储块来存储数据，如果有足够空间，则执行步骤2.2；如果没有足够空间，则执行2.3；

步骤2.2：开辟与待存入数据等大的第N存储块，将待存入数据存入所述第N存储块，生成关于第N存储块的结构体，并在结构体中标记所存储的数据为完整数据；

步骤2.3：开辟自第N-1存储块的结束位置至内存池的结束位置大小的第N存储块，将待存入数据的一部分存入所述第N存储块，形成第N存储块的结构体，在结构体中标记所存储的数据为不完整数据；将剩余的待存入数据存入内存池头部。

采用上述进一步方案的有益效果是：可以有效解决当内存不足时，数据写入的问题。

进一步，步骤2.3中在将剩余的待存入数据存入内存池头部前要执行如下步骤：

步骤2.3.1：写进程根据循环队列的第N（N=1,2,3,4…）结构体中关于读进程读取第N存储块的记录，判断第N存储块中是否被所有读进程读完，如果未读完则等待，等到读完后，执行步骤2.3.2；如果读完则直接执行步骤2.3.2；

步骤2.3.2：判断第N存储块的大小是否能够容纳待剩余的待存入数据，如果能够容纳，则自内存池起始位置开始开辟与剩余的待存入数据等大的存储块，结束；否则返回步骤2.3.1。

采用上述进一步方案的有益效果是：上述方法采用的是读优先策略，如果内存池已满，需要覆盖已有数据，则判断需要覆盖的存储块中的数据是否已被读完，如果已读完则直接覆盖，如果未读完则等待，等读完后再覆盖，保证了数据的完整性。

进一步，所述步骤2.3.1中还包括预设一个等待时间阈值，当所述写进程等待的时间超过等待时间阈值时，所述第N存储块还未所有读进程读完，则不再等待，直接执行步骤2.3.2。

采用上述进一步方案的有益效果是：上述方法是在写进程追上读进程时，可以防止读进程死掉而出现死等的情况，拟定等待时间阈值，如果超出等待时间阈值，即使读进程未读完，则认为该进程自行退出，不再等待，写进程直接写入对应的存储块。

进一步，步骤3中所述第N结构体中还包括用于记录一个或若干个读进程读取存储池中第N存储块的读取状态的标记数组，当某一读进程读取第N存储块时，将第N结构体关于该读进程对所述第N存储块是否已读的标记位置1。

采用上述进一步方案的有益效果是：所述第N结构体中的读取状态标记数组，可以为写进程提供参考，尤其是在写进程追上读进程时，写进程可参考该标记数组来判断该结构体对应的存储块是否被所有读进程读完，进而判断写进程是否可以向相应的存储块中写入数据。

进一步，多个读进程可同时对共享内存进行读操作，只有一个写进程对共享内存进行写操作，读进程和写进程可同时对共享内存进行操作。

采用上述进一步方案的有益效果是：大大提高进程间的效率。

进一步，写进程创建所述共享内存前，要根据所述写进程句柄中的权限控制ID进行权限检测，检测通过后，才可根据句柄中的共享内存ID在物理地址中寻找相应的位置，进而创建所述共享内存。

进一步，每个读进程对所述共享内存进行读写操作前，要根据其句柄中的权限控制ID进行权限检测，检测通过的可对共享内存进行读操作。

采用上述进一步方案的有益效果是：各个进程对共享内存进行操作前进行权限检测，不具备操作权限的进程不能进行读或写，可有效防止无关进程所述共享内存，强化了安全机制，增强了进程间通讯的安全性。

进一步，所述读进程读取循环队列头指针指向的结构体所对应的内存池中存储块时需获取读写锁，读取其他存储块时不必获取读写锁，所述写进程每次进行写操作时需要获取读写锁，当有进程对共享内存进行操作，需要修改管理单元中存储的当前使用该共享内存的进程数目时，所述进程需要获取互斥锁才能进行操作。

采用上述进一步方案的有益效果是：本发明为进程密集信息交换提供共享内存池，提高进程的交互能力，为减少锁冲突带来的开销，设计使用最少锁闭的数据结构，并对共享内存池进行高效的管理。

附图说明

图1为本发明所述共享内存的结构图；

图2为本发明所述一种基于共享内存的多进程通信方法流程图。

附图中，各标号所代表的部件列表如下：

1、管理单元，2、循环队列，3、内存池，3-1、存储块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

共享内存是一种高效率的进程间通信方式，也是最快的IPC形式，两个不同进程A，B共享内存的意思是，同一块物理内存被映射到进程A，B各自的进程地址空间，两个进程可以即时看到对方对共享内存中数据的更新，进程A，B间数据的传递就不再涉及内核。由于多个进程共享同一块内存区域，必然需要某种同步机制，互斥锁和信号量都可以。

无论是读写锁还是互斥锁，如果大量使用势必会影响系统性能，所以我们尽可能减少锁的使用，避免由于锁冲突带来的额外开销。本发明将共享内存以循环队列的形式进行管理，通过合理利用队列数据结构的特点，避免了多进程读共享内存时锁的使用，即多进程从共享内存读取信息时不需要获取锁。为提高共享内存的使用效率，共享内存可以同时进行读写，同一时刻支持多进程读，唯一进程写，但不支持多进程写。

如图1所示，所述共享内存包括管理单元1、循环队列2和存储池3，其中，管理单元1存储的管理信息包括：

该共享内存创建者ID、队列规模、内存池大小、内存池起始位置、内存池结尾位置、当前写进程的操作位置、当前读该共享内存的所有读进程标记、当前使用该共享内存的进程数目、互斥锁和读写锁。读写锁确保管理单元中存储的管理信息的读写安全以及内存池同一时刻只有一个进程在写；所述互斥锁保证如果有进程要修改管理单元中存储的当前使用该共享内存的进程数目时，需要首先获取互斥锁，这样就不会导致几个进程同时操作引起数据混乱。

本发明中所述共享内存包括三个部分，第一部分是管理单元，其存储了整个共享内存的管理信息；第二部分存储了一个循环队列；第三部分是内存池，内存池中形成若干个存储块，用于存入数据；在存储块中存入数据的同时，生成用于记录所述存储块属性的结构体，并存入循环队列中；写数据的时候，会有一个相应的结构体入队，该结构体对应相应的存储块，进行读操作时，首先通过该队列来取得内存池的信息，从而进行有效访问。

下面详细介绍三个部分。

PART1：共享内存的开始部分，该部分存储整个共享内存的管理信息，其具体内容为一个MESA_shm_queue_info_t类型的结构体，该结构体为：

Struct MESA_shm_queue_info{

Unsigned int max_queue_size;

Unsigned int pool_size;

Unsigned int pool_begin_offset;

Unsigned int pool_end_offset;

Unsigned int write_pos;

Unsigned int op_num;//当前附加进程数

Intower_id;

Char read_flags[32];//标记待读进程

Pthread_mutex_t mutex;

Pthread_rwlock_t rwlock;

}MESA_shm_queue_info_t；

下面详细介绍该结构体：

max_queue_size：循环队列规模。

pool_size：PART3内存池的大小。

pool_begin_offset：内存池的起始位置(相对共享内存起始地址的距离)。

pool_begin_offset：内存池的结尾位置(相对共享内存起始地址的距离)。

write_pos：内存池目前写操作进行到的位置(相对共享内存起始地址的距离)。

op_num：当前使用该共享内存的进程数目。

ower_id：该共享内存创建者的ID。

read_flags[32]：当读进程附加到共享内存的时候，该数组的相应位置1，表示该进程需要读数据，例如id为8的读进程来进行操作时，read_flags[8]赋值为’1’。

Mutex：该互斥锁用来保护op_num。

Rwlock：读写锁，保护整块共享内存。

PART2：该块内存为循环队列，通过循环队列来实现对内存池的控制。

该内存区域首先存储一个circular_array_t类型的结构体和若干block_info_t类型结构体。

Structcircular_array_t{

Int head;//队列头指针

Int tail;//队列尾指针

Block_info_t*pbase;

}

该结构体是队列的信息。

Structblock_info_t{

Unsigned int block_size;

Unsigned int block_start;

Unsigned int block_end;

Unsigned int is_splits;

Char flags[32];

}

下面详细介绍该结构体：

block_size：对应内存池中实际存储块的大小。

block_start：对应内存池中存储块的起始位置(相对)。

block_end：对应内存池的中存储块的结束位置(相对)。

is_splits：该块数据是否分片。当内存池尾部剩余的容量不足以存放整块数据，需要把部分数据放到内存池的头部时该数据就是分片的数据，拷贝时要分两次进行。

若干个block_info_t类型的结构体组成循环队列。从而将内存池进行有效管理。

PART3：实际存放数据的内存池。

如图2所示，一种基于共享内存的多进程间通讯方法，包括如下步骤：

其中，步骤2中开辟第N存储块时，还要进行如下操作，

其中，步骤2.3中在将剩余的待存入数据存入内存池头部前要执行如下步骤：

其中，所述步骤2.3.1中还包括预设一个等待时间阈值，当所述写进程等待的时间超过等待时间阈值时，所述第N存储块还未所有读进程读完，则不再等待，直接执行步骤2.3.2。

所述每个结构体中还包括用于记录一个或若干个读进程读取存储池中相应的存储块的读取状态的标记数组。

多个读进程可同时对共享内存进行读操作，只有一个写进程对共享内存进行写操作，读进程和写进程可同时对共享内存进行操作。

为防止无关进程使用共享内存，本发明在进程对共享内存进行读写操作时进行权限检测，无权限的进程不能对共享内存进行操作。写进程创建所述共享内存前，要根据所述写进程句柄中的权限控制ID进行权限检测，检测通过后，才可根据句柄中的共享内存ID在物理地址中寻找相应的位置，进而创建所述共享内存。每个读进程对所述共享内存进行读写操作前，要根据其句柄中的权限控制ID进行权限检测，检测通过的可对共享内存进行读操作。

共享内存队列被多进程共享，进程可以顺序对共享内存进行读写操作。支持多个进同时对该共享内存进行读操作，同一时刻只能有一个进程对该内存进行写操作。读写不冲突，能同时进行。各个进程对共享内存进行操作前会进行权限检测，不具备操作权限的进程不能进行读或写。

所述读进程读取循环队列头指针指向的结构体所对应的内存池中存储块时需获取读写锁，读取其他存储块时不必获取读写锁，所述写进程每次进行写操作时需要获取读写锁，当有进程对共享内存进行操作，需要修改管理单元中存储的当前使用该共享内存的进程数目时，所述进程需要获取互斥锁才能进行操作。比如当有进程要使用该共享内存时，需要修改当前使用该共享内存的进程数目，或是有进程操作完毕退出时，也需要修改当前使用该共享内存的数目，这个时候进行操作的进程需要获取互斥锁，才能修改当前使用该共享内存的数目，这样可以有效防止几个进程同时操作引起数据混乱。

由于现实系统中各进程可能存在本身的问题，比如某进程可能在读取过程中死掉或者读取效率过低影响共享内存数据更新，面对这些问题，本发明为用户提供可选择的淘汰机制，可以对上述进程进行特定时间的等待或者淘汰。具体包括如下两种情况。

1.读操作追上写操作时如何解决同步问题。

解决方案：每次进行读操作时都会判断是否读到队列的队尾，如果是队尾，则不读取该队尾处结构体对应的内存池中相应存储块中的数据，以免读到脏数据。该方案最坏的情况是该块数据在下一次读操作中读取。

因为如果所要读取的是队尾指针指向的结构体，其所对应的存储块可能正在处于写入状态，如果还未写完就直接读取，读到的数据可能是脏数据。

2.写操作追上读操作时如何解决同步问题。

我们设计了两种策略：读优先策略和写优先策略。

首先介绍读优先策略。读优先策略会确保各个读进程读到完整的数据，如果写操作追上读操作则等待读操作，等读操作读取完数据再写入。同时，为防止读进程死掉而出现死等情况，拟设定等待时间阈值WAIT_TIME，如果等待时间超过WAIT_TIME，则认为该进程自行退出，不再等待。

然后介绍写优先，写优先的情况下一般不建议采用，写优先的模式下写进程不对读进程负责，不论是否已读完，如果写进程追上读进程，则写进程直接写入数据，覆盖之前的数据，但是会对各读进程因此而覆盖掉的数据量进行统计。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于共享内存的多进程间通讯方法，其特征在于，包括如下步骤：

步骤2：写进程从管理单元中获取关于当前写进程的操作位置，根据每次待写入数据的大小，顺序开辟与待存入数据大小等大的第N（N=1,2,3…）存储块，将待写入的数据存入相应存储块中；

2.根据权利要求1所述一种基于共享内存的多进程间通讯方法，其特征在于，步骤1中所述的管理信息包括：

3.根据权利要求1所述一种基于共享内存的多进程间通讯方法，其特征在于，步骤2中开辟第N存储块时，还要进行如下操作，

4.根据权利要求3所述一种基于共享内存的多进程间通讯方法，其特征在于，步骤2.3中在将剩余的待存入数据存入内存池头部前要执行如下步骤：

步骤2.3.2：判断第N存储块的大小是否能够容纳剩余的待存入数据，如果能够容纳，则自内存池起始位置开始开辟与剩余的待存入数据等大的存储块，结束；否则返回步骤2.3.1。

5.根据权利要求4所述一种基于共享内存的多进程间通讯方法，其特征在于，所述步骤2.3.1中还包括预设一个等待时间阈值，当所述写进程等待的时间超过等待时间阈值时，所述第N存储块还未被所有读进程读完，则不再等待，直接执行步骤2.3.2。

6.根据权利要求1所述一种基于共享内存的进程间通讯方法，其特征在于，步骤3中所述第N结构体中还包括用于记录一个或若干个读进程读取存储池中第N存储块的读取状态的标记数组，当某一读进程读取第N存储块时，将第N结构体关于该读进程对所述第N存储块是否已读的标记位置1。

7.根据权利要求1所述一种基于共享内存的多进程间通讯方法，其特征在于，多个读进程可同时对共享内存进行读操作，只有一个写进程对共享内存进行写操作，读进程和写进程可同时对共享内存进行操作。

8.根据权利要求1所述一种基于共享内存的进程间通讯方法，其特征在于，写进程创建所述共享内存前，要根据所述写进程句柄中的权限控制ID进行权限检测，检测通过后，才可根据句柄中的共享内存ID在物理地址中寻找相应的位置，进而创建所述共享内存。

9.根据权利要求1所述一种基于共享内存的进程间通讯方法，其特征在于，每个读进程对所述共享内存进行读操作前，要根据其句柄中的权限控制ID进行权限检测，检测通过的可对共享内存进行读操作。

10.根据权利要求2所述一种基于共享内存的进程间通讯方法，其特征在于，所述读进程读取循环队列头指针指向的结构体所对应的内存池中存储块时需获取读写锁，读取其他存储块时不必获取读写锁，所述写进程每次进行写操作时需要获取读写锁，当有进程对共享内存进行操作，需要修改管理单元中存储的当前使用该共享内存的进程数目时，所述进程需要获取互斥锁才能进行操作。