CN103366386A - 基于多进程和多线程的并行图像解压缩系统 - Google Patents

Abstract

本发明公开了一种基于多进程和多线程的并行图像解压缩系统，用于解决现有技术中多进程间共享资源竞争的问题。该系统包括图像前端处理、数据共享内存、通信共享内存、图像解压缩和图像后端处理模块。图像前端处理模块，创建解压缩进程和解压缩线程，准备压缩码流，启动空闲解压缩线程；数据共享内存模块，为每个解压缩线程分配独立的压缩码流区和恢复图像区；通信共享内存模块为所有解压缩线程分配标识区域，用于线程间通信；图像解压缩模块，用于完成独立地解压缩过程；图像后端处理模块取出恢复图像；本发明具有图像解压缩速度高，数据吞吐率大，可靠性高的优点，可用于深空通信中对空间图像的解压缩。

Description

基于多进程和多线程的并行图像解压缩系统

技术领域

本发明属于图像处理技术领域，涉及图像解压缩，特别是一种涉及多进程和多线程的并行图像解压缩系统，可用于深空通信中对空间图像的解压缩。

背景技术

随着空间图像数据业务的快速发展，地面图像解压缩技术面临着任务量快速增加的难题。为了解决这个难题，需要一种高效的并行图像解压缩系统，高可靠性高速高吞吐率地完成大量图像解压缩任务，其中经常涉及多进程和多线程的并行处理方式。

完成大量图像解压缩任务可以有多进程和多线程以及复合多进程与多线三种方式。无论使用何种方式，进程和线程都不是越多越好，两种方式都存在一个临界点，超过这个临界点，都会因为频繁的进程或线程状态切换而造成程序性能下降。使用多进程方式在到达临界点之后再增加进程就会引起性能的下降，而且下降速度比单进程多线程方式到达临界点之后的下降速度快，这是因为进程切换比线程切换更费时。

大任务量的并行图像解压缩系统中，经常会遇到进程间需要通信的问题。常见的多进程间通信方法有：共享内存方式、匿名管道、命名管道和发送消息等几种方法来直接完成，另外还可以通过Sockets口、配置文件、注册表等来间接实现进程间数据通讯任务。以上这几种方法各有优缺点，具体到进程间进行大数据量的快速交换问题上，上述方法中共享内存方法对于多个进程间通信支持最好，而且具有比较好的安全性和可靠性。

共享内存是一种自由的进程通讯机制，所有的进程都可以访问共享内存，当多个进程同时访问同一个共享内存时，由于没有限制机制，存在共享内存资源的竞争；同时操作同一个共享内存时，可能出现数据错误，导致图像解压缩异常。例如两个进程同时写数据，或者一个进程写完数据，另外一个进程还没有读完数据，其他进程又开始写数据，导致读写冲突，使得读写数据错误。

发明内容

本发明的目的在于针对上述已有技术的不足，提供一种基于多进程和多线程的并行图像解压缩系统，以减少共享内存资源的竞争和冲突。

为实现上述目的，本发明包括：

图像前端处理模块，用于创建解压缩进程和解压缩线程，创建共享内存，为空闲解压缩线程准备压缩码流，以触发解压缩线程进行解压缩，并为数据共享内存模块提供初始化；

图像解压缩模块，用于完成一次独立的解压缩，输入压缩码流，输出恢复图像给数据共享内存模块；

数据共享内存模块，为每个解压缩线程分配了独立的压缩码流区和恢复图像区，用于预先存储每个解压缩线程的待解压缩码流，并存储每个解压缩线程的恢复图像，给图像解压缩模块传输码流数据，同时存储图像解压缩模块输出的恢复图像；

图像后端处理模块，用于从数据共享内存模块中取出恢复图像；

通信共享内存模块，用于存储每个解压缩进程和解压缩线程的标识位，根据标识位，获知图像前端处理模块中的解压缩线程状态，并进行相应的操作；根据标识位判断图像后端处理模块是否进行读取恢复图像。

上述基于多进程和多线程的并行图像解压缩系统，其特征在于图像前端处理模块，包括：

解压缩进程子模块：根据图像解压缩任务量、不同进程数目对吞吐率的增益值创建多进程；

解压缩线程子模块：根据图像解压缩任务量、不同线程数目对吞吐率的增益值创建多线程；

共享内存子模块：共享内存子模块用于创建共享内存，为空闲解压缩线程准备压缩码流。

上述基于多进程和多线程的并行图像解压缩系统，其特征在于数据共享内存模块，包括：

线程分配空间子模块：用于为每个解压缩线程分配独立数据空间，并根据自己的线程号独立寻址，避免解压缩线程之间的数据冲突，去除解压缩线程的数据依赖性；

压缩码流存储子模块：用于存储每个解压缩线程的压缩码流；

恢复图像存储子模块：用于存储每个解压缩线程的恢复图像。

上述基于多进程和多线程的并行图像解压缩系统，其特征在于通信共享内存模块，包括：

解压缩进程标识子模块：用于为所有解压缩进程分配独立的标识位区域；

解压缩线程标识子模块：用于为所有解压缩线程分配标识位区域，并根据线程号寻址到每个线程的标识位区域，获取解压缩线程的所有状态；

线程恢复图像区标识子模块：用于判断解压缩线程的恢复图像区是否有解压缩数据。

本系统由于在并行图像解压缩时，通过图像前端处理模块动态调整进程与线程数量，因而能获取吞吐率上的最大增益；同时由于本发明采用数据共享内存模块为每个独立解压缩线程分配独立的数据空间，避免了数据资源的冲突，去除了数据的依赖性；此外由于本发明采用通信共享内存模块的共享内存标识位实现进程线程间的通信和调整，提高了通信效率，尽可能地减少了共享内存资源的竞争和冲突。

附图说明

图1是本发明的结构框图；

图2是本发明中图像前端处理模块的结构框图；

图3是本发明中数据共享内存模块的结构框图；

图4是本发明中通信共享内存模块的结构框图。

具体实施方式

参照图1，本发明提出的基于多进程和多线程的并行图像解压缩系统包括：图像前端处理模块、数据共享内存模块、通信共享内存模块、图像解压缩模块和图像后端处理模块。其中：

图像前端处理模块，采用数组数据结构存储已知的进程增益和线程增益,根据用户输入的任务量，确定需要的总解压缩线程数目，总线程数目=进程数*线程数；选择能获得最佳增益的进程数和线程数，创建解压缩进程和解压缩线程；该模块循环检测通信共享内存模块，获知解压缩线程空闲时，会给数据共享内存模块的解压缩线程的数据空间放入压缩码流；

数据共享内存模块，为每个解压缩线程分配独立数据空间A1，A2，B1和B2，其中A1和A2存储解压缩线程的压缩码流，为压缩码流区，B1和B2存储解压缩线程的恢复图像，为恢复图像区；该模块将码流数据传输给图像解压缩模块进行解压缩，同时，将解压缩后的恢复图像数据传输给图像后端处理模块进行相关处理；

图像解压缩模块，采用Spiht算法完成一次独立的解压缩，输入压缩码流，输出恢复图像到数据共享内存模块，该模块不依赖于其他线程产生的数据；

通信共享内存模块，为所有解压缩进程和解压缩线程分配独立的标识位区域，以表示解压缩线程的所有状态；该通信共享内存模块分别与前、后端的图像处理模块进行通信，即通信共享内存模块将解压缩线程是否空闲的信息传输给图像前端处理模块，同时将线程的状态标识信息传输给图像后端处理模块；

图像后端处理模块，循环检测通信共享内存模块的相应标识位，判断在数据共享内存模块的恢复图像区域是否有恢复图像，如果有，则提取恢复图像，重置通信共享内存模块的相应标识位，否则，一直等待，直到恢复图像区有恢复图像。

参照图2，所述的图像前端处理模块，包括：

解压缩进程子模块，用于动态调整解压缩进程数量，其调整量的依据是任务量的大小和不同进程数目对吞吐率的增益值，从而选择能获得最佳增益的进程数；

解压缩线程子模块，根据图像解压缩任务量和不同线程数目对吞吐率的增益值，创建多线程，即用数组存储已知线程增益，根据用户输入的任务量，确定需要的总线程数目，选择可以获得最佳增益的线程数；

共享内存子模块，在windows系统下使用CreateProcess函数创建解压缩进程和使用CreateThread函数创建解压缩线程；该子模块循环检测通信共享内存模块，当获知解压缩线程空闲时，会给数据共享内存模块的解压缩线程的数据空间放入压缩码流。

参照图3，所述的数据共享内存模块，包括：

线程分配空间子模块，用于为每个解压缩线程分配独立的数据空间A1，A2，B1和B2，其中A1和A2为压缩码流区，用于存储解压缩线程的压缩码流；B1和B2为图像恢复区，用于存储解压缩线程的恢复图像；根据线程号独立寻址，避免解压缩线程之间的数据冲突，去除解压缩线程的数据依赖性；

压缩码流存储子模块，用于使得每个解压缩线程的数据区A1和A2存放着要解压缩的码流。其存储压缩码流时，先启动线程的开始解压缩事件，当解压缩线程等到该事件时，对A1里的码流进行解压缩，并在线程解压缩的同时给数据区A2放入压缩码流；当下一次检测到该线程空闲时，则直接触发线程对A2里的码流解压缩；同时再在数据区A1中放入解压缩码流，如此交替对A1和A2的码流进行解压缩，即所谓的乒乓操作，从而完成压缩码流的存储；

恢复图像存储子模块，用于当图像解压缩完成后，将恢复图像存储到恢复图像区；如果恢复图像区B1为空，就把恢复图像放入B1，否则，检测恢复图像区B2是否为空，如果是空，就把恢复图像放入B2，如果B1和B2都为满，则循环检测，直至恢复图像区B1和恢复图像区B2有一个为空。

参照图4，所述的通信共享内存模块，包括：

解压缩进程标识子模块，用于为所有解压缩进程分配独立的标识位区域，以表征解压缩进程的状态，如果解压缩进程已处于异常态，则重新启动该进程；

解压缩线程标识子模块，用于为所有解压缩线程分配独立的标识位区域，以表征解压缩线程空闲态，忙碌态，异常态这三种状态，其中，空闲态表示可触发该线程开始解压缩，忙碌态表示该线程正在解压缩，异常态则表示该线程已经异常；如果解压缩线程已处于异常态，则要重新启动该线程，避免一直等待该线程结束而引发异常；

线程恢复图像区标识子模块，用于为所有解压缩线程的恢复图像区分配恢复图像区标识位，即恢复图像区B1和B2的活动标识位，以判断解压缩线程的恢复图像区是否有解压缩图像。

本发明的工作原理如下：

首先，由图像前端处理模块中的解压缩进程子模块和解压缩线程子模块根据存储已知的进程增益和线程增益以及用户输入的任务量，选择可以获得最佳增益的进程数和线程数，确定需要的总解压缩线程数目，即总线程数目=进程数*线程数，例如，一个任务判断需要32个线程，可以把它划分为4个进程数与8个线程数相乘，或2个进程数与16个线程数相乘，根据已知的增益计算，得到4个进程数与8个线程数相乘的方案的总增益更大，因此选择4个进程数与8个线程数相乘的方案，并创建解压缩进程和线程；

然后，将创建的解压缩进程和线程传输给系统中数据共享内存模块，由该模块中的线程分配空间子模块创建数据共享内存，存放所有解压缩线程的解压缩数据，每个线程有四块数据区A1，A2，B1和B2，其中A1和A2为压缩码流区，用于存储解压缩线程的压缩码流；B1和B2为图像恢复区，用于存储解压缩线程的恢复图像，且A1，A2，B1和B2的大小是固定的；该共享内存对所有解压缩线程都是可见的，每个解压缩线程根据自己所属的进程号和线程号检索到自己的数据区进行操作；压缩码流存储子模块中每个解压缩线程有两个数据区A1和A2存放该线程要解压缩的码流，启动线程的开始解压缩事件，当解压缩线程等到该事件时，对A1里的码流进行解压缩，并在线程解压缩的同时给数据区A2放入压缩码流，当下一次检测到该线程空闲时，则直接触发线程对A2里的码流解压缩，同时在数据区A1中放入解压缩码流，如此交替对A1和A2的码流进行存放；

当压缩码流区已存放好码流，则触发图像解压缩模块进行一次独立的解压缩过程。在解压缩完成之后，解压缩线程判断恢复图像区标识子模块的恢复数据区B1和B2的活动标识，如果B1的活动标识是0，就把恢复图像放入B1，否则，检测B2的活动标识，如果是0，把恢复图像放入B2，如果B1和B2的活动标识都为1，循环检测，直至B1和B2的活动标识有一个为0；在解压缩的图像存放到恢复图像区之后，将恢复图像区标识置为忙碌，再将恢复图像区的数据传输给图像后端处理模块进行处理。

最后，图像后端处理模块依次检测通信共享内存的所有解压缩线程恢复图像区B1和B2活动标识，如果某个线程数据恢复区B1或B2的活动标识为1，就从恢复图像区取出恢复图像，将其活动标识置0，如此循环。

以上仅是本发明的一个具体事例，不构成对本发明的任何限制。显然，对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理的情况下，进行形式和细节上的各种修正和改变，可以做出不局限于图像前端模块的进程和线程分配方式、数据共享内存的使用模式、用于线程通信的共享内存标志位的定义和图像解压缩模块解压缩算法的并行图像解压缩系统。但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种多进程和多线程的并行图像解压缩系统，包括：

图像前端处理模块，用于创建解压缩进程和解压缩线程，创建共享内存，为空闲解压缩线程准备压缩码流，以触发解压缩线程进行解压缩，并为数据共享内存模块提供初始化；

图像解压缩模块，用于完成一次独立的解压缩，输入压缩码流，输出恢复图像给数据共享内存模块；

数据共享内存模块，用于预先存储每个解压缩线程的待解压缩码流，存储每个解压缩线程的恢复图像，给图像解压缩模块传输码流数据，同时存储图像解压缩模块输出的恢复图像；

图像后端处理模块，用于从数据共享内存模块中取出恢复图像；

通信共享内存模块，用于存储每个解压缩进程和解压缩线程的标识位，根据标识位，获知图像前端处理模块中的解压缩线程状态，并进行相应的操作；根据标识位判断图像后端处理模块是否进行读取恢复图像。

2.根据权利要求1所述的基于多进程和多线程的并行图像解压缩系统，其特征在于图像前端处理模块，包括：

解压缩进程子模块：根据图像解压缩任务量、不同进程数目对吞吐率的增益值创建多进程；

解压缩线程子模块：根据图像解压缩任务量、不同线程数目对吞吐率的增益值创建多线程；

共享内存子模块：共享内存子模块用于创建共享内存，为空闲解压缩线程准备压缩码流。

3.根据权利要求1所述的基于多进程和多线程的并行图像解压缩系统，其特征在于数据共享内存模块，包括：

线程分配空间子模块：用于为每个解压缩线程分配独立数据空间，并根据自己的线程号独立寻址，避免解压缩线程之间的数据冲突，去除解压缩线程的数据依赖性；

压缩码流存储子模块：用于存储每个解压缩线程的压缩码流；

恢复图像存储子模块：用于存储每个解压缩线程的恢复图像。

4.根据权利要求1所述的基于多进程和多线程的并行图像解压缩系统，其特征在于通信共享内存模块，包括：

解压缩进程标识子模块：用于为所有解压缩进程分配独立的标识位区域；

解压缩线程标识子模块：用于为所有解压缩线程分配标识位区域，并根据线程号寻址到每个线程的标识位区域，获取解压缩线程的所有状态；

线程恢复图像区标识子模块：用于判断解压缩线程的恢复图像区是否有解压缩数据。

Images