CN102651138A - 基于jpeg图片拼接的超大图片合成方法 - Google Patents

Abstract

本发明公开了一种基于JPEG图片拼接的超大图片合成方法，设置待排版面的宽和高，将待排版图片采用矩形件排样算法进行排版，同时记录排版信息；设置JPEG图片压缩取样方式；分块生成每块画布，计算生成画布的块数k；依次循环将已排版照片绘制到每一块画布上；对得到的绘制成功的画布，根据设定的图片压缩取样方式生成JPEG图片，并将图片的数据信息保存于内存中；修改得到的JPEG图片的头部信息，将该头部信息中表示图片宽和高的字节修改为画布总的宽和高，最后将内存中的字节流生成超大图片。本发明方法内存使用量小且稳定，具有较低的时间复杂度与空间复杂度。

Description

基于JPEG图片拼接的超大图片合成方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于JPEG图片拼接的超大图片合成方法。

背景技术

随着科技的不断进步，人们生活水平的不断提高，数码相机的可用性和普及率也不断提高，数码照片的数量呈现爆炸性增长[1]。现今的大幅婚纱照、写真照片及广告图片等已经十分普遍。对于冲印公司来说，提高打印相纸的利用率，节省资源和成本是他们追求的目标。所以，他们面临的一个极具挑战性的问题是将大量小照片拼接问题，即如何能在一张画布上不重叠的摆放尽量多的照片，使相纸的利用率达到最大，并合成一张超大的图片以供打印输出。

对于照片拼接问题涉及到两方面的技术：一是如何选择一个较优的排版算法将不同大小的照片尽可能多的排放于固定大小的版面中；二是如何生成一张与已排版面一样大小的画布，将已排版的照片绘制在画布上从而生成一幅超大照片以供打印输出。目前，对于图片拼接方法，国内外学者已经做了大量的研究工作。文献[2]用一组图片产生了一个自动的图片拼接的结果，完成了图片拼接的初始工作，但是拼接的结果中包含了大量的空白区域。文献[3]中提出了一种“数字织锦”的方法，从图片集中自动产生一个稠密的无缝图片拼接效果，这种方法是图片拼接的真正开端。这种拼接方式是将图片中的有用部分拼接起来组合成一幅大图。文献[4]在图片拼接时没有采用无缝拼接的方式，即以图片的原始内容和大小进行拼接，这种方式被广泛应用于商业软件中。文献[1]至[4]中提到这些技术被广泛应用于图片集中多张照片的拼接浏览中，但没有涉及到图片打印输出的问题。对于冲印公司来说，不仅需要好的排版算法来提高相纸的利用率，而且需要将排好照片的版面(可以看作是一张超大图)生成JPEG格式的图片，并输出到磁盘上保存起来以供后续打印。因此，如何快速生成超大的图片是需要解决的技术难点。

在实际应用中，由于计算机内存的限制无法一次生成一幅超大图片，这样就必须考虑拼接的方法。在现有的应用软件中，首先利用GDI编程在指定的画布上绘制出BMP格式的待拼接小图；其次将所有小图拼接为一张超大BMP图片；最后利用图像压缩技术将大图压缩为JPEG格式。利用BMP格式进行大图片的合成过程简单，但BMP图片数据量很大，如果直接采用BMP图片拼接会占用大量内存空间。当内存空间不足以存放BMP图片数据时，就需要磁盘文件作为中间文件，这样会产生大量的输入输出，会耗费大量时间，尤其是目前的操作系统及编程工具对能生成的BMP画布大小进行了限制，因此对于超大图片来讲，普通计算机拼接效率很低。

参考文献：

[1]杨颖振动态图片拼接.浙江大学.2008.05

[2]J.Geigel and A.Loui.Using genetic algorithms for album Page layouts.IEEEMultimedia，2003，10(4)：16-27

[3]C.Rother，S.Kumar，V.Kolmogorov，and A.Blake.Digital tapestry.In Proe.ofComputer Vision and pattem Recognition(CVpR)，2005

[4]J.Wang，J.Sun，L.Quan，X.Tang，and H.-Y.Shum.Picture collage.In Proc.ofComputer Vision and pattern Recognition(CVpR)，2006

发明内容

本发明的目的是提供一种基于JPEG图片拼接的超大图片合成方法，内存使用量小且稳定，具有较低的时间复杂度与空间复杂度。

本发明所采用的技术方案是，一种基于JPEG图片拼接的超大图片合成方法，其特征在于，具体步骤如下：

步骤1、设置待排版面的宽和高分别为W和H，W和H的单位均为像素，将待排版图片采用矩形件排样算法进行排版，使得待排版图片尽可能多的排列在设定的版面上并保证各待排版图片之间不相互重合，同时记录已排版照片的路径、大小以及在排版后的版面中的位置信息；

步骤2、设置JPEG图片压缩取样方式，确定水平采样因子的最大值H_max和垂直采样因子的最大值V_max，H_max和V_max的单位均为像素，则JPEG图片的最小编码单元MCU的宽为H_max*8，高为V_max*8；

步骤3、分块生成每块画布C_i，i＝0，1，2，……：令画布C_i的宽W_i＝W，i＝0，1，2，……，计算W_i/(H_max*8)，如果W_i/(H_max*8)的值为整数，则在该画布的每一行上最小编码单元MCU的个数R_i＝W_i/(H_max*8)；如果W_i/(H_max*8)的值不为整数，则将该值舍去小数部分并加1后赋值给R_i；令画布C_i的高H_i包含n个MCU，则H_i＝n*(V_max*8)，n为正整数，且n的取值应满足以下条件：n*R_i＜＝65535；

计算生成画布的块数k：计算H/H_i，如果H/H_i的值为整数，则k＝H/H_i，如果H/H_i的值不为整数，则将该值舍去小数部分并加1后赋值给k；

步骤4、根据步骤1得到的已排版照片的路径和其在版面中的位置信息，依次循环将已排版照片绘制到步骤3得到的每一块画布上；

步骤5、对步骤4中得到的第一块绘制成功的画布，根据步骤2设定的图片压缩取样方式生成JPEG图片，并将得到的图片的数据信息保存于内存中；对步骤4得到的除第一块以外其余绘制成功的各块画布，根据步骤2设定的图片压缩取样方式分别生成JPEG图片，并将得到的图片的数据信息去掉本图片头部后的信息后追加到前一幅图片的尾部，在相邻两幅图片的连接处将前一幅图片的结束标志FFD9修改为重入标记FFDn，n为0～7的循环；

步骤6、修改步骤5最终得到的JPEG图片的头部信息，将该头部信息中表示图片宽和高的字节修改为全部块画布总的宽和高信息，最后将内存中的字节流生成超大图片。

步骤3中，分块生成每块画布C_i的过程中应保证：除最后一块画布外，其余的每块画布中所包含的MCU的总个数必须为该画布每一行MCU个数R_i的整数倍，并且每块画布中MCU的个数要小于内存地址最大值65535；同时，如果H/H_i的值为整数，则步骤3得到的各块画布的高H_i相等，并且为(V_max*8)的整数倍。如果k＝H/H_i为小数，则最后一块画布的高为步骤1得到的排版后的版面与其余各块画布的高H_i之和的差值。

本发明基于JPEG图片拼接的超大图片合成方法的有益效果是：JPEG是经过压缩后的图片格式，与BMP格式的图片相比，数据量大量减少，因此，直接利用JPEG图片拼接能够解决现有BMP拼接中存在的内存和时间问题。本发明方法是将排好版的大图进行分块，然后按块生成JPEG图片，然后将JPEG图片直接用写二进制文件的方法拼接成超大图片的过程。这种方法内存使用量小且稳定，时间与空间复杂度较低，而且图片拼接过程均在内存中完成，减少了中间过程所产生的大量输入输出，具有很高的拼接效率。

附图说明

图1是采用本发明方法合成不同大小的版面所消耗的时间曲线图和空间曲线图，其中，(a)为时间曲线图，(b)为空间曲线图；

图2是利用本发明方法生成的50寸*80寸的版面中的各块JPEG图片以及合成的超大图片，其中，(a)为第一块JPEG图片，(b)为第二块JPEG图片，(c)第三块JPEG图片，(d)为由(a)、(b)和(c)直接连接后合成的超大图片。

具体实施方式

待排版图片的集合PH被分布在一个或者多个文件夹中，利用本发明方法将该待排版图片进行超大图片合成方法的具体步骤如下：

步骤1、设置待排版面的宽和高分别为W和H，W和H的单位均为像素，选择待排版图片PH所在的全部文件夹，将待排版图片采用矩形件排样算法进行排版，使得待排版图片尽可能多的排列在设定的版面上并保证各待排版图片之间不相互重合，得到排版后的版面，同时记录已排版照片的路径、大小以及在排版后的版面中的位置信息。

本实施例中，采用基于最优水平线的矩形件排样算法进行排版，该算法描述参见文献“矩形件优化排样的一种启发式算法”(陈仕军，曹炬.，计算机工程与应用报，2010，46(12)：230-232)。

步骤2、设置JPEG图片压缩取样方式，确定水平采样因子的最大值H_max和垂直采样因子的最大值V_max，H_max和V_max的单位均为像素，由于JPEG图片进行量化的时候是以8*8的矩阵进行的，因此得到JPEG图片的最小编码单元MCU的宽为H_max*8，高为V_max*8。

JPEG使用的颜色是YUV格式，其中，Y分量代表了亮度信息，UV分量代表了色差信息。目前，支持JPEG格式的软件通常提供两种压缩取样方式YUV411和YUV422，411和422中数字分别是YUV三个分量的数据取样比例。举例来说，如果Y取四个数据单元，即水平取样因子H_max乘以垂直取样因子V_max的值为4，而U和V各取一个数据单元，那么这种压缩取样就称为YUV411。

步骤3、分块生成每块画布C_i，i＝0，1，2，……，C_i的宽为W_i，i＝0，1，2，……，C_i的高为H_i，i＝0，1，2，……。画布为将原始大图(即步骤1得到的排版后的版面)进行分块生成的每一块小图时，当前块图片占用的矩形区间。

其中，画布C_i的宽W_i与步骤1中待排版面的宽相等，即W_i＝W，计算W_i/(H_max*8)，如果W_i/(H_max*8)的值为整数，则在该画布的每一行上最小编码单元MCU的个数R_i＝W_i/(H_max*8)；如果W_i/(H_max*8)的值不为整数，则将该值舍去小数部分并加1后赋值给R_i；令画布C_i的高H_i包含n个MCU，则H_i＝n*(V_max*8)，n为正整数，且n的取值应满足以下条件：n*R_i＜＝65535。

由于得到的全部画布的总大小与步骤1得到的排版后的版面大小一致，因此可以通过以下方法计算生成画布的块数k：计算H/H_i，如果H/H_i的值为整数，则k＝H/H_i，如果H/H_i的值不为整数，则将该值舍去小数部分并加1后赋值给k。

其中，如果H/H_i的值为整数，则得到的各块画布的高H_i相等，并且为(V_max*8)的整数倍。如果k＝H/H_i为小数，则最后一块画布的高为步骤1得到的排版后的版面与其余各块画布的高H_i之和的差值。

另外，除最后一块画布外，其余的每块画布中所包含的MCU的总个数必须为该画布每一行MCU个数R_i的整数倍，并且每块画布中MCU的个数要小于内存地址最大值65535。

步骤4、根据步骤1得到的已排版照片的路径和其在版面中的位置信息，依次循环将已排版照片绘制到步骤3得到的每一块画布上。

步骤5、对步骤4中得到的第一块绘制成功的画布，根据步骤2设定的图片压缩取样方式生成JPEG图片，并将得到的图片的数据信息保存于内存中；对步骤4得到的除第一块以外其余绘制成功的各块画布，根据步骤2设定的图片压缩取样方式分别生成JPEG图片，并将得到的图片的数据信息去掉本图片头部后的信息后追加到前一幅图片的尾部，在相邻两幅图片的连接处将前一幅图片的结束标志FFD9修改为重入标记FFDn，n为0～7的循环；

本步骤中在相邻两幅JPEG图片的连接处插入重入标记，重入标记为FFD0～FFD7的循环，即当块数k小于等于8时重入标记为FFD0～FFD_k-1，当k大于8时，从第9块开始重入标记又以FFD0开始循环。

步骤6、修改步骤5最终得到的JPEG图片的头部信息，将该头部信息中表示图片宽和高的字节修改为全部块画布总的宽和高，最后将内存中的字节流生成超大图片。

步骤5中全部画布均成功生成JPEG图片后，即生成了用于合成超大图片的全部块图片。步骤6中，将各块图片拼接在一起，此时，图片只有一个头部信息(当然头部信息在第一块画布，也记录的是第一块画布的宽和高)，把这个头部信息修改为超大图片的宽和高，即完成超大图片的合成。

本发明中到画布的宽和高以及MCU的宽和高时，其单位均为像素。

本发明方法的空间开销主要是在分块绘制图片时，保存当前正在绘制的照片的开销S_p，当某一块绘制成功后，保存由绘制成功后的块生成的JPG图片的空间开销S_j。当某一幅照片在特定块中被绘制结束后，S_p被释放。随着绘制成功的块数的增加，S_j会增大，但由于JPG图片数据量很小，能正常浏览的JPG图片大小一般在百兆以下，当图片拼接成功生成大图后，S_j被释放。可以看出，本发明方法的空间消耗能满足实际应用。

从时间消耗上看，本发明方法的主要时间消耗发生在分块绘制图片的部分，时间会随着待排版面的大小以及待排版图片照片的多少发生变化，当待排版面变大，待排版图片变多时，时间会变长。当全部画布绘制成功后进行拼接的过程均是在内存中完成，时间消耗在毫秒级。

本发明方法与现有直接利用BMP格式的图片拼接的方法相比，在空间消耗与时间消耗上有一定优势。因为BMP格式图片数据量很大，在内存中无法直接保存BMP格式的图片数据，所以在每一块绘制成功后，需要将数据写回到磁盘文件中。在各块拼接成功后，需要将BMP格式的图片压缩生成JPEG格式的图片。当待排版面较大时，数据的输入输出以及数据的压缩是一个相当耗费时间和空间的过程。而采用本发明方法只需要在图片拼接成功后输出数据，并且输出的数据已经是JPEG图片格式，无需再对图片进行压缩。这在很大程度上减少了时间的消耗。

如下表所示，为利用本发明方法与现有图片拼接的方法分别进行超大图片合成的实验结果对比：

可以看出，随着排版版面的增大和待排版图片的增多，现有方法的内存消耗和时间消耗会增加，而本发明方法的内存消耗稳定，时间消耗会增加但明显少于现有方法。

如图1(a)所示，图中横坐标表示待排版面的面积，单位为平方米；纵坐标表示时间，单位为秒。图中的三个点分别表示的版面大小为30寸*50寸、30寸*80寸、50寸*80寸。采用本发明方法生成如上三个版面大小的大图时间分别为25秒，60秒和140秒。由图可知，随着版面的增大，生成时间增多，但这主要是由于需要绘制照片的数量增多引起的。如图1(b)所示，横坐标表示待排版面的面积，单位为平方米；纵坐标表示不同大小的版面生成大图时的内存消耗，单位为兆(M)。由图可知，本发明方法在待排版面大小发生变化时，内存消耗基本稳定，因为本方法的内存主要用于存放当前正在绘制的照片，内存不会由于待排版面的大小有很大的变化。

如图2所示，是利用本发明方法生成的50寸*80寸的版面中的各块JPEG图片以及合成的超大图片，其中，(a)为第一块JPEG图片，(b)为第二块JPEG图片，(c)第三块JPEG图片，(d)为由(a)、(b)和(c)直接连接后合成的超大图片。

本发明方法在图片拼接过程中不会由于数据量太大而导致内存不足等问题，只需要在最后大图片生成成功后才会将内存中的数据写回到磁盘文件中，中间过程不会有大量的输入输出，在一定程度上提高了图片拼接的速度，并且能保证结果的有效性和准确性。

Claims (2)

1.一种基于JPEG图片拼接的超大图片合成方法，其特征在于，具体步骤如下：

步骤1、设置待排版面的宽和高分别为W和H，W和H的单位均为像素，将待排版图片采用矩形件排样算法进行排版，使得待排版图片尽可能多的排列在设定的版面上并保证各待排版图片之间不相互重合，同时记录已排版照片的路径、大小以及在排版后的版面中的位置信息；

步骤2、设置JPEG图片压缩取样方式，确定水平采样因子的最大值H_max和垂直采样因子的最大值V_max，H_max和V_max的单位均为像素，则JPEG图片的最小编码单元MCU的宽为H_max*8，高为V_max*8；

步骤3、分块生成每块画布C_i，i＝0，1，2，……：令画布C_i的宽W_i＝W，i＝0，1，2，……，计算W_i/(H_max*8)，如果W_i/(H_max*8)的值为整数，则在该画布的每一行上最小编码单元MCU的个数R_i＝W_i/(H_max*8)；如果W_i/(H_max*8)的值不为整数，则将该值舍去小数部分并加1后赋值给R_i；令画布C_i的高H_i包含n个MCU，则H_i＝n*(V_max*8)，n为正整数，且n的取值应满足以下条件：n*R_i＜＝65535；

计算生成画布的块数k：计算H/H_i，如果H/H_i的值为整数，则k＝H/H_i，如果H/H_i的值不为整数，则将该值舍去小数部分并加1后赋值给k；

步骤4、根据步骤1得到的已排版照片的路径和其在版面中的位置信息，依次循环将已排版照片绘制到步骤3得到的每一块画布上；

步骤5、对步骤4中得到的第一块绘制成功的画布，根据步骤2设定的图片压缩取样方式生成JPEG图片，并将得到的图片的数据信息保存于内存中；对步骤4得到的除第一块以外其余绘制成功的各块画布，根据步骤2设定的图片压缩取样方式分别生成JPEG图片，并将得到的图片的数据信息去掉本图片头部后的信息后追加到前一幅图片的尾部，在相邻两幅图片的连接处将前一幅图片的结束标志FFD9修改为重入标记FFDn，n为0～7的循环；

步骤6、修改步骤5最终得到的JPEG图片的头部信息，将该头部信息中表示图片宽和高的字节修改为全部块画布总的宽和高信息，最后将内存中的字节流生成超大图片。

2.按照权利要求1所述的基于JPEG图片拼接的超大图片合成方法，其特征在于，步骤3中，分块生成每块画布C_i的过程中应保证：除最后一块画布外，其余的每块画布中所包含的MCU的总个数必须为该画布每一行MCU个数R_i的整数倍，并且每块画布中MCU的个数要小于内存地址最大值65535；同时，如果H/H_i的值为整数，则步骤3得到的各块画布的高H_i相等，并且为(V_max*8)的整数倍。如果k＝H/H_i为小数，则最后一块画布的高为步骤1得到的排版后的版面与其余各块画布的高H_i之和的差值。

Images