CN102760118A - 一种将数据导出为Excel文件的方法及装置 - Google Patents

Abstract

本发明公开了一种将数据导出为Excel文件的方法及装置，所述方法包括以下步骤：建立Excel的组件包目录结构；对数据采取边读取边转换的方式，生成工作表单元格文件；在所述组件包目录结构下，生成所述工作表单元格文件的共享字符串文件和配置文件；对生成的上述各文件进行压缩存，然后生成Excel格式的文件。本发明通过采用边读取边转换方式将数据导出成Excel文件，无需将大量对象保存在内存内，且内存不会随保存数据的增加而增加，极大的减少了对内存的占用。

Description

一种将数据导出为Excel文件的方法及装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种将数据导出为Excel文件的方法及装置。

背景技术

在当今这个以计算机作为最重要信息载体的时代，常常需要将批量数据导出成Microsoft Office Excel文件。目前，基于Java的主流开源导出组件有JavaExcel API(JXL)和POI。

JXL是一个成熟开源的Excel电子表格读取、修改、写入的项目。目前支持的最高版本是Excel2003，它是基于BIFF(Binary Interchange File Format，二进制交换文件格式)格式的。此时，要生成一个Excel文件，必须事先知道Excel文件的大小及各工作表(sheet)、单元格的偏移量等信息。因此，它在生成Excel文件时，JXL采取先将所有的数据放入内存中，等到程序关闭时，再计算Excel文件的大小，并生成Excel文件的所有信息，再一次写入到磁盘，形成Excel文件。这种方法当然简化了计算，但它需要对每一个单元格都生成相应对象，当有大批量数据时，会造成内存溢出。并且，打开一个Excel文件，它同样会将单元格读出生成对象，因此它也无法通过分批次导入数据来减小内存消耗。

Jakarta POI是apache的子项目，它提供了一组操纵Windows文档的JavaAPI。对Excel，目前提供HSSF和XSSF接口。HSSF(Horrible SpreadSheetFormat)生成后缀为xls(Excel997-2003)的文件，文件格式同样为BIFF 8。XSSF(XML SpreadSheet Format)生成后缀为xlsx(Excel2007)的文件，它读写Office Open XML(OOXML，基于XML-extensible Markup Language语言的数据储存语言为Microsoft Office开发所制定的技术规范)格式文件。OfficeOpen XML是由微软公司为Office 2007产品开发的技术规范，是XML技术和ZIP技术的结合，现已成为国际文档格式标准。开发时，首先生成xml文件集(称为组件)，再将文件打包成zip格式，最后重命名为xlsx后缀，就生成了我们常见的Excel2007文件了。虽然POI提供了读写OOXML的接口，但在导出时，仍然将全部单元格cell对象存储于内存，大数据量时，仍然会造成内存溢出。

为了实现大批量低内存的导出成Excel文件，现有技术中，专利申请号为CN200810057915.0的中国专利公开了一种将数据库中数据导出成Excel文件的装置及其方法，但该现有技术存在以下缺陷：一、采用先生成数据主体文件，再重新修改BIFF(Binary Interchange File Format)格式的方法，内存计算难度大，只要算错一位，可能导致生成的文件无法打开；二、同样是由于直接修改内存难度大、风险高的原因，进一步开发难度较大，很难进一步的支持样式设置等Excel其它常用功能；三、使用场景非常局限，只能针对像数据库这种格式规整、能计算或预知行列数的情况。

发明内容

本发明要解决的技术问题是提供一种将数据导出为Excel文件的方法及装置，用以解决现有技术中将数据导出为Excel文件时内存消耗大的问题。

为解决上述技术问题，一方面，本发明提供一种将数据导出为Excel文件的方法，所述方法包括以下步骤：

建立Excel的组件包目录结构；

在所述组件包目录结构下，对数据采取边读取边转换的方式，生成工作表单元格文件；

生成所述工作表单元格文件的共享字符串文件和配置文件；

对生成的上述各文件进行压缩，然后生成Excel格式的文件。

进一步，工作表单元格文件是指Excel文件中的.xml文件。

进一步，对数据采取边读取边转换的方式，生成工作表单元格文件，具体包括以下步骤：

对数据采取边读取边转换的方式，生成工作表单元格文件的头部描述区，并为无法填写的参数预留空白区域；

对数据采取边读取边转换的方式，生成工作表单元格文件的数据区；

对数据采取边读取边转换的方式，生成工作表单元格文件的尾部公共区；

采用随机访问磁盘的方式，重新填写所述头部描述区中没有填写的参数。

进一步，当写入的数据为数字数据时，将该数字数据写入工作表单元格文件对应的单元格中。

进一步，当写入的数据为字符串数据时，在工作表单元格文件中指明该字符串数据在共享字符串文件中保存的序号，并将该字符串数据写入共享字符串文件中。

进一步，生成共享字符串文件，具体包括以下步骤：

当有需要写入的字符串数据时，将该字符串数据在内存中进行保存；

当内存中保存的字符串数据的个数达到预先设定的最大值时，将内存中的字符串数据写入磁盘，生成共享字符串文件，并清空所述内存。

另一方面，本发明还提供一种将数据导出为Excel文件的装置，所述装置包括：

组件包目录结构建立单元，用于建立Excel的组件包目录结构；

工作表单元格文件生成单元，用于在所述组件包目录结构下，对数据采取边读取边转换的方式，生成工作表单元格文件；

剩余文件生成单元，用于生成所述工作表单元格文件的共享字符串文件和配置文件；

Excel文件生成单元，用于对生成的上述各文件进行压缩，然后生成Excel格式的文件。

进一步，工作表单元格文件是指Excel文件中的.xml文件。

进一步，所述工作表单元格文件生成单元进一步包括：

头部描述区生成子单元，用于对数据采取边读取边转换的方式，生成工作表单元格文件的头部描述区，并为无法填写的参数预留空白区域；

数据区生成子单元，用于对数据采取边读取边转换的方式，生成工作表单元格文件的数据区；

尾部公共区生成子单元，用于对数据采取边读取边转换的方式，生成工作表单元格文件的尾部公共区；

参数重填子单元，用于采用随机访问磁盘的方式，重新填写所述头部描述区中没有填写的参数。

进一步，所述装置还包括：

数字数据写入单元，用于当写入的数据为数字数据时，将该数字数据写入工作表单元格文件对应的单元格中。

进一步，所述装置还包括：

字符串数据写入单元，用于当写入的数据为字符串数据时，在工作表单元格文件中指明该字符串数据在共享字符串文件中保存的序号，将该字符串数据写入共享字符串文件中。

进一步，所述剩余文件生成单元进一步包括：

字符串数据保存子单元，用于当有需要写入的字符串数据时，将该字符串数据在内存中进行保存；

共享字符串文件生成子单元，用于当内存中保存的字符串数据的个数达到预先设定的最大值时，将内存中的字符串数据写入磁盘，生成共享字符串文件，并清空所述内存。

本发明有益效果如下：

本发明通过采用边读取边转换方式将数据导出成Excel文件，无需将大量对象保存在内存内，且内存不会随保存数据的增加而增加，极大的减少了对内存的占用。

附图说明

图1是本发明实施例中一种将数据导出为Excel文件的方法的流程图；

图2是本发明实施例中一种生成工作表单元格文件的流程图；

图3是本发明实施例中一种生成共享字符串文件的流程图；

图4是本发明实施例中又一种将数据导出为Excel文件的方法的流程图；

图5是本发明实施例中一种将数据导出为Excel文件的装置的结构示意图；

图6是本发明实施例中又一种将数据导出为Excel文件的装置的结构示意图。

具体实施方式

为了解决现有技术中将数据导出为Excel文件时内存消耗大的问题，本发明提供了一种将数据导出为Excel文件的方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

如图1所示，本发明实施例涉及一种将数据导出为Excel文件的方法，该方法采用基于OOXML格式的方式，先在临时目录生成Excel的xml组件，具体为原本占用内存最大的工作表单元格文件sheet.xml文件采用流式(边读取边转换的方式)输出，共享字符串文件sharedStrings.xml采用缓存与流式相结合的方式生成，最后生成配置文件。xml组件生成完成后，再压缩成zip格式到指定生成文件的目录，最后更名为以“.xlsx”结尾的Excel文件。

下面详细描述该方法，具体包括以下步骤：

步骤S101，建立Excel的组件包目录结构；

本步骤中，当有数据需要导出成Excel文件时，用户通过调用软件接口指定需要保存的文件内容、文件存放路径、文件名；然后在磁盘上创建临时目录，在临时目录中建立Excel的组件包目录结构。组件包目录结构为生成MicrosoftOffice Excel文件所必须的目录，例如：rels，docProps，xl以及xl下的rels、worksheets目录等。

步骤S102，对数据采取边读取边转换的方式，生成工作表单元格文件，写入临时目录中；由于生成Excel文件的xml组件中，工作表单元格文件(sheet.xml文件)占用内存最大，因此，对该文件采用边读取边转换的方式(流式)写到磁盘中，可以大大降低内存的使用。本实施例中，工作表单元格文件：是指Excel文件中的sheet.xml文件。需要说明的是，通常情况下，一般都是默认以sheet1、sheet2、......的方式对工作表进行命名，但是，不排除因为某些原因采用其它命名方式对工作表进行命名，因此，在采用其它命名规则对工作表进行命名时，该文件可以等同于sheet.xml文件。

步骤S103，生成工作表单元格文件的共享字符串文件和配置文件，写入临时目录中；本实施例中，共享字符串文件，是指Excel文件中的sharedStrings.xml文件。配置文件，是指生成Excel文件的xml组件中，除sheet.xml和sharedStrings.xml文件之外的其它文件，例如，styles文件和其它必要的部署文件。

步骤S104，对生成的上述各文件进行压缩存，然后生成Excel格式的文件。即：将写入临时目录中的xml组件压缩成一个zip格式文件，以用户指定的文件名和存放目录进行保存。然后，将zip格式文件重命名成以“.xlsx”结尾的用户指定的文件名，即将数据导出为Excel文件。

上述实施例中，生成工作表单元格文件的流程图如图2所示，包括以下步骤：

步骤S201，对数据采取边读取边转换的方式，生成工作表单元格文件的头部描述区，并为无法填写的参数预留空白区域；即：流式生成sheet1.xml文件的worksheet的描述区，并且预留足够的空白区域以供最后修改、扩展。由于头部描述区需要填写一些整个文件的参数，例如整个文件包括多少行、多少列；而这些参数在采用边读取边转换的方式进行写入时，是无法获取的，因此，需要预留足够的空白区域，以便在整个文件写完之后再重新填写相关参数。

步骤S202，对数据采取边读取边转换的方式，生成工作表单元格文件的数据区；即：流式生成sheet1.xml文件的sheetData区，并在内存中按顺序保存sharedStrings信息和styles信息。

步骤S203，对数据采取边读取边转换的方式，生成工作表单元格文件的尾部公共区；即：流式完成sheet1.xml文件的尾部公共区部分，并关闭对文件sheet1.xml的写操作。

步骤S204，采用随机访问磁盘的方式，重新填写所述头部描述区中没有填写的参数。例如：重新填写sheetData的span值。

上述步骤在中，虽然宏观看是流式写文件，但是完全流式的话，IO操作过多，会降低处理速度，因此在具体实施过程中，可以加入缓存，已获得更佳效果。

上述实施例中，生成共享字符串文件的流程图如图3所示，包括以下步骤：

步骤S301，开始；

步骤S302，判断是否有字符串sharedStrings需要写入sharedStrings.xml文件中，如果是，则转步骤S303，如果否，则转步骤S307；

步骤S303，在内存中保存该字符串，即保存SharedStrings；

步骤S304，判断内存中需要写入的字符串个数是否达到预先设定的最大值，如果是，则转步骤S305，如果否，则转步骤S307；

其中，预先设定的内存保存字符串个数的最大值可以根据经验数据设置，也可以先估计设置，然后经过不断的调整，以达到一个合理的数值。“内存保存字符串个数的最大值”限制是为了保证当导出大量数据的时候，内存不会随数据量的增加而增加到超过允许范围，避免内存溢出。值的设定可根据系统允许此导出组件使用的最大内存进行调整，极限情况也可以没有限制，即字符串全部保存在内存中。

步骤S305，将内存中所有的字符串SharedStrings写入到磁盘的临时目录中的sharedStrings.xml文件中；

步骤S306，清空内存，

步骤S307，判断是否还有数据(字符串数据)需要写入，如果是，则转步骤S302，重复上述步骤；如果否，则转步骤S308；

步骤S308，结束。

在对Sheet.xml文件流式处理后，再加上带缓存与流式相结合生成sharedStrings.xml，可进一步控制内存使用，将内存使用严格控制在有限的范围内。

如图4所示，下面以一个具体的实例详细描述将数据导出为Excel文件的方法，具体步骤如下：

步骤S401，当有数据需要导出成Excel文件时，用户通过调用软件接口指定需要保存的文件内容、文件存放路径、文件名；然后在磁盘上创建临时目录，在临时目录中建立Excel的组件包目录结构。组件包目录包括_rels，docProps，xl以及xl下的_rels、worksheets目录等。

步骤S402，创建记录sheet数据的文件：sheet.xml；这里面详细记录了sheet信息，包括当前选中的单元格，数据所覆盖的跨度区域，每一个单元格的数据类型，数字或引用的字符串id，以及合并单元格等等。

步骤S403，整个组件包中，sheet.xml文件占用空间最大，本发明的重点就是要实现边读取边转换的方式写sheet.xml文件，从而达到优化内存使用的目的。首先写sheet.xml的worksheet头部描述区到磁盘(临时目录)，包括dimension(描述数据所覆盖的跨度区域)，由于采用边读取边转换的方式顺序的写文件，在需要写入的最大行、列数未知的情况下，这些参数无法预知，因此需要预留足够的空白区域，以便单元格写完后再来修改头部描述区。

步骤S404，针对具体需要写入的数据进行处理，OOXML格式的Excel对数字和字符串的处理方式并不相同，需要区分。当数据为数字时，只需直接将数据写入sheet.xml对应的单元格中即可；但是对于字符串(非数字)，它是将数据写入sharedStrings.xml中的，多个单元格、甚至是多个sheet之间可以共享字符串，sheet.xml中只需指明字符串在sharedStrings.xml中保存的位置序号即可。由于sharedStrings需要查找、共享，所以它实际上还是先保持在内存中的。因此，本步骤中，判断写入的数据是否为数字，如果是，则转步骤S405，如果否，则转步骤S406。

步骤S405，当步骤S404中数据为数字时，只需直接将数据写入sheet.xml对应的单元格中即可；此时只需直接在sheet.xml的sheetData区中增加row标签和c(cell)子标签即可，并将数字写到c标签的子标签v(value)中。

步骤S406，判断S404中数据不是数字时，即该数据为字符串数据时，需要进一步判断保存字符串的sharedStrings内存中是否已有该字符串，如果是，则转步骤S408；如果否，则转步骤S407。

步骤S407，如果sharedStrings内存中还没有该数据，则将数据增加进去。

步骤S408，查找字符串在sharedStrings中的位置序号。

步骤S409，将字符串的位置序号写到sheet.xml的sheetData区，即：在sheet.xml的sheetData区中增加row标签和c(cell)子标签，设置单元格为字符串类型t＝″s″，并将字符串的位置序号写到c标签的子标签v(value)中。

步骤S410，判断是否还有需要导出的数据，如果有，则转步骤S404；如果否，则转步骤S411。

步骤S411，单元格数据已写完，对sheet.xml的worksheet尾部公共区设置进行处理，即将页面设置等信息写到磁盘的sheet.xml文件中。

步骤S412，在步骤S403中已预留了空白区域，现在以随机访问磁盘的方式重写sheet.xml的worksheet头部描述区，以填写正确的dimension(描述数据所覆盖的跨度区域)信息。

步骤S413，判断是否需要导出下一个sheet，如果是，则转步骤S402，重复上述步骤，如果否，则转步骤S414。

步骤S414，将内存中的字符串sharedStrings写入到文件sharedStrings.xml。

步骤S415，生成关系文件等配置文件；例如，styles文件和其他必要的部署文件。

步骤S416，将写入临时目录中的xml组件压缩成一个zip格式文件，保存在用户指定的目录。然后，将zip格式文件重命名成以“.xlsx”结尾的用户指定的文件名，即将数据导出为Excel文件。

基于OOXML格式的流式导出组件尤其适合大批量导出Excel数据，而且执行效率高、内存消耗低。

如图5所示，本发明还涉及一种实现上述实施例方法的将数据导出为Excel文件的装置，包括：

组件包目录结构建立单元501，用于建立Excel的组件包目录结构；

工作表单元格文件生成单元502，用于对数据采取边读取边转换的方式，生成工作表单元格文件；

剩余文件生成单元503，用于生成所述工作表单元格文件的共享字符串文件和配置文件；

Excel文件生成单元504，用于对生成的上述各文件进行压缩存，然后生成Excel格式的文件。

为达更加效果，如图6所示，本发明还涉及一种将数据导出为Excel文件的装置，包括：组件包目录结构建立单元601、工作表单元格文件生成单元602、剩余文件生成单元603、Excel文件生成单元604、数字数据写入单元605和字符串数据写入单元606。其中，本实施例中的组件包目录结构建立单元601和Excel文件生成单元604与上一实施例的组件包目录结构建立单元501和Excel文件生成单元504在结构和功能上相同，因此，本实施例不再详细描述。

其中，工作表单元格文件生成单元602进一步包括：

头部描述区生成子单元6021，用于对数据采取边读取边转换的方式，生成工作表单元格文件的头部描述区，并为无法填写的参数预留空白区域；

数据区生成子单元6022，用于对数据采取边读取边转换的方式，生成工作表单元格文件的数据区；

尾部公共区生成子单元6023，用于对数据采取边读取边转换的方式，生成工作表单元格文件的尾部公共区；

参数重填子单元6024，用于采用随机访问磁盘的方式，重新填写所述头部描述区中没有填写的参数。

其中，剩余文件生成单元603进一步包括：

字符串数据保存子单元6031，用于当有需要写入的字符串数据时，将该字符串数据在内存中进行保存；

共享字符串文件生成子单元6032，用于当内存中保存的字符串数据的个数达到预先设定的最大值时，将内存中的字符串数据写入磁盘，生成共享字符串文件，并清空所述内存。

其中，数字数据写入单元605，用于当写入的数据为数字数据时，将该数字数据写入工作表单元格文件对应的单元格中。

其中，字符串数据写入单元606，用于当写入的数据为字符串数据时，在工作表单元格文件中指明该字符串数据在共享字符串文件中保存的序号，将该字符串数据写入共享字符串文件中。

由上述实施例可以看出，本发明通过采用边读取边转换方式将数据导出成Excel文件，无需将大量对象保存在内存，且内存不会随保存数据的增加而增加，极大的减少了内存的使用。另外，在本发明所涉及的数据源可以是报表，也可以是数据库，使用场景不受限制；通过解析文本，进行相关设置和开发，可以进一步支持Excel其它常用功能。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (10)

1.一种将数据导出为Excel文件的方法，其特征在于，所述方法包括以下步骤：

建立Excel的组件包目录结构；

在所述组件包目录结构下，对数据采取边读取边转换的方式，生成工作表单元格文件；

生成所述工作表单元格文件的共享字符串文件和配置文件；

对生成的上述各文件进行压缩，然后生成Excel格式的文件。

2.如权利要求1所述的将数据导出为Excel文件的方法，其特征在于，对数据采取边读取边转换的方式，生成工作表单元格文件，具体包括以下步骤：

对数据采取边读取边转换的方式，生成工作表单元格文件的头部描述区，并为无法填写的参数预留空白区域；

对数据采取边读取边转换的方式，生成工作表单元格文件的数据区；

对数据采取边读取边转换的方式，生成工作表单元格文件的尾部公共区；

采用随机访问磁盘的方式，重新填写所述头部描述区中没有填写的参数。

3.如权利要求1或2所述的将数据导出为Excel文件的方法，其特征在于，当写入的数据为数字数据时，将该数字数据写入工作表单元格文件对应的单元格中。

4.如权利要求1或2所述的将数据导出为Excel文件的方法，其特征在于，当写入的数据为字符串数据时，在工作表单元格文件中指明该字符串数据在共享字符串文件中保存的序号，并将该字符串数据写入共享字符串文件中。

5.如权利要求1所述的将数据导出为Excel文件的方法，其特征在于，生成共享字符串文件，具体包括以下步骤：

当有需要写入的字符串数据时，将该字符串数据在内存中进行保存；

当内存中保存的字符串数据的个数达到预先设定的最大值时，将内存中的字符串数据写入磁盘，生成共享字符串文件，并清空所述内存。

6.一种将数据导出为Excel文件的装置，其特征在于，所述装置包括：

组件包目录结构建立单元，用于建立Excel的组件包目录结构；

工作表单元格文件生成单元，用于在所述组件包目录结构下，对数据采取边读取边转换的方式，生成工作表单元格文件；

剩余文件生成单元，用于生成所述工作表单元格文件的共享字符串文件和配置文件；

Excel文件生成单元，用于对生成的上述各文件进行压缩，然后生成Excel格式的文件。

7.如权利要求6所述的将数据导出为Excel文件的装置，其特征在于，所述工作表单元格文件生成单元进一步包括：

头部描述区生成子单元，用于对数据采取边读取边转换的方式，生成工作表单元格文件的头部描述区，并为无法填写的参数预留空白区域；

数据区生成子单元，用于对数据采取边读取边转换的方式，生成工作表单元格文件的数据区；

尾部公共区生成子单元，用于对数据采取边读取边转换的方式，生成工作表单元格文件的尾部公共区；

参数重填子单元，用于采用随机访问磁盘的方式，重新填写所述头部描述区中没有填写的参数。

8.如权利要求6或7所述的将数据导出为Excel文件的装置，其特征在于，所述装置还包括：

数字数据写入单元，用于当写入的数据为数字数据时，将该数字数据写入工作表单元格文件对应的单元格中。

9.如权利要求6或7所述的将数据导出为Excel文件的装置，其特征在于，所述装置还包括：

字符串数据写入单元，用于当写入的数据为字符串数据时，在工作表单元格文件中指明该字符串数据在共享字符串文件中保存的序号，将该字符串数据写入共享字符串文件中。

10.如权利要求6所述的将数据导出为Excel文件的装置，其特征在于，所述剩余文件生成单元进一步包括：

字符串数据保存子单元，用于当有需要写入的字符串数据时，将该字符串数据在内存中进行保存；

共享字符串文件生成子单元，用于当内存中保存的字符串数据的个数达到预先设定的最大值时，将内存中的字符串数据写入磁盘，生成共享字符串文件，并清空所述内存。

Images