CN113901120A - 一种大数据批量导出Excel文件的方法及装置 - Google Patents

Abstract

本发明实施例公开一种大数据批量导出Excel文件的方法及装置，能够实现批量数据的导出，有效缓解传统Excel文件导出所需内存的压力，解决了内存泄露问题。所述方法包括：客户端100下发文件导出命令；中间件110根据下发请求导出数据查询语句，对数据导出文件进行配置，基于数据库130进行目标数据的查找；中间件110逐行读取目标数据，将目标数据行打包成符合Excel文件格式的有效记录行并写入到存储工作表中，最后将生成的工作表打包成输出文件上传至客户端100。

Description

一种大数据批量导出Excel文件的方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种大数据批量导出Excel文件的方法及装置。

背景技术

随着信息技术的发展，目前许多的智能化平台都需要采用数据库存储各种庞大的过程、结果数据，而很多资料和报表都以Excel文件方式保存、查询、汇总、导出，因此Excel数据的查询、导出是非常重要的。

目前，Excel数据的导出,一般采用POI或JXL两大编辑Excel文件的开源工具从服务器导出数据到Excel格式，然后下载。这种方式最直接和方便，但是当需要导出的数据量非常大的时候，如何实现数据的批量导出，如何解决服务器内存有限，导致服务器瘫痪是尚待解决的问题。

发明内容

有鉴于此，本发明提供一种大数据批量导出Excel文件的方法，旨在至少解决现有技术中存在的技术问题之一。

为了实现上述目的，现提出的方案如下：

本发明的技术方案的第一方面为一种大数据批量导出Excel文件的方法，包括：S1，导出命令的下发：下发表格文件导出的请求；S2，目标数据的查找：根据下发请求配置数据导出文件，查询目标数据；S3，输出文件打包压缩：S301，环境及参数的初始化，其中，创建工作表，设置行数(num)的初始值为零；S302，逐行读取记录，其中记录基于目标数据格式转换得到；S303，若当前工作表存储容量达到最大值，创建新的工作表；S304，将所述记录行插入工作表，若记录读取完毕，执行步骤S305，否则，执行步骤S302；S305，将工作表打包压缩成输出文件。

可选的，所述的大数据批量导出Excel文件的方法，其中，步骤S2中，基于结构定义和/或数据查询语句的定义配置数据导出文件，其中，基于字段结构的要求导出结构定义，基于数据导出的要求导出数据查询语句的定义，其中，字段结构的要求包括字段名和/或字段描述和/或字段类型，数据导出的要求包括数据源和/或数据表和/或数据导出条件。

可选的，所述的大数据批量导出Excel文件的方法，其中，步骤S3中，使行数(num)被当前工作表的最大容量(M)整除的结果表示当前工作表存储容量达到最大值。

可选的，所述的大数据批量导出Excel文件的方法，其中，步骤S3中，按照表格文件的格式要求对目标数据格式化，生成记录行，其中，表格文件的格式要求包括数据类型的格式要求和/或样式的格式要求。

可选的，所述的大数据批量导出Excel文件的方法，其中，步骤S3还包括：将生成的工作表打包成输出文件，上传至客户端(100)。

可选的，所述的大数据批量导出Excel文件的方法，其中，步骤S3中工作表和/或输出文件存储在外部存储器中。

第二方面，本发明的实施例还提供一种大数据批量导出Excel文件的装置，包括：客户端100、中间件110以及数据库130，其中，中间件110与上一级客户端100和下一级数据库130具有通信连接。

可选的，所述的大数据批量导出Excel文件的装置，其中，客户端100包括请求模块，其中，请求模块用于下发Excel文件导出的请求；中间件110包括任务接收模块111、数据导出模块112、Sheet表创建模块、记录行写入模块、Excel文件打包模块113；其中，任务接收模块111用于接收下发的Excel文件导出请求；数据导出模块112，用于定义导出结构、生成数据查询语句进行目标数据的导出；Sheet表创建模块，用于创建Sheet表；记录行写入模块，用于将记录行写入Sheet表中；Excel文件打包模块113，用于记录行的Excel文件数据格式的包装；磁盘，用于存储Sheet表、Excel文件打包文件等；数据库130，用于给上层结构提供统一的数据操作的接口。

本发明的有益效果如下：

1、基于中间件，客户端可实现透明访问，屏蔽下层数据库的差异，可减少上层应用的开发工作量，缩短应用的开发时间，并有助于提高应用软件的质量；

2、有效的缓解了传统Excel文件导出所需内存的压力，解决了内存泄露问题，基于打包的批量传输方式，进一步缩短了Excel文件传输速度，加快请求的响应。

附图说明

图1为根据本发明一个实施例的中间件的功能模块示意图。

图2为根据本发明一个实施例的方法流程图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

如图1示出了根据本发明一个实施例的中间件的功能模块示意图。在图1所示的实施例中，中间件110包括任务接收模块111、数据导出模块112、Excel文件打包模块113。中间件110与上一级客户端100和下一级数据库130具有通信连接，以完成信息交互。例如，用户可以通过客户端100对数据库130进行数据导出Excel文件等任务请求。

任务接收模块111用于接收客户端100下发Excel文件导出的请求；数据导出模块112用于定义导出结构、定义数据查询语句；Excel文件打包模块113用于实现Excel文件数据格式的包装和处理。其中，中间件110内部各模块之间、中间件110外部与客户端100和数据库130之间采用通信基于WEB Service协议，通过WEB Service协议实现标准的数据通信接口。

上述实施例中，数据库130可以采用分布式的存储结构，数据库可为多种不同类型，基于中间件110，客户端100可实现透明访问，屏蔽下层数据库的差异，可减少上层应用的开发工作量，缩短应用的开发时间，并有助于提高应用软件的质量。

第一方面，本发明的实施例还提供一种大数据批量导出Excel文件的方法，能够避免内存溢出，提高Excel文件生成速度。一种大数据批量导出Excel文件的方法包括以下步骤：

S1，导出命令的下发：客户端100下发Excel文件导出的请求；

S2，目标数据的查找：任务接收模块111接收客户端100下发导出命令，根据下发请求中数据源等信息导出数据查询语句，基于数据查询语句的定义，对数据导出文件进行配置，进而查询到目标数据；

S3，Excel文件打包压缩：

S301，Excel环境及参数的初始化，其中,初始记录行num＝0；

S302，逐行读取目标数据，基于有效的目标数据行生成记录行,当前记录行的行数记为num，若目标数据读取完毕，执行步骤S305；

S303，记录行的行数num被Sheet表的最大容量M整除时，即，num％M等于0,创建Sheet表，其中，Sheet表存储在外部存储器中，Sheet表的命名规则为：标题名+N，N为自然数，其中，N＝num/M；

S304，将有效记录行插入“标题名+num/M”Sheet表并对记录行打包，执行步骤S302；

S305，将生成的Sheet表打包成输出文件。

其中，步骤S303中，外部存储器包括但不限于硬盘、软盘、光盘、U盘等。

上述实施例中，客户端100下发Excel文件导出的请求，中间件和数据库130进行通信，查询到目标数据，创建Sheet表，Sheet表存储在磁盘，将有效目标数据行转换成记录行，将有效记录行插入Sheet表并打包，直至目标数据行读取完毕，统一打包成Excel文件供下载，其中，当待写入的数据行不为空时，表示数据为有效记录，基于打包的批量传输方式，进一步缩短了Excel文件传输速度，加快请求的响应，Sheet表和输出文件存储在外部存储器中，而不是将所有的数据都要先存入内存再导出，有效的缓解了传统Excel文件导出所需内存的压力，解决了内存泄露问题。

在一实施例中，结构定义由字段名、字段描述和字段类型三部分组成并用冒号分隔，其中字段描述、字段类型可省略，省略后的字段描述默认为同字段名，省略的字段类型默认为str，例如：①(usrname:用户名:str)；②(usrname:用户名)，其中字段类型默认为str，即(usrname:用户名:str)；③(usrname)，字段描述默认同字段名，类型默认为str，即(usrname：usrname：str)。字段类型有字符串(str)，日期(date)，数值(num)，百分比(pct),dbl(带小数点的数值)，此外，字符串长度为固定值，例如：字符串长度为32(str32)，带小数的百分比，例如：百分比带2位小数(pct2)和带小数的数值，例如：数值带2位小数(dbl2)等组成。

在一实施例中，数据查询为数据标准数据库查询语句定义，由定义数据源，定义查询模板，查询参数定义三部分组成，其中，定义数据源为使用数据库连接池名称。

在一实施例中，为减少客户端100的等待时间，可将步骤S303放在客户端100中执行，省略将Sheet表整体打包的步骤S305，中间件110将打包的记录行上传到客户端100，即，上传的数据不是一张或多张Sheet表的容量大小，而是打包后的一个的记录行及相应的参数，例如，记录当前记录行的行参数num，从而大大加快响应速度，客户端100接收打包的记录行并进行解压，写入相应的Sheet表中，目标数据读取完毕即可结束数据的传输。

上述实施例中，在客户端100中创建Sheet表，中间件110直接将打包的记录行上传到客户端100，相比于上传压缩后一张或多张的Sheet表的容量大小，传输打包后的记录行，大大缩短数据传输的速度，客户端100可即时查看目前查找到的数据库的数据。

下面结合上述一种大数据批量导出Excel文件的方法步骤，在多个实施例中描述上述步骤的细节实施方式。

在一实施例中，步骤S1导出命令的下发：客户端100下发Excel文件导出的请求，其中，下发的请求包括字段名、字段描述、字段类型、数据源等相关的信息；

在一实施例中，步骤S2包括：数据导出模块112根据下发请求中字段名、字段描述、字段类型等信息导出结构定义，得到导出数据表格式设置要求，例如：

<EXP id＝"exportjkfw"fileName＝"接口访问日志表.xlsx"type＝"XLSX"desc＝"导出接口访问日志数据列表"code＝"L013"tpl＝"ID:日志ID,PID:平台编号,MODULE:所属模块,SYSTEM:所属系统,IID:接口ID,CID:操作用户ID,IIP:IP地址,REQ_PARAM:请求参数,RVALUE:返回值,RDATE:请求时间:date,STATE:状态,ITYPE:类型">

</EXP>

根据上述配置文件可得到如下信息：导出文件命名“接口访问日志表.xlsx”；导出文件类型为XLSX；导出数据表的设置如表1所示。

表1导出数据表格式设置要求

列名	描述	数据类型
			ID	日志ID	str(默认类型)
PID	平台编号	str(默认类型)
			MODULE	所属模块	str(默认类型)
SYSTEM	所属系统	str(默认类型)
			IID	接口ID	str(默认类型)
CID	操作用户ID	str(默认类型)
			IIP	IP地址	str(默认类型)
REQ_PARAM	请求参数	str(默认类型)
			RVALUE	返回值	str(默认类型)
RDATE	请求时间	date
			STATE	状态	str(默认类型)
ITYPE	类型	str(默认类型)

客户端100可指定数据库中数据源、数据表以及导出的条件，根据指定的语句配置目标数据导出文件，查询到对应的目标数据。

在一实施例中，步骤S3具体包括，如图2所示：

S401，Excel环境及参数的初始化：其中，Excel环境的初始化包括文件初始化，具体为：配置文件信息的初始化，待写入文件的创建，参数的初始化包括：访问目标数据行的变量i,当前记录行变量num，Sheet表的最大容量M，例如，M取值为100万；

在一实施例中，配置文件信息初始化的参数包括：设置标题名称，行头模板等以来对Excel文件的导出环境进行初始化。例如：将Excel2007版本的docProps/app.xml，docProps/core.xml，xl/styles.xml，xl/sharedStrings.xml，_rels/.rels等配置文件进行初始化，创建待写入文件：xl/workbook.xml，[Content_Types].xml，xl/_rels/workbook.xml.rels。

S403，判断是否创建新的Sheet表：当记录行num＝0，num＝1，000，000，num＝2，000，000...,即num可以被M整除时，数据表被写满，需要创建新的Sheet表，其中，数据导出模块112根据下发请求中字段名、字段描述、字段类型等信息导出结构定义，基于结构定义对新创建的Sheet表进行设置；

S405，访问第i行目标数据：读取第i行目标数据，判断是否为有效数据，若是有效数据则执行下一步；否则跳转到步骤S405；

S407，生成记录行：按照Excel文件的格式要求对第i行目标数据格式化，生成第num行记录，其中，Excel文件的格式要求主要基于创建Sheet表设定的格式，包括有数值、字符串和日期等数据类型的格式要求，此外，Excel文件的格式要求还包括字体、字号和缩进、行高等样式的格式要求，样式的要求可直接默认设定；

S409，记录行的插入和打包：将第num行记录插入命名为“标题title+N”的Sheet表，并对插入Sheet表后的第num行记录打包，其中，调用addRow()函数，在“标题title+N”的Sheet表中添加第num行，调用createCell()添加单元格数据，将第num行记录写入数据表中，调用packRow()函数，将数据打包成二进制字符串；

S411，判断目标数据是否读取完毕，若是，将生成的N+1个Sheet表打包成Excel文件，否则，参数i和num自增并跳转到步骤S403。

第二方面，本发明的实施例还提供一种大数据批量导出Excel文件的装置，能够有效解决内存溢出问题、大大加快响应速度。

一种大数据批量导出Excel文件的装置，包括客户端100、中间件110以及数据库130，其中，中间件110与上一级客户端100和下一级数据库130具有通信连接；客户端100包括请求模块，其中，请求模块用于下发Excel文件导出的请求；中间件110包括任务接收模块111、数据导出模块112、Sheet表创建模块、记录行写入模块、Excel文件打包模块113；其中，任务接收模块111用于接收下发的Excel文件导出请求；数据导出模块112，用于定义导出结构、生成数据查询语句进行目标数据的导出；Sheet表创建模块，用于创建Sheet表；记录行写入模块，用于将记录行写入Sheet表中；Excel文件打包模块113，用于记录行的Excel文件数据格式的包装；磁盘，用于存储Sheet表、Excel文件打包文件等；数据库130，用于给上层结构提供统一的数据操作的接口。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (9)

1.一种大数据批量导出Excel文件的方法，其特征在于，所述方法包括以下步骤：

S1，导出命令的下发：下发表格文件导出的请求；

S2，目标数据的查找：根据下发请求配置数据导出文件，查询目标数据；

S3，输出文件的打包压缩包括

S301，环境及参数的初始化，包括创建工作表，设置行数(num)的初始值为零；

S302，逐行读取记录，其中记录基于目标数据格式转换得到；

S303，若当前工作表存储容量达到最大值，创建新的工作表；

S304，将有效记录行插入工作表，若记录读取完毕，执行步骤S305，否则，执行步骤S302；

S305，将工作表打包压缩成输出文件。

2.根据权利要求1所述的一种大数据批量导出Excel文件的方法，其中，步骤S2中，基于结构定义和/或数据查询语句的定义配置数据导出文件，其中，基于字段结构的要求导出结构定义，基于数据导出的要求导出数据查询语句的定义，其中，字段结构的要求包括字段名和/或字段描述和/或字段类型，数据导出的要求包括数据源和/或数据表和/或数据导出条件。

3.根据权利要求1所述的一种大数据批量导出Excel文件的方法，其中，步骤S3中，使行数(num)被当前工作表的最大容量(M)整除的结果表示当前工作表存储容量达到最大值。

4.根据权利要求1所述的一种大数据批量导出Excel文件的方法，其中，步骤S3中，按照表格文件的格式要求对目标数据格式化，生成记录行，其中，表格文件的格式要求包括数据类型的格式要求和/或样式的格式要求。

5.根据权利要求1所述的一种大数据批量导出Excel文件的方法，其中，步骤S3还包括：将生成的工作表打包成输出文件，上传至客户端(100)。

6.根据权利要求1所述的一种大数据批量导出Excel文件的方法，其中，步骤S3中工作表和/或输出文件存储在外部存储器中。

7.根据权利要求1所述的一种大数据批量导出Excel文件的装置，包括：客户端(100)、中间件(110)以及数据库(130)，其中，中间件(100)与上一级客户端(100)和下一级数据库(130)具有通信连接。

8.根据权利要求7所述的大数据批量导出Excel文件的装置，其中，客户端(100)包括请求模块，其中，请求模块用于下发Excel文件导出的请求；

中间件(110)包括任务接收模块(111)、数据导出模块(112)、Sheet表创建模块、记录行写入模块、Excel文件打包模块(113)，其中，任务接收模块(111)用于接收下发的Excel文件导出请求，数据导出模块(112)，用于定义导出结构、生成数据查询语句进行目标数据的导出，Sheet表创建模块，用于创建Sheet表，记录行写入模块，用于将记录行写入Sheet表中，Excel文件打包模块(113)，用于记录行的Excel文件数据格式的包装；

磁盘，用于存储Sheet表、Excel文件打包文件；

数据库(130)，用于给上层结构提供统一的数据操作的接口。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于该指令被处理器执行时实现如权利要求1至6中任一项权利要求所述的方法的步骤。

Images