CN110955674B - 基于java服务的异步导出方法及组件 - Google Patents

Abstract

本发明公开了一种基于java服务的异步导出方法及组件，该方法包括获取导出任务指令；对导出任务指令进行解析；根据导出任务指令解析结果获取相应配置模板；根据导出任务指令解析结果获取查询数据集合；根据配置模板输出相应配置的EXCEL文件流，并将EXCEL文件流存储在文件存储服务平台。本发明能实现请求导出快速响应，在高并发情况下数据导出任务能平缓执行。

Description

基于java服务的异步导出方法及组件

技术领域

本发明属于数据导出技术，具体为一种基于java服务的异步导出方法及组件。

背景技术

数据导出是各类信息系统提供的最为基本且频繁应用的功能，批量导出功能需求比较多，每个需求都需要进行开发，开发重复度高，需要投入大量的开发资源。

目前大部分系统数据导出采用实时方式，数据导出消耗的时间比较长，用户体验不好，内存消耗比较大，当需要导出高并发请求数据时对系统性能影响很大，容易产生内存溢出情况。

发明内容

本发明的目的在于提出了一种基于java服务的异步导出方法。

实现本发明目的的技术解决方案为：一种基于java服务的异步导出方法，具体步骤为：

获取导出任务指令；

对导出任务指令进行解析；

根据导出任务指令解析结果获取相应配置模板；

根据导出任务指令解析结果获取查询数据集合；

根据配置模板输出相应配置的EXCEL文件流，并将EXCEL文件流存储在文件存储服务平台。

优选地，获取导出任务指令的具体方法为：

定量查询指令数据，并将查询出的导出任务指令数据分发给WindQ导出指令队列；

多台服务器对WindQ导出指令队列，空闲服务器获得导出任务指令。

优选地，定量查询数据的具体方式为：使用调度平台调用任务服务查询待处理的导出任务指令。

优选地，对导出任务指令进行解析具体包括：确定导出任务类型、用户编号、导出文件名、SqlId标识以及参数内容。

优选地，根据导出任务指令解析结果获取相应配置模板的具体方法为：

根据导出任务类型反查询对应的配置模板地址；

根据模板地址获取对应的已记载的配置模板。

优选地，所述配置模板的配置内容包括：需要导出的英文字段；英文字段对应的文字段描述；数据显示格式；标题行号；数据转换规则；数据存储时间；导出文件的最大行数；导出excel文件标题。

优选地，根据导出任务指令解析结果获取查询数据集合的具体方法为：

根据SQLId标识获取对应的SQL查询语句；

将参数内容进行格式化成Map参数对象；

根据SQL查询语句和对应的Map参数对象确定需要导出的数据集合。

优选地，还包括根据SQL查询语句和对应的Map参数对象确定需要导出的数据集合前，根据SQL查询语句和对应的Map参数对象进行数据库查询获取数据总量；

判断数据量总量是否大于模板配置最大行数，如果大于模板配置最大行数，，更新异步导出指令失败，并标注失败原因；

如果数据量总量小于模板配置数据量，根据SQL语句和参数查询数据库数据集合，确定需要导出的数据集合。

本发明还提出了一种基于java服务的异步导出组件，包括导出任务指令获取模块、导出任务指令解析模块、配置模板获取模块、数据集合查询模块以及文件流输出模块，其中：

所述导出任务指令获取模块用于获取导出任务指令；

所述导出任务指令解析模块用于对导出任务指令进行解析；

所述配置模板获取模块用于根据解析结果获取相应配置模板；

所述数据集合查询模块用于根据解析结果获取查询数据集合；

所述文件流输出模块用于根据配置模板输出相应配置的EXCEL文件流，并将EXCEL文件流存储在文件存储服务平台。

优选地，所述导出任务指令获取模块获取导出任务指令的具体方法为：

定量查询指令数据，并将查询出的导出任务指令数据分发给WindQ导出指令队列；

多台服务器对WindQ导出指令队列，空闲服务器获得导出任务指令。

优选地，所述导出任务指令解析模块对导出任务指令进行解析具体包括：确定导出任务类型、用户编号、导出文件名、SqlId标识以及参数内容。

优选地，所述配置模板获取模块根据导出任务指令解析结果获取相应配置模板的具体方法为：

根据导出任务类型反查询对应的配置模板地址；

根据模板地址获取对应的已记载的配置模板。

优选地，所述数据集合查询模块根据导出任务指令解析结果获取查询数据集合的具体方法为：

根据SQLId标识获取对应的SQL查询语句；

将参数内容进行格式化成Map参数对象；

根据SQL查询语句和对应的Map参数对象，确定需要导出的数据集合。

本发明与现有技术相比，其显著优点为：1)本发明能实现请求导出快速响应，在高并发情况下数据导出任务能平缓执行，内存消耗通过配置可控，具体需要下载的数据存放到对象服务器，可减少本系统域名下带宽消耗；2)本发明集成了Excel批量导出功能，开发人员只要引用对应的jar组件，配置数据源，配置excel模板，配置job处理器，配置队列就完成了批量导出开发，开发只需要在批量导出的地方调用异步导出接口就完成了批量导出任务，后期新增导出功能只需要增加Exce模板配置就完成了开发；3)需求变更过程中需要增加或者减少字段，使用本发明只需要修改Excel模板里配置的字段和对应的SQL配置语句就完成开发，开发效率快。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1为基于java服务的异步导出方法流程图。

图2为基于java服务的异步导出组件示意图。

具体实施方式

如图1所示，一种基于java服务的异步导出方法，具体步骤为：

获取导出任务指令，具体方法为：

使用调度平台调用Job服务查询待处理的导出任务指令，每次查询定量的指令数据，并将查询出的导出任务指令数据分发给WindQ导出指令队列；

进一步的实施例中，将查询出来的导出指令数据转换成json格式字符串再分发给WindQ导出指令队列中；

更新数据库指令状态为处理中；

多台服务器对WindQ导出指令队列中的导出任务指令进行监听，空闲服务器获得导出任务指令。

在某些实施例中，任务导出监听类实现MessageListener接口，编写OnMessage实现监听及导出任务指令获取。

进一步的实施例中，多台服务器均配置服务监听器，时刻监听WindQ导出指令队列的任务导出指令，当该台服务器处于空闲状态时，获取任务导出指令。

对导出任务指令进行解析，具体为：

将监听到的Message类型的消息转换成json格式的字符串类型；

Json格式字符串有对应导出指令记录的字段属性，使用gson组件把json字符串转换成异步导出指令记录模型，解析出导出任务类型、用户编号、导出文件名、SqlId标识以及参数内容，其中：

导出文件名为导出指令类型的具体描述；

用户编号为创建任务对应的用户编码；

SqlId标识表示一条数据库语句的标识，用于通过这个标识获取一条SQL语句；

参数内容表示查询条件参数集合。

根据导出任务指令解析结果获取相应配置模板，具体为：

根据导出任务类型反查询对应的配置模板地址，每个导出功能对应一个模板配置地址；

根据模板地址获取对应的已记载的配置模板，配制模板定义了Excel模板格式，应用服务器在启动的时候会加载并解析模板配置，具体加载流程如下：

使用Spring资源管理器类PathMatchingResourcePatternResolver,加载指定文件夹下的所有配置文件；

循环获取文件流；

解析配置文件流，根据文件后缀判断使用对应的解决组件解析配置文件，如properties，xml，json解析器解析配置文件。

循环获取文件流；

配置数据对象化。定义字段数组并实例化，定义中文字段数组并实例化，判断转换规则类型，根据rule.date+column判断规则是否存在，如果存在，获取时间格式化字符串，创建时间格式化引擎，以字段键值对方式添加到转换引擎容器内，其中，rule.date是字段数据转换规则的前缀，代表这种类型的字段需要根据时间规则进行转换，column字段代表是具体的数据集对应的英文字段名。例如：

rule.date.createTime＝yyyy-mm-dd HH:MM:ss表示对数据集查询出来的字段createTime做时间格式的转换，如果创建时间是：二零零九年九月十日十二点十五分十五秒通过该规则对创建时间字段转换之后就变成：2009-09-10 12:15:15.yyyy-mm-dd HH:MM:ss是时间转换格式，也可以定义成yyyy-mm-dd转换之后就变成了2009-09-10。

如果不存在判断rule.map+column是否存在，如果存在，获取转换规则字符串值，使用json解析枚举数值，创建Map规则转换引擎，以简直对方式添加到转换引擎容器内。其中，rule.map是字段数据转换规则的前缀，代表这种类型的字段需要根据枚举规则转换，column字段代表是具体的数据集对应的英文字段名。例如：

状态有：0：表示待处理，1：表示处理中，2：表示处理成功，3：表示处理失败。rule.map.status＝0表示对数据集查询出来的字段status做枚举转换，如果状态为0，通过该规则对状态转换之后就变成待处理。如果状态值为2，转换之后对应的数据变成处理成功。

在其他实施例中，还可以定义其它规则引擎，rule.xx.column，其中xx标示一种转换的引擎，可以根据业务逻辑进行转换。

所有转换引擎实现了转换引擎接口，对单元格信息数据进行转换。

根据配置文件名以键值对的方式存储每个excel配置信息。

其中，时间格式化规则引擎的具体内容为：根据配置文件格式化时间字符串，对时间进行格式化。

Map规则转换引擎的具体内容为：根据配置文件枚举值，对枚举数据进行转换。

所述配置模板的配置内容包括：需要导出的英文字段；英文字段对应的文字段描述；数据显示格式；标题行号；数据转换规则；数据存储时间；导出文件的最大行数；导出excel文件标题。

根据导出任务指令解析结果获取查询数据集合，具体为：

根据SQLId标识获取对应的SQL查询语句；

将参数内容进行格式化成Map参数对象；

根据SQL查询语句和对应的Map参数对象确定需要导出的数据集合。

进一步的实施例中，根据SQL查询语句和对应的Map参数对象确定需要导出的数据集合前，根据SQL查询语句和对应的Map参数对象进行数据库查询获取数据总量；

判断数据量总量是否大于模板配置最大行数，如果大于模板配置最大行数，，更新异步导出指令失败，并标注失败原因；

如果数据量总量小于模板配置数据量，根据SQL语句和参数查询数据库数据集合，确定需要导出的数据集合。

根据配置模板输出相应配置的EXCEL文件流，并将EXCEL文件流存储在文件存储服务平台，后续可通过地址访问该平台文件数据。

在某些实施例中，根据配置模板输出相应配置的EXCEL文件流，并将EXCEL文件流存储在文件存储服务平台的具体方法为：

定义文件存储接口AbstractFileUtil接口类，接口中传递了四个参数，分别为：

数据流：二进制文件流

文件名：具体的文件名称

存储周期：存储时间,单位分钟。

文件类型：具体存储的文件类型,如:application/x-excel表示Excel类型。

配置OSS组件服务，具体包括：

配置OSS服务器地址,Key,密钥及连接超时等信息；

配置访问路径前缀；

创建OSS对象。

实现文件存储功能：使用OSS对象调用存储方法，利用OSS文件上传组件传递数据流,文件名,文件类型,失效时间(从配置文件获取有效时间),也可以根据实际场景使用第三方文件存储组件。

返回可访问的文件地址；

文件上传成功,获取上传文件的访问路径地址。

在完成文件的存储后，系统更新导出任务指令状态，更新导出任务地址信息，更新导出任务对应的数据量。

在进一步的实例中，提供页面查询下载路径，根据用户编码提供分页查询接口。用户点击页面文件地址下载Excel文件。

利用本发明的方法实现数据异步导出的流程为：

服务系统接入SDK，采用自选自定注释方式配置数据源，配置异步导出模板，明确Excel里的标题，存放位置，列表字段存储位置，数据集存储位置，数据转换，数据集量的判断，以及Excel样式的定义；配置任务服务，配置WINDQ发送和监听队列。在代码的导出服务地方调用异步导出指令生成指令任务，其中参数包括用户编码、导出类型编码、导出类型描述、导出文件对应的模板名称、数据库Sql对应的sqlId参数，以及页面传输的参数集合。SDK提供了根据用户编码分页查询任务列表信息，贡页面展示使用。

在使用过程中，用户点击功能的导出按钮，后台服务生产一条任务指令，返回前端下载任务已产生，查看任务菜单。当用户点击任务菜单时，根据用户编码获取所有导出的任务列表。如果任务已完成，列表中会显示导出的文件地址，用户点击下载文件，这里的下载文件已经异步产生，存放在一个持久化的平台上。

如图2所示，一种基于java服务的异步导出组件，包括导出任务指令获取模块、导出任务指令解析模块、配置模板获取模块、数据集合查询模块以及文件流输出模块，其中：

所述导出任务指令获取模块用于获取导出任务指令；

所述导出任务指令解析模块用于对导出任务指令进行解析；

所述配置模板获取模块用于根据解析结果获取相应配置模板；

所述数据集合查询模块用于根据解析结果获取查询数据集合；

所述文件流输出模块用于根据配置模板输出相应配置的EXCEL文件流，并将EXCEL文件流存储在文件存储服务平台。

进一步的实施例中，所述导出任务指令获取模块获取导出任务指令的具体方法为：

定量查询指令数据，并将查询出的导出任务指令数据分发给WindQ导出指令队列；

多台服务器对WindQ导出指令队列，空闲服务器获得导出任务指令。

进一步的实施例中，所述导出任务指令解析模块对导出任务指令进行解析具体包括：确定导出任务类型、用户编号、导出文件名、SqlId标识以及参数内容。

进一步的实施例中，所述配置模板获取模块根据导出任务指令解析结果获取相应配置模板的具体方法为：

根据导出任务类型反查询对应的配置模板地址；

根据模板地址获取对应的已记载的配置模板。

进一步的实施例中，所述数据集合查询模块根据导出任务指令解析结果获取查询数据集合的具体方法为：

根据SQLId标识获取对应的SQL查询语句；

将参数内容进行格式化成Map参数对象；

根据SQL查询语句和对应的Map参数对象，确定需要导出的数据集合。

本发明把导出功能公共的点抽取出来作为一个独立的服务组件，支持插拔式插入服务系统，为服务系统提供下载服务。其次在大数据并发情况下可以控制下载频率，减少OOM内存溢出情况。

进一步地，公共点包括三个方面：

第一点：获取数据集，根据SQL语句加参数条件获取数据。

第二点：数据转换成能存储的Excel文件。根据配置把数据转换成不同格式的Excel文件。

第三点：把文件存储到具体文件存储平台。这里的文件存储平台，可以是可以是FTP服务器，或者能存储文件的磁盘。

使用本发明，业务系统可以在改动很小，甚至不改动的情况下集成异步导出组件，对比传统的导出服务，本发明在把导出功能公共的点抽取出来作为一个独立的服务组件，开发人员只需要进行相关配置就能完成数据导出功能，减少对每个功能导出功能的开发，提升整体开发效率。其次通过异步导出服务，能够减少高并发下批量导出导致系统内存OOM的情况，可以根据任务的调度频率和处理数量控制单位时间处理量，提升系统的稳定性。通过本发明数据可支持多次下载，不占用本系统域名IO流量，减少对服务系统压力。

Claims (11)

1.一种基于java服务的异步导出方法，其特征在于，具体步骤为：

获取导出任务指令；

对导出任务指令进行解析；

根据导出任务指令解析结果获取相应配置模板；

根据导出任务指令解析结果获取查询数据集合，具体方法为：

根据SQLId标识获取对应的SQL查询语句；

将参数内容进行格式化成Map参数对象；

根据SQL查询语句和对应的Map参数对象进行数据库查询获取数据总量；

判断数据量总量是否大于模板配置最大行数，如果大于模板配置最大行数，更新异步导出指令失败，并标注失败原因；

如果数据量总量小于模板配置数据量，根据SQL语句和参数查询数据库数据集合，确定需要导出的数据集合；

根据SQL查询语句和对应的Map参数对象确定需要导出的数据集合；

根据配置模板输出相应配置的EXCEL文件流，并将EXCEL文件流存储在文件存储服务平台。

2.根据权利要求1所述的基于java服务的异步导出方法，其特征在于，获取导出任务指令的具体方法为：

定量查询指令数据，并将查询出的导出任务指令数据分发给WindQ导出指令队列；

多台服务器对WindQ导出指令队列，空闲服务器获得导出任务指令。

3.根据权利要求2所述的基于java服务的异步导出方法，其特征在于，定量查询数据的具体方式为：使用调度平台调用任务服务查询待处理的导出任务指令。

4.根据权利要求1所述的基于java服务的异步导出方法，其特征在于，对导出任务指令进行解析具体包括：确定导出任务类型、用户编号、导出文件名、SqlId标识以及参数内容。

5.根据权利要求4所述的基于java服务的异步导出方法，其特征在于，根据导出任务指令解析结果获取相应配置模板的具体方法为：

根据导出任务类型反查询对应的配置模板地址；

根据模板地址获取对应的已记载的配置模板。

6.根据权利要求1所述的基于java服务的异步导出方法，其特征在于，所述配置模板的配置内容包括：需要导出的英文字段；英文字段对应的文字段描述；数据显示格式；标题行号；数据转换规则；数据存储时间；导出文件的最大行数；导出excel文件标题。

7.基于权利要求1~6任一所述方法的组件，其特征在于，包括导出任务指令获取模块、导出任务指令解析模块、配置模板获取模块、数据集合查询模块以及文件流输出模块，其中：

所述导出任务指令获取模块用于获取导出任务指令；

所述导出任务指令解析模块用于对导出任务指令进行解析；

所述配置模板获取模块用于根据解析结果获取相应配置模板；

所述数据集合查询模块用于根据解析结果获取查询数据集合；

所述文件流输出模块用于根据配置模板输出相应配置的EXCEL文件流，并将EXCEL文件流存储在文件存储服务平台。

8.根据权利要求7所述的基于java服务的异步导出组件，其特征在于，所述导出任务指令获取模块获取导出任务指令的具体方法为：

定量查询指令数据，并将查询出的导出任务指令数据分发给WindQ导出指令队列；

多台服务器对WindQ导出指令队列，空闲服务器获得导出任务指令。

9.根据权利要求7述的基于java服务的异步导出组件，其特征在于，所述导出任务指令解析模块对导出任务指令进行解析具体包括：确定导出任务类型、用户编号、导出文件名、SqlId标识以及参数内容。

10.根据权利要求7所述的基于java服务的异步导出组件，其特征在于，所述配置模板获取模块根据导出任务指令解析结果获取相应配置模板的具体方法为：

根据导出任务类型反查询对应的配置模板地址；

根据模板地址获取对应的已记载的配置模板。

11.根据权利要求7所述的基于java服务的异步导出组件，其特征在于，所述数据集合查询模块根据导出任务指令解析结果获取查询数据集合的具体方法为：

根据SQLId标识获取对应的SQL查询语句；

将参数内容进行格式化成Map参数对象；

根据SQL查询语句和对应的Map参数对象，确定需要导出的数据集合。

Images