CN108628890B - 一种数据导出方法及系统 - Google Patents

Abstract

本发明提供一种数据导出方法及系统，该方法用于在接收用户的数据导出请求之后，将特定数据从应用服务器和/或数据库服务器中导出并将经过查询生成的数据文件发送至客户端，其中，该方法包括如下步骤：获取所述应用服务器和/或所述数据库服务器的性能指标；根据所述性能指标与预设阀值的比较结果，确定数据文件的导出方式。由于本发明对服务器进行实时监控并且能够实时根据服务器的性能指标自动改变导出模式的技术手段，既满足了在服务器空闲时的实时同步导出，又满足在服务器压力过大时自动转换为异步处理，从而完成导出，降低服务器压力。

Description

一种数据导出方法及系统

技术领域

本发明涉及计算机领域，具体涉及一种数据导出方法及系统。

背景技术

数据从系统中查询导出并下载，在当今互联网数据信息时代，几乎成为每一个系统不可缺少的一个重要功能。导出功能通常要执行相对时间较长的数据查询，并将大量的数据写入内存，这个单一的过程对系统的资源消耗，性能方面有很大的冲击，加之互联网并发的特点，如果不能很好的处理，无外乎雪上加霜，最终可能影响其他系统功能的正常使用，甚至于系统崩溃。

针对上述问题，在现有技术中记载有如下两篇专利及实现方案：

方案一：《一种将数据导出为Excel文件的方法及装置》重点强调了边读取数据边转换，从而节省内存的优势。具体来说，该现有技术是通过系统页面上提供的”导出”功能按钮触发导出功能，应用系统后台根据请求参数进行数据查询，并将查询到的数据结果写入内存，利用开源导出框架(poi)进行数据文件的封装，返回一个文件流到用户端并下载。

方案二：《一种通用EXCEL/PDF报表导出组件》重点解决了统一开发模板的问题，降低开发周期，建立一个通用的开发组件。具体来说，该现有技术是直接采用异步导出方案，即当触发导出功能时，应用系统会在后台生成一条导出任务，直接给出用户友好提示(如：请稍后查收导出结果)。应用系统在后台将导出任务执行完成以后，通过其他途径将导出结果文件发送给用户(如邮件方式)。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

对于方案一，当导出并发请求过大时，会严重影响服务器处理性能，会影响应用其他功能的正常使用，甚至于系统崩溃。

对于方案二，虽然可以解决方案一中暴露的问题，保证系统的健康运行，但有时候是没有必要直接采用异步方式导出的。比如当前系统处于空闲阶段，是应该将结果实时返回客户端的。

发明内容

有鉴于此，本发明实施例提供一种数据导出方法及系统，能够通过监控自动改变导出模式，既满足了在服务器空闲时的实时同步导出，又满足在服务器压力过大时自动转换为异步处理，从而完成导出，降低服务器压力。

为实现上述目的，根据本发明的一个方面，提供了一种数据导出方法，所述方法用于在接收用户的数据导出请求之后，将特定数据从应用服务器和/或数据库服务器中导出并将经过查询生成的数据文件发送至客户端，其中，该方法包括如下步骤：

获取所述应用服务器和/或所述数据库服务器的性能指标；

根据所述性能指标与预设阀值的比较结果，确定数据文件的导出方式。

可选地，该方法还包括：在获取所述应用服务器和/或所述数据库服务器的性能指标之后，将所述性能指标上传至云存储服务器。

可选地，该方法还包括：在接收用户的数据导出请求之前，判断所述数据导出请求对应的线程是否存在于本地线程中，如果存在，则退出所述本地线程，否则，将所述数据导出请求对应的线程保存至所述本地线程中，对所述数据导出请求进行处理。

可选地，所述性能指标包括但不限于：CPU使用率、内存使用情况、线程数。

可选地，该方法还包括：如果所述性能指标小于预设阀值，则执行数据查询操作并将所述数据文件导出并发送至所述客户端；

如果所述性能指标大于等于预设阀值，则利用异步阻塞队列的方式将所述数据文件导出并发送至所述客户端。

根据本发明的另一个方面，还提供了一种数据导出系统，所述系统用于在接收用户的数据导出请求之后，将特定数据从应用服务器和/或数据库服务器中导出并将经过查询生成的数据文件发送至客户端，其中，所述系统包括：

数据采集装置，用于获取所述应用服务器和/或所述数据库服务器的性能指标；

文件导出装置，用于根据所述性能指标与预设阀值的比较结果，确定数据文件的导出方式。

可选地，该系统还包括：云存储服务器，用于保存获取并上传的所述应用服务器和/或所述数据库服务器的所述性能指标。

可选地，该系统还包括：数据判断装置，用于判断所述数据导出请求对应的线程是否存在于本地线程中，如果存在，则退出所述本地线程，否则，将所述数据导出请求对应的线程保存至所述本地线程中，对所述数据导出请求进行处理。

可选地，所述性能指标包括但不限于：CPU使用率、内存使用情况、线程数。

可选地，该文件导出装置还用于：如果所述性能指标小于预设阀值，则执行数据查询操作并将所述数据文件导出并发送至所述客户端；

如果所述性能指标大于等于预设阀值，则利用异步阻塞队列的方式将所述数据文件导出并发送至所述客户端。

为实现上述目的，根据本发明实施例的再一方面，提供了一种数据导出的电子设备。

本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的数据导出的方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述任一所述的数据导出的方法。

上述发明中的一个实施例具有如下优点或有益效果：

因为对服务器进行实时监控，并且能够实时根据服务器的性能指标自动改变导出模式的技术手段，既满足了在服务器空闲时的实时同步导出，又满足在服务器压力过大时自动转换为异步处理，从而完成导出，降低服务器压力。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是根据本发明实施例的数据导出方法的流程示意图；

图2是根据本发明实施例的数据导出系统的结构示意图；

图3是根据本发明实施例的数据导出方法的电子设备的硬件结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

如图1所示，为根据本发明实施例的数据导出方法的流程示意图。该方法用于在接收用户的数据导出请求之后，将特定数据从应用服务器和/或数据库服务器中导出并将经过查询生成的数据文件发送至客户端，其中，该方法包括如下步骤：

步骤S101：获取所述应用服务器和/或所述数据库服务器的性能指标；

步骤S102：根据所述性能指标与预设阀值的比较结果，确定数据文件的导出方式。

可选地，该方法还包括：在获取所述应用服务器和/或所述数据库服务器的性能指标之后，将所述性能指标上传至云存储服务器。

可选地，该方法还包括：在接收用户的数据导出请求之前，判断所述数据导出请求对应的线程是否存在于本地线程中，如果存在，则退出所述本地线程，否则，将所述数据导出请求对应的线程保存至所述本地线程中，对所述数据导出请求进行处理。

可选地，所述性能指标包括但不限于：CPU使用率、内存使用情况、线程数。

可选地，如果所述性能指标小于预设阀值，则执行数据查询操作并将所述数据文件导出并发送至所述客户端；如果所述性能指标大于等于预设阀值，则利用异步阻塞队列的方式将所述数据文件导出并发送至所述客户端。

实施例

下面结合一个具体实施例对本发明进行具体描述，然而值得注意的是该具体实施例仅是为了更好地描述本发明，并不构成对本发明的不当限定。

首先，在系统接收到用户发出的数据导出请求之后，系统会定时获取应用服务器或数据库服务器的性能指标，并将该性能指标定时上传至云存储服务器中。在本发明一实施例中，该性能指标包括但不限于：CPU使用率、内存使用情况、线程数。

然后，根据用户发起的数据导出请求，系统会判断该数据导出请求对应的线程是否存在于本地线程(ThreadLocal)中，其目的就是在于为了防止发起多次同一个数据导出请求。

具体来说，本发明一实施例是利用现有的threadLocal技术模型，记录当前请求所属的线程对象，每一个导出请求所产生的线程对象是唯一的。当本地线程(ThreadLocal)中包含当前处理线程，则不予处理，此处可有效控制阻止同一个请求达到多次的异常情况。

值得一提的是，在复杂的网络环境中，确实有可能会出现这种异常。然而，虽然这是一种极端异常的情况，但是由于这种情况对于系统的正常运行状态而言是不合理的，因此我们要防止这类情况的发生。具体来说，如果当前请求所属的线程已经存在于本地线程(ThreadLocal)之中，那么将当前请求的线程立即退出本地线程，否则，将所述数据导出请求对应的线程(编号)保存至本地线程(ThreadLocal)中，并且在当前线程业务处理完成之后，再释放该线程编号，继续对该数据导出请求进行处理。

其次，系统从云存储服务器中获取到当前应用服务器和/或数据库服务器的性能指标，然后根据所述性能指标与预设阀值的比较结果，确定数据文件的导出方式。

特别的是，在正式进入导出操作以前，系统会先对整个系统的运行状态进行初步判断，也就是说，如果当前系统中有其他的导出任务在执行中的话，此时其他导出任务会占用一定的系统资源，那么后续到达的处理请求要先进行判断，以确认当前系统是否还有多余的资源能够给予分配。当针对系统的初步判断通过后，即正式进入了确定导出模式的流程。具体来说，如果性能指标小于预设阀值，则直接执行数据查询操作并形成数据文件，再将该数据文件导出并发送至客户端。

如果所述性能指标大于等于预设阀值，则进入异步导出模式，然后利用异步阻塞队列的方式将数据文件导出并发送至客户端。

具体来说，在本发明一实施例中，当导出模式已切换到异步处理之后，系统会写入到阻塞队列中一个任务，这种方式的目的在于保存导出所需要的条件参数。此时，当前用户不会立即收到导出结果，而是会得到一个友好提示，系统只是将导出所需要的条件参数写入了阻塞队列之中，以便于守护线程做异步导出时使用。

另外，系统会在后台启动一个守护线程，该守护线程是以阻塞的方式读取该阻塞队列，如果该阻塞队列中没有数据，则该守护线程处于阻塞状态。当有数据写入该阻塞队列时，此时表明有需要处理的异步导出任务，此时系统会将该阻塞队列中保存的条件参数取出，然后根据导出请求的条件参数进行数据查询，最后导出生成的数据文件，并且在完成该数据文件的导出之后会以邮件形式返回给客户端(即用户)。特别的是，对于采用异步导出模式返回数据的方式，可以根据用户的需求进行多样性配置，故不局限于邮件。

如图2所示，为根据本发明实施例的数据导出系统的结构示意图。该系统用于在接收用户的数据导出请求之后，将特定数据从应用服务器和/或数据库服务器中导出并将经过查询生成的数据文件发送至客户端，其中，所述系统2包括：

数据采集装置21，用于获取所述应用服务器和/或所述数据库服务器的性能指标；

文件导出装置22，用于根据所述性能指标与预设阀值的比较结果，确定数据文件的导出方式。

可选地，该系统2还包括：云存储服务器23，用于保存获取并上传的所述应用服务器和/或所述数据库服务器的所述性能指标。

可选地，该系统2还包括：数据判断装置24，用于判断所述数据导出请求对应的线程是否存在于本地线程中，如果存在，则退出所述本地线程，否则，将所述数据导出请求对应的线程保存至所述本地线程中，对所述数据导出请求进行处理。

可选地，所述性能指标包括但不限于：CPU使用率、内存使用情况、线程数。

可选地，该文件导出装置22还用于：如果所述性能指标小于预设阀值，则执行数据查询操作并将所述数据文件导出并发送至所述客户端；如果所述性能指标大于等于预设阀值，则利用异步阻塞队列的方式将所述数据文件导出并发送至所述客户端。

由于本发明提供的数据导出系统是上述方法对应的系统，故不在此赘述。

根据本发明的实施例，本发明还提供了一种电子设备3和一种可读存储介质4。

本发明的电子设备3包括：至少一个处理器31；以及，与所述至少一个处理器通信连接的存储器32；其中，所述存储器32存储有可被所述一个处理器31执行的指令，所述指令被所述至少一个处理器31执行，以使所述至少一个处理器31执行本发明所提供的数据导出的方法。

本发明的非暂态计算机可读存储介质4，所述非暂态计算机可读存储介质4存储计算机指令，所述计算机指令用于使所述计算机执行本发明所提供的数据导出的方法。

如图3所示，是根据本发明实施例的数据导出方法的电子设备的硬件结构示意图。如图3，该电子设备3包括：一个或多个处理器31以及存储器32，图3中以一个处理器31为例。其中，存储器32即为本发明所提供的非暂态计算机可读存储介质。

数据导出方法的电子设备还可以包括：输入装置43和输出装置44。其中，处理器31、存储器32、输入装置43和输出装置44可以通过总线或者其他方式连接，图3中以通过总线连接为例。

存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的数据导出的方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据导出的方法。存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据导出的系统的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至数据导出的系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。输入装置43可接收输入的数字或字符信息，以及产生与数据导出的系统的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。所述一个或者多个模块存储在所述存储器32中，当被所述一个或者多个处理器31执行时，执行上述任意方法实施例中的数据导出的方法。上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

众所周知，导出功能非常消耗服务器性能。根据本发明实施例的技术方案，能够有效控制数据导出对服务器造成的压力，通过自动化性能监控，可以有效防止服务器压力过大而造成的灾难性后果。与此同时，通过利用同步导出自动实现转异步导出的方式，并且后台根据守护线程继续处理导出请求，由此方式可以大大降低客户端与服务器因保持连接或者执行文件导出任务对服务器所造成的压力。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种数据导出方法，其特征在于，包括：

在接收用户的数据导出请求之前，判断所述数据导出请求对应的线程是否存在于本地线程中，如果存在，则不予处理，退出所述本地线程，否则，将所述数据导出请求对应的线程保存至所述本地线程中，对所述数据导出请求进行处理；

在接收用户的数据导出请求之后，将特定数据从应用服务器和/或数据库服务器中导出并将经过查询生成的数据文件发送至客户端，包括如下步骤：

获取所述应用服务器和/或所述数据库服务器的性能指标；

如果所述性能指标小于预设阀值，则执行数据查询操作并将所述数据文件导出并发送至所述客户端；

如果所述性能指标大于等于所述预设阀值，则利用异步阻塞队列的方式将所述数据文件导出并发送至所述客户端。

2.根据权利要求1所述的方法，其特征在于，还包括：

在获取所述应用服务器和/或所述数据库服务器的性能指标之后，将所述性能指标上传至云存储服务器。

3.根据权利要求1所述的方法，其特征在于，所述性能指标包括但不限于：

CPU使用率、内存使用情况、线程数。

4.一种数据导出系统，其特征在于，包括：

数据判断模块，用于判断所述数据导出请求对应的线程是否存在于本地线程中，如果存在，则不予处理，退出所述本地线程，否则，将所述数据导出请求对应的线程保存至所述本地线程中，对所述数据导出请求进行处理；

数据导出模块，用于在接收用户的数据导出请求之后，将特定数据从应用服务器和/或数据库服务器中导出并将经过查询生成的数据文件发送至客户端，包括：

数据采集装置，用于获取所述应用服务器和/或所述数据库服务器的性能指标；

文件导出装置，用于如果所述性能指标小于预设阀值，则执行数据查询操作并将所述数据文件导出并发送至所述客户端；如果所述性能指标大于等于所述预设阀值，则利用异步阻塞队列的方式将所述数据文件导出并发送至所述客户端。

5.根据权利要求4所述的系统，其特征在于，还包括：

云存储服务器，用于保存获取并上传的所述应用服务器和/或所述数据库服务器的所述性能指标。

6.根据权利要求4所述的系统，其特征在于，所述性能指标包括但不限于：CPU使用率、内存使用情况、线程数。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。

Images