CN106484805A

CN106484805A - 一种数据导出方法及数据处理系统

Info

Publication number: CN106484805A
Application number: CN201610842997.4A
Authority: CN
Inventors: 李洪鹏
Original assignee: UNION MOBILE PAY ELECTRONIC COMMERCE Co Ltd
Current assignee: UNION MOBILE PAY ELECTRONIC COMMERCE Co Ltd
Priority date: 2016-09-22
Filing date: 2016-09-22
Publication date: 2017-03-08

Abstract

本发明公开一种数据导出方法及数据处理系统，该方法包括：数据处理系统确定拉取数据导出请求的数量，其中，拉取数据导出请求的数量是根据所述数据处理系统所在的服务器的负荷大小确定的；所述数据处理系统向消息中间件发送拉取请求，其中，所述拉取请求中携带拉取数据导出请求的数量，所述消息中间件用于接收并存储客户端发送的数据导出请求；所述数据处理系统接收所述消息中间件发送的与所述拉取数据导出请求的数量相同个数的数据导出请求；所述数据处理系统获取每个数据导出请求对应的目标数据，并将所述目标数据发送至所述数据导出请求对应的客户端，用以解决现有的数据导出方法存在数据处理效率低，且系统工作性能不稳定的问题。

Description

一种数据导出方法及数据处理系统

技术领域

本发明涉及计算机数据处理领域，尤其涉及一种数据导出方法及数据处理系统。

背景技术

目前，很多WEB(互联网)应用程序中的文件导出功能为常用功能。随着业务量和数据量的上升，文件导出功能执行时间变得越来越长，导致系统整体性能大受影响，甚至出现系统崩溃的严重后果。例如，图1中用户通过客户端101发送数据导出请求，客户端101将接收到的数据导出请求发送至WEB系统102，然后WEB系统102从EJB(Enterprise Java Bean，企业开发组件)服务系统103中请求查询与数据导出请求对应的数据，进而EJB服务系统103从数据库中获取目标数据，然后WEB系统将目标数据制作成临时保存在缓存区的报表，最后将报表发送至客户端101，发送之后，该报表被从缓存区中清除掉。可见，在这一过程，当用户越来越多时，客户端接收的数据导出请求就会增多，就会造成数据导出请求的堵塞，用户在线等待数据导出结果的时间也就变长，一旦客户端发送至WEB系统的数据导出请求超过WEB系统的处理能力时，就会造成WEB系统发生宕机事故，可见，现有的数据导出方法存在数据处理效率低，且工作性能不稳定的问题。

发明内容

本发明实施例提供一种数据导出方法及数据处理系统，用以解决现有的数据导出方法存在数据处理效率低，且系统工作性能不稳定的问题。

本发明方法包括一种数据导出方法，该方法包括：数据处理系统确定拉取数据导出请求的数量，其中，拉取数据导出请求的数量是根据所述数据处理系统所在的服务器的负荷大小确定的；

所述数据处理系统向消息中间件发送拉取请求，其中，所述拉取请求中携带拉取数据导出请求的数量，所述消息中间件用于接收并存储客户端发送的数据导出请求；

所述数据处理系统接收所述消息中间件发送的数据导出请求，其中，所述数据处理系统接收的所述数据导出请求的个数与所述拉取请求中携带拉取数据导出请求的数量相同；

所述数据处理系统获取每个数据导出请求对应的目标数据，并将所述目标数据发送至所述数据导出请求对应的客户端。

基于同样的发明构思，本发明实施例进一步地提供一种数据处理系统，该系统包括：

确定单元，用于确定拉取数据导出请求的数量，其中，拉取数据导出请求的数量是根据所述数据处理系统所在的服务器的负荷大小确定的；

发送单元，用于向消息中间件发送拉取请求，其中，所述拉取请求中携带拉取数据导出请求的数量，所述消息中间件用于接收并存储客户端发送的数据导出请求；

接收单元，用于接收所述消息中间件发送的数据导出请求，其中，所述数据处理系统接收的所述数据导出请求的个数与所述拉取请求中携带拉取数据导出请求的数量相同；

获取单元，用于获取每个数据导出请求对应的目标数据，并将所述目标数据发送至所述数据导出请求对应的客户端。

本发明实施例通过增加消息中间件，将客户端发送的各种数据导出请求添加到消息中间件的不同的消息队列中，同时数据处理系统可以订阅消息中间件中的消息队列，这样数据处理系统就可以根据自身的负荷情况适应地调整每次从消息中间件中拉取的消息数量，从而尽可能避免因数据导出请求过多造成的积压堵塞的问题，同时，因为数据处理系统判断自身负荷较轻时，就会从不同的消息队列中拉取较多的数据导出请求进行处理，也提高了数据导出请求的处理效率，所以本发明实施例提供的方法充分地利用了处理器的处理能力，提高了数据处理的效率，同时因为采用了数据处理系统主动订阅的机制，也避免了数据处理系统发生堵塞的可能性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术提供的一种数据导出方法所涉及的各装置的架构示意图；

图2为本发明实施例提供的一种数据导出方法所涉及的各装置的架构示意图一；

图3为本发明实施例提供的一种数据导出方法流程示意图；

图4为本发明实施例提供的一种数据导出方法所涉及的各装置的架构示意图二；

图5为本发明实施例提供的一种数据处理系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为了解决背景技术中描述的问题，本发明实施例在原先图1的系统组成的基础上增加了消息中间件这一装置，消息中间件在数据导出系统中的作用是接收来自客户端的数据导出请求，并将接收的数据导出请求临时缓存在消息队列中，以便于数据处理系统进行订阅。图2为本发明实施例提供的数据导出方法所涉及的各装置的架构示意图，在图2中包括：客户端201、WEB系统202、消息中间件203、数据处理系统204、文件服务器205。其中，客户端201用于接收用户发送的数据导出请求，并将接收的数据导出请求发送给浏览器对应的WEB系统202，WEB系统202则用于转发数据导出请求至消息中间件203，消息中间件203用于将接收的数据导出请求按照先入先出的原则缓存在消息队列中，并接受数据处理系统204的订阅请求。另外，数据处理系统204用于订阅消息中间件203中的消息，并根据自身的负荷大小向消息中间件203发送拉取请求。消息中间件203在接收到拉取请求后，会根据拉取请求中拉取数据导出请求的数量，将相同数量的数据导出请求发送至数据处理系统204中。当数据处理系统204根据数据导出请求，从数据库中获取对应的目标数据之后，将获取的目标数据通过WEB系统202发送至客户端，同时保存在文件服务器205中。

需要说明的是，在图2中的WEB系统202、消息中间件203、数据处理系统204可以同时集成在一台服务器上，也可以分别集成在不同的服务器上，考虑系统性能的稳定性，避免发生宕机的可能性，优选地，分别部署在不同的服务器上。

结合图2中的系统架构，本发明实施例进一步提供一种数据导出方法流程示意图，参见图3所示，具体地实现方法包括：

步骤S301，数据处理系统确定拉取数据导出请求的数量，其中，拉取数据导出请求的数量是根据所述数据处理系统所在的服务器的负荷大小确定的。

步骤S302，所述数据处理系统向消息中间件发送拉取请求，其中，所述拉取请求中携带拉取数据导出请求的数量，所述消息中间件用于接收并存储客户端发送的数据导出请求。

步骤S303，所述数据处理系统接收所述消息中间件发送的数据导出请求，其中，所述数据处理系统接收的所述数据导出请求的个数与所述拉取请求中携带拉取数据导出请求的数量相同。

步骤S304，所述数据处理系统获取每个数据导出请求对应的目标数据，并将所述目标数据发送至所述数据导出请求对应的客户端。

在执行步骤S301之前，所述数据处理系统向所述消息中间件发送订阅消息请求，所述订阅消息请求用于所述消息中间件确定所述数据处理系统是否具备拉取权限。当消息中间件接受了数据处理系统发送的订阅消息请求之后，就可以根据数据处理系统后续发生的拉取请求，将相同数量的数据导出请求发送至数据处理系统。

进一步地，本发明实施例结合图2中系统架构进行详细阐述，具体如下：

步骤a，用户A通过客户端201上的WEB浏览器客户端发送数据导出请求，例如，用户A请求导出自己的业务报表。

步骤b，客户端201将用户A的数据导出请求发送至浏览器客户端对应的WEB系统202，由WEB系统202转发至消息中间件203。

步骤c，消息中间件203将接收的用户A的数据导出请求存入消息队列。

步骤d，数据处理系统204向消息中间件203发送拉取请求，假设数据处理系统204判断目前负荷较大，拉取请求中包含拉取数据导出请求数量为4个。

步骤e，消息中间件203接收数据处理系统204发送的拉取请求，因为消息中间件203与数据处理系统204已建立订阅关系，所述消息中间件203向数据处理系统204发送四个数据导出请求。

步骤f，数据处理系统204根据接收的数据导出请求，从数据库中查询得到目标数据，并将目标数据制作成报表，数据处理系统204将报表发送至WEB系统202的同时，并将报表保存在文件服务器205中。

步骤g，WEB系统202将接收到的报表发送至客户端201，用户通过客户端201获取自己的业务报表。

进一步地，数据处理系统204根据如下规则确定拉取数据导出请求的数量，规则如下：数据处理系统204判断若待处理的数据导出请求数目大于第一阈值，则确定拉取数据导出请求的数量为N；数据处理系统204判断若所述待处理数据导出请求数目小于第二阈值，则确定拉取数据导出请求的数量为K，其中，第二阈值小于第一阈值，N、K为正整数，且N小于K。

也就是说，数据处理系统实时地判断自身的处理压力，若待处理的数据导出请求数目持续积压，直至大于第一阈值，则及时进行调整，减少后续发送的拉取消息请求中拉取的消息数量；若待处理数据导出请求数目被及时处理完成，积压的数量小于第二阈值，则后续增大拉取消息请求中拉取的消息数量；若所述待处理数据导出请求数目在第二阈值和第一阈值之间，则拉取消息请求中拉取的消息数量不改变。需要说明的是，该处的第一阈值和第二阈值的具体取值是根据实际情况的确定的，在此不作限定。

另外，因为现有的系统每次根据数据导出请求生成的执行结果只是缓存在内存中，当执行结果发送至客户端之后，该执行结果就会被清除，所以当用户下次再发送请求导出自己的业务报表，数据处理系统不得不重新生成报表，显然，数据处理系统生成的结果的复用率很低，因此，本发明实施例在步骤406中，数据处理系统204将数据库中的目标数据导出成文本文件，并对每次读取的文本文件的数据进行格式转换，并将生成的Excel文件写入文件服务器205中的磁盘，这样当用户下次再发送同样的数据导出请求给数据处理系统时，数据处理系统204就可以将文件服务器205上存储的结果发送给客户端。而且，本发明实施例在将数据库中的数据转换成Excel文件可以极大地减少了内存占用量，使得转换的效率也比现有技术有较大的提高，另外，生成的Excel文件被保存在文件服务器中，可以被重复下载，避免重复生成，增加结果的复用率。

因为文件服务器205中存储了历史数据导出请求的导出结果，所以当系统后续收到数据导出请求之前会先查询文件服务器205中的导出结果是否存在，如果存在的话就直接将下载列表发送给客户端，供客户下载，否则的话，就将执行上述步骤，生成相应的导出结果。具体地，针对每个数据导出请求，所述数据处理系统204从文件服务器205中查找是否存在与所述数据导出请求相匹配的历史事件，所述历史事件至少包括历史的数据导出请求中的查询条件；

若存在，则所述数据处理系统从所述文件服务器中下载所述历史事件对应的历史结果文件，所述历史结果文件是基于所述历史的数据导出请求而获取的目标数据；

若不存在，则所述数据处理系统根据所述数据导出请求从数据库中导出所述目标数据。

其中，历史事件一般包括查询条件、查询标识、时间，比如说，文件服务器205中存储了用户A的业务报表，并对应地存储了该报表的历史事件，历史时间的关键描述信息可以包括用户A在历史时间2016.9.10时刻12:00发出过请求自己的业务报表的数据导出请求，以及数据导出请求的具体内容。这样，当用户再发送同样的请求时，数据处理系统204就可以从文件服务器205中获取该报表，并将该报表发送至WEB系统，节省了用户在线等待的时间，也同步降低了数据处理系统的处理压力。

当然，考虑到目前数据库的格式多种多样，为了便于数据处理系统从数据库中查询数据，进一步地，数据处理系统将接收消息转为目标数据库格式的数据导出请求；然后数据处理系统根据转换后的目标数据库格式的数据导出请求从目标数据库中导出目标数据。

进一步地，数据处理系统可以至少为两个，且数据处理系统配置于第一服务器；消息中间件可以至少为两个，且消息中间件配置于第二服务器，如图4所示，这样数据处理系统就以集群的方式配置在第一服务器上，消息中间件203就以集群的方式配置在第二服务器上，第一服务器中每个数据处理系统对应第二服务器上的一个消息中间件203，针对第一服务器中的一个数据处理系统204，所述所述数据处理系统接收所述第二服务器中的对应的消息中间件发送的消息队列中的消息，其中，所述消息为所述数据导出请求，所述消息的个数与拉取请求中拉取数据导出请求的数量一致。这样就可以实现并行处理，加快数据处理的速率。

基于相同的技术构思，本发明实施例还提供一种数据处理系统，该系统可执行上述方法实施例。本发明实施例提供的系统如图5所示，包括：确定单元501、发送单元502、接收单元503、获取单元504，其中：

确定单元501，用于确定拉取数据导出请求的数量，其中，拉取数据导出请求的数量是根据所述数据处理系统所在的服务器的负荷大小确定的；

发送单元502，用于向消息中间件发送拉取请求，其中，所述拉取请求中携带拉取数据导出请求的数量，所述消息中间件用于接收并存储客户端发送的数据导出请求；

接收单元503，用于接收所述消息中间件发送的数据导出请求，其中，所述数据处理系统接收的所述数据导出请求的个数与所述拉取请求中携带拉取数据导出请求的数量相同；

获取单元504，用于获取每个数据导出请求对应的目标数据，并将所述目标数据发送至所述数据导出请求对应的客户端。

进一步地，所述获取单元504具体用于：针对每个数据导出请求，从文件服务器中查找是否存在与所述数据导出请求相匹配的历史事件，所述历史事件至少包括历史的数据导出请求中的查询条件；若存在，则从所述文件服务器中下载所述历史事件对应的历史结果文件，所述历史结果文件是基于所述历史的数据导出请求而获取的目标数据；若不存在，则根据所述数据导出请求从数据库中导出所述目标数据。

进一步地，所述发送单元502还用于：向所述消息中间件发送订阅消息请求，所述订阅消息请求用于所述消息中间件确定所述数据处理系统是否具备拉取权限。

进一步地，所述确定单元501具体用于：判断若待处理的数据导出请求数目大于第一阈值，则确定拉取数据导出请求的数量为N；判断若所述待处理数据导出请求数目小于第二阈值，则确定拉取数据导出请求的数量为K，其中，第二阈值小于第一阈值，N、K为正整数，且N小于K。

进一步地，所述数据处理系统至少为两个，且所述数据处理系统配置于第一服务器；所述消息中间件至少为两个，且所述数据处理系统配置于第二服务器；

所述接收单元503具体用于：针对第一服务器中的一个数据处理系统，接收所述第二服务器中的对应的消息中间件发送的消息队列中的消息，其中，所述消息为数据导出请求，所述消息的个数与拉取请求中拉取数据导出请求的数量一致。

综上所述，本发明实施例通过增加消息中间件，将客户端发送的各种数据导出请求添加到消息中间件的不同的消息队列中，同时数据处理系统可以订阅消息中间件中的消息队列，这样数据处理系统就可以根据自身的负荷情况适应地调整每次从消息中间件中拉取的消息数量，从而尽可能避免因数据导出请求过多造成的积压堵塞的问题，同时，因为数据处理系统判断自身负荷较轻时，就会从不同的消息队列中拉取较多的数据导出请求进行处理，也提高了数据导出请求的处理效率，所以本发明实施例提供的方法充分地利用了处理器的处理能力，提高了数据处理的效率，同时因为采用了数据处理系统主动订阅的机制，也避免了数据处理系统发生堵塞的可能性。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种数据导出方法，其特征在于，该方法包括：

数据处理系统确定拉取数据导出请求的数量，其中，拉取数据导出请求的数量是根据所述数据处理系统所在的服务器的负荷大小确定的；

2.如权利要求1所述的方法，其特征在于，所述数据处理系统获取每个数据导出请求对应的目标数据，包括：

针对每个数据导出请求，所述数据处理系统从文件服务器中查找是否存在与所述数据导出请求相匹配的历史事件，所述历史事件至少包括历史的数据导出请求中的查询条件；

3.如权利要求1所述的方法，其特征在于，在所述数据处理系统向消息中间件发送拉取请求之前，还包括：

所述数据处理系统向所述消息中间件发送订阅消息请求，所述订阅消息请求用于所述消息中间件确定所述数据处理系统是否具备拉取权限。

4.如权利要求1所述的方法，其特征在于，所述数据处理系统确定拉取数据导出请求的数量，包括：

所述数据处理系统判断若待处理的数据导出请求数目大于第一阈值，则确定拉取数据导出请求的数量为N；

所述数据处理系统判断若所述待处理数据导出请求数目小于第二阈值，则确定拉取数据导出请求的数量为K，其中，第二阈值小于第一阈值，N、K为正整数，且N小于K。

5.如权利要求1所述的方法，其特征在于，所述数据处理系统至少为两个，且所述数据处理系统配置于第一服务器；所述消息中间件至少为两个，且所述消息中间件配置于第二服务器；

所述数据处理系统接收所述消息中间件发送与所述拉取数据导出请求的数量相同个数的数据导出请求，包括：

针对第一服务器中的一个数据处理系统，所述数据处理系统接收所述第二服务器中的对应的消息中间件发送的消息队列中的消息，其中，所述消息为数据导出请求，所述消息的个数与拉取请求中拉取数据导出请求的数量一致。

6.一种数据处理系统，其特征在于，该系统包括：

7.如权利要求6所述的数据处理系统，其特征在于，所述获取单元具体用于：

针对每个数据导出请求，从文件服务器中查找是否存在与所述数据导出请求相匹配的历史事件，所述历史事件至少包括历史的数据导出请求中的查询条件；若存在，则从所述文件服务器中下载所述历史事件对应的历史结果文件，所述历史结果文件是基于所述历史的数据导出请求而获取的目标数据；若不存在，则根据所述数据导出请求从数据库中导出所述目标数据。

8.如权利要求6所述的数据处理系统，其特征在于，所述发送单元还用于：

向所述消息中间件发送订阅消息请求，所述订阅消息请求用于所述消息中间件确定所述数据处理系统是否具备拉取权限。

9.如权利要求6所述的数据处理系统，其特征在于，所述确定单元具体用于：判断若待处理的数据导出请求数目大于第一阈值，则确定拉取数据导出请求的数量为N；判断若所述待处理数据导出请求数目小于第二阈值，则确定拉取数据导出请求的数量为K，其中，第二阈值小于第一阈值，N、K为正整数，且N小于K。

10.如权利要求6所述的数据处理系统，其特征在于，所述数据处理系统至少为两个，且所述数据处理系统配置于第一服务器；所述消息中间件至少为两个，且所述消息中间件配置于第二服务器；

所述接收单元具体用于：针对第一服务器中的一个数据处理系统，接收所述第二服务器中的对应的消息中间件发送的消息队列中的消息，其中，所述消息为数据导出请求，所述消息的个数与拉取请求中拉取数据导出请求的数量一致。