CN110532311B - 一种基于队列的分布式数据导出方法及系统 - Google Patents

Abstract

本申请公开了一种基于队列的分布式数据导出方法及系统，涉及数据处理技术领域，应用服务器根据web端用户发出的数据导出请求配置循环查询线程，将循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，如果队列中存在数据装载，所述应用服务器则唤醒excel导出，将队列中的数据输出为excel表格。循环的查询线程根据预设的查询范围对数据服务器中的数据进行查询，查询到的数据载入到队列中。当数据进入队列后，则开始将入栈的数据转换为excel表格，实现了数据查询进行中就可以实现表格的生成。进而当数据量较大时，实现对数据的多线程多次查询，而且同步生成excel表格，提高了数据导出excel表格的速度。

Description

一种基于队列的分布式数据导出方法及系统

技术领域

本申请涉及数据处理技术领域，具体涉及一种基于队列的分布式数据导出方法及系统。

背景技术

传统技术中为了实现对数据的可视化统计，一般需要对数据库中的数据进行导出，生成excel表格。目前，在c#语言环境下，对数据库数据导出到excel，一种是采用一次查询获得所有数据库中的数据，查询完毕后将所有的数据生成excel表格。第二种是获得数据的总条数，根据数据总条数进行分页实现分页查询，每次查询完成后再生成excel表格。

上述两种方法虽然在一定程度上可以实现数据的查询导出excel表格，但是当数据量较大时，使得查询总条数较多，进而导致数据导出excel表格速度较慢。

发明内容

本申请为了解决上述技术问题，提出了如下技术方案：

第一方面，本申请实施例提供了一种基于队列的分布式数据导出方法，所述方法包括：应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述循环查询线程用于在数据服务器中进行数据查询；所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询；如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。

采用上述实现方式，循环的查询线程可以根据预设的查询范围对数据服务器中的数据进行查询，查询到的数据载入到队列中。当数据进入队列后，则开始将入栈的数据转换为excel表格，实现了数据查询进行中就可以实现表格的生成。进而当数据量较大时，实现对数据的多线程多次查询，而且同步生成excel表格，提高了数据导出excel表格的速度。

结合第一方面，在第一方面第一种可能的实现方式中，所述应用服务器根据web端用户发出的数据导出请求配置查询线程包括：确定每个所述查询线程的查询数据范围；根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。

结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述应用服务器根据线程查询结果更新全局标志位，包括：如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。

结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态；如果所述全局标志位为false,则结束数据查询操作。

结合第一方面，在第一方面第四种可能的实现方式中，所述如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，包括：如果所述队列中存在数据装载，则判断是否存在excel导出进程；如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队里中装载的数据依次生成excel表格。

第二方面，本申请实施例提供了一种基于队列的分布式数据导出系统，所述系统包括：配置模块，用于应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述循环查询线程用于在数据服务器中进行数据查询；处理模块，用于所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询；数据导出模块，用于如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。

结合第二方面，在第二方面第一种可能的实现方式中，所述配置模块包括：第一确定单元，用于确定每个所述查询线程的查询数据范围；第二确定单元，用于根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。

结合第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述处理模块包括：全局标志位更新单元，用于如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。

结合第二方面第二种可能的实现方式，在第二方面第三种可能的实现方式中，还包括：第三确定单元，用于每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态；处理单元，用于如果所述全局标志位为false,则结束数据查询操作。

结合第二方面，在第二方面第四种可能的实现方式中，所述数据导出模块包括：判定单元，用于如果所述队列中存在数据装载，则判断是否存在excel导出进程；表格生成单元，用于如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队里中装载的数据依次生成excel表格。

附图说明

图1为本申请实施例提供的系统环境框架示意图；

图2为本申请实施例提供的一种基于队列的分布式数据导出方法的流程示意图；

图3为本申请实施例提供的一种基于队列的分布式数据导出系统的示意图。

具体实施方式

下面结合附图与具体实施方式对本方案进行阐述。

图1为本申请实施例提供的系统环境框架示意图，参加图1，系统框架包括web端、应用服务器和数据服务器，其中web端用于数据操作人员进行数据导出请求的输入和筛选条件的确定。应用服务器接收web端发送的数据导出请求后，生成查询线程，通过查询线程实现对数据服务器中数据的查询。其中，本申请实施例中的查询线程为循环查询线程，可以实现数据的循环查询。

本申请实施例基于对c#队列、线程、线程锁的有效组合使用，数据及应用的分别部署，可实现读、写分离的分布式导出方案，无需查询总数据条数，提升大数据量的实时导出效率，降低服务器压力。

而且至少需两台服务器，分别为：用于数据存储、查询的数据服务器和用于数据组织、状态控制及Excel表格生成的应用服务器。

基于上述的系统环境框架，参见图2，本申请实施例提供的基于队列的分布式数据导出方法包括：

S101，应用服务器根据web端用户发出的数据导出请求配置循环查询线程。

web前端请求时所发送的带有筛选条件的导出请求，例如如需要查询某个年龄段男性的数量，则请求中携带有年龄段、性别的参数。应用服务器接收web端发来的请求后，根据预先配置的循环查询线程，根据web前端请求中携带的筛选条件，分别循环发起数据查询，本申请实施例中所述循环查询线程用于在数据服务器中进行数据查询。

其中，配置循环查询线程时，首先确定每个所述查询线程的查询数据范围，根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。

例如，比如配置允许开启两个查询线程，每个查询线程的查询数据范围为1000条，则第一次循环时第一个线程查询第0-1000条，第二个线程查询1001-2000条。第二次循环时第一个线程查询第2001-3000条，第二个线程查询第3001-4000条，以此类推。

S102，所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位。

如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。

仍以上述每个查询线程的数据查询范围为1000条为例，例如：第一线程在某次循环中查出900条数据，而第二线程未查出数据，则第一线程将本线程的900条数据放入队列中，而第二线程则将是否继续查询的全局标志位(如isContinue)，更新为否(如isContinue＝false)，第二线程同时退出自身的循环状态。

并且每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态，如果所述全局标志位为false,则结束数据查询操作。例如第一线程在决定是否进行下次数据查询时，首先判断全局标志位isContinue是否为false，如果为false则不再进行查询。

S103，如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。

所述数据查询线程从数据服务器中查询到数据后，装载至队列中，并且对队列加线程锁。线程锁的目的是保证不同查询线程查询获得的数据装载队列中是不会相互影响，例如当第一线程查询到的数据装载至队列中时，第二线程查询到的数据无法插队装载，必须等待第一线程查询到的数据装载完毕后，第二线程查询获得的数据才可以装载至队列。如果此时队列中存在数据，则判断是否存在excel导出进程。如果excel导出进程不存在，则唤醒所述excel导出进程，实现将队列中装载的数据导出生成excel表格。

同样地，在excel导出进程运行中不断的判断队列中是否存在新的数据载入。如果队列中不断有新的数据载入，则队列中一直存在数据，则excel导出进程继续将数据导出生成excel表格。相反地，如果队列中不在存在数据的载入，也就是时候数据服务器中数据已经查询完毕，而且队列中不存在剩余的数据，则控制excel导出进程结束。

例如，Excel导出进程在第一次启动时，队列中存在1000条数据，则将此1000条数据取出，并组织成excel表格文件。完成后循环再去判断队列中数据的状态，如果不存在新的数据载入且队列中已无数据，则Excel导出进程暂时结束。

本申请实施例当循环查询线程全部停止，则表示数据服务器中的数据已经全部查询完毕，并且Excel导出进程也停止工作，则表明载入到队列中的数据已经完成导出，生成了excel表格文件，此时可以将最终生成的excel表格文件导出，进行下一步的操作。

本实施例中操作人员通过web端配置查询参数，在应用服务器侧生成循环查询线程，循环查询线程在数据服务器侧对数据查询线程，查询获得的数据反馈到应用服务器侧进行数据的导出。整个操作数据的查询和导出是同步进行的，不需要完全等数据查询完毕后，才进行数据的全体导出，进而使得数据导出效率更高，服务器侧压力减小。

由上述实施例可知，本实施例提供了一种基于队列的分布式数据导出方法，本实施例中循环的查询线程可以根据预设的查询范围对数据服务器中的数据进行查询，查询到的数据载入到队列中。当数据进入队列后，则开始将入栈的数据转换为excel表格，实现了数据查询进行中就可以实现表格的生成。进而当数据量较大时，实现对数据的多线程多次查询，而且同步生成excel表格，进而提高了数据导出excel表格的速度。

与上述实施例提供的一种基于队列的分布式数据导出方法相对应，本申请还提供了一种基于队列的分布式数据导出系统的实施例。参见图3，本实施例提供的数据导出系统20包括：配置模块201、处理模块202和数据导出模块203。

所述配置模块201，用于应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述循环查询线程用于在数据服务器中进行数据查询。

所述配置模块201包括：第一确定单元和第二确定单元。所述第一确定单元，用于确定每个所述查询线程的查询数据范围。所述第二确定单元，用于根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。

所述处理模块202，用于所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询。

进一步地，所述处理模块202包括：全局标志位更新单元，用于如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。

本实施例提供的数据导出系统20还包括：第三确定单元和处理单元。

所述第三确定单元，用于每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态。所述处理单元，用于如果所述全局标志位为false,则结束数据查询操作。

所述数据导出模块203，用于如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。

所述数据导出模块203包括：判定单元和表格生成单元。所述判定单元，用于如果所述队列中存在数据装载，则判断是否存在excel导出进程。所述表格生成单元，用于如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队里中装载的数据依次生成excel表格需

要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。

Claims (8)

1.一种基于队列的分布式数据导出方法，其特征在于，所述方法包括：

应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述数据导出请求带有筛选条件，所述循环查询线程用于在数据服务器中进行数据查询；

所述应用服务器根据web端用户发出的数据导出请求配置查询线程包括：

确定每个所述查询线程的查询数据范围；

根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点；

所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询；如果第一线程的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，而第二线程未查出所需数据，则第一线程将本线程的查询结果放入队列中，而第二线程则将是否继续查询的全局标志位isContinue，更新为否isContinue=false，第二线程同时退出自身的循环状态；

每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态，如果所述全局标志位为false，则结束数据查询操作；

如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。

2.根据权利要求1所述的基于队列的分布式数据导出方法，其特征在于，所述应用服务器根据线程查询结果更新全局标志位，包括：

如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。

3.根据权利要求2所述的基于队列的分布式数据导出方法，其特征在于，

每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态；

如果所述全局标志位为false,则结束数据查询操作。

4.根据权利要求1所述的基于队列的分布式数据导出方法，其特征在于，所述如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，包括：

如果所述队列中存在数据装载，则判断是否存在excel导出进程；

如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队列中装载的数据依次生成excel表格。

5.一种基于队列的分布式数据导出系统，其特征在于，所述系统包括：

配置模块，用于应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述数据导出请求带有筛选条件，所述循环查询线程用于在数据服务器中进行数据查询；

所述配置模块包括：

第一确定单元，用于确定每个所述查询线程的查询数据范围；

第二确定单元，用于根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点;

处理模块，用于所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询；如果第一线程的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，而第二线程未查出所需数据，则第一线程将本线程的查询结果放入队列中，而第二线程则将是否继续查询的全局标志位isContinue，更新为否isContinue=false，第二线程同时退出自身的循环状态；

每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态，如果所述全局标志位为false，则结束数据查询操作；

数据导出模块，用于如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。

6.根据权利要求5所述的基于队列的分布式数据导出系统，其特征在于，所述处理模块包括：

全局标志位更新单元，用于如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。

7.根据权利要求6所述的基于队列的分布式数据导出系统，其特征在于，还包括：

第三确定单元，用于每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态；

处理单元，用于如果所述全局标志位为false,则结束数据查询操作。

8.根据权利要求5所述的基于队列的分布式数据导出系统，其特征在于，所述数据导出模块包括：

判定单元，用于如果所述队列中存在数据装载，则判断是否存在excel导出进程；

表格生成单元，用于如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队列中装载的数据依次生成excel表格。