CN105843819B - 一种数据导出方法及装置 - Google Patents

Abstract

本发明公开了一种数据导出方法及装置，主要包括：接收数据导出请求，根据系统负荷情况，针对所述数据导出请求配置页面大小；将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；将所述缓冲区中缓存的数据存入设定格式的文件中。采用该方法，可以解决现有技术中存在数据导出过程中影响系统内存占用的问题。

Description

一种数据导出方法及装置

技术领域

本发明涉及数据处理技术领域，更具体的涉及一种数据导出方法及装置。

背景技术

目前，基于浏览器的WEB应用程序已经基本取代了传统的CS结构的应用程序，很多WEB应用程序中文件导出功能为常用功能。随着业务量和数据量的上升，文件导出功能执行时间变得越来越长，导致系统整体性能大受影响，甚至出现系统崩溃的严重后果。

现有技术中，通过边读取数据，边将读取的数据存储为设定格式文件的方式实现数据导出，或者通过先将数据生成文本格式文件，再将文本格式文件转换为设定格式文件的方式实现数据导出。

在高并发环境下导出数据时，虽然上述两种方法均可以保证单个下载任务的资源占用量，但是当导出任务积累到一定数量时，仍然会造成系统资源的大量占用，从而影响到系统整体的性能。

发明内容

本发明实施例提供一种数据导出方法及装置，用以解决现有技术中存在数据导出过程中影响系统内存占用的问题。

本发明实施例提供一种数据导出方法，包括：

接收数据导出请求，根据系统负荷情况，针对所述数据导出请求配置页面大小；

将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；

将所述缓冲区中缓存的数据存入设定格式的文件中。

进一步地，所述将所述缓冲区中缓存的数据存入设定格式的文件中，包括：

若所述缓冲区溢满时所述数据导出请求对应的数据未均被读取，则将所述缓冲区中缓存的数据存入所述设定格式文件中；

重复执行按照所述每次读取数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中，将所述缓冲区中缓存的数据均存入设定格式文件中，至所述数据导出请求对应的数据均被存入所述设定格式文件中。

进一步地，所述根据接收数据导出请求之后，还包括：

将所述数据导出请求作为新导出任务添加到任务列表中；

根据所述任务列表中正在执行的导出任务的数量确定是否执行所述新导出任务；

若确定执行所述新导出任务，则执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤。

进一步地，所述执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤，包括：

启动与所述新导出任务对应的线程，在所述线程中执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤。

进一步地，所述根据所述任务列表中正在执行的导出任务的数量确定是否执行所述新导出任务，包括：

确定所述任务列表中正在执行的导出任务的数量；

若所述任务列表中正在执行的导出任务的数量不小于设定阈值，则确定不执行所述新导出任务；

若所述任务列表中正在执行的导出任务的数量小于设定阈值，则确定执行所述新导出任务。

进一步地，所述设定格式文件为CVS格式文件。

请求单元：用于接收数据导出请求，根据系统负荷情况，针对所述数据导出请求配置页面大小；

读取单元：用于将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；

确定格式单元：用于将所述缓冲区中缓存的数据存入设定格式的文件中。

进一步地，所述确定格式单元具体用于：

若所述缓冲区溢满时所述数据导出请求对应的数据未均被读取，则将所述缓冲区中缓存的数据存入所述设定格式文件中；

重复执行按照所述每次读取数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中，将所述缓冲区中缓存的数据均存入设定格式文件中，至所述数据导出请求对应的数据均被存入所述设定格式文件中。

进一步地，所述请求单元具体还用于：

将所述数据导出请求作为新导出任务添加到任务列表中；

根据所述任务列表中正在执行的导出任务的数量确定是否执行所述新导出任务；

若确定执行所述新导出任务，则执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤。

进一步地，所述读取单元具体还用于：

启动与所述新导出任务对应的线程，在所述线程中执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤。

进一步地，所述读取单元具体用于：

确定所述任务列表中正在执行的导出任务的数量；

若所述任务列表中正在执行的导出任务的数量不小于设定阈值，则确定不执行所述新导出任务；

若所述任务列表中正在执行的导出任务的数量小于设定阈值，则确定执行所述新导出任务。

本发明实施例接收数据导出请求，根据系统负荷情况，针对所述数据导出请求配置页面大小；将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；将所述缓冲区中缓存的数据存入设定格式的文件中。采用该方法，当客户端请求数据导出的时候，可以根据系统的负荷情况为数据导出请求配置获取数据占用系统的资源，通过对系统中所有的导出请求的统一管理，即满足操作人员对数据导出的要求，增强了系统的交互性，也可以从根本上解决了现有技术中存在数据导出过程中影响系统内存占用的问题。

附图说明

图1为本发明实施例一提供一种数据导出方法流程图；

图2为本发明实施例二提供一种数据导出装置结构示意图。

具体实施方式

本发明实施例接收数据导出请求，根据系统负荷情况，针对所述数据导出请求配置页面大小；将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；将所述缓冲区中缓存的数据存入设定格式的文件中。采用该方法，当客户端请求数据导出的时候，可以根据系统的负荷情况为数据导出请求配置获取数据占用系统的资源，通过对系统中所有的导出请求的统一管理，即满足操作人员对数据导出的要求，增强了系统的交互性，也可以从根本上解决了现有技术中存在数据导出过程中影响系统内存占用的问题。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用与说明和解释本发明，并不用与限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本发明实施例一提供一种数据导出方法，具体如图1所述，包括以下步骤：

步骤101，接收数据导出请求，根据系统负荷情况，针对所述数据导出请求配置页面大小；

步骤102，将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；

步骤103，将所述缓冲区中缓存的数据存入设定格式的文件中。

在步骤101中，根据接收到的数据导出请求，根据系统负荷情况，为接收到的数据导出请求配置页面大小，其中，在本发明实施例中，配置的页面大小和系统的负荷情况相关联，而且配置的页面大小是每次从网络侧下载的数据量的大小，在实际应用中，可以将从网络侧下载的数据量以配置的页面大小依次显示到显示屏上，也可以不用显示在显示屏上，而是直接将从网络侧下载的数据量直接缓冲到分配的缓冲区中，本发明实施例对上述方法不做具体的限定。

根据接收的数据导出请求，根据所述数据导出请求的时间顺序，将所述数据导出请求添加到任务列表中，在本发明实施例中，系统将所述数据导出请求添加到任务列表中之后，会立即返回“数据导出任务已经启动”的消息，并且会显示提醒操作人员到任务查询界面查询数据导出任务的处理状态。

其中，任务查询界面中任务处理状态包括是否已经开始处理、任务总数据量、已经获取数据量等信息。本发明实施例中的任务查询界面能够使得操作人员及时了解到任务的处理进程。

在步骤102中，将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；

任务列表中的数据导出任务是根据数据导出请求的时间顺序排列的，在本发明实施例中，系统会根据设定的时间定时去任务列表查看数据导出任务，其中，系统可以根据实际应用环境设定查看数据导出任务列表的时间，本发明实施例对系统设定的时间的长度不做进一步的限定。

当系统按照设定的时间查看数据导出任务列表的时候，若数据导出任务列表中已经存在正在执行的数据导出任务，则根据所述当前正在执行的数据导出任务所占系统配置情况，确定是否继续执行数据导出任务，其中，若当前正在执行的数据导出任务所占系统配置已经达到系统配置的最大数据，则继续执行正在执行的数据导出任务，系统不会增加新导出任务；若当前正在执行的数据导出任务所占系统配置没有达到系统配置的最大数据，则会在继续执行正在执行的数据导出任务的同时，按照目前系统的负荷，从系统任务列表中按照任务列表中所述数据导出任务的排列顺序，依次取出一个新导出任务，或者多个新导出任务。

若取出一个新导出任务，则对应该新导出任务启动一个线程，该线程负责执行该新导出任务；若取出多个新导出任务，则对应多个新导出任务，依次启动多条线程，启动的多条线程分别对应每个新导出任务，而且每条线程负载执行一个新导出任务。在本发明实施例中，当启动任务列表中的新导出任何之后，系统会同时更新任务列表中数据导出任务的状态，将新导出任务的状态设定为“处理中”。

在本发明实施例中，系统处理数据新导出任务的时候，每个新导出任务都会对应一个后台的线程。所以在本发明实施例中，后台还需要维护一个包含线程任务对象的列表，在其中保存着当前所有未处理完成的导出任务，每个任务都包含当前的处理状态、处理的数据总量、已处理数据量、开始时间、已持续时间等内容。

当启动任务列表中的新导出任何之后，系统会根据新增加的数据导出任务，生成文件头内容、数据集和数据总量的查询命令，并且根据生成的数据总量和目前系统的符合等参数，为系统新增加数据导出任务配置导出数据时采用页面的大小，其中，在本发明实施例中，配置的页面的大小与系统的符合情况相关，包括：若系统负荷比较大，则确定为新增加数据导出配置的页面比较小；若系统负荷比较小，则确定为新增加数据导出配置的页面比较大；根据为新增加数据导出配置的页面的大小，每次从后台数据库中取出一页的数据。比如，新增加数据导出任务一篇小说，系统根据自身符合的情况，确定为当前新增加数据导出配置的页面的情况为：每页10行，每行25字，所以新增加数据导出任务对应的线程每次会从后台获取每行25字，总共10行的数据量。

根据系统配置的页面的大小，每次系统线程将从后台获取的一页数据显示到系统配置的页面中，同时会将显示到配置的页面中的内容同步存储到缓冲区中。其中缓冲区可以只对应一个数据导出任务，也可以同时对应多个数据导出任务，若缓冲区只对应一个数据导出任务，则在接收到数据导出请求之后，则为该数据导出请求配置一个缓冲区；若缓冲区可以同时对应多个数据导出任务，则在接收到数据导出请求之后，可能不会该数据导出请求配置缓冲区。本发明实施例对缓冲区与数据导出任务不做进一步的限定，同时对缓冲区的大小不做进一步的限定。

进一步地，配置页面中的内容，可以显示到显示屏上，然后将显示到显示屏上的内容同步存储到缓冲区中，也可以将配置页面中的内容不在显示屏上显示，直接存储到缓冲区中，本发明实施例对配置页面中的内容是否显示到显示屏上不做进一步的限定。

在步骤103中，将所述缓冲区中缓存的数据存入设定格式的文件中。

若缓冲区溢满时数据导出请求对应的数据全部被读取，则将缓冲区中缓存的数据存入设定格式文件中，其中，缓冲区缓存内容生成的数据格式为CVS格式，由于CVS格式类似于文本格式，方便于程序的处理，同时比EXCEL格式的文件节省内存。本发明实施例中，对缓冲区缓存内容生成的数据格式不做限定。

其中，若缓冲区溢满后，但是数据导出任务对应的数据还没有完全导出，则缓冲区继续存储数据导出任务对应的数据，直到处理完数据导出任务对应的全部数据。等数据导出任务对应的数据完全导出后，系统返回响应，操作人员可以将生成的数据文件下载到本地。

基于同一发明构思，本发明实施例提供了一种数据导出装置，由于该装置解决技术问题的原理与一种数据导出方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

实施例2

本发明实施例2提供了一种数据导出装置，如图2所示，该装置包括：请求单元21，读取单元22和确定格式单元23。

请求单元21：用于接收数据导出请求，根据系统负荷情况，针对所述数据导出请求配置页面大小；

读取单元22：用于将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；

确定格式单元23：将所述缓冲区缓存的数据存入设定格式的文件中。

进一步地，所述确定格式单元23具体用于：

若所述缓冲区溢满时所述数据导出请求对应的数据未均被读取，则将所述缓冲区中缓存的数据存入所述设定格式文件中；

重复执行按照所述每次读取数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中，将所述缓冲区中缓存的数据均存入设定格式文件中，至所述数据导出请求对应的数据均被存入所述设定格式文件中。

进一步地，所述请求单元21具体还用于：

将所述数据导出请求作为新导出任务添加到任务列表中；

根据所述任务列表中正在执行的导出任务的数量确定是否执行所述新导出任务；

若确定执行所述新导出任务，则执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤。

进一步地，所述读取单元22具体还用于：

启动与所述新导出任务对应的线程，在所述线程中执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤。

进一步地，所述读取单元22具体用于：

确定所述任务列表中正在执行的导出任务的数量；

若所述任务列表中正在执行的导出任务的数量不小于设定阈值，则确定不执行所述新导出任务；

若所述任务列表中正在执行的导出任务的数量小于设定阈值，则确定执行所述新导出任务。

应当理解，以上一种数据导出装置包括的单元仅为根据该系统实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种数据导出装置所实现的功能与上述实施例提供的一种数据导出方法一一对应，对于该设备所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种数据导出方法，其特征在于，包括：

接收数据导出请求，将所述数据导出请求作为新导出任务添加到任务列表中；根据所述任务列表中正在执行的导出任务的数量确定是否执行所述新导出任务；若确定执行所述新导出任务，则根据系统负荷情况，针对所述数据导出请求配置页面大小；

将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；

若所述缓冲区溢满时所述数据导出请求对应的数据未均被读取，则将所述缓冲区中缓存的数据存入设定格式文件中；

重复执行按照所述每次读取数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中，将所述缓冲区中缓存的数据均存入设定格式文件中，至所述数据导出请求对应的数据均被存入所述设定格式文件中。

2.如权利要求1所述方法，其特征在于，所述执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤，包括：

启动与所述新导出任务对应的线程，在所述线程中执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤。

3.如权利要求1所述方法，其特征在于，所述根据所述任务列表中正在执行的导出任务的数量确定是否执行所述新导出任务，包括：

确定所述任务列表中正在执行的导出任务的数量；

若所述任务列表中正在执行的导出任务的数量不小于设定阈值，则确定不执行所述新导出任务；

若所述任务列表中正在执行的导出任务的数量小于设定阈值，则确定执行所述新导出任务。

4.如权利要求1至3任一权利要求所述方法，其特征在于，所述设定格式文件为CVS格式文件。

5.一种数据导出装置，其特征在于，包括：

请求单元：用于接收数据导出请求，将所述数据导出请求作为新导出任务添加到任务列表中；根据所述任务列表中正在执行的导出任务的数量确定是否执行所述新导出任务；若确定执行所述新导出任务，则根据系统负荷情况，针对所述数据导出请求配置页面大小；

读取单元：用于将所述页面大小作为每次读取的数据量，按照所述每次读取的数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中；

确定格式单元：用于若所述缓冲区溢满时所述数据导出请求对应的数据未均被读取，则将所述缓冲区中缓存的数据存入设定格式文件中；重复执行按照所述每次读取数据量依次读取所述数据导出请求对应的未被读取的数据，且每次读取后将读取到的数据缓存至缓冲区中，将所述缓冲区中缓存的数据均存入设定格式文件中，至所述数据导出请求对应的数据均被存入所述设定格式文件中。

6.如权利要求5所述装置，其特征在于，所述读取单元具体还用于：

启动与所述新导出任务对应的线程，在所述线程中执行根据系统负荷情况，针对所述数据导出请求配置页面大小并分配缓冲区的步骤。

7.如权利要求5所述装置，其特征在于，所述读取单元具体用于：

确定所述任务列表中正在执行的导出任务的数量；

若所述任务列表中正在执行的导出任务的数量不小于设定阈值，则确定不执行所述新导出任务；

若所述任务列表中正在执行的导出任务的数量小于设定阈值，则确定执行所述新导出任务。

Images