CN107656968B - 大批量业务数据导出方法及系统 - Google Patents
大批量业务数据导出方法及系统 Download PDFInfo
- Publication number
- CN107656968B CN107656968B CN201710773456.5A CN201710773456A CN107656968B CN 107656968 B CN107656968 B CN 107656968B CN 201710773456 A CN201710773456 A CN 201710773456A CN 107656968 B CN107656968 B CN 107656968B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- export
- time
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000006870 function Effects 0.000 claims description 52
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供大批量业务数据导出方法及系统，其中所述方法包括：步骤1，获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出文件请求存储在MYSQL数据库的同一个表单中；步骤2，定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据。本发明具有在进行大批量业务数据导出时，降低时延和失败风险的有益效果。
Description
技术领域
本发明涉及互联网存储技术领域，更具体地，涉及大批量业务数据导出方法及系统。
背景技术
随着移动互联网技术的不断发展，互联网上展示的绝大多数业务数据都存储在数据库中，当用户需要调用某些业务数据时，需要向目标所述的数据库发送数据导出请求。
当用户请求导出的业务数据数量巨大时，通常会造成目标业务数据的导出时延甚至失败，同时也会导致目标业务数据所述数据库的服务器的查询慢、进而影响到所述服务器运行其他任务的效率。
亟待提供一种能够解决大批量业务数据导出可能引发的一系列问题的方法及系统。
发明内容
本发明为克服上述问题或者至少部分地解决上述问题，提供大批量业务数据导出方法。
根据本发明的一个方面，提供一种大批量业务数据导出方法，包括：
步骤1，获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出文件请求存储在MYSQL数据库的同一个表单中；
步骤2，定时获取所述MYSQL数据库中的文件导出请求，判断目标业务和在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据。
进一步，所述步骤1中获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间的步骤进一步包括：
获取用于存储业务数据导出请求的save(time,ident)函数，ident为所述导出请求的目标业务ID，time为所述导出请求的目标业务中目标数据的起始时间，以数组形式存储。
进一步，所述步骤1中将所述导出文件请求存储在MYSQL数据库的同一个表单中的步骤进一步包括：
利用connection(config)方法连接MYSQL数据库，config表示连接数据库的相关配置信息；
获取所述save(time,ident)函数中的参数，利用strtotime()函数将所述time参数的开始时间点和结束时间点转化为时间戳，将所述转化为时间戳的目标业务中目标数据的起始时间和目标业务ID存储在MYSQL数据库中的同一个表单中。
进一步，所述步骤2中定时获取所述MYSQL数据库中的文件导出请求的步骤进一步包括：
通过设定接口函数的形式定时获取所述MYSQL数据库中的文件导出请求；
利用connection(config)函数连接所述MYSQL数据库，连接成功后，获取所述业务数据导出请求。
进一步，所述步骤2后还包括：
步骤3，利用PHPExcel类库中saveFileInfo($data)函数将获取到的目标数据存储到excel文件中，设置文件的存储路径，把写入目标数据的excel文件存入固定服务器文件夹中，同时把导出的excel文件名及excel文件存储的路径保存至新的MYSQL数据库中。
进一步，所述步骤3后还包括：
利用connection(config)函数连接数据库，利用select(where)函数读取出所述excel文件名并进行可视化展示，以供用户通过点击文件名获取所述excel文件。
进一步，所述业务数据导出请求中的目标业务ID和目标业务中目标数据的起始时间由用户设定；
所述目标业务ID和目标业务中目标数据的起始时间的设定能够为不同权限的用户设定不同的条件限制。
根据本发明另一方面，提供一种大批量业务数据导出系统，包括：
请求获取模块，用于获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出文件请求存储在MYSQL数据库的同一个表单中；
数据获取模块，用于定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据。
根据本发明另一方面，提供一种大批量业务数据导出方法的设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一所述的方法。
根据本发明另一方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述任一所述的方法。
本申请提出大批量业务数据导出方法及系统，所述方法首先对获取业务数据的请求进行保存，定时获取所述获取业务数据的请求，对大批量的业务数据进行分批读取。本申请所述方案具有在进行大批量业务数据导出时，降低时延和失败风险的有益效果。
附图说明
图1为根据本发明实施例一种大批量业务数据导出方法的整体流程示意图；
图2为根据本发明实施例一种大批量业务数据导出方法的流程示意图；
图3为根据本发明实施例又一种大批量业务数据导出系统的整体框架示意图；
图4为根据本发明实施例一种大批量业务数据导出方法的设备的结构框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
名词解释
PHPExcel：是用来操作Office Excel文档的一个PHP类库，它基于微软的OpenXML标准和PHP语言。可以使用它来读取、写入不同格式的电子表格。
MYSQL数据库：是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性，目前是WEB管理较为常用的数据管理系统。
本发明旨在解决大量业务数据进行导出可能出现的超时问题；对于实时性不高的业务数据导出，可以采取异步导出的方式进行，并把导出的数据存储于服务器中，提供给管理员下载。该技术核心在于管理员触发导出操作后，导出行为将在后台进行并且根据数据量进行分批读取并处理成相应的文件，之后该文件存储于服务器特定的文件中供实时下载。本发明对文件导出进行服务化，提供接口给各个平台使用，实现文件异步导出接口服务化。本发明相对于一般的即时数据导出技术，异步技术将会为数据管理者提供更好的文件导出体验及更快速的导出服务。
如图1，示出本发明的一个具体实施例中，一种大批量业务数据导出方法的整体流程图。总体上，包括：
步骤1，获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出文件请求存储在MYSQL数据库的同一个表单中；
步骤2，定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出方法，所述步骤1中获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间的步骤进一步包括：
获取用于存储业务数据导出请求的save(time,ident)函数，ident为所述导出请求的目标业务ID，time为所述导出请求的目标业务中目标数据的起始时间，以数组形式存储。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出方法，所述步骤1中将所述导出文件请求存储在MYSQL数据库的同一个表单中的步骤进一步包括：
利用connection(config)方法连接MYSQL数据库，config表示连接数据库的相关配置信息；
获取所述save(time,ident)函数中的参数，利用strtotime()函数将所述time参数的开始时间点和结束时间点转化为时间戳，将所述转化为时间戳的目标业务中目标数据的起始时间和目标业务ID存储在MYSQL数据库中的同一个表单中。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出方法，所述步骤2中定时获取所述MYSQL数据库中的文件导出请求的步骤进一步包括：
通过设定接口函数的形式定时获取所述MYSQL数据库中的文件导出请求；
利用connection(config)函数连接所述MYSQL数据库，连接成功后，获取所述业务数据导出请求。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出方法，所述步骤2后还包括：
步骤3，利用PHPExcel类库中saveFileInfo($data)函数将获取到的目标数据存储到excel文件中，设置文件的存储路径，把写入目标数据的excel文件存入固定服务器文件夹中，同时把导出的excel文件名及excel文件存储的路径保存至新的MYSQL数据库中。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出方法，所述步骤3后还包括：
利用connection(config)函数连接数据库，利用select(where)函数读取出所述excel文件名并进行可视化展示，以供用户通过点击文件名获取所述excel文件。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出方法，所述业务数据导出请求中的目标业务ID和目标业务中目标数据的起始时间由用户设定；
所述目标业务ID和目标业务中目标数据的起始时间的设定能够为不同权限的用户设定不同的条件限制。
如图2，在本发明任一上述具体实施例的基础上，一种大批量业务数据导出方法，接下来对本具体实施例进行进一步说明。
首先，管理者业务数据导出请求触发。管理者操作大批量业务数据导出时，不限制管理者的导出条件。不同的用户导出不同的业务数据时，能够自主选择导出条件，导出行为及导出条件通过save(time,ident)函数进行存储，time代表选择目标业务中目标数据的起始时间，以数组形式传递至save函数中；ident标识业目标业务ID用于区分导出的业务。
其次，业务数据导出请求的存储。管理者业务数据导出请求被存储于MYSQL数据库中。在写入数据库中之前，首先利用通用的connection(config)方法连接MYSQL数据库，config参数表示所连接数据库的相关配置信息；其次，接收所述save(time,ident)函数中的参数，因time参数为数组形式，此次从数组中分别提取出导出的开始时间以及结束时间作为start_time和end_time并采用strtotime()函数强制转换为时间戳型，此处将所述转化为时间戳的目标业务中目标数据的起始时间写入数据库，因为时间戳为int型，查询速度比字符型要快且占用内存较少。ident作为业务标识的唯一标识与时间存入数据库的同一张表中。同时导出者信息一并存入该表中，即完成导出者的行为存储。
再次，业务数据导出请求的执行。基于上述存储在MYSQL数据库表单中的业务数据导出请求信息为基础，设置新的类库，以此类库作为定时任务系统执行的接口，设定定时任务将每n分钟执行一次，定时任务每执行一次将会执行一次该接口函数。在接口函数中将执行管理者的业务数据导出请求信息，接口函数执行流程如下：
a)、利用connection(config)函数连接所述保存业务数据导出请求信息的数据库，链接成功后，则读取业务数据导出请求的信息。
b)、通过步骤a)中的得到的信息，即可以得出该导出行为信息属于哪一个目标业务以及业务数据导出的目标时间段。
c)、步骤b)已经获取业务数据导出请求的信息所存储的数据库页表单，根据步骤b)获取的目标时间段，则取出该时间段的业务数据。由于导出时间段由管理者随机选择，则不能控制每次导出的数据量的大小；若数据量很大的时候进行目标数据的一次性读取，会造成导出操作超时的情况，该情况很大可能会使所查询目标业务数据所属的数据库崩溃并影响其他业务的处理。所述，本发明该具体实施例中利用循环读取的方式进行大批量业务数据的导出。
所述循环读取的方式进行大批量业务数据的导出技术实现为：首先查询目标时间段内有多少条目标业务数据，若该时间段内数据量超过预设阈值m条时，则每次取5000条数据，依次循环直至取出所在时间段内的所有的数据为止。
d)、该步骤将步骤c)中获取的目标数据存储到excel文件中。利用PHPExcel第三方类库，并采用saveFileInfo($data)函数将所述目标数据存储excel表中，设置文件的存储路径，把写入数据的excel文件存入固定服务器文件夹中，同时把导出的文件名及文件存储的路径保存至新的MYSQL数据库中。通过以上流程，则执行完成导出行为。
最后，实现目标文件的导出。上述步骤已经完成了目标数据文件的导出，但管理者并不能通过可视化界面查看到文件是否已经导出；该步骤中将实现已导出的文件可视化。到此文件已经存储于服务器可访问的文件夹中，同时文件名已通过上述步骤存储于MYSQL数据库中，同样采用connection(config)链接数据库，并采用select(where)函数读取出文件名并展示到可视化页面上，及完成了异步文件的可视化，管理者点击文件名即可实现文件的即时下载功能。
本具体实施例中，异步的思想主要突出在管理者数据导出行为与文件导出的过程并不在同一时间进行，采用异步的优势在于真正文件导出行为在后台的队列中进行，目标数据导出正在进行，该技术可解决大量数据导出超时的问题。前两个步骤中旨在处理管理者导出行为的存储，之后开始进行文件导出的行为。前两个步骤正是管理者进行操作时间，随后的步骤则是在后台队列中延后一定时间执行，随着队列的消耗，这执行完成目标数据的导出。通过最后一个步骤把导出的文件已可视化的方式展示给管理者。通过以上整体流程，该技术完全实现不可控制数据量的异步文件导出行为。
如图3，示出本发明的一个具体实施例中，一种大批量业务数据导出系统的整体框架图。总体上，包括：
请求获取模块A1，用于获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出文件请求存储在MYSQL数据库的同一个表单中；
数据获取模块A2，用于定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出系统，所述请求获取模块A1，进一步用于获取用于存储业务数据导出请求的save(time,ident)函数，ident为所述导出请求的目标业务ID，time为所述导出请求的目标业务中目标数据的起始时间，以数组形式存储。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出系统，所述请求获取模块A1进一步用于：
利用connection(config)方法连接MYSQL数据库，config表示连接数据库的相关配置信息；
获取所述save(time,ident)函数中的参数，利用strtotime()函数将所述time参数的开始时间点和结束时间点转化为时间戳，将所述转化为时间戳的目标业务中目标数据的起始时间和目标业务ID存储在MYSQL数据库中的同一个表单中。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出系统，所述数据获取模块A2，进一步用于：
通过设定接口函数的形式定时获取所述MYSQL数据库中的文件导出请求；
利用connection(config)函数连接所述MYSQL数据库，连接成功后，获取所述业务数据导出请求。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出系统，还包括存储模块，用于：
利用PHPExcel类库中saveFileInfo($data)函数将获取到的目标数据存储到excel文件中，设置文件的存储路径，把写入目标数据的excel文件存入固定服务器文件夹中，同时把导出的excel文件名及excel文件存储的路径保存至新的MYSQL数据库中。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出系统，还包括可视化展示模块，用于：
利用connection(config)函数连接数据库，利用select(where)函数读取出所述excel文件名并进行可视化展示，以供用户通过点击文件名获取所述excel文件。
在本发明任一上述具体实施例的基础上，一种大批量业务数据导出系统，所述业务数据导出请求中的目标业务ID和目标业务中目标数据的起始时间由用户设定；
所述目标业务ID和目标业务中目标数据的起始时间的设定能够为不同权限的用户设定不同的条件限制。
图4示出本申请实施例的大批量业务数据导出方法的设备的结构框图。
参照图4，所述大批量业务数据导出方法的设备，包括：处理器(processor)401、存储器(memory)402和总线403；
其中，
所述处理器401和存储器402通过所述总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出文件请求存储在MYSQL数据库的同一个表单中；定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出文件请求存储在MYSQL数据库的同一个表单中；定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出文件请求存储在MYSQL数据库的同一个表单中；定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的大批量业务数据导出方法的设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种大批量业务数据导出方法，其特征在于，包括：
步骤1，获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出请求存储在MYSQL数据库的同一个表单中；
其中，所述获取业务数据导出请求，具体为：根据用户自主选择的导出条件获取业务数据导出请求；
其中，所述导出请求存储在MYSQL数据库的同一个表单中的步骤进一步包括：
以存储在MYSQL数据库中的文件导出请求信息为基础，设定新的类库，根据所述类库作为定时任务执行接口，定期执行一次接口函数，所述接口函数执行流程具体为：
利用connection(config)方法连接MYSQL数据库，config表示连接数据库的相关配置信息；
获取save(time,ident)函数中的参数，利用strtotime()函数将所述time参数的开始时间点和结束时间点转化为时间戳，将所述转化为时间戳的目标业务中目标数据的起始时间和目标业务ID存储在MYSQL数据库中的同一个表单中；
其中，所述时间戳为int型时间戳；
其中，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间的步骤进一步包括：
获取用于存储业务数据导出请求的save(time,ident)函数，ident为所述导出请求的目标业务ID，time为所述导出请求的目标业务中目标数据的开始时间点和结束时间点，以数组形式存储；
步骤2，定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据；
其中，在所述获取目标业务在目标数据的起始时间段的所有数据的步骤之后，所述方法还包括：
利用connection(config)函数连接数据库，利用select(where)函数读取出excel文件名并进行可视化展示，以供用户通过点击文件名获取所述excel文件。
2.如权利要求1所述的方法，其特征在于，所述步骤2中定时获取所述MYSQL数据库中的文件导出请求的步骤进一步包括：
通过设定接口函数的形式定时获取所述MYSQL数据库中的文件导出请求；
利用connection(config)函数连接所述MYSQL数据库，连接成功后，获取所述业务数据导出请求。
3.如权利要求1所述的方法，其特征在于，所述步骤2后还包括：
步骤3，利用PHPExcel类库中saveFileInfo($data)函数将获取到的目标数据存储到excel文件中，设置文件的存储路径，把写入目标数据的excel文件存入固定服务器文件夹中，同时把导出的excel文件名及excel文件存储的路径保存至新的MYSQL数据库中。
4.如权利要求1所述的方法，其特征在于，所述业务数据导出请求中的目标业务ID和目标业务中目标数据的起始时间由用户设定；
所述目标业务ID和目标业务中目标数据的起始时间的设定能够为不同权限的用户设定不同的条件限制。
5.一种大批量业务数据导出系统，其特征在于，包括：
请求获取模块，用于获取业务数据导出请求，所述业务数据导出请求中包含所述导出请求的目标业务ID和目标业务中目标数据的起始时间；将所述导出请求存储在MYSQL数据库的同一个表单中；
其中，所述获取业务数据导出请求，具体为：根据用户自主选择的导出条件获取业务数据导出请求；
其中，所述导出请求存储在MYSQL数据库的同一个表单中具体为：
以存储在MYSQL数据库中的文件导出请求信息为基础，设定新的类库，根据所述类库作为定时任务执行接口，定期执行一次接口函数，所述接口函数执行流程具体为：
利用connection(config)方法连接MYSQL数据库，config表示连接数据库的相关配置信息；
获取save(time,ident)函数中的参数，利用strtotime()函数将所述time参数的开始时间点和结束时间点转化为时间戳，将所述转化为时间戳的目标业务中目标数据的起始时间和目标业务ID存储在MYSQL数据库中的同一个表单中；
其中，所述时间戳为int型时间戳；
其中，所述请求获取模块进一步用于：
获取用于存储业务数据导出请求的save(time,ident)函数，ident为所述导出请求的目标业务ID，time为所述导出请求的目标业务中目标数据的开始时间点和结束时间点，以数组形式存储；
数据获取模块，用于定时获取所述MYSQL数据库中的文件导出请求，判断目标业务在目标数据的起始时间段的数据条数是否超过预设阈值m；超过，则每次获取m条数据，直至获取目标业务在目标数据的起始时间段的所有数据；
其中，所述系统还包括可视化模块，所述可视化模块用于利用connection(config)函数连接数据库，利用select(where)函数读取出excel文件名并进行可视化展示，以供用户通过点击文件名获取所述excel文件。
6.一种大批量业务数据导出方法的设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
7.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710773456.5A CN107656968B (zh) | 2017-08-31 | 2017-08-31 | 大批量业务数据导出方法及系统 |
| PCT/CN2017/120157 WO2019041707A1 (zh) | 2017-08-31 | 2017-12-29 | 大批量业务数据导出方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710773456.5A CN107656968B (zh) | 2017-08-31 | 2017-08-31 | 大批量业务数据导出方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107656968A CN107656968A (zh) | 2018-02-02 |
| CN107656968B true CN107656968B (zh) | 2021-04-23 |
Family
ID=61128776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710773456.5A Active CN107656968B (zh) | 2017-08-31 | 2017-08-31 | 大批量业务数据导出方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107656968B (zh) |
| WO (1) | WO2019041707A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108696568B (zh) * | 2018-02-23 | 2021-07-06 | 福建天泉教育科技有限公司 | 一种请求批量处理方法及终端 |
| CN108399259A (zh) * | 2018-03-09 | 2018-08-14 | 深圳市汗青文化传媒有限公司 | 一种数据处理方法及系统 |
| CN108536839A (zh) * | 2018-04-13 | 2018-09-14 | 郑州云海信息技术有限公司 | 数据库数据导出方法、装置、设备及计算机可读存储介质 |
| CN110263307A (zh) * | 2019-04-15 | 2019-09-20 | 重庆金融资产交易所有限责任公司 | 报表生成方法、服务器及计算机可读存储介质 |
| CN112559118A (zh) * | 2019-09-25 | 2021-03-26 | 北京国双科技有限公司 | 应用数据迁移方法、装置、电子设备及存储介质 |
| CN110633266B (zh) * | 2019-09-26 | 2022-03-29 | 中国银行股份有限公司 | 业务系统的版本生成方法及系统 |
| CN110781387B (zh) * | 2019-10-10 | 2022-11-04 | 深圳证券交易所 | 证券行情快照的推送方法、证券交易系统及存储介质 |
| CN112650805A (zh) * | 2020-12-30 | 2021-04-13 | 杭州贝嘟科技有限公司 | 数据导出方法、装置、计算机设备和可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810238A (zh) * | 2013-11-20 | 2014-05-21 | 国家电网公司 | 一种基于异步处理的大数据量Excel文件导出方法 |
| CN103902702A (zh) * | 2014-03-31 | 2014-07-02 | 北京车商汇软件有限公司 | 一种数据存储系统和存储方法 |
| CN103942287A (zh) * | 2014-04-10 | 2014-07-23 | 大唐移动通信设备有限公司 | 海量数据处理方法、数据库服务器及应用服务器 |
| CN104657123A (zh) * | 2013-11-21 | 2015-05-27 | 航天信息股份有限公司 | 一种动态导出文件的方法 |
| CN106547614A (zh) * | 2016-11-01 | 2017-03-29 | 山东浪潮商用系统有限公司 | 一种基于消息队列的海量数据延迟导出方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500196B (zh) * | 2013-09-22 | 2016-09-14 | 成都交大光芒科技股份有限公司 | 多并发大数据量环境下excel数据导出方法及其导出装置 |
-
2017
- 2017-08-31 CN CN201710773456.5A patent/CN107656968B/zh active Active
- 2017-12-29 WO PCT/CN2017/120157 patent/WO2019041707A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810238A (zh) * | 2013-11-20 | 2014-05-21 | 国家电网公司 | 一种基于异步处理的大数据量Excel文件导出方法 |
| CN104657123A (zh) * | 2013-11-21 | 2015-05-27 | 航天信息股份有限公司 | 一种动态导出文件的方法 |
| CN103902702A (zh) * | 2014-03-31 | 2014-07-02 | 北京车商汇软件有限公司 | 一种数据存储系统和存储方法 |
| CN103942287A (zh) * | 2014-04-10 | 2014-07-23 | 大唐移动通信设备有限公司 | 海量数据处理方法、数据库服务器及应用服务器 |
| CN106547614A (zh) * | 2016-11-01 | 2017-03-29 | 山东浪潮商用系统有限公司 | 一种基于消息队列的海量数据延迟导出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019041707A1 (zh) | 2019-03-07 |
| CN107656968A (zh) | 2018-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107656968B (zh) | 大批量业务数据导出方法及系统 | |
| CN110321273B (zh) | 一种业务统计方法及装置 | |
| CN106227780B (zh) | 一种海量网页的自动化截图取证方法和系统 | |
| CN102929912A (zh) | 生成微博图片的方法及系统 | |
| CN107688626B (zh) | 慢查询日志处理方法、装置及电子设备 | |
| CN106713011B (zh) | 一种获取测试数据的方法与系统 | |
| CN109992325B (zh) | 信息显示方法、装置、存储介质和电子装置 | |
| CN110018845B (zh) | 元数据版本对比方法及装置 | |
| CN112597123B (zh) | 数据多版本动态切换方法及装置 | |
| CN113626882A (zh) | 一种生成设备标识符的方法、装置、介质 | |
| CN110442439B (zh) | 任务进程处理方法、装置和计算机设备 | |
| CN113157480A (zh) | 错误信息处理方法、装置、存储介质以及终端 | |
| CN105095070B (zh) | 基于浏览器测试组件的qq群数据获取方法与系统 | |
| CN114356970B (zh) | 一种存储系统资源缓存方法及装置 | |
| CN110557324B (zh) | 未读im消息处理方法及装置 | |
| CN115757639A (zh) | 数据源同步方法、装置、电子设备及存储介质 | |
| CN115293685A (zh) | 物流订单的状态跟踪方法、装置、设备和存储介质 | |
| CN115408383A (zh) | 高并发数据入库方法、装置、电子设备及存储介质 | |
| CN113656378A (zh) | 一种服务器管理方法、装置、介质 | |
| CN111953583A (zh) | 信息处理系统及方法，电子设备及计算机可读存储介质 | |
| CN111753218A (zh) | 一种热点知识确定方法和相关装置 | |
| CN110753260B (zh) | 广告数据监测方法、装置、计算机设备及存储介质 | |
| CN110875951B (zh) | 一种调用消息并发量的统计方法及装置 | |
| CN103475519A (zh) | 一种大数据量的日志记录方法及装置 | |
| CN113507464B (zh) | 基于虚拟设备的数据访问方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231205 Address after: 414000 Building 1, Fuxing Xuefu, Duimenshan Road, Economic Development Zone, Yueyang City, Hunan Province Patentee after: Wang Qing Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd. |