CN111143462A - 数据导出的方法、装置、计算机设备和存储介质 - Google Patents
数据导出的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111143462A CN111143462A CN201911421306.3A CN201911421306A CN111143462A CN 111143462 A CN111143462 A CN 111143462A CN 201911421306 A CN201911421306 A CN 201911421306A CN 111143462 A CN111143462 A CN 111143462A
- Authority
- CN
- China
- Prior art keywords
- export
- tasks
- file
- task
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000009795 derivation Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 7
- 238000013479 data entry Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据导出的方法、装置、计算机设备和存储介质。所述方法包括:接收导出请求,导出请求中携带有导出参数;根据导出请求,生成导出任务和导出任务对应的导出记录,并将导出任务存储到预先建立的消息队列中,将导出参数存储至导出记录中;当执行导出任务时,根据导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;将目标导出数据写入导出文件,并生成导出文件对应的第一下载链接,以使用户根据第一下载链接,从本地下载导出文件。采用本方法能够将数据库中的数据导出为表格文件。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据导出的方法、装置、计算机设备和存储介质。
背景技术
随着大数据时代的到来,对数据的需要越来越多。Web系统将数据库中的数据导出为Excel表格的需求也越来越多。因此,亟需一种数据导出的方法来解决传统数据导出技术中的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种数据导出的方法、装置、计算机设备和存储介质。
第一方面,提供了一种数据导出的方法,所述方法包括:
接收导出请求,所述导出请求中携带有导出参数;
根据所述导出请求,生成导出任务和所述导出任务对应的导出记录,并将所述导出任务存储到预先建立的消息队列中,将所述导出参数存储至所述导出记录中;
当执行所述导出任务时,根据所述导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;
将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,以使用户根据所述第一下载链接,从本地下载所述导出文件。
作为一种可选地实施方式,所述导出请求中还携带有导出文件格式信息,所述方法还包括:
将所述文件格式信息存储至所述导出记录中;
所述将所述目标导出数据写入导出文件,包括:
获取所述导出记录中存储的所述文件格式信息;
按照所述文件格式信息,创建导出文件模板,并将所述目标导出数据写入所述导出文件模板,得到所述导出文件。
作为一种可选地实施方式,所述在数据库中查询目标导出数据之后,所述方法还包括:
如果所述目标导出数据的数目大于或等于预设数目阈值或导出任务的执行时长大于或等于预设时长阈值,则终止执行所述导出任务。
作为一种可选地实施方式,所述将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,所述方法还包括:
将所述导出文件上传至云存储空间;
生成所述云存储空间中所述导出文件对应的第二下载链接,并将所述第二下载链接存储至所述导出记录中,以使用户根据所述第二下载链接,从所述云存储空间中下载所述导出文件。
作为一种可选地实施方式,所述方法还包括:
根据所述消息队列中导出任务的数目,确定执行导出任务的进程数目;
每个进程对应处理预设数目个所述导出任务,根据当前进程数目计算该进程数目下预处理的导出任务的数目,并与当前所述消息队列中存储的导出任务数目进行比较;
当所述预处理的导出任务的数目大于所述消息队列中存储的导出任务的数目,计算所述预处理的导出任务的数目与所述消息队列中存储的导出任务的数目的差值,利用所述差值与每个进程对应预处理的导出任务的数目的比值,确定减少的进程数目;
当所述预处理的导出任务的数目小于所述消息队列中存储的导出任务的数目,计算所述消息队列中存储的导出任务的数目与所述预处理的导出任务的数目的差值,利用所述差值与每个进程对应预处理的导出任务的数目的比值,确定增加的进程数目。
第二方面,提供了一种数据导出的装置,所述装置包括:
接收模块,用于接收导出请求,所述导出请求中携带有导出参数;
生成模块,用于根据所述导出请求,生成导出任务和所述导出任务对应的导出记录,并将所述导出任务存储到预先建立的消息队列中,将所述导出参数存储至所述导出记录中;
查询模块,用于当执行所述导出任务时,根据所述导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;
写入模块,用于将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,以使用户根据所述第一下载链接,从本地下载所述导出文件。
作为一种可选地实施方式,所述导出请求中还携带有导出文件格式信息,所述装置还包括:
第一存储模块,用于将所述文件格式信息存储至所述导出记录中;
所述写入模块具体用于获取所述导出记录中存储的所述文件格式信息;
按照所述文件格式信息,创建导出文件模板,并将所述目标导出数据写入所述导出文件模板,得到所述导出文件。
作为一种可选地实施方式,所述装置还包括:
确定模块,用于根据所述消息队列中导出任务的数目,确定执行导出任务的进程数目;
每个进程对应处理预设数目个所述导出任务,根据当前进程数目计算该进程数目下预处理的导出任务的数目,并与当前所述消息队列中存储的导出任务数目进行比较;
当所述预处理的导出任务的数目大于所述消息队列中存储的导出任务的数目,计算所述预处理的导出任务的数目与所述消息队列中存储的导出任务的数目的差值,利用所述差值与每个进程对应预处理的导出任务的数目的比值,确定减少的进程数目;
当所述预处理的导出任务的数目小于所述消息队列中存储的导出任务的数目,计算所述消息队列中存储的导出任务的数目与所述预处理的导出任务的数目的差值,利用所述差值与每个进程对应预处理的导出任务的数目的比值,确定增加的进程数目。
第三方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收导出请求,所述导出请求中携带有导出参数;
根据所述导出请求,生成导出任务和所述导出任务对应的导出记录,并将所述导出任务存储到预先建立的消息队列中,将所述导出参数存储至所述导出记录中;
当执行所述导出任务时,根据所述导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;
将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,以使用户根据所述第一下载链接,从本地下载所述导出文件。
第四方面,提供了一种计算机可读存储介质,所述计算机程序被处理器执行时实现以下步骤:
接收导出请求,所述导出请求中携带有导出参数;
根据所述导出请求,生成导出任务和所述导出任务对应的导出记录,并将所述导出任务存储到预先建立的消息队列中,将所述导出参数存储至所述导出记录中;
当执行所述导出任务时,根据所述导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;
将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,以使用户根据所述第一下载链接,从本地下载所述导出文件。
本申请实施例提供了一种数据导出的方法、装置、计算机设备和存储介质,所述方法包括:接收导出请求,所述导出请求中携带有导出参数;根据所述导出请求,生成导出任务和所述导出任务对应的导出记录,并将所述导出任务存储到预先建立的消息队列中,将所述导出参数存储至所述导出记录中;当执行所述导出任务时,根据所述导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,以使用户根据所述第一下载链接,从本地下载所述导出文件。通过该方法解决了将数据库中的数据导出为表格文件的需求。
附图说明
图1为本申请实施例提供的一种数据导出的方法的应用环境图;
图2为本申请实施例提供的一种数据导出的方法的流程示意图;
图3为本申请实施例提供的一种数据导出的装置的结构示意图;
图4为本申请实施例提供的一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供了一种数据导出的方法,可以应用于如图1所示的应用环境中。其中,终端102与服务器104通过网络进行通信。服务器104接收终端102发送的导出请求,其中,导出请求携带有导出参数。服务器104根据导出请求,生成导出任务和该导出任务对应的导出记录,并将导出任务存储到预先建立的消息队列中,将导出参数存储至导出记录中;当执行该导出任务时,根据导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;然后,将目标导出数据写入导出文件,并生成导出文件对应的第一下载链接,以使用户可以根据第一下载链接,从本地下载导出文件。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中提供了一种数据导出的方法,如图2所示,以该方法应用于图1中的服务器为例进行说明,具体处理过程如下:
步骤201,接收导出请求,导出请求中携带有导出参数。
在实施中,当用户发起导出请求后,服务器可以接收客户终端发送的导出请求,该导出请求中可以携带有该次导出数据对应的导出参数,导出参数可以是数据库中数据的存入时间,也可以为数据的类型,因此本申请实施例不做限定。
可选的,导出请求还可以根据客户需求携带有导出文件名、每页加载的数据条目等信息,因此,本申请实施例不做限定。在生成导出记录时,将导出请求中携带的信息存储至导出记录中,以使对生成的导出文件进行限定。
可选的,所有的导出请求都要经过服务器导出系统中统一的导出入口进行接收,该导出入口可以对导出请求进行监控,当同一用户即相同的IP地址,在预设时长内(如30秒内)多次发起导出请求,导出人口会将后续的30秒内相同IP地址的导出请求拦截,并将拦截信息反馈给服务器,服务器会默认无法执行导出任务,并提示用户导出任务失败及失败原因。
步骤202,根据导出请求,生成导出任务和导出任务对应的导出记录,并将导出任务存储到预先建立的消息队列中,将导出参数存储至导出记录中。
在实施中,服务器根据接收到的导出请求,生成导出任务,同时生成对应的导出记录,将导出请求中携带的导出参数存储至生成的导出记录中,然后,将导出记录存储至服务器数据库,以便于后续目标导出数据的查询。同时,将导出任务存储至预先建立的消息队列中。
可选的,当服务器生成导出任务和导出记录时,会相应的给导出任务和导出记录设置相同的导出标识(比如,设置唯一的字符串标识),以使导出任务和导出记录可以相互对应。当处理导出任务时,服务器可以根据该导出任务的导出标识,查询到对应的导出记录。
作为一种可选地实施方式,为了提高数据导出的速度且节约服务器资源,导出服务器中,执行文件导出任务的进程数目可以根据消息队列中存储的导出任务的数目,进行动态调整。每个进程对应处理预设数目个导出任务,根据当前进程数目计算该进程数目下预处理的导出任务的数目,并与当前消息队列中存储的导出任务数目进行比较;当预处理的导出任务的数目大于消息队列中存储的导出任务的数目,计算预处理的导出任务的数目与消息队列中存储的导出任务的数目的差值,利用差值与每个进程对应预处理的导出任务的数目的比值,确定减少的进程数目;当预处理的导出任务的数目小于消息队列中存储的导出任务的数目,计算消息队列中存储的导出任务的数目与预处理的导出任务的数目的差值,利用差值与每个进程对应预处理的导出任务的数目的比值,确定增加的进程数目。
例如,服务器中预先配置的进程数目的范围在2-5个,预设每个进程处理15个导出任务。服务器中的导出系统会根据消息队列中的导出任务的积压情况,确定进程数目。当消息队列中的导出任务数目小于或等于30个时,服务器导出系统保持最少进程数目(2个进程)来处理导出任务,当消息队列中导出任务的数目增加至60个时,根据进程数目的计算机制,服务器的导出系统可以自动增加2个进程即通过4个进程同时处理消息队列中的导出任务,以提高处理导出任务的速度。当消息队列中的导出任务数目减少至45个时,对应的服务器的导出系统可以自动减少1个进程即通过3个进程处理导出任务,以节约服务器的内存资源。
步骤203,当执行导出任务时,根据导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据。
在实施中,当服务器执行消费队列中的导出任务时,可以根据生成导出任务时,为该导出任务配置的唯一的导出标识,在服务器数据库各导出记录中,确定目标导出记录。然后,根据该目标导出记录中包含的导出参数,在数据库中查询目标导出数据。
作为一种可选地实施方式,在数据库中查询目标导出数据之后,如果目标导出数据的数目大于或等于预设数目阈值或导出任务的执行时长大于或等于预设时长阈值,则终止执行导出任务。
在实施中,服务器的导出系统可以对导出过程进行监控,实时获取处理导出任务时的状态信息,并将导出任务的状态更新至导出记录中,以使导出记录可以用于提示用户导出进程。例如,根据实时或获取到的导出任务的状态信息,导出记录在客户终端的显示页面可以由“导出中”更新至最后的“导出完成”。在处理导出任务时,如果查询到的目标导出数据的数目大于或等于对应导出接口预设的数目阈值,或者该导出任务的处理时长大于或等于预设时长阈值,则终止处理此次导出任务,并通过导出记录的显示页面,向用户提示导出任务失败及失败原因。
步骤204,将目标导出数据写入导出文件,并生成导出文件对应的第一下载链接,以使用户根据第一下载链接,从本地下载导出文件。
在实施中,服务器根据获取到的目标导出数据及相应的写入规则,将目标导出数据写入导出文件,并生成导出文件对应的第一下载链接,显示在对应的客户终端导出界面,以使用户可以根据第一下载链接,将生成的导出文件下载到本地。
作为一种可选地实施方式,导出请求中还携带有导出文件格式信息。
在实施中,用户发起的导出请求中还携带有导出文件格式信息即用户可以针对该次导出请求中待导出的数据的数据类型,确定导出文件格式。其中,该导出文件格式信息可以用字符串表示,不同的字符串代表不同的文件格式类型。
根据导出请求中的导出文件格式信息,确定导出文件格式,并将目标导出数据写入导出文件的具体处理过程如下:
步骤一,将文件格式信息存储至导出记录中。
在实施中,导出请求中携带有导出文件格式信息,因此,服务器在根据导出请求生成导出记录时,将导出文件格式信息存储至导出记录中。例如,当用户需要导出订单数据时,用户发起的导出请求中携带有预设的对应订单数据的导出文件格式信息(即字符串EXPORT-ORDER),服务器在生成对应该次导出请求的导出记录时,将该导出文件格式信息存储至导出记录中。
步骤二,获取导出记录中存储的文件格式信息。
在实施中,服务器的导出系统在获取到的目标导出数据之后,相应获取该目标导出数据对应的导出记录中存储的文件格式信息。
步骤三,按照文件格式信息,创建导出文件模板,并将目标导出数据写入导出文件模板,得到导出文件。
在实施中,服务器的导出系统按照导出记录中的文件格式信息(如字符串EXPORT-ORDER),创建导出文件模板,然后将目标导出数据写入到导出文件模板中,得到导出文件。可选的,服务器创建的不同导出文件模板均要按照统一的接口规则实现数据的写入,即根据第一接口规则,获取到的目标导出数据中表头数据的字段名称与导出文件模板表头字段名称保持一致,并按照导出文件模板规定的正确的格式返回数据,写入到导出文件模板中。根据第二接口规则和第三接口规则,分别获取目标导出数据的总数据条目和每页数据条目,以使服务器的导出系统可以根据获取到的数据的总数据条目数创建导出文件模板的总表格条目,根据每页数据条目实现导出文件的分页。
可选的,导出请求中可以带有导出文件名信息,服务器在生成导出记录时将导出文件名信息存储在导出记录中,当生成导出文件时,服务器根据导出记录中的导出文件名命名导出文件并对应的配置唯一标号,保证导出文件名的唯一性,便于用户查询。
作为一种可选地实施方式,将目标导出数据写入导出文件,并生成导出文件对应的第一下载链接,方法还包括:
步骤一,将导出文件上传至云存储空间。
在实施中,服务器中的导出系统可以将生成的导出文件上传至云存储空间,可选的,可以上传至七牛私有空间。
步骤二,生成云存储空间中导出文件对应的第二下载链接,并将第二下载链接存储至导出记录中,以使用户根据第二下载链接,从云存储空间中下载导出文件。
在实施中,将生成的导出文件存储到云存储空间后,对应的更新导出文件的下载路径即生成第二下载链接,然后将第二下载链接存储至导出记录中,用户可以根据导出记录中的第二下载链接,在云存储空间中下载对应的导出文件。如果用户初次下载的导出文件损毁或丢失,用户不需要再次发起导出请求,仅需要在导出记录的显示页面中查询该次导出的文件名及相应的下载链接,直接从云存储空间二次下载导出文件。
本申请实施例提供了一种数据导出的方法,该方法包括:接收导出请求,导出请求中携带有导出参数;根据导出请求,生成导出任务和导出任务对应的导出记录,并将导出任务存储到预先建立的消息队列中,将导出参数存储至导出记录中;当执行导出任务时,根据导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;将目标导出数据写入导出文件,并生成导出文件对应的第一下载链接,以使用户根据第一下载链接,从本地下载导出文件。通过该方法解决了将数据库中的数据导出为表格文件的需求。
本申请实施例提供了一种数据导出的装置,如图3所示,该装置包括:
接收模块310,用于接收导出请求,导出请求中携带有导出参数;
生成模块320,用于根据导出请求,生成导出任务和导出任务对应的导出记录,并将导出任务存储到预先建立的消息队列中,将导出参数存储至导出记录中;
查询模块330,用于当执行导出任务时,根据导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;
写入模块340,用于将目标导出数据写入导出文件,并生成导出文件对应的第一下载链接,以使用户根据第一下载链接,从本地下载导出文件。
作为一种可选地实施方式,导出请求中还携带有导出文件格式信息,装置还包括:
第一存储模块,用于将文件格式信息存储至导出记录中;
写入模块具体用于获取导出记录中存储的文件格式信息;
按照文件格式信息,创建导出文件模板,并将目标导出数据写入导出文件模板,得到导出文件。
作为一种可选地实施方式,装置还包括:
监控模块,用于如果目标导出数据的数目大于或等于预设数目阈值或导出任务的执行时长大于或等于预设时长阈值,则终止执行导出任务。
作为一种可选地实施方式,装置还包括:
上传模块,用于将导出文件上传至云存储空间;
第二存储模块,用于生成云存储空间中导出文件对应的第二下载链接,并将第二下载链接存储至导出记录中,以使用户根据第二下载链接,从云存储空间中下载导出文件。
作为一种可选地实施方式,装置还包括:
确定模块,用于根据消息队列中导出任务的数目,确定执行导出任务的进程数目;
每个进程对应处理预设数目个导出任务,根据当前进程数目计算该进程数目下预处理的导出任务的数目,并与当前消息队列中存储的导出任务数目进行比较;
当预处理的导出任务的数目大于消息队列中存储的导出任务的数目,计算预处理的导出任务的数目与消息队列中存储的导出任务的数目的差值,利用差值与每个进程对应预处理的导出任务的数目的比值,确定减少的进程数目;当预处理的导出任务的数目小于消息队列中存储的导出任务的数目,计算消息队列中存储的导出任务的数目与预处理的导出任务的数目的差值,利用差值与每个进程对应预处理的导出任务的数目的比值,确定增加的进程数目。
本申请实施例提供了一种数据导出的装置,该装置接收导出请求,导出请求中携带有导出参数;根据导出请求,生成导出任务和导出任务对应的导出记录,并将导出任务存储到预先建立的消息队列中,将导出参数存储至导出记录中;当执行导出任务时,根据导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;将目标导出数据写入导出文件,并生成导出文件对应的第一下载链接,以使用户根据第一下载链接,从本地下载导出文件。通过该装置解决了将数据库中的数据导出为表格文件的需求。
在一个实施例中,一种计算机设备,如图4所示,包括存储器及处理器,存储器上存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一项数据导出的方法步骤。
在一个实施例中,一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任一项数据导出的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据导出的方法,其特征在于,所述方法包括:
接收导出请求,所述导出请求中携带有导出参数;
根据所述导出请求,生成导出任务和所述导出任务对应的导出记录,并将所述导出任务存储到预先建立的消息队列中,将所述导出参数存储至所述导出记录中;
当执行所述导出任务时,根据所述导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;
将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,以使用户根据所述第一下载链接,从本地下载所述导出文件。
2.根据权利要求1所述的方法,其特征在于,所述导出请求中还携带有导出文件格式信息,所述方法还包括:
将所述文件格式信息存储至所述导出记录中;
所述将所述目标导出数据写入导出文件,包括:
获取所述导出记录中存储的所述文件格式信息;
按照所述文件格式信息,创建导出文件模板,并将所述目标导出数据写入所述导出文件模板,得到所述导出文件。
3.根据权利要求1所述的方法,其特征在于,所述在数据库中查询目标导出数据之后,所述方法还包括:
如果所述目标导出数据的数目大于或等于预设数目阈值或导出任务的执行时长大于或等于预设时长阈值,则终止执行所述导出任务。
4.根据权利要求1所述的方法,其特征在于,所述将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,所述方法还包括:
将所述导出文件上传至云存储空间;
生成所述云存储空间中所述导出文件对应的第二下载链接,并将所述第二下载链接存储至所述导出记录中,以使用户根据所述第二下载链接,从所述云存储空间中下载所述导出文件。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述消息队列中导出任务的数目,确定执行导出任务的进程数目;
每个进程对应处理预设数目个所述导出任务,根据当前进程数目计算该进程数目下预处理的导出任务的数目,并与当前所述消息队列中存储的导出任务数目进行比较;
当所述预处理的导出任务的数目大于所述消息队列中存储的导出任务的数目,计算所述预处理的导出任务的数目与所述消息队列中存储的导出任务的数目的差值,利用所述差值与每个进程对应预处理的导出任务的数目的比值,确定减少的进程数目;
当所述预处理的导出任务的数目小于所述消息队列中存储的导出任务的数目,计算所述消息队列中存储的导出任务的数目与所述预处理的导出任务的数目的差值,利用所述差值与每个进程对应预处理的导出任务的数目的比值,确定增加的进程数目。
6.一种数据导出的装置,其特征在于,所述装置包括:
接收模块,用于接收导出请求,所述导出请求中携带有导出参数;
生成模块,用于根据所述导出请求,生成导出任务和所述导出任务对应的导出记录,并将所述导出任务存储到预先建立的消息队列中,将所述导出参数存储至所述导出记录中;
查询模块,用于当执行所述导出任务时,根据所述导出任务对应的导出记录中包含的导出参数,在数据库中查询目标导出数据;
写入模块,用于将所述目标导出数据写入导出文件,并生成所述导出文件对应的第一下载链接,以使用户根据所述第一下载链接,从本地下载所述导出文件。
7.根据权利要求6所述的装置,其特征在于,所述导出请求中还携带有导出文件格式信息,所述装置还包括:
第一存储模块,用于将所述文件格式信息存储至所述导出记录中;
所述写入模块具体用于获取所述导出记录中存储的所述文件格式信息;
按照所述文件格式信息,创建导出文件模板,并将所述目标导出数据写入所述导出文件模板,得到所述导出文件。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
确定模块,用于根据所述消息队列中导出任务的数目,确定执行导出任务的进程数目;
每个进程对应处理预设数目个所述导出任务,根据当前进程数目计算该进程数目下预处理的导出任务的数目,并与当前所述消息队列中存储的导出任务数目进行比较;
当所述预处理的导出任务的数目大于所述消息队列中存储的导出任务的数目,计算所述预处理的导出任务的数目与所述消息队列中存储的导出任务的数目的差值,利用所述差值与每个进程对应预处理的导出任务的数目的比值,确定减少的进程数目;
当所述预处理的导出任务的数目小于所述消息队列中存储的导出任务的数目,计算所述消息队列中存储的导出任务的数目与所述预处理的导出任务的数目的差值,利用所述差值与每个进程对应预处理的导出任务的数目的比值,确定增加的进程数目。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911421306.3A CN111143462B (zh) | 2019-12-31 | 2019-12-31 | 数据导出的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911421306.3A CN111143462B (zh) | 2019-12-31 | 2019-12-31 | 数据导出的方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111143462A true CN111143462A (zh) | 2020-05-12 |
CN111143462B CN111143462B (zh) | 2024-04-09 |
Family
ID=70522949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911421306.3A Active CN111143462B (zh) | 2019-12-31 | 2019-12-31 | 数据导出的方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111143462B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111914008A (zh) * | 2020-06-20 | 2020-11-10 | 中国建设银行股份有限公司 | 工单数据批量导出的方法、装置、电子设备以及介质 |
CN112364067A (zh) * | 2021-01-12 | 2021-02-12 | 绿漫科技有限公司 | 一种大批量数据导出系统及其导出方法 |
CN112905550A (zh) * | 2021-03-25 | 2021-06-04 | 武汉悦学帮网络技术有限公司 | 一种数据导出方法及装置 |
CN113407496A (zh) * | 2021-07-08 | 2021-09-17 | 北京锐安科技有限公司 | 一种数据导出方法、装置、计算机设备和存储介质 |
CN113609226A (zh) * | 2021-08-09 | 2021-11-05 | 平安国际智慧城市科技股份有限公司 | 一种数据导出方法、装置、计算机设备及存储介质 |
CN113609168A (zh) * | 2021-07-14 | 2021-11-05 | 远景智能国际私人投资有限公司 | 数据导出方法、装置、终端以及可读存储介质 |
CN113761037A (zh) * | 2020-09-28 | 2021-12-07 | 西安京迅递供应链科技有限公司 | 一种导入导出方法、装置、服务器、介质及服务系统 |
CN114398441A (zh) * | 2022-01-21 | 2022-04-26 | 平安科技(深圳)有限公司 | 数据导出方法、装置、计算机设备和存储介质 |
CN115297102A (zh) * | 2022-06-23 | 2022-11-04 | 青岛海尔科技有限公司 | 文件导出方法、装置和系统 |
CN116701517A (zh) * | 2023-07-04 | 2023-09-05 | 舟谱数据技术南京有限公司 | 一种基于切面的导出接口实现方法及装置 |
CN117194549A (zh) * | 2023-11-07 | 2023-12-08 | 上海柯林布瑞信息技术有限公司 | 基于任务数据配置的数据传输方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637214A (zh) * | 2012-04-28 | 2012-08-15 | 中国工商银行股份有限公司 | 基于数据库服务间的通用数据同步方法及其系统 |
CN102930021A (zh) * | 2012-11-02 | 2013-02-13 | 曙光云计算技术有限公司 | 云计算系统的数据处理方法 |
CN107145551A (zh) * | 2017-04-27 | 2017-09-08 | 努比亚技术有限公司 | 一种服务器及数据导出方法 |
CN108345682A (zh) * | 2018-03-02 | 2018-07-31 | 弘成科技发展有限公司 | 基于多租户可配置的导入导出平台及方法 |
CN109947789A (zh) * | 2019-01-28 | 2019-06-28 | 平安科技(深圳)有限公司 | 一种多数据库的数据处理的方法、装置、计算机设备及存储介质 |
CN110232164A (zh) * | 2019-04-23 | 2019-09-13 | 北京旷视科技有限公司 | 国际化处理的方法、装置及计算机存储介质 |
CN110413978A (zh) * | 2019-08-02 | 2019-11-05 | 中国工商银行股份有限公司 | 数据分页导出方法、装置、计算机设备和存储介质 |
CN110532311A (zh) * | 2019-08-14 | 2019-12-03 | 泰安协同软件有限公司 | 一种基于队列的分布式数据导出方法及系统 |
-
2019
- 2019-12-31 CN CN201911421306.3A patent/CN111143462B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637214A (zh) * | 2012-04-28 | 2012-08-15 | 中国工商银行股份有限公司 | 基于数据库服务间的通用数据同步方法及其系统 |
CN102930021A (zh) * | 2012-11-02 | 2013-02-13 | 曙光云计算技术有限公司 | 云计算系统的数据处理方法 |
CN107145551A (zh) * | 2017-04-27 | 2017-09-08 | 努比亚技术有限公司 | 一种服务器及数据导出方法 |
CN108345682A (zh) * | 2018-03-02 | 2018-07-31 | 弘成科技发展有限公司 | 基于多租户可配置的导入导出平台及方法 |
CN109947789A (zh) * | 2019-01-28 | 2019-06-28 | 平安科技(深圳)有限公司 | 一种多数据库的数据处理的方法、装置、计算机设备及存储介质 |
CN110232164A (zh) * | 2019-04-23 | 2019-09-13 | 北京旷视科技有限公司 | 国际化处理的方法、装置及计算机存储介质 |
CN110413978A (zh) * | 2019-08-02 | 2019-11-05 | 中国工商银行股份有限公司 | 数据分页导出方法、装置、计算机设备和存储介质 |
CN110532311A (zh) * | 2019-08-14 | 2019-12-03 | 泰安协同软件有限公司 | 一种基于队列的分布式数据导出方法及系统 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111914008A (zh) * | 2020-06-20 | 2020-11-10 | 中国建设银行股份有限公司 | 工单数据批量导出的方法、装置、电子设备以及介质 |
CN113761037A (zh) * | 2020-09-28 | 2021-12-07 | 西安京迅递供应链科技有限公司 | 一种导入导出方法、装置、服务器、介质及服务系统 |
CN112364067A (zh) * | 2021-01-12 | 2021-02-12 | 绿漫科技有限公司 | 一种大批量数据导出系统及其导出方法 |
CN112364067B (zh) * | 2021-01-12 | 2022-02-11 | 绿城科技产业服务集团有限公司 | 一种大批量数据导出系统及其导出方法 |
CN112905550A (zh) * | 2021-03-25 | 2021-06-04 | 武汉悦学帮网络技术有限公司 | 一种数据导出方法及装置 |
CN113407496A (zh) * | 2021-07-08 | 2021-09-17 | 北京锐安科技有限公司 | 一种数据导出方法、装置、计算机设备和存储介质 |
CN113609168B (zh) * | 2021-07-14 | 2024-01-05 | 远景智能国际私人投资有限公司 | 数据导出方法、装置、终端以及可读存储介质 |
CN113609168A (zh) * | 2021-07-14 | 2021-11-05 | 远景智能国际私人投资有限公司 | 数据导出方法、装置、终端以及可读存储介质 |
CN113609226A (zh) * | 2021-08-09 | 2021-11-05 | 平安国际智慧城市科技股份有限公司 | 一种数据导出方法、装置、计算机设备及存储介质 |
CN113609226B (zh) * | 2021-08-09 | 2024-05-14 | 深圳平安智慧医健科技有限公司 | 一种数据导出方法、装置、计算机设备及存储介质 |
CN114398441A (zh) * | 2022-01-21 | 2022-04-26 | 平安科技(深圳)有限公司 | 数据导出方法、装置、计算机设备和存储介质 |
CN114398441B (zh) * | 2022-01-21 | 2024-03-19 | 平安科技(深圳)有限公司 | 数据导出方法、装置、计算机设备和存储介质 |
CN115297102A (zh) * | 2022-06-23 | 2022-11-04 | 青岛海尔科技有限公司 | 文件导出方法、装置和系统 |
CN116701517A (zh) * | 2023-07-04 | 2023-09-05 | 舟谱数据技术南京有限公司 | 一种基于切面的导出接口实现方法及装置 |
CN117194549A (zh) * | 2023-11-07 | 2023-12-08 | 上海柯林布瑞信息技术有限公司 | 基于任务数据配置的数据传输方法及装置 |
CN117194549B (zh) * | 2023-11-07 | 2024-01-26 | 上海柯林布瑞信息技术有限公司 | 基于任务数据配置的数据传输方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111143462B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111143462A (zh) | 数据导出的方法、装置、计算机设备和存储介质 | |
CN108573371B (zh) | 数据审批方法、装置、计算机设备和存储介质 | |
CN110620812B (zh) | 交互信息的推送方法、装置、计算机设备和存储介质 | |
JP2019533235A5 (zh) | ||
CN110908778B (zh) | 任务部署方法、系统和存储介质 | |
CN110213392B (zh) | 数据分发方法、装置、计算机设备和存储介质 | |
CN109413153B (zh) | 数据爬取方法、装置、计算机设备和存储介质 | |
CN112181423B (zh) | 基于配置文件的项目构建方法、装置、计算机设备及介质 | |
WO2019228012A1 (zh) | 事务因果序的校正方法及装置、电子设备 | |
CN112231379A (zh) | 基于微服务架构的api审计方法、装置、设备及存储介质 | |
CN112596708A (zh) | 网页页面生成方法、装置、计算机设备和存储介质 | |
CN113469736A (zh) | 资源分发控制方法、装置、系统、电子设备及存储介质 | |
CN111209061A (zh) | 用户信息的填写方法、装置、计算机设备和存储介质 | |
CN111177121A (zh) | 订单数据反馈方法、装置、计算机设备及存储介质 | |
CN108389124B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN113746856A (zh) | Ssl可选验证方法、装置、计算机设备和存储介质 | |
CN110648052B (zh) | 风控决策方法、装置、计算机设备和存储介质 | |
CN111447136B (zh) | 消息推送方法、装置、计算机设备和存储介质 | |
CN111026988A (zh) | 一种页面加载的方法、装置、系统及计算机设备 | |
CN112783866A (zh) | 数据读取方法、装置、计算机设备和存储介质 | |
CN110888901B (zh) | 系统管理方法、装置、计算机设备和存储介质 | |
CN112688980B (zh) | 资源分发方法、装置、计算机设备 | |
CN111597240A (zh) | 数据导出方法、装置、计算机设备和存储介质 | |
CN112463836A (zh) | 基于Django框架的数据查询方法、装置、计算机设备和介质 | |
CN111625288A (zh) | 应用程序的启动控制方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |