CN112925840A - 数据导出方法、系统、设备及存储介质 - Google Patents
数据导出方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112925840A CN112925840A CN202110255179.5A CN202110255179A CN112925840A CN 112925840 A CN112925840 A CN 112925840A CN 202110255179 A CN202110255179 A CN 202110255179A CN 112925840 A CN112925840 A CN 112925840A
- Authority
- CN
- China
- Prior art keywords
- data
- export
- data export
- condition
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据导出方法、系统、设备及存储介质，该方法包括：从用户端接收到数据导出请求，所述数据导出请求包括数据导出条件；根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件，并添加所述已导出文件对应的数据导出记录；根据已导出文件在所述存储器的存储位置，生成下载url地址；将所述下载url地址推送给所述用户端。本发明通过对数据导出任务进行统一管理和实时记录，解决了现有技术中软件系统中数据导出无据可查、无法追溯历史导出数据的问题，在数据导出过程中无需用户一直在当前导出页面等待，已经导出过的数据也无需重复导出，可以重复下载，提高了数据导出的效率，更适用于大规模推广应用。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据导出方法、系统、设备及存储介质。
背景技术
在软件功能的实现过程中，数据的导出是一项非常基本和常见的功能需求。在日益复杂的软件系统当中，数据已经成为企业重要的无形资产，各式各样的数据导出功能层出不穷。从数据量级来讲，有小到几条几十条的数据，有大到数十万条乃至以上的数据。
目前业内常见的数据导出方式是用户由浏览器端发起数据导出请求，服务端查询到相关数据并即时将数据文件返回给用户。在比较小型的软件系统当中，这样做是比较省时省力的。但是在比较大型的软件系统中，这种方式带来了一些不便：
(1)无法记录数据文件何时被导出以及数据文件内容；
(2)在导出数据量较大时，导出比较耗时，导出过程一旦被中断则需要重新开始导出；
(3)导出过程中需要用户一直在导出页面等待直到导出完成。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种数据导出方法、系统、设备及存储介质，
本发明实施例提供一种数据导出方法，包括如下步骤：
从用户端接收到数据导出请求，所述数据导出请求包括数据导出条件；
根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件，并添加所述已导出文件对应的数据导出记录；
根据已导出文件在所述存储器的存储位置，生成下载url地址；
将所述下载url地址推送给所述用户端。
在一些实施例中，所述数据导出条件包括数据类型和数据生成时间范围，根据所述数据导出条件将所对应的数据导出，包括将对应于所述数据导出条件中的数据类型且生成时间在所述数据生成时间范围之内的数据导出。
在一些实施例中，所述从用户端接收到数据导出请求之后，还包括如下步骤：
根据所述数据导出记录，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件；
如果是，则根据已经存储的已导出文件在所述存储器的存储位置，生成下载url地址，并将所述下载url地址推送给所述用户端；
如果否，则根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件。
在一些实施例中，所述数据导出记录包括所述已导出文件的文件名、所述已导出文件中的导出数据的数据类型、数据生成时间范围和数据导出时间。
在一些实施例中，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，包括判断是否存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，如果是，则所述存储器中已经存储有所述数据导出条件的已导出文件。
在一些实施例中，根据所述数据导出条件将所对应的数据导出并上传至存储器，包括如下步骤：
根据所述数据导出条件生成数据导出任务；
将所述数据导出任务加入由导出任务处理模块执行的导出任务列表，所述导出任务处理模块配置为执行所述导出任务列表中的数据导出任务，将所述数据导出任务所对应的数据导出并上传至存储器，并获取已导出文件在所述存储器的存储位置；
推送导出状态管理页面给所述用户端，所述导出状态管理页面中显示导出任务列表中的数据导出任务的任务信息以及任务执行状态。
在一些实施例中，根据所述数据导出条件生成数据导出任务，包括如下步骤：
根据所述数据导出条件预测导出的数据量；
判断预测导出的数据量是否大于预设阈值；
如果是，则根据预设的任务拆分规则将所述数据导出条件进行拆分，得到多个数据导出子条件；
根据每个数据导出子条件分别生成数据导出任务，并存储各个所述数据导出任务之间的关联关系。
在一些实施例中，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，包括如下步骤：
判断是否存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录；
如果存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，则所述存储器中已经存储有所述数据导出条件的已导出文件；
如果不存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，判断是否存在与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录；
如果是，则获取与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录相对应的已导出文件。
在一些实施例中，获取与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录相对应的已导出文件之后，还包括如下步骤：
将获取的已导出文件中的数据进行组合，得到组合文件，确定所述组合文件的数据类型和数据生成时间范围；
判断所述组合文件的数据生成时间范围是否覆盖所述数据导出条件的数据生成时间范围；
如果是，则从所述组合文件中提取与所述数据导出条件相对应的数据，重新组合得到已导出文件；
如果否，则根据所述组合文件的数据生成时间范围，确定所述数据导出条件的数据生成时间范围中的空缺数据生成时间范围；
基于所述数据类型和所述空缺数据生成时间范围生成数据补充条件；
基于所述数据补充条件将所对应的数据导出并上传至存储器，作为时间补全文件，并将所述时间补全文件与所述组合文件进行组合，得到对应于所述数据导出条件的已导出文件。
本发明实施例还提供一种数据导出系统，用于实现所述的数据导出方法，所述系统包括：
请求接收模块，用于从用户端接收到数据导出请求，所述数据导出请求包括数据导出条件；
数据导出模块，用于根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件，并添加所述已导出文件对应的数据导出记录；
地址生成模块，用于根据已导出文件在所述存储器的存储位置，生成下载url地址；
地址推送模块，用于将所述下载url地址推送给所述用户端。
本发明实施例还提供一种数据导出设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的数据导出方法的步骤。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的数据导出方法的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本发明的数据导出方法、系统、设备及存储介质具有如下有益效果：
本发明通过对数据导出任务进行统一管理和实时记录，解决了现有技术中软件系统中数据导出无据可查、无法追溯历史导出数据的问题，在数据导出过程中无需用户一直在当前导出页面等待，已经导出过的数据也无需重复导出，可以重复下载，提高了数据导出的效率，更适用于大规模推广应用。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的数据导出方法的流程图；
图2是本发明一实施例的查询是否已存在已导出文件的流程图；
图3是本发明一实施例的导出状态管理页面的示意图；
图4是本发明一实施例的数据导出系统的结构示意图；
图5是本发明一实施例的数据导出设备的结构示意图；
图6是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
如图1所示，本发明实施例提供一种数据导出方法，包括如下步骤：
S100：从用户端接收到数据导出请求，所述数据导出请求包括数据导出条件；
S200：根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件，并添加所述已导出文件对应的数据导出记录；
S300：根据已导出文件在所述存储器的存储位置，生成下载url(UniformResource Locator,统一资源定位器)地址；
S400：将所述下载url地址推送给所述用户端。此处用户端指的是用户所使用的终端设备，包括但不限于用户的手机、平板电脑、笔记本电脑、台式机等。
本发明的数据导出方法通过对数据导出任务进行统一管理和实时记录，解决了现有技术中软件系统中数据导出无据可查、无法追溯历史导出数据的问题，在数据导出过程中无需用户一直在当前导出页面等待，已经导出过的数据也无需重复导出，可以重复下载，提高了数据导出的效率，更适用于大规模推广应用。
本发明的数据导出方法可以应用于不同软件系统的数据导出，例如，对于呼叫中心管理软件系统，可以将其中的通话数据集中导出，对于旅游平台软件系统，可以将其中的旅游订单数据导出。在将数据导出后，将包括导出数据的已导出文件存储到存储器中，并提供下载url地址给用户，用户可以基于该下载url地址将已导出文件下载到本地。
该数据导出方法可以部署于对应软件系统的服务器中，提供该软件系统的数据导出服务，也可以部署于一个单独的服务器中，可以为一个单独的软件系统提供数据导出服务，也可以同时为多个软件系统提供数据导出服务。所述存储器可以是设置于数据导出方法所部属的服务器中的存储设备，也可以是单独的一个存储器，可以与数据导出方法所部属的服务器以及软件系统通信。
在该实施例中，所述数据导出条件包括数据类型和数据生成时间范围，所述步骤S200中根据所述数据导出条件将所对应的数据导出，包括将对应于所述数据导出条件中的数据类型且生成时间在所述数据生成时间范围之内的数据导出。
例如，对于呼叫中心管理软件系统来说，数据类型可以分为会话详单报表、云总机通话详单、呼入统计报表、通话详单等等。数据生成时间即为该数据在软件系统中生成的时间。例如可以定义数据导出条件为导出会话详单报表于2020年5月1日到2020年10月31日的数据，则数据导出条件中的数据类型为会话详单报表，数据生成时间范围为2020年5月1日到2020年10月31日。
如图2所示，在该实施例中，所述步骤S100：从用户端接收到数据导出请求之后，还包括如下步骤：
S110：根据所述数据导出记录，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件；
如果是，则S120：根据已经存储的已导出文件在所述存储器的存储位置，生成下载url地址，并将所述下载url地址推送给所述用户端；
如果否，则继续步骤S200：根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件，然后继续后续步骤S300和步骤S400。
因此，对于之前已经导出的数据，无需重复导出，可以直接将之前已经导出的数据提供给用户下载，避免了数据的重复导出，提高数据导出效率。
在该实施例中，所述数据导出记录包括所述已导出文件的文件名、所述已导出文件中的导出数据的数据类型、数据生成时间范围和数据导出时间。此处数据导出时间即为将数据成功存储到存储器的时间。
在该实施例中，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，包括判断是否存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，如果是，则所述存储器中已经存储有所述数据导出条件的已导出文件。
在该实施例中，所述步骤S200：根据所述数据导出条件将所对应的数据导出并上传至存储器，包括如下步骤：
根据所述数据导出条件生成数据导出任务；
将所述数据导出任务加入由导出任务处理模块执行的导出任务列表，所述导出任务处理模块配置为执行所述导出任务列表中的数据导出任务，将所述数据导出任务所对应的数据导出并上传至存储器，并获取已导出文件在所述存储器的存储位置；
推送导出状态管理页面给所述用户端，所述导出状态管理页面中显示导出任务列表中的数据导出任务的任务信息以及任务执行状态。如图3所示，为该实施例中的一种导出状态管理页面的示意图。其中可以显示各个数据导出任务的导出时间、导出文件名称、导出文件类型(即数据类型)、任务状态等。用户可以直接在该导出状态管理页面中查看各个任务的导出状态。此外，用户需要下载对应的已导出文件时，可以直接在操作栏中点击下载图标，则会自动生成下载url地址并推送给用户端，用户端可以基于该自动下载url地址从云端存储器下载已导出文件。
在该实施例中，在导出的数据量很大时，还可以进一步对导出的数据进行分批次导出。具体地，根据所述数据导出条件生成数据导出任务，包括如下步骤：
根据所述数据导出条件预测导出的数据量，预测数据量时可以根据预设的一定时间周期t0内该数据类型的数据的数据量a，然后根据该数据导出条件中数据生成时间范围t1，预测导出的数据量为a*(t1/t0)，此处数据量即为数据在存储器中所占空间的大小；
判断预测导出的数据量是否大于预设阈值；
如果预测导出的数据量大于预设阈值，则根据预设的任务拆分规则将所述数据导出条件进行拆分，得到多个数据导出子条件；
根据每个数据导出子条件分别生成数据导出任务，并存储各个所述数据导出任务之间的关联关系；
如果预测导出的数据量小于等于预设阈值，则无需分批次处理，直接基于所述数据导出条件生成数据导出任务。
此处预设的任务拆分规则可以包括：首先判断数据导出条件中是否只包括一种数据类型，如果所述数据导出条件中包括多种数据类型，则按照不同的数据类型将所述数据导出条件进行拆分，使得每个数据导出子条件中只包括一种数据类型，如果所述数据导出条件中包括一种数据类型，则将所述数据导出条件按照数据生成时间进行拆分，每个数据导出子条件中包括一个数据生成时间区段。
在该实施例中，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，包括如下步骤：
判断是否存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录；
如果存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，则所述存储器中已经存储有所述数据导出条件的已导出文件。此处，判断的是否存在与所述数据导出条件完全一致的数据导出记录，即是否存在完全符合所述数据导出条件的已导出文件。
如果不存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，判断是否存在与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录；
如果是，则获取与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录相对应的已导出文件。
例如，数据导出条件是通话详单于2020年4月1日到10月31日的数据，存在一条通话详单于2020年3月1日到5月31日的数据导出记录，存在一条通话详单于2020年9月1日到11月31日的数据导出记录，则同样也获取该两条数据导出记录所对应的导出数据。
在该实施例中，获取与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录相对应的已导出文件之后，还包括如下步骤：
将获取的已导出文件中的数据进行组合，得到组合文件，确定所述组合文件的数据类型和数据生成时间范围；
例如，数据导出条件是通话详单于2020年4月1日到10月31日的数据，存在一条通话详单于2020年3月1日到5月31日的数据导出记录，存在一条通话详单于2020年9月1日到11月31日的数据导出记录，则将该两个数据导出记录所对应的已导出文件组合后得到的组合文件的数据类型为通话详单，数据生成范围为2020年3月1日到5月31日以及2020年9月1日到11月31日；
判断所述组合文件的数据生成时间范围是否覆盖所述数据导出条件的数据生成时间范围；
如果是，则从所述组合文件中提取与所述数据导出条件相对应的数据，重新组合得到已导出文件；
例如，数据导出条件是通话详单于2020年4月1日到10月31日的数据，组合文件的数据生成范围是2020年3月1日到11月31日，则提取组合文件中2020年4月1日到10月31日的数据，重新组合得到已导出文件；
如果否，则根据所述组合文件的数据生成时间范围，确定所述数据导出条件的数据生成时间范围中的空缺数据生成时间范围，此空缺数据生成时间范围即所述数据导出条件中未被所述组合文件的数据生成时间范围所覆盖的数据生成时间范围；
例如，数据导出条件是通话详单于2020年4月1日到10月31日的数据，组合文件的数据生成范围是2020年3月1日到5月31日以及2020年9月1日到11月31日，则空缺数据生成时间范围是2020年6月1日到2020年8月31日；
基于所述数据类型和所述空缺数据生成时间范围生成数据补充条件，例如，数据补充条件为需导出通话详单于2020年6月1日到2020年8月31日的数据；
基于所述数据补充条件从软件系统中将所对应的数据导出并上传至存储器，作为时间补全文件，并将所述时间补全文件与所述组合文件进行组合，得到对应于所述数据导出条件的已导出文件。例如，首先从所述组合文件中提取2020年4月1日到5月31日以及2020年9月1日到10月31日的数据，然后与刚导出的2020年6月1日到2020年8月31日的数据进行组合，即得到了包括通话详单于2020年4月1日到10月31日的数据的已导出文件。
因此，本发明可以进一步基于存储器中已存储的已导出文件进行各种组合，得到更多种的已导出文件，可以满足更多用户的不同需求，并且对于一些已经导出的数据，无需重复下载，即便每次导出的数据导出条件不完全一致，只需要根据数据类型和数据生成时间的标识来进行组合，也可以充分利用已导出文件的资源，大大降低数据重新导出的工作量。
如图4所示，本发明实施例还提供一种数据导出系统，用于实现所述的数据导出方法，所述系统包括：
请求接收模块M100，用于从用户端接收到数据导出请求，所述数据导出请求包括数据导出条件；
数据导出模块M200，用于根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件，并添加所述已导出文件对应的数据导出记录；
地址生成模块M300，用于根据已导出文件在所述存储器的存储位置，生成下载url地址；
地址推送模块M400，用于将所述下载url地址推送给所述用户端。
本发明的数据导出系统通过对数据导出任务进行统一管理和实时记录，解决了现有技术中软件系统中数据导出无据可查、无法追溯历史导出数据的问题，在数据导出过程中无需用户一直在当前导出页面等待，已经导出过的数据也无需重复导出，可以重复下载，提高了数据导出的效率，更适用于大规模推广应用。
在该实施例中，所述数据导出条件包括数据类型和数据生成时间范围，所述数据导出模块M200根据所述数据导出条件将所对应的数据导出，包括将对应于所述数据导出条件中的数据类型且生成时间在所述数据生成时间范围之内的数据导出。所述数据导出记录包括所述已导出文件的文件名、所述已导出文件中的导出数据的数据类型、数据生成时间范围和数据导出时间。此处数据导出时间即为将数据成功存储到存储器的时间。
在该实施例中，所述数据导出条件还包括记录查询模块，用于在所述请求接收模块M100从用户端接收到数据导出请求之后，根据所述数据导出记录，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，如果是，根据已经存储的已导出文件在所述存储器的存储位置，生成下载url地址，并通过所述地址推送模块M400将所述下载url地址推送给所述用户端。
具体地，所述记录查询模块判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，包括判断是否存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，如果是，则所述存储器中已经存储有所述数据导出条件的已导出文件。
在该实施例中，所述数据导出模块M200根据所述数据导出条件将所对应的数据导出并上传至存储器包括：根据所述数据导出条件生成数据导出任务；将所述数据导出任务加入由导出任务处理模块执行的导出任务列表，所述导出任务处理模块配置为执行所述导出任务列表中的数据导出任务，将所述数据导出任务所对应的数据导出并上传至存储器，并获取已导出文件在所述存储器的存储位置；推送导出状态管理页面给所述用户端，所述导出状态管理页面中显示导出任务列表中的数据导出任务的任务信息以及任务执行状态。用户可以直接在该导出状态管理页面中查看各个任务的导出状态。此外，用户需要下载对应的已导出文件时，可以直接在操作栏中点击下载图标，则所述地址生成模块M300会自动生成下载url地址并通过所述地址推送模块M400推送给用户端，用户端可以基于该自动下载url地址从云端存储器下载已导出文件。
在该实施例中，所述数据导出系统还包括任务拆分模块，用于在所述请求接收模块M100从用户端接收到数据导出请求之后，根据所述数据导出条件预测导出的数据量；判断预测导出的数据量是否大于预设阈值；如果预测导出的数据量大于预设阈值，则根据预设的任务拆分规则将所述数据导出条件进行拆分，得到多个数据导出子条件；所述数据导出模块M200根据每个数据导出子条件分别生成数据导出任务，并存储各个所述数据导出任务之间的关联关系；如果预测导出的数据量小于等于预设阈值，则无需分批次处理，直接由所述数据导出模块M200基于所述数据导出条件生成数据导出任务。
此处预设的任务拆分规则可以包括：首先判断数据导出条件中是否只包括一种数据类型，如果所述数据导出条件中包括多种数据类型，则按照不同的数据类型将所述数据导出条件进行拆分，使得每个数据导出子条件中只包括一种数据类型，如果所述数据导出条件中包括一种数据类型，则将所述数据导出条件按照数据生成时间进行拆分，每个数据导出子条件中包括一个数据生成时间区段。
在该实施例中，所述数据导出模块M200判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，包括：判断是否存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录；如果存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，则所述存储器中已经存储有所述数据导出条件的已导出文件；如果不存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，判断是否存在与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录；如果是，则获取与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录相对应的已导出文件。
进一步地，所述数据导出模块M200获取与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录相对应的已导出文件之后，还包括：将获取的已导出文件中的数据进行组合，得到组合文件，确定所述组合文件的数据类型和数据生成时间范围；判断所述组合文件的数据生成时间范围是否覆盖所述数据导出条件的数据生成时间范围；如果是，则从所述组合文件中提取与所述数据导出条件相对应的数据，重新组合得到已导出文件。
如果所述组合文件的数据生成时间范围无法覆盖所述数据导出条件的数据生成时间范围，则所述数据导出模块M200根据所述组合文件的数据生成时间范围，确定所述数据导出条件的数据生成时间范围中的空缺数据生成时间范围，此空缺数据生成时间范围即所述数据导出条件中未被所述组合文件的数据生成时间范围所覆盖的数据生成时间范围；基于所述数据类型和所述空缺数据生成时间范围生成数据补充条件，基于所述数据补充条件从软件系统中将所对应的数据导出并上传至存储器，作为时间补全文件，并将所述时间补全文件与所述组合文件进行组合，得到对应于所述数据导出条件的已导出文件。
本发明实施例还提供一种数据导出设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的数据导出方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述数据导出方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
所述数据导出设备中，所述存储器中的程序被处理器执行时实现所述的数据导出方法的步骤，因此，所述设备也可以获得上述数据导出方法的技术效果。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的数据导出方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述数据导出方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
所述计算机存储介质中的程序被处理器执行时实现所述的数据导出方法的步骤，因此，所述计算机存储介质也可以获得上述数据导出方法的技术效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (12)
1.一种数据导出方法，其特征在于，包括如下步骤：
从用户端接收到数据导出请求，所述数据导出请求包括数据导出条件；
根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件，并添加所述已导出文件对应的数据导出记录；
根据已导出文件在所述存储器的存储位置，生成下载url地址；
将所述下载url地址推送给所述用户端。
2.根据权利要求1所述的数据导出方法，其特征在于，所述数据导出条件包括数据类型和数据生成时间范围，根据所述数据导出条件将所对应的数据导出，包括将对应于所述数据导出条件中的数据类型且生成时间在所述数据生成时间范围之内的数据导出。
3.根据权利要求2所述的数据导出方法，其特征在于，所述从用户端接收到数据导出请求之后，还包括如下步骤：
根据所述数据导出记录，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件；
如果是，则根据已经存储的已导出文件在所述存储器的存储位置，生成下载url地址，并将所述下载url地址推送给所述用户端；
如果否，则根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件。
4.根据权利要求3所述的数据导出方法，其特征在于，所述数据导出记录包括所述已导出文件的文件名、所述已导出文件中的导出数据的数据类型、数据生成时间范围和数据导出时间。
5.根据权利要求4所述的数据导出方法，其特征在于，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，包括判断是否存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，如果是，则所述存储器中已经存储有所述数据导出条件的已导出文件。
6.根据权利要求1所述的数据导出方法，其特征在于，根据所述数据导出条件将所对应的数据导出并上传至存储器，包括如下步骤：
根据所述数据导出条件生成数据导出任务；
将所述数据导出任务加入由导出任务处理模块执行的导出任务列表，所述导出任务处理模块配置为执行所述导出任务列表中的数据导出任务，将所述数据导出任务所对应的数据导出并上传至存储器，并获取已导出文件在所述存储器的存储位置；
推送导出状态管理页面给所述用户端，所述导出状态管理页面中显示导出任务列表中的数据导出任务的任务信息以及任务执行状态。
7.根据权利要求6所述的数据导出方法，其特征在于，根据所述数据导出条件生成数据导出任务，包括如下步骤：
根据所述数据导出条件预测导出的数据量；
判断预测导出的数据量是否大于预设阈值；
如果是，则根据预设的任务拆分规则将所述数据导出条件进行拆分，得到多个数据导出子条件；
根据每个数据导出子条件分别生成数据导出任务，并存储各个所述数据导出任务之间的关联关系。
8.根据权利要求4所述的数据导出方法，其特征在于，判断所述存储器中是否已经存储有对应于所述数据导出条件的已导出文件，包括如下步骤：
判断是否存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录；
如果存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，则所述存储器中已经存储有所述数据导出条件的已导出文件；
如果不存在与所述数据导出条件中数据类型和数据生成时间范围均相同的数据导出记录，判断是否存在与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录；
如果是，则获取与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录相对应的已导出文件。
9.根据权利要求8所述的数据导出方法，其特征在于，获取与所述数据导出条件中数据类型相同、且数据生成时间范围有重合的数据导出记录相对应的已导出文件之后，还包括如下步骤：
将获取的已导出文件中的数据进行组合，得到组合文件，确定所述组合文件的数据类型和数据生成时间范围；
判断所述组合文件的数据生成时间范围是否覆盖所述数据导出条件的数据生成时间范围；
如果是，则从所述组合文件中提取与所述数据导出条件相对应的数据，重新组合得到已导出文件；
如果否，则根据所述组合文件的数据生成时间范围，确定所述数据导出条件的数据生成时间范围中的空缺数据生成时间范围；
基于所述数据类型和所述空缺数据生成时间范围生成数据补充条件；
基于所述数据补充条件将所对应的数据导出并上传至存储器，作为时间补全文件，并将所述时间补全文件与所述组合文件进行组合，得到对应于所述数据导出条件的已导出文件。
10.一种数据导出系统，用于实现权利要求1至9中任一项所述的数据导出方法，其特征在于，所述系统包括：
请求接收模块，用于从用户端接收到数据导出请求，所述数据导出请求包括数据导出条件；
数据导出模块，用于根据所述数据导出条件将所对应的数据导出并上传至存储器，作为已导出文件，并添加所述已导出文件对应的数据导出记录；
地址生成模块，用于根据已导出文件在所述存储器的存储位置，生成下载url地址；
地址推送模块，用于将所述下载url地址推送给所述用户端。
11.一种数据导出设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的数据导出方法的步骤。
12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至9中任一项所述的数据导出方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110255179.5A CN112925840A (zh) | 2021-03-09 | 2021-03-09 | 数据导出方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110255179.5A CN112925840A (zh) | 2021-03-09 | 2021-03-09 | 数据导出方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112925840A true CN112925840A (zh) | 2021-06-08 |
Family
ID=76172138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110255179.5A Pending CN112925840A (zh) | 2021-03-09 | 2021-03-09 | 数据导出方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112925840A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407496A (zh) * | 2021-07-08 | 2021-09-17 | 北京锐安科技有限公司 | 一种数据导出方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1452095A (zh) * | 2002-04-13 | 2003-10-29 | 鸿富锦精密工业（深圳）有限公司 | 资料自动下载之系统及方法 |
| CN1627290A (zh) * | 2003-12-12 | 2005-06-15 | 鸿富锦精密工业（深圳）有限公司 | 资料下载断点续传系统及方法 |
| CN111125174A (zh) * | 2019-12-06 | 2020-05-08 | 东软集团股份有限公司 | 数据导出方法、装置、存储介质、电子设备 |
| CN111405015A (zh) * | 2020-03-09 | 2020-07-10 | 中国建设银行股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
| CN112100134A (zh) * | 2020-08-25 | 2020-12-18 | 深圳市星砺达科技有限公司 | 导出大文件的方法及装置、存储介质及计算机设备 |
-
2021
- 2021-03-09 CN CN202110255179.5A patent/CN112925840A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1452095A (zh) * | 2002-04-13 | 2003-10-29 | 鸿富锦精密工业（深圳）有限公司 | 资料自动下载之系统及方法 |
| CN1627290A (zh) * | 2003-12-12 | 2005-06-15 | 鸿富锦精密工业（深圳）有限公司 | 资料下载断点续传系统及方法 |
| CN111125174A (zh) * | 2019-12-06 | 2020-05-08 | 东软集团股份有限公司 | 数据导出方法、装置、存储介质、电子设备 |
| CN111405015A (zh) * | 2020-03-09 | 2020-07-10 | 中国建设银行股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
| CN112100134A (zh) * | 2020-08-25 | 2020-12-18 | 深圳市星砺达科技有限公司 | 导出大文件的方法及装置、存储介质及计算机设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407496A (zh) * | 2021-07-08 | 2021-09-17 | 北京锐安科技有限公司 | 一种数据导出方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11561972B2 (en) | Query conversion for querying disparate data sources | |
| CN110807067B (zh) | 关系型数据库和数据仓库的数据同步方法、装置及设备 | |
| CN111190888A (zh) | 一种管理图数据库集群的方法和装置 | |
| CN113296912B (zh) | 任务处理方法及装置、系统、存储介质、电子设备 | |
| CN113342619A (zh) | 日志监控方法、系统、电子设备及可读介质 | |
| CN111241048A (zh) | 一种web终端日志管理方法、装置、介质及电子设备 | |
| CN111125064A (zh) | 一种生成数据库模式定义语句的方法和装置 | |
| CN112948334A (zh) | 日志处理方法和装置 | |
| CN116244387A (zh) | 实体关系构建方法、装置、电子设备及存储介质 | |
| CN112925840A (zh) | 数据导出方法、系统、设备及存储介质 | |
| CN111586177A (zh) | 集群会话防丢失方法及系统 | |
| CN113010174A (zh) | 业务监控的方法和装置 | |
| CN113344691A (zh) | 纳税申报数据处理方法、装置、电子设备及可读介质 | |
| CN113779122A (zh) | 导出数据的方法和装置 | |
| CN110737861A (zh) | 一种网页数据处理方法、装置、设备和存储介质 | |
| CN110851518A (zh) | 知识产权案件数据导入方法、系统、电子终端及介质 | |
| CN111159010A (zh) | 一种缺陷收集方法、缺陷上报方法和相关装置 | |
| CN114661289B (zh) | 一种基于知识和数据驱动的微应用开发系统和方法 | |
| CN111045983A (zh) | 核电站电子文件管理方法、装置、终端设备及介质 | |
| WO2024001240A1 (zh) | 多种技术栈的任务集成方法及装置 | |
| CN112965946B (zh) | 处理文档的方法、装置、设备和计算机可读介质 | |
| CN113687881A (zh) | 元数据调用方法、装置、电子设备及存储介质 | |
| CN112948542A (zh) | 埋点数据采集方法、系统、设备及存储介质 | |
| CN112527880A (zh) | 大数据集群元数据信息的采集方法、装置、设备及介质 | |
| CN111176982A (zh) | 一种测试界面生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210608 |
|
| WD01 | Invention patent application deemed withdrawn after publication |