CN109739928A - 数据导出方法、装置、计算机设备和存储介质 - Google Patents
数据导出方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109739928A CN109739928A CN201811536394.7A CN201811536394A CN109739928A CN 109739928 A CN109739928 A CN 109739928A CN 201811536394 A CN201811536394 A CN 201811536394A CN 109739928 A CN109739928 A CN 109739928A
- Authority
- CN
- China
- Prior art keywords
- data
- batch
- pieces
- batches
- datas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 241001269238 Data Species 0.000 claims abstract description 65
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据导出方法、装置、计算机设备和存储介质，所述方法包括：根据用户的选择操作，获取需要导出的多条数据；根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，其中，所述多条数据的属性包括各条数据所占的空间大小，和/或，各条数据包含的字段之间的关联关系；按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；对所述多个表格进行压缩，得到压缩包，并输出所述压缩包。上述方法通过对导出数据进行分批处理，并在处理完每批数据后及时释放内存，能够减轻服务器的压力，提升主机的性能，避免主机崩溃的发生。
Description
技术领域
本发明涉及互联网技术领域，特别是涉及数据导出方法、装置、计算机设备和存储介质。
背景技术
目前，现有的多数后台管理系统都具有数据导出功能，可根据用户的需求导出相应的字段。
然而，当导出的数据量较大时，将数据从数据库导出会导致占用内存过大，影响主机性能，甚至导致主机崩溃。
发明内容
基于此，有必要针对数据导出导致占用内存过大，影响主机性能，甚至导致主机崩溃，提供一种数据导出方法、装置、计算机设备和存储介质。
一种数据导出方法，所述数据导出方法包括：
根据用户的选择操作，获取需要导出的多条数据；
根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，其中，所述多条数据的属性包括各条数据所占的空间大小，和/或，各条数据包含的字段之间的关联关系；
按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；
对所述多个表格进行压缩，得到压缩包，并输出所述压缩包。
在其中一个实施例中，所述多批数据至少包括第一批数据和第二批数据；
所述按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存，包括：
将所述第一批数据中的各条数据包含的字段，分别填充至第一表格的单元格中，其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列；
释放内存；
将所述第二批数据中的各条数据包含的字段，分别填充至第二表格的单元格中，其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列；
释放内存。
在其中一个实施例中，所述根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据占用的空间大小，对所述多条数据进行分批，得到多批数据，其中，每批数据的占用的空间大小均小于预设阈值。
在其中一个实施例中，所述根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据占用的空间大小，对所述多条数据进行分批，得到多批数据，其中，每批数据的占用的空间大小均小于剩余内存空间的大小。
在其中一个实施例中，所述根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据包含的字段之间的关联关系，对所述多条数据进行分批，得到多批数据，其中，每批数据中的各条数据包含的字段满足预设关系。
在其中一个实施例中，所述根据各条数据包含的字段之间的关联关系，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据包含的属性字段的取值以及多个预设范围，对所述多条数据进行分批，得到多批数据，其中，每批数据中的各条数据包含的属性字段的取值均位于该批数据所对应的预设范围内。
在其中一个实施例中，所述根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据的格式，对所述多条数据进行分批，得到多批数据，其中，每批数据中的各条数据的格式相同。
一种数据导出装置，其特征在于，所述数据导出装置包括：
获取模块，用于根据用户的选择操作，获取需要导出的多条数据；
分批模块，用于根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，其中，所述多条数据的属性包括各条数据所占的空间大小，和/或，各条数据包含的字段之间的关联关系；
生成模块，用于按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；
输出模块，用于对所述多个表格进行压缩，得到压缩包，并输出所述压缩包。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
上述数据导出方法、装置、计算机设备和存储介质，通过对导出数据进行分批处理，并在处理完每批数据后及时释放内存，能够减轻服务器的压力，提升主机的性能，避免主机崩溃的发生。
附图说明
图1为一个实施例中提供的数据导出方法的实施环境图；
图2为一个实施例中计算机设备的内部结构框图；
图3为一个实施例中数据导出方法的流程图；
图4为一个实施例中步骤S304和步骤306的实现流程图；
图5为一个实施例中步骤S304和步骤306的实现流程图；
图6为一个实施例中数据导出装置的结构框图；
图7为一个实施例中数据导出装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一批数据称为第二批数据，且类似地，可将第二批数据称为第二批数据。
图1为一个实施例中提供的数据导出方法的实施环境图，如图1所示，在该实施环境中，包括计算机设备110以及终端120。
计算机设备110为后台设备，例如，目标网站的服务器，计算机设备110上安装有数据导出工具。终端120上安装浏览器应用程序，当有用户通过浏览器应用程序选择需要导出的数据时，计算机设备110根据用户的选择操作，获取需要导出的多条数据；计算机设备110根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，其中，所述多条数据的属性包括各条数据所占的空间大小，和/或，各条数据包含的字段之间的关联关系；计算机设备110按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；计算机设备110对所述多个表格进行压缩，得到压缩包，并输出所述压缩包。
需要说明的是，终端120以及计算机设备110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。计算机设备110以及终端110可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。
图2为一个实施例中计算机设备的内部结构示意图。如图2所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种数据导出方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据导出方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，在一个实施例中，提出了一种数据导出方法，该数据导出方法可以应用于上述的计算机设备110中，具体可以包括以下步骤：
步骤302，根据用户的选择操作，获取需要导出的多条数据；
在一些实施例中，计算机设备110可以获取用户在前端选择的需要导出的数据，例如，用户需要导出10000条数据，每条数据均包含姓名、年龄、性别、身份证号码，如表1所示。
表1：
| 姓名 | 年龄 | 性别 | 身份证号码 |
| 张三 | 31 | 男 | 110111198703311234 |
| 李四 | 14 | 男 | 110111200404133421 |
| 王五 | 32 | 女 | 110111198606231221 |
| 赵六 | 13 | 女 | 110111200503123212 |
步骤304，根据多条数据的属性和/或内存使用情况，对多条数据进行分批，得到多批数据；
其中，多条数据的属性包括各条数据所占的空间大小，和/或，各条数据包含的字段之间的关联关系。
在本发明实施例中，可以根据各条数据占用的空间大小，对多条数据进行分批，得到多批数据，其中，每批数据的占用的空间大小均小于预设阈值；也可以根据各条数据占用的空间大小，对多条数据进行分批，得到多批数据，其中，每批数据的占用的空间大小均小于剩余内存空间的大小；也可以根据各条数据包含的字段之间的关联关系，对多条数据进行分批，其中，每批数据中的各条数据包含的字段满足预设关系。具体地，根据各条数据包含的属性字段的取值以及多个预设范围，对多条数据进行分批，得到多批数据，其中，每批数据中的各条数据包含的属性字段的取值均位于该批数据所对应的预设范围内；还可以根据各条数据的格式，对多条数据进行分批，得到多批数据，其中，每批数据中个各条数据的格式相同，即，各条数据包含相同的字段。
例如，当用户选择10000条数据，其中，第1-3000条数据的格式相同，第3001-6000条数据的格式相同，第6001-9000条数据的格式相同，第9001-10000条数据的格式相同，则计算机设备110将第1-3000条数据作为第一批数据，将第3001-6000条数据作为第二批数据，将第6001-9000条数据作为第三批数据，将第9001-10000条数据作为第四批数据。
步骤306，按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；
其中，多批数据至少包括第一批数据和第二批数据；在生成与多批数据对应的多个表格后，可以分别对多个表格进行命名。
步骤308，对多个表格进行压缩，得到压缩包，并输出压缩包。
例如，当需要导出1000条数据时，计算机设备110将第1-3000条数据作为第一批数据，基于该3000条数据生成excel表格1，然后释放内存；再将第3001-6000条数据作为第二批数据，基于该3000条数据生成excel表格2，然后释放内存；再将第6001-9000条数据作为第三批数据，基于该3000条数据生成excel表格3，然后释放内存；再将第9001-10000条数据作为第四批数据，基于该1000条数据生成excel表格4，然后释放内存；最后，对将excel表格1、excel表格2、excel表格3和excel表格4进行压缩，得到压缩包。
在一些实施例中，也可以根据每条数据的字段数量，动态调整每批数据所包含的数据的条数，以避免同一批处理的数据量过大。具体地，当每条数据包含的字段较多时，则将每批数据所包含的数据的条数调小；当每条数据包含的字段较小时，则将每批数据所包含的数据的条数调大，以实现导出速度与系统性能的平衡；例如，当每条数据包含5个字段时，则将每批数据所包含的数据的条数设置为4000条；当每条数据包含10个字段时，则将每批数据所包含的数据的条数设置为2000条。
本实施例通过对导出数据进行分批处理，并在处理完每批数据后及时释放内存，能够减轻服务器的压力，提升主机的性能，避免主机崩溃的发生。
图4示出了在一个实施例中，步骤S304和步骤306，即根据所述多条数据的属性，对所述多条数据进行分批，得到多批数据；以及按照预设顺序，依次导出所述多批数据，并在导出每批数据后，释放内存的步骤的实现流程图，具体可以包括以下步骤：
S402，根据各条数据占用的空间大小，对多条数据进行分批，得到多批数据。
其中，每批数据的占用的空间大小均小于预设阈值；或者，每批数据的占用的空间大小均小于剩余内存空间的大小；
例如，当需要导出10000条数据，预设阈值为50M，第1-6000条数据占用的空间大小之和为49M，第6000-10000条数据占用的空间大小之和为45M时，计算机设备110将第1-6000条数据作为第一批数据，将第6000-10000条数据作为第二批数据。
S404，根据第一批数据，生成第一表格，对第一表格进行命名，并释放内存；
具体地，可以生成第一表格，对第一表格进行命名，再将第一批数据中的各条数据包含的字段，分别填充至第一表格的单元格中，并再填充完毕后，释放内存；其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列。
例如，第一批数据包括1000条数据，每条数据包含10个字段，可以将每条数据的10个字段依次填充至excel表格的同一行的不同单元格中，并将该excel表格命名为E1。
在其他实施例中，也可以先将第一批数据中的各条数据包含的字段，分别填充至第一表格的单元格中，再对第一表格进行命名，随后释放内存。
S406，根据第二批数据，生成第二表格，对第二表格进行命名，并释放内存；
具体地，可以生成第二表格，对第二表格进行命名，再将第二批数据中的各条数据包含的字段，分别填充至第二表格的单元格中，并再填充完毕后，释放内存；其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列。
例如，第二批数据包括1000条数据，每条数据包含10个字段，可以将每条数据的10个字段依次填充至excel表格的同一行的不同单元格中，并将该excel表格命名为E2。
在其他实施例中，也可以先将第二批数据中的各条数据包含的字段，分别填充至第二表格的单元格中，再对第二表格进行命名，随后释放内存。
S408，对第一表格和第二表格进行压缩，得到压缩包，并输出压缩包。
例如，对第一表格E1和第二表格E2进行压缩，得到压缩包E.rar，并输出压缩包E.rar。
图5示出了在一个实施例中，步骤S304和步骤306，即根据所述多条数据的属性，对所述多条数据进行分批，得到多批数据；以及按照预设顺序，依次导出所述多批数据，并在导出每批数据后，释放内存的步骤的实现流程图，具体可以包括以下步骤：
S502，根据各条数据包含的字段之间的关联关系，对多条数据进行分批。
具体地，可以根据各条数据包含的属性字段的取值以及多个预设范围，对多条数据进行分批，得到多批数据，其中，每批数据中的各条数据包含的属性字段的取值均位于该批数据所对应的预设范围内；；
例如，当需要导出10000条数据，属性字段为年龄字段，第一预设范围为0-30岁，第二预设范围为31-60岁时，计算机设备110将年龄字段的取值在0-30岁的所有数据作为第一批数据，将年龄字段的取值在31-60岁的所有数据作为第二批数据。
S504，根据第一批数据，生成第一表格，对第一表格进行命名，并释放内存；
具体地，可以生成第一表格，对第一表格进行命名，再将第一批数据中的各条数据包含的字段，分别填充至第一表格的单元格中，并再填充完毕后，释放内存；其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列。
例如，第一批数据包括1000条数据，每条数据包含10个字段，可以将每条数据的10个字段依次填充至excel表格的同一行的不同单元格中，并将该excel表格命名为E1。
在其他实施例中，也可以先将第一批数据中的各条数据包含的字段，分别填充至第一表格的单元格中，再对第一表格进行命名，随后释放内存。
S506，根据第二批数据，生成第二表格，对第二表格进行命名，并释放内存；
具体地，可以生成第二表格，对第二表格进行命名，再将第二批数据中的各条数据包含的字段，分别填充至第二表格的单元格中，并再填充完毕后，释放内存；其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列。
例如，第二批数据包括1000条数据，每条数据包含10个字段，可以将每条数据的10个字段依次填充至excel表格的同一行的不同单元格中，并将该excel表格命名为E2。
在其他实施例中，也可以先将第二批数据中的各条数据包含的字段，分别填充至第二表格的单元格中，再对第二表格进行命名，随后释放内存。
S508，对第一表格和第二表格进行压缩，得到压缩包，并输出压缩包。
例如，对第一表格E1和第二表格E2进行压缩，得到压缩包E.rar，并输出压缩包E.rar。
本实施例根据导出数据所占的空间大小以及字段之间的关联关系，对导出数据进行分批处理，并在处理完每批数据后及时释放内存，能够减轻服务器的压力，提升主机的性能，避免主机崩溃的发生，并规范导出数据的格式，增强导出数据的规范程度。
如图6所示，在一个实施例中，提供了一种数据导出装置，该数据导出装置可以集成于上述的计算机设备110中，具体可以包括获取模块602、分批模块604、生成模块606以及输出模块608。
获取模块602，用于根据用户的选择操作，获取需要导出的多条数据；
分批模块604，用于根据多条数据的属性和/或内存使用情况，对多条数据进行分批，得到多批数据，其中，多条数据的属性包括各条数据所占的空间大小，和/或，各条数据包含的字段之间的关联关系；
生成模块606，用于按照预设顺序，依次生成与多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；
输出模块608，用于对多个表格进行压缩，得到压缩包，并输出压缩包。
本实施例中的数据导出装置，对导出数据进行分批处理，并在处理完每批数据后及时释放内存，能够减轻服务器的压力，提升主机的性能，避免主机崩溃的发生。
如图7所示，在一个实施例中，数据导出装置，还可以包括获取模块702、分批模块704、生成模块706、输出模块708以及命名模块710。
获取模块702，用于根据用户的选择操作，获取需要导出的多条数据；
分批模块704，用于根据多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，其中，所述多条数据的属性包括各条数据所占的空间大小，和/或，各条数据包含的字段之间的关联关系；
具体地，分批模块704，具体用于：
根据各条数据占用的空间大小，对多条数据进行分批，得到多批数据，其中，每批数据的占用的空间大小均小于预设阈值。
分批模块704，具体用于：
根据各条数据占用的空间大小，对所述多条数据进行分批，得到多批数据，其中，每批数据的占用的空间大小均小于剩余内存空间的大小。
分批模块704，具体用于：
根据各条数据包含的字段之间的关联关系，对多条数据进行分批，得到多批数据，其中，每批数据中的各条数据包含的字段满足预设关系。
分批模块704，具体用于：
根据各条数据包含的属性字段的取值以及多个预设范围，对多条数据进行分批，得到多批数据，其中，每批数据中的各条数据包含的属性字段的取值均位于该批数据所对应的预设范围内。
分批模块704，具体用于：
根据各条数据的格式，对多条数据进行分批，得到多批数据，其中，每批数据中的各条数据的格式相同。
生成模块706，用于按照预设顺序，依次生成与多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；
其中，多批数据至少包括第一批数据和第二批数据；
相应地，生成模块706，具体用于：
将第一批数据中的各条数据包含的字段，分别填充至第一表格的单元格中，其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列；
释放内存；
将第二批数据中的各条数据包含的字段，分别填充至第二表格的单元格中，其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列；
释放内存。
输出模块708，用于对多个表格进行压缩，得到压缩包，并输出压缩包；
命名模块710，用于分别对多个表格进行命名。
本实施例提供的数据导出装置能够实现上述方法实施例中计算机设备110实现的各个过程，为避免重复，这里不再赘述。
本实施例中的数据导出装置，根据导出数据所占的空间大小以及字段之间的关联关系，对导出数据进行分批处理，并在处理完每批数据后及时释放内存，能够减轻服务器的压力，提升主机的性能，避免主机崩溃的发生，并规范导出数据的格式，增强导出数据的规范程度。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据导出方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器实现上述数据导出方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据导出方法，其特征在于，所述数据导出方法包括：
根据用户的选择操作，获取需要导出的多条数据；
根据所述多条数据的属性，对所述多条数据进行分批，得到多批数据，其中，所述多条数据的属性包括各条数据所占的空间大小以及各条数据包含的字段之间的关联关系；
按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；
对所述多个表格进行压缩，得到压缩包，并输出所述压缩包。
2.如权利要求1所述的数据导出方法，其特征在于，所述多批数据至少包括第一批数据和第二批数据；
所述按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存，包括：
将所述第一批数据中的各条数据包含的字段，分别填充至第一表格的单元格中，其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列；
释放内存；
将所述第二批数据中的各条数据包含的字段，分别填充至第二表格的单元格中，其中，不同的字段位于不同的单元格，每条数据包含的字段所在的单元格位于同一行或同一列；
释放内存。
3.如权利要求1所述的数据导出方法，其特征在于，所述根据所述多条数据的属性，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据占用的空间大小，对所述多条数据进行分批，得到多批数据，其中，每批数据的占用的空间大小均小于预设阈值。
4.如权利要求1所述的数据导出方法，其特征在于，所述根据所述多条数据的属性，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据占用的空间大小，对所述多条数据进行分批，得到多批数据，其中，每批数据的占用的空间大小均小于剩余内存空间的大小。
5.如权利要求1所述的数据导出方法，其特征在于，所述根据所述多条数据的属性，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据包含的字段之间的关联关系，对所述多条数据进行分批，得到多批数据，其中，每批数据中的各条数据包含的字段满足预设关系。
6.如权利要求5所述的数据导出方法，其特征在于，所述根据各条数据包含的字段之间的关联关系，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据包含的属性字段的取值以及多个预设范围，对所述多条数据进行分批，得到多批数据，其中，每批数据中的各条数据包含的属性字段的取值均位于该批数据所对应的预设范围内。
7.如权利要求1所述的数据导出方法，其特征在于，所述根据所述多条数据的属性，对所述多条数据进行分批，得到多批数据，包括：
根据各条数据的格式，对所述多条数据进行分批，得到多批数据，其中，每批数据中的各条数据的格式相同。
8.一种数据导出装置，其特征在于，所述数据导出装置包括：
获取模块，用于根据用户的选择操作，获取需要导出的多条数据；
分批模块，用于根据所述多条数据的属性和/或内存使用情况，对所述多条数据进行分批，得到多批数据，其中，所述多条数据的属性包括各条数据所占的空间大小，和/或，各条数据包含的字段之间的关联关系；
生成模块，用于按照预设顺序，依次生成与所述多批数据对应的多个表格，并在生成与每批数据对应的表格后，释放内存；
输出模块，用于对所述多个表格进行压缩，得到压缩包，并输出所述压缩包。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811536394.7A CN109739928A (zh) | 2018-12-14 | 2018-12-14 | 数据导出方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811536394.7A CN109739928A (zh) | 2018-12-14 | 2018-12-14 | 数据导出方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109739928A true CN109739928A (zh) | 2019-05-10 |
Family
ID=66359794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811536394.7A Pending CN109739928A (zh) | 2018-12-14 | 2018-12-14 | 数据导出方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109739928A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110865883A (zh) * | 2019-09-23 | 2020-03-06 | 平安科技（深圳）有限公司 | 一种大批量数据导入方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2872606A1 (fr) * | 2004-07-02 | 2006-01-06 | Univ Paris Dauphine Etablissem | Procede de traitement de donnees logiciel associe |
| CN1928839A (zh) * | 2005-09-09 | 2007-03-14 | 中国科学院计算技术研究所 | 一种远程内存服务器及其实现方法 |
| US20090193420A1 (en) * | 2008-01-29 | 2009-07-30 | International Business Machines Corporation | Method and system for batch processing form data |
| CN103500196A (zh) * | 2013-09-22 | 2014-01-08 | 成都交大光芒科技股份有限公司 | 多并发大数据量环境下excel数据导出方法及其导出装置 |
-
2018
- 2018-12-14 CN CN201811536394.7A patent/CN109739928A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2872606A1 (fr) * | 2004-07-02 | 2006-01-06 | Univ Paris Dauphine Etablissem | Procede de traitement de donnees logiciel associe |
| CN1928839A (zh) * | 2005-09-09 | 2007-03-14 | 中国科学院计算技术研究所 | 一种远程内存服务器及其实现方法 |
| US20090193420A1 (en) * | 2008-01-29 | 2009-07-30 | International Business Machines Corporation | Method and system for batch processing form data |
| CN103500196A (zh) * | 2013-09-22 | 2014-01-08 | 成都交大光芒科技股份有限公司 | 多并发大数据量环境下excel数据导出方法及其导出装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110865883A (zh) * | 2019-09-23 | 2020-03-06 | 平安科技（深圳）有限公司 | 一种大批量数据导入方法、装置、计算机设备及存储介质 |
| WO2021056708A1 (zh) * | 2019-09-23 | 2021-04-01 | 平安科技（深圳）有限公司 | 一种大批量数据导入方法、装置、计算机设备及存储介质 |
| CN110865883B (zh) * | 2019-09-23 | 2022-06-03 | 平安科技（深圳）有限公司 | 一种大批量数据导入方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102662993A (zh) | 一种页面数据提供方法 | |
| CN104133765B (zh) | 网络活动的测试用例发送方法及测试用例服务器 | |
| CN108366091A (zh) | 网络请求处理方法、终端及计算机可读介质 | |
| CN107784085A (zh) | 一种数据列表的导出方法及其终端 | |
| CN106528896A (zh) | 一种数据库优化方法和装置 | |
| CN109471893B (zh) | 网络数据的查询方法、设备及计算机可读存储介质 | |
| CN108053034A (zh) | 模型参数处理方法、装置、电子设备及存储介质 | |
| CN104468330A (zh) | 分布式消息队列系统的数据处理方法和装置 | |
| CN110458285B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN108733799A (zh) | 一种报表数据处理方法、装置及终端 | |
| CN113792995B (zh) | 电力资源支配程度的确定方法、装置、设备和存储介质 | |
| CN109739928A (zh) | 数据导出方法、装置、计算机设备和存储介质 | |
| CN105320543B (zh) | 加载软件模块的方法和装置 | |
| CN103516857A (zh) | 一种设置联系人头像的方法和装置 | |
| WO2024130981A1 (zh) | 结构化数据的计算方法、计算引擎、设备及可读存储介质 | |
| CN108287719A (zh) | 调用反欺诈系统的接入方法及应用服务器 | |
| CN107894989A (zh) | 用户行为数据采集方法及应用服务器 | |
| CN111694859A (zh) | 业务类型数据的处理方法及系统 | |
| CN111597240A (zh) | 数据导出方法、装置、计算机设备和存储介质 | |
| CN114327287B (zh) | 一种固态硬盘的晶圆设置方法、装置、设备及介质 | |
| CN117453759B (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
| CN107678986A (zh) | Usb3.0传输速率设置方法、移动终端及存储介质 | |
| CN118277026A (zh) | 虚拟资源的处理方法、装置、设备、存储介质及程序产品 | |
| CN117114727A (zh) | 产品模型的生成方法、装置、计算机设备和存储介质 | |
| CN117478723A (zh) | 数据的传输方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |