CN113486097B - 大数据导出方法、装置、设备及存储介质 - Google Patents

大数据导出方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113486097B
CN113486097B CN202110687132.6A CN202110687132A CN113486097B CN 113486097 B CN113486097 B CN 113486097B CN 202110687132 A CN202110687132 A CN 202110687132A CN 113486097 B CN113486097 B CN 113486097B
Authority
CN
China
Prior art keywords
data
workbook
file
temporary file
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110687132.6A
Other languages
English (en)
Other versions
CN113486097A (zh
Inventor
刘子龙
徐子宇
史海华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Baiqiu New Online Commerce Digital Technology Co ltd
Original Assignee
Shanghai Baiqiu New Online Commerce Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Baiqiu New Online Commerce Digital Technology Co ltd filed Critical Shanghai Baiqiu New Online Commerce Digital Technology Co ltd
Priority to CN202110687132.6A priority Critical patent/CN113486097B/zh
Publication of CN113486097A publication Critical patent/CN113486097A/zh
Application granted granted Critical
Publication of CN113486097B publication Critical patent/CN113486097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据导出方法、装置、设备及存储介质，针对现有的大数据导出方法不能满足用户的需求的问题，通过初始化一excel临时文件，生成一writer对象；根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；再将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；最后将临时文件中的数据以压缩的方式写入目标文件中。通过该大数据导出方法可减小服务器的内存压力，还可缩短数据导出的时间。

Description

大数据导出方法、装置、设备及存储介质
技术领域
本发明属于数据导出的技术领域，尤其涉及一种大数据导出方法、装置、设备及存储介质。
背景技术
在以往，系统生成的数据导出到excel是根据原生excel的方法，将数据一行、一列写入文件。
但随着业务的发展，数据量日积月累的情况下，这种方法产生了瓶颈与问题。具体有以下几点：第一、数据量大意味着导出时间久，不能满足用户对导出时间的要求；第二、用户对导出的内容布局要求越来越多，如根据不同场景导出到不同的工作簿；第三、对于服务器来说，数据量越大，其处理所需要的内存消耗也越大，可能会导致内存消耗过大而使程序中断或者导出数据很慢。
发明内容
本发明的目的是提供一种大数据导出方法、装置、设备及存储介质，可减小服务器内存压力的同时，缩短数据导出的时间。
为解决上述问题，本发明的技术方案为：
一种大数据导出方法，包括：
初始化一excel临时文件，生成一writer对象；
根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；
将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；
将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；
将临时文件中的数据以压缩的方式写入目标文件中。
根据本发明一实施例，所述初始化一excel临时文件，生成一writer对象进一步包括：
在C:\Windows\Temp目录下创建一excel临时文件.tmp，预加载excel临时文件的基本属性及访问权限，设置excel临时文件的单元格格式为常规，并生成一writer对象。
根据本发明一实施例，所述根据类别获取数据，并组成相应的数据集进一步包括：
根据业务场景，预先设置数据的类别；
根据类别，循环查找并获取数据库中的数据，并生成相应类别的数据集；以类别名作为数据集的名称。
根据本发明一实施例，所述将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件进一步包括：
初始化工作簿，清除工作簿中的数据；
切换至当前需要写入数据的工作簿，从工作簿的第二行开始，将单元格的数字类型的值超过11或是特殊字符的单元格的格式设置为文本格式；
按类别，将二维数组中的数据写入writer对象中相应的工作簿中，完成一个工作簿的数据写入，就清空相应数组中的数据，释放内存；
当二维数值中的数据都存入writer对象中后，在临时文件中形成一虚拟的excel文件。
根据本发明一实施例，所述将临时文件中的数据以压缩的方式写入目标文件中进一步包括：
锁定目标文件；
在目标文件的目录地址下创建一zip包；
给zip包添加一空目录；
将临时文件中的数据添加到空目录下的zip包中，在zip包中对writer对象中的工作簿及数据进行循环添加的操作；
当zip处理完成后，解锁目标文件。
一种大数据导出装置，包括：
临时文件生成模块，用于初始化一excel临时文件，生成一writer对象；
数据获取模块，用于根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；
工作簿生成模块，用于将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；
数据写入模块，用于将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；
数据导出模块，用于将临时文件中的数据以压缩的方式写入目标文件中。
根据本发明一实施例，所述数据写入模块包括工作簿预处理单元、单元格设置单元、数据写入单元；
所述工作簿预处理单元用于初始化工作簿，清除工作簿中的数据；
所述单元格设置单元用于当切换至当前需要写入数据的工作簿后，从工作簿的第二行开始，将单元格的数字类型的值超过11或是特殊字符的单元格的格式设置为文本格式；
所述数据写入单元用于按类别，将二维数组中的数据写入writer对象中相应的工作簿中，完成一个工作簿的数据写入，就清空相应数组中的数据，释放内存；当二维数值中的数据都存入writer对象中后，在临时文件中形成一虚拟的excel文件。
根据本发明一实施例，所述数据导出模块包括：文件锁定单元、zip创建单元、压缩文件单元及文件解锁单元；
所述文件锁定单元用于锁定目标文件；
所述zip创建单元用于在目标文件的目录地址下创建一zip包；
所述压缩文件单元用于给zip包添加一空目录，将临时文件中的数据添加到空目录下的zip包中，在zip包中对writer对象中的工作簿及数据进行循环添加的操作；
文件解锁单元用于当zip处理完成后，解锁目标文件。
一种大数据导出设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现根发明一实施例中的大数据导出方法。
一种计算机可读介质，存储计算机程序，所述计算机程序被一个或多个处理器执行时，实现本发明一实施例中所述的大数据导出方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
本发明一实施例中的大数据导出方法，针对现有的大数据导出方法不能满足用户的需求的问题，通过初始化一excel临时文件，生成一writer对象；根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；再将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；最后将临时文件中的数据以压缩的方式写入目标文件中。通过该大数据导出方法可减小服务器的内存压力，还可缩短数据导出的时间。
附图说明
图1为本发明一实施例中的大数据导出方法流图；
图2为本发明一实施例中的根据类别获取数据的代码图；
图3为本发明一实施例中的工作簿设置的代码图；
图4为本发明一实施例中的数据写writer对象的代码图；
图5为本发明一实施例中的zip压缩数据的代码图；
图6为本发明一实施例中的大数据导出装置的框图；
图7为本发明一实施例中的大数据导出设备的示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种大数据导出方法、装置、设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
实施例一
本实施例针对现有的大数据导出方法不能满足用户对导出时间及根据不同场景导出到不同的工作簿的要求，且因数据量较大，服务器内存消耗过大而使程序中断或者导出数据很慢的问题，提出了一种大数据导出方法，可减小服务器的内存压力的同时，缩短数据导出的时间。
具体的，请参看图1，该大数据导出方法包括：
S1：初始化一excel临时文件，生成一writer对象；
S2：根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；
S3：将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；
S4：将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；
S5：将临时文件中的数据以压缩的方式写入目标文件中。
其中，在步骤S1中，初始化一excel临时文件，生成一writer对象进一步包括：
在C:\Windows\Temp目录下创建一excel临时文件.tmp(文件名随机)，预加载excel临时文件的基本属性及访问权限(如是否可写)，判断是否支持解压缩方法(在本实施例中，需要支持解压缩)，设置excel临时文件的单元格格式为常规，并生成一writer对象。
在步骤S2中，根据类别获取数据，并组成相应的数据集进一步包括：
根据业务场景，预先设置数据的类别；根据类别，循环查找并获取数据库中的数据，并生成相应类别的数据集；以类别名作为数据集的名称。
请参看图2，本实施例以支付宝财务对账数据导出为例，其类别分为订单收入、非订单收入、维权退款、信用卡手续费、天猫佣金、天猫积分、聚划算佣金、淘宝客佣金、保险费、红包、提现、公益捐赠、品牌拉新计划、海外消费者税金、营销活动费用、基金代发任务及百亿补贴软件服务费。根据这些类别，在数据库中循环查找，将一个类别的数据归为一个数据集，数据集的名称可命名为类别名。因此，共可得到17个数据集。
然后将每个数据集的名称设置为键，其行数据设置为值，组成二维数组。
上述步骤S2根据类别获取数据，组成数据集，可方便后续指定工作簿及与工作簿抬头产生关联。
在步骤S3中，将类别名作为工作簿的名称，可采用如下语句实现：
private static$sheetName＝[‘支付宝原件’，‘订单收入’，‘非订单收入’，‘维权退款’，‘信用卡手续费’，‘天猫佣金’，‘天猫积分’，‘天猫保证金’，‘聚划算佣金’，‘淘宝客佣金’，‘保险费’，‘红包’，‘提现’，‘公益捐赠’，‘品牌拉新计划’，‘海外消费者基金’，‘营销活动费用’，‘基金代发任务’，‘百亿补贴软件服务费’]；
然后，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；
请参看图3，根据获取的数据量及不同的业务场景对工作簿进行划分，如数据量为N(100W)，工作簿的模式大小为M(10W)，那么通过(N/M)+1，即可计算出需要生成的工作簿的数量了。相应的，在临时文件中构造出工作簿的writer对象。
上述步骤S3，根据获取的数据拆分工作簿，可方便导出数据。
在步骤S4中，将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件进一步包括：
初始化工作簿，清除工作簿中的数据；
切换至当前需要写入数据的工作簿，从工作簿的第二行开始，将单元格的数字类型的值超过11或是特殊字符的单元格的格式设置为文本格式；
按类别，将二维数组中的数据写入writer对象中相应的工作簿中，完成一个工作簿的数据写入，就清空相应数组中的数据，释放内存；
当二维数值中的数据都存入writer对象中后，在临时文件中形成一虚拟的excel文件。
具体的，请参看图4，初始化writer对象中的工作簿，若有数据，则清除。然后切换至当前需要写入数据的工作簿，该工作簿的第一行的表头的单元格格式默认为常规，从第二行数据开始，根据特殊标题需要将这行的某个单元格格式设置为文本格式，可在ExcelCommon中获取。其中特殊标题需要是指当某单元格的数字类型的值超过11位或者是特殊字符的，就将该单元格格式设置为文本格式，图4中以‘@’表示。
按类别，将二维数组中的数据写入writer对象中相应的工作簿中，完成一个工作簿的数据写入，就清空相应数组中的数据，释放内存，保证内存足够使用。当二维数值中的数据都成功存入writer对象的工作簿后，在临时文件中就形成一虚拟的excel文件。
由于数组占用内存过大，当数据量庞大时，会导致服务器内存溢出，从而中断进程，上述步骤S4将二维数组中的数据存入writer对象中，可大大节省内存的使用率(通常使用对象保存数据花费的内存是数组的四分之一)。
在步骤S5中，将临时文件中的数据以压缩的方式写入目标文件中进一步包括：
锁定目标文件；
在目标文件的目录地址下创建一zip包；
给zip包添加一空目录；
将临时文件中的数据添加到空目录下的zip包中，在zip包中对writer对象中的工作簿及数据进行循环添加的操作；
当zip处理完成后，解锁目标文件。
具体的，请参看图5，在目标目录下执行一系列压缩目录的操作，并锁定该目标目录下的文件。将临时文件中的数据写入目标文件中，可采用如下语句实现：$writer->writerToFile($filePath)；
其中，$filepath为目标目录的地址及目标文件，必须真实存在(如：根目录/abc_1/def.xlsx)
本实施例以压缩的方式将临时文件中的数据写入目标文件中，需在目标目录地址下创建一个zip包，给该zip包添加一个空目录(如docProps)，将临时文件中的数据添加到docProps目录下的zip包里，在zip包里对writer对象中的工作簿及数据进行循环添加的操作，当zip处理完成后，关闭writer对象，解除对$filepath的文件锁定，恢复成正常的excel文件，以快速的处理方式，完成数据的导出。
实施例二
本实施例提供了一种大数据导出装置，请参看图6，该大数据导出装置包括：
临时文件生成模块1，用于初始化一excel临时文件，生成一writer对象；
数据获取模块2，用于根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；
工作簿生成模块3，用于将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；
数据写入模块4，用于将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；
数据导出模块5，用于将临时文件中的数据以压缩的方式写入目标文件中。
其中，数据写入模块4包括工作簿预处理单元、单元格设置单元、数据写入单元。工作簿预处理单元用于初始化工作簿，清除工作簿中的数据；单元格设置单元用于当切换至当前需要写入数据的工作簿后，从工作簿的第二行开始，将单元格的数字类型的值超过11或是特殊字符的单元格的格式设置为文本格式；数据写入单元用于按类别，将二维数组中的数据写入writer对象中相应的工作簿中，完成一个工作簿的数据写入，就清空相应数组中的数据，释放内存；当二维数值中的数据都存入writer对象中后，在临时文件中形成一虚拟的excel文件。
数据导出模块5包括文件锁定单元、zip创建单元、压缩文件单元及文件解锁单元。文件锁定单元用于锁定目标文件；zip创建单元用于在目标文件的目录地址下创建一zip包；压缩文件单元用于给zip包添加一空目录，将临时文件中的数据添加到空目录下的zip包中，在zip包中对writer对象中的工作簿及数据进行循环添加的操作；文件解锁单元用于当zip处理完成后，解锁目标文件。
上述临时文件生成模块1、数据获取模块2、工作簿生成模块3、数据写入模块4及数据导出模块5的功能及实现方法均如上述实施例一中所述，在此不再赘述。
实施例三
上述实施例二从模块化功能实体的角度对本发明大数据导出装置进行详细描述，下面从硬件处理的角度对本发明大数据导出设备进行详细描述。
请参看图7，该大数据导出设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对大数据导出设备500中的一系列指令操作。
进一步地，处理器510可以设置为与存储介质530通信，在大数据导出设备500上执行存储介质530中的一系列指令操作。
大数据导出设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。
本领域技术人员可以理解，图7示出的大数据导出设备结构并不构成对大数据导出设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的大数据导出方法中的步骤。
实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (8)

1.一种大数据导出方法，其特征在于，包括：
初始化一excel临时文件，生成一writer对象；
根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；
将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；
初始化工作簿，清除工作簿中的数据；切换至当前需要写入数据的工作簿，从工作簿的第二行开始，将单元格的数字类型的值超过11或是特殊字符的单元格的格式设置为文本格式；按类别，将二维数组中的数据写入writer对象中相应的工作簿中，完成一个工作簿的数据写入，就清空相应数组中的数据，释放内存；当二维数值中的数据都存入writer对象中后，在临时文件中形成一虚拟的excel文件；
将临时文件中的数据以压缩的方式写入目标文件中。
2.如权利要求1所述的大数据导出方法，其特征在于，所述初始化一excel临时文件，生成一writer对象进一步包括：
在C:\Windows\Temp目录下创建一excel临时文件.tmp，预加载excel临时文件的基本属性及访问权限，设置excel临时文件的单元格格式为常规，并生成一writer对象。
3.如权利要求1所述的大数据导出方法，其特征在于，所述根据类别获取数据，并组成相应的数据集进一步包括：
根据业务场景，预先设置数据的类别；
根据类别，循环查找并获取数据库中的数据，并生成相应类别的数据集；以类别名作为数据集的名称。
4.如权利要求1所述的大数据导出方法，其特征在于，所述将临时文件中的数据以压缩的方式写入目标文件中进一步包括：
锁定目标文件；
在目标文件的目录地址下创建一zip包；
给zip包添加一空目录；
将临时文件中的数据添加到空目录下的zip包中，在zip包中对writer对象中的工作簿及数据进行循环添加的操作；
当zip处理完成后，解锁目标文件。
5.一种大数据导出装置，其特征在于，包括：
临时文件生成模块，用于初始化一excel临时文件，生成一writer对象；
数据获取模块，用于根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；
工作簿生成模块，用于将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；
数据写入模块，用于将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；
数据导出模块，用于将临时文件中的数据以压缩的方式写入目标文件中；
其中，所述数据写入模块包括工作簿预处理单元、单元格设置单元、数据写入单元；
所述工作簿预处理单元用于初始化工作簿，清除工作簿中的数据；
所述单元格设置单元用于当切换至当前需要写入数据的工作簿后，从工作簿的第二行开始，将单元格的数字类型的值超过11或是特殊字符的单元格的格式设置为文本格式；
所述数据写入单元用于按类别，将二维数组中的数据写入writer对象中相应的工作簿中，完成一个工作簿的数据写入，就清空相应数组中的数据，释放内存；当二维数值中的数据都存入writer对象中后，在临时文件中形成一虚拟的excel文件。
6.如权利要求5所述的大数据导出装置，其特征在于，所述数据导出模块包括：文件锁定单元、zip创建单元、压缩文件单元及文件解锁单元；
所述文件锁定单元用于锁定目标文件；
所述zip创建单元用于在目标文件的目录地址下创建一zip包；
所述压缩文件单元用于给zip包添加一空目录，将临时文件中的数据添加到空目录下的zip包中，在zip包中对writer对象中的工作簿及数据进行循环添加的操作；
文件解锁单元用于当zip处理完成后，解锁目标文件。
7.一种大数据导出设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现如权利要求1至4中任意一项所述的大数据导出方法。
8.一种计算机可读介质，存储计算机程序，其特征在于，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至4中任意一项所述的大数据导出方法。
CN202110687132.6A 2021-06-21 2021-06-21 大数据导出方法、装置、设备及存储介质 Active CN113486097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110687132.6A CN113486097B (zh) 2021-06-21 2021-06-21 大数据导出方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110687132.6A CN113486097B (zh) 2021-06-21 2021-06-21 大数据导出方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113486097A CN113486097A (zh) 2021-10-08
CN113486097B true CN113486097B (zh) 2023-03-24

Family

ID=77935698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110687132.6A Active CN113486097B (zh) 2021-06-21 2021-06-21 大数据导出方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113486097B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968957A (zh) * 2022-04-19 2022-08-30 高途教育科技集团有限公司 一种文件共享方法、装置、存储介质、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201605217A (zh) * 2014-07-28 2016-02-01 柯呈翰 供加密檔案和／或通訊協定之多重加密方法與系統
CN105308558A (zh) * 2012-12-10 2016-02-03 维迪特克公司 基于规则的数据处理系统和方法
CN111814442A (zh) * 2020-06-29 2020-10-23 四川长虹电器股份有限公司 一种基于SpringBoot的excel数据处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454429B2 (en) * 2004-02-14 2008-11-18 Alan S Rojer Declarative Dispatch
CN100524306C (zh) * 2006-06-21 2009-08-05 千乡万才科技(中国)有限公司 一种浏览器/服务器系统中的数据导入与导出方法
EP2862051A4 (en) * 2012-06-18 2016-08-10 Actifio Inc IMPROVED DATA MANAGEMENT VIRTUALIZATION SYSTEM
CN105323064B (zh) * 2014-07-01 2018-07-10 柯呈翰 于线上加上即时文件动态标签、加密的系统及方法
US11853529B2 (en) * 2016-11-07 2023-12-26 Tableau Software, Inc. User interface to prepare and curate data for subsequent analysis
CN109977153B (zh) * 2017-12-27 2022-03-04 航天信息股份有限公司 一种表格大数据导出方法
CN111240688B (zh) * 2020-01-10 2023-08-18 深圳前海环融联易信息科技服务有限公司 excel文件的解析方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105308558A (zh) * 2012-12-10 2016-02-03 维迪特克公司 基于规则的数据处理系统和方法
TW201605217A (zh) * 2014-07-28 2016-02-01 柯呈翰 供加密檔案和／或通訊協定之多重加密方法與系統
CN111814442A (zh) * 2020-06-29 2020-10-23 四川长虹电器股份有限公司 一种基于SpringBoot的excel数据处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
inputlog：new perspective on the logging of on-line writing processes in a windows environment;Leijten M等;《computer key-stroke logging and writing Brill》;20061231;73-93 *
将GridView中的数据导出到Excel的方法探究;吴金秀等;《西部皮革》;20160825;第38卷(第16期);10-11 *

Also Published As

Publication number Publication date
CN113486097A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
US20200167344A1 (en) Method and device for writing service data in block chain system
KR20210050525A (ko) 분할 가능한 증권형 토큰
US7356541B1 (en) Processing business data using user-configured keys
CN111274045A (zh) 一种多平台对接方法、装置、计算机设备及可读存储介质
US20060059149A1 (en) Generation of anonymized data records from productive application data
EP0857334B1 (en) Corporate disclosure and repository system
CN110362542B (zh) 核电站文件编码方法、装置、计算机设备和存储介质
CN110766545A (zh) 一种银行会计分录生成方法
CN113486097B (zh) 大数据导出方法、装置、设备及存储介质
CN114298804A (zh) 一种智能对账方法、系统及计算机可读存储介质
CN101739589A (zh) 生成智能卡数据的方法及装置
CN110647577A (zh) 数据立方体的分区方法、装置、计算机设备及存储介质
JP2000207260A (ja) ハンドヘルド装置のデ―タ記憶およびデ―タ取出しのための方法および装置
CN101369953B (zh) 一种字库的网络分发方法及系统
CN101425167A (zh) 生成交易信息的方法及解析交易信息的方法
CN113076086B (zh) 元数据管理系统和使用其对模型对象进行建模的方法
CN112287032B (zh) 一种区块链数据存储方法、装置及区块链节点
CN114168581A (zh) 数据清洗方法、装置、计算机设备及存储介质
US20040064789A1 (en) System and method for generating invoices using a markup language
CN109697216B (zh) 清算交易信息处理方法、装置及系统
CN112015791B (zh) 数据处理方法、装置、电子设备及计算机存储介质
US7546304B1 (en) Configuring keys for use in processing business data
US9092747B2 (en) Statement of work analysis and resource participation assessment
CN112402955B (zh) 游戏日志记录方法及系统
US12008348B2 (en) Smart contract compiler

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 200335 floor 2, building B, No. 1358 Xiehe Road, Changning District, Shanghai

Applicant after: Shanghai baiqiu new online commerce Digital Technology Co.,Ltd.

Address before: 200335 room 2403, floor 1, building 8, No. 33, Guangshun Road, Changning District, Shanghai

Applicant before: Shanghai baiqiu e-commerce Co.,Ltd.

GR01 Patent grant
GR01 Patent grant