CN117708050A - 数据处理方法、装置、终端设备以及存储介质 - Google Patents

Abstract

本申请一种公开了数据处理方法、装置、终端设备以及存储介质，涉及数据库存储领域，其方法包括：读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件，本发明降低了数据库资源开销，避免系统崩溃的风险。

Description

数据处理方法、装置、终端设备以及存储介质

技术领域

本申请涉及数据库存储领域，尤其涉及一种数据处理方法、装置、终端设备以及存储介质。

背景技术

为了提升系统的吞吐量及可扩展性，交易系统通常会通过分库分表的方式进行横向扩展以提升系统的承载能力，这样交易系统的交易数据就分布在多个分库。

在后续对账、清算、入账等处理过程中，往往需要收集各个分库的数据，根据各个分库收集的数据生成一个完整的文件并存储在本地数据库。然而，这种方案缺陷非常明显，如果处理涉及的数据多，本地数据库需要承载大量的数据处理任务，且上述完整的文件需要占用大量的本地数据库磁盘空间，造成本地数据库开销过大，容易导致系统因本地数据库空间用尽而崩溃。

发明内容

本申请的主要目的在于提供一种数据处理方法、装置、终端设备以及存储介质，旨在降低数据库资源开销，避免系统崩溃的风险。

为实现上述目的，本申请提供一种数据处理方法，应用于数据处理应用平台，所述数据处理方法包括：

读取业务应用的原始数据；

对所述原始数据进行数据转换处理，得到推送文件；

将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。

可选地，所述对所述原始数据进行数据转换处理，得到推送文件的步骤包括：

将所述原始数据中的字段信息进行拼接，得到原始字符串；

将所述原始字符串以指定编码进行字节数组转换，得到转换后的字节数组；

对所述转换后的字节数组进行组合，得到所述推送文件。

可选地，所述将所述推送文件以文件输出流的形式推送至远程文件系统的步骤包括：

创建所述文件输出流；

将所述推送文件以追加的方式写入所述文件输出流并推送至所述远程文件系统；

当所述推送文件写入完毕时，关闭所述文件输出流。

可选地，所述当所述推送文件写入完毕时，关闭所述文件输出流的步骤之后还包括：

获取远程业务系统发送的临时文件的原始信息量和临时文件的最终信息量；

获取所述推送文件的信息量；

判断所述临时文件的最终信息量是否等于所述临时文件的原始信息量和所述推送文件的信息量之和；

若是，则判断若干个数据处理应用平台的若干个分库的数据是否传输完成；

若是，则发送数据推送完成信号至所述远程文件系统。

可选地，所述对所述原始数据进行数据转换处理，得到推送文件的步骤还包括：

判断是否获取文件推送权限时，当已获取文件推送权限时，对所述原始数据进行数据转换处理，得到所述推送文件。

为实现上述目的，本申请提供一种数据处理方法，应用于远程文件系统，所述数据处理方法包括：

接收数据处理应用平台以文件输出流的形式推送的推送文件，所述推送文件由所述数据处理应用平台对原始数据进行数据转换处理得到；

将所述推送文件进行合并，得到汇总文件。

可选地，所述将所述推送文件进行合并，得到汇总文件的步骤包括：

创建临时文件；

将所述推送文件合并写入所述临时文件；

当接收到数据处理应用平台发送的数据推送完成信号时，将所述临时文件转为正式文件，得到所述汇总文件。

本申请实施例还提出一种数据处理装置，所述数据处理装置包括：

数据获取模块，用于读取业务应用的原始数据；

数据处理模块，用于对所述原始数据进行数据转换处理，得到推送文件；

数据推送模块，用于将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。

本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上所述的数据处理方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。

本申请实施例提出的数据处理方法、装置、终端设备以及存储介质，通过读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。在接收到数据处理指令时，读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，由于远程文件系统的数据库不在本地，节省了本地数据库资源并同时因无需在本地产生文件，降低数据库资源开销，避免系统崩溃的风险。

附图说明

图1为本申请数据处理装置所属终端设备的功能模块示意图；

图2为本申请数据处理方法第一示例性实施例的流程示意图；

图3为本申请涉及的数据交易应用和远程文件系统交互示意图；

图4为本申请涉及的数据转换处理和文件推送流程示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：通过读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。在接收到数据处理指令时，读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，由于远程文件系统的数据库不在本地，节省了本地数据库资源并同时因无需在本地产生文件，降低数据库资源开销，避免系统崩溃的风险。

本申请实施例考虑到，为了提升系统的吞吐量及可扩展性，交易系统通常会通过分库分表的方式进行横向扩展以提升系统的承载能力，这样交易系统的交易数据就分布在多个分库。

在后续对账、清算、入账等处理过程中，往往需要收集各个分库的数据，根据各个分库收集的数据生成一个完整的文件并存储在本地数据库。然而，这种方案缺陷非常明显，如果处理涉及的数据多，本地数据库需要承载大量的数据处理任务，且上述完整的文件需要占用大量的本地数据库磁盘空间，造成本地数据库开销过大，容易导致系统因本地数据库空间用尽而崩溃。

基于此，本申请实施例提出一种解决方案，在接收到数据处理指令时，读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，由于远程文件系统的数据库不在本地，节省了本地数据库资源并同时因无需在本地产生文件。

具体地，参照图1，图1为本申请数据处理装置所属终端设备的功能模块示意图。该数据处理装置可以为独立于终端设备的、能够进行数据处理的装置，也可以通过硬件或软件的形式承载于终端设备上。

在本实施例中，该数据处理装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。

存储器130中存储有操作系统以及数据处理程序，读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件存储于该存储器130中；输出模块110可为显示屏、扬声器等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。

其中，存储器130中的数据处理程序被处理器执行时实现以下步骤：

读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。

进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：

将所述原始数据中的字段信息进行拼接，得到原始字符串；将所述原始字符串以指定编码进行字节数组转换，得到转换后的字节数组；对所述转换后的字节数组进行组合，得到所述推送文件。

进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：

创建所述文件输出流；将所述推送文件以追加的方式写入所述文件输出流并推送至所述远程文件系统；当所述推送文件写入完毕时，关闭所述文件输出流。

进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：

获取远程业务系统发送的临时文件的原始信息量和临时文件的最终信息量；获取所述推送文件的信息量；判断所述临时文件的最终信息量是否等于所述临时文件的原始信息量和所述推送文件的信息量之和；若是，则判断若干个数据处理应用平台的若干个分库的数据是否传输完成；若是，则发送数据推送完成信号至所述远程文件系统。

进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：

判断是否获取文件推送权限时，当已获取文件推送权限时，对所述原始数据进行数据转换处理，得到所述推送文件。

进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：

接收数据处理应用平台以文件输出流的形式推送的推送文件，所述推送文件由所述数据处理应用平台对原始数据进行数据转换处理得到；将所述推送文件进行合并，得到汇总文件。

进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：

创建临时文件；将所述推送文件合并写入所述临时文件；当接收到数据处理应用平台发送的数据推送完成信号时，将所述临时文件转为正式文件，得到所述汇总文件。

本实施例通过上述方案，通过读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。在接收到数据处理指令时，读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，由于远程文件系统的数据库不在本地，节省了本地数据库资源并同时因无需在本地产生文件，降低数据库资源开销，避免系统崩溃的风险。

基于上述终端设备架构但不限于上述架构，提出本申请方法实施例。

参照图2，图2为本申请数据处理方法第一示例性实施例的流程示意图。

本发明一实施例提供一种数据处理方法，该方法包括：

步骤S10，读取业务应用的原始数据；

为了提升系统的吞吐量及可扩展性，交易系统通常会通过分库分表的方式进行横向扩展以提升系统的承载能力，这样交易系统的交易数据就分布在多个分库。

在后续对账、清算、入账等处理过程中，往往需要收集各个分库的数据，根据各个分库收集的数据生成一个完整的文件并存储在本地数据库。然而，这种方案缺陷非常明显，如果处理涉及的数据多，本地数据库需要承载大量的数据处理任务，且上述完整的文件需要占用大量的本地数据库磁盘空间，造成本地数据库开销过大，容易导致系统因本地数据库空间用尽而崩溃。

因此，本实施例提出在接收到数据处理指令时，读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，由于远程文件系统的数据库不在本地，节省了本地数据库资源并同时因无需在本地产生文件，避免了文件对程序本地磁盘空间的占用，避免系统崩溃的风险。

本实施例应用于数据处理系统。

具体地，如图3所示，本实施例共涉及到3个模块：业务应用(交易应用)、数据处理应用平台和远程文件系统。其中，业务应用和数据处理应用平台都是多分库应用，业务应用主要负责业务处理，数据处理应用平台负责对原始数据进行处理产生推送文件，远程文件系统负责推送文件的合并与存储。

具体地，由于业务信息存储在业务应用的多个分库中，因此需要在多个业务应用对应的分库中读取原始数据。

步骤S20，对所述原始数据进行数据转换处理，得到推送文件；

考虑到后续需要在远程文件系统中合并数据，为了符合远程文件系统的要求，可以对原始数据进行数据转换处理，得到推送文件。可以理解地，远程文件系统要求特定的数据格式或结构，而有些原始数据的格式可能不符合要求。

可以理解地，将经过数据转换处理的推送文件，推送到远程文件系统，有助于推送文件的集成、归档和备份。并且可以更好地保留历史数据，并为后续分析和应用提供支持。

具体地，数据转换处理方式可以是数据归一化和标准化，具体通过对数据进行归一化或标准化处理，将其转换为统一的数据格式和单位，以方便后续的数据分析和应用；也可以是数据编码转换，具体将原始数据的编码格式转换为目标编码格式，例如将UTF-8编码的数据转换为GBK编码的数据等，也可以是数据格式转换，具体将原始数据转换为目标数据格式，例如将CSV文件转换为JSON或XML格式，或将关系型数据库中的数据转换为非关系型数据格式等；也可以是数据分割和合并，具体将原始数据按照一定规则进行分割或合并，以满足不同的数据需求，例如将大文件分割成小文件、合并多个文件等。

步骤S30，将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件；

具体地，如图3所示，可以通过多个数据处理应用平台读取多个业务应用(交易应用)的原始数据，然后数据处理应用平台将原始数据处理成推送文件，然后数据处理应用平台(多个)将其推送文件以文件输出流的形式推送至远程文件系统(一个)，最后远程文件系统将多个推送文件合并成一个汇总文件。可以理解地，汇总文件包含了所有原始数据的信息，并且在远程文件系统的数据库中存储，不占用本地资源。

具体地，通过使用文件输出流来推送文件，可以支持将大文件分段传输，避免一次性将整个文件读入内存造成内存溢出的问题，同时能够保证传输数据的顺序和完整性，减少数据传输过程中的丢失或损坏。

此外，文件输出流将文件直接写入到网络连接中，可以实现高效的文件传输。

具体地，在远程文件系统中合并推送文件，可以避免本地合并文件所可能存在的资源限制和效率问题。如果在本地合并文件，需要将所有分片文件下载到本地进行合并，可能会占用大量的内存和磁盘空间，并且耗费较长的时间。而在远程文件系统中，可以直接将所有分片文件上传到同一个目录下，再由远程文件系统进行文件合并和汇总，可以更加高效地完成文件合并的任务。

此外，远程文件系统还具有良好的文件管理和备份功能，能够对文件进行版本控制、权限管理和数据备份等操作，从而保证数据的安全性和可靠性。

本申请实施例提出的数据处理方法，通过读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。在接收到数据处理指令时，读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，由于远程文件系统的数据库不在本地，节省了本地数据库资源并同时因无需在本地产生文件，降低数据库资源开销，避免系统崩溃的风险。

基于第一实施例，提出本申请第二实施例，本申请第二实施例与第一实施例的区别在于：

对步骤S20，对所述原始数据进行数据转换处理，得到推送文件的步骤进行细化，其中该步骤可以包括：

步骤S21，将所述原始数据中的字段信息进行拼接，得到原始字符串；

步骤S22，将所述原始字符串以指定编码进行字节数组转换，得到转换后的字节数组；

步骤S23，对所述转换后的字节数组进行组合，得到所述推送文件。

具体地，将原始数据中多个字段信息组合在一起，得到原始字符串，然后对原始字符串进行编码统一化处理得到转换后的字节数组，最后将转换后的字节数组进行组合得到推送文件。

字段拼接是为了将原始数据中的各个字段信息组合成一条完整的记录，以便于后续的处理和传输。在实际场景中，原始数据通常以多个字段的形式存储，例如CSV文件、数据库表等，每个字段代表了数据中的一个属性或特征，通过字段拼接可以将这些属性组合在一起，形成原始字符串。

指定编码转换是为了将原始字符串按照一定的编码规则转换成转换后的字节数组，在进行传输和存储时能够保证数据的正确性和一致性。不同的编码方式对字符集的解析和表示方式有所不同，如果没有统一的编码规则，会导致在不同的系统或软件中出现乱码、格式错误等问题。因此，在将原始字符串转换为字节数组时，需要明确指定编码方式。

将转换后的字节数组进行组合，可以将多个字节数组按照一定的顺序组合在一起，形成一个更大的字节数组，从而构成推送文件。这种方式可以避免一次性将整个文件读入内存造成内存溢出的问题，同时能够保证传输数据的顺序和完整性，减少数据传输过程中的丢失或损坏。

本申请实施例提出的数据处理方法，通过将所述原始数据中的字段信息进行拼接，得到原始字符串将所述原始字符串以指定编码转换成字节数组并进行组合，得到所述推送文件,提高文件推送的可实施性。

基于第一实施例，提出本申请第三实施例，本申请第三实施例与第一实施例的区别在于：

对步骤S30，将所述推送文件以文件输出流的形式推送至远程文件系统的步骤进行细化，其中细化的步骤可以包括：

步骤S31，创建所述文件输出流；

步骤S32，将所述推送文件以追加的方式写入所述文件输出流并推送至所述远程文件系统；

步骤S33，当所述推送文件写入完毕时，关闭所述文件输出流。

考虑到以追加的方式写入文件输出流是为了在已有文件的末尾添加新的数据，而不是覆盖原有的内容，可以通过推送文件以追加的方式写入文件输出流，上述方式常用于将多个数据块追加到同一个文件中，保持数据的累积性和完整性。

具体地，由于各个数据处理应用平台有对应一个或多个推送文件，每个推送文件都需要按顺序一个接一个推送至远程文件系统，因此，创建文件输出流后，将推送文件以追加的方式写入所述文件输出流并推送至所述远程文件系统，当每个数据处理应用平台的推送文件写入完毕时，关闭所述文件输出流。

可以理解地，在推送文件的情况下，如果每次都使用覆盖的方式写入文件输出流，那么每次推送时都会将之前已写入的内容清空，只保留最新的推送内容。这样做可能会导致之前的推送数据丢失，无法记录或追踪历史推送记录。

而以追加的方式写入文件输出流，则可以将每次推送的数据追加到文件的末尾，保留之前的推送数据，并且能够形成一个完整的推送历史记录。这样做有助于后续的数据分析、审计和回溯。

以追加的方式写入文件输出流能够满足推送数据的累积和保留历史记录的需求，更适合于推送文件的场景。

本申请实施例提出的数据处理方法，通过创建所述文件输出流；将所述推送文件以追加的方式写入所述文件输出流并推送至所述远程文件系统；当所述推送文件写入完毕时，关闭所述文件输出流,够满足推送数据的累积和保留历史记录的需求，更适合于推送文件的场景。

基于第二实施例，提出本申请第四实施例，本申请第四实施例与第二实施例的区别在于：

对步骤S33，当所述推送文件写入完毕时，关闭所述文件输出流的步骤之后进行补充，其中补充的步骤可以包括：

步骤S34，获取远程业务系统发送的临时文件的原始信息量和临时文件的最终信息量；

步骤S35，获取所述推送文件的信息量；

步骤S36，判断所述临时文件的最终信息量是否等于所述临时文件的原始信息量和所述推送文件的信息量之和；

步骤S37，若是，则判断若干个数据处理应用平台的若干个分库的数据是否传输完成；

步骤S38，若是，则发送数据推送完成信号至所述远程文件系统。

考虑到数据推送过程可能有误导致数据丢失或损坏，因此需要判断临时文件的最终信息量是否正确。

具体地，先获取远程业务系统发送的临时文件的原始信息量和临时文件的最终信息量，在获取数据处理应用平台的推送文件的信息量。判断所述临时文件的最终信息量是否等于所述临时文件的原始信息量和所述推送文件的信息量之和，若是，则数据推送过程顺利，若否，则数据推送过程可能有误导致数据丢失或损坏。

进一步地，为了进一步地确定各个数据处理应用平台的推送文件完整地推送到远程文件系统，需要检查数据处理应用平台的分库数据是否全部传输完成，以确保所有数据都已经被正确地处理和传输。

具体地，在原始数据处理之前，会初始化文件传输控制记录，得到控制记录lock，lock为N，N为已经传输的数据处理应用平台。可以理解地，当数据处理应用平台一个接一个完成文件推送时，N会随着递加，因此可以通过检测N是否等于涉及的数据处理应用平台数，判断若干个数据处理应用平台的若干个分库的数据是否传输完成。

最后，在数据推送完成后，需要向远程文件系统发送信号通知推送完成，以便后续的数据处理和管理。

本申请实施例提出的数据处理方法，通过获取远程业务系统发送的临时文件的原始信息量和临时文件的最终信息量；获取所述推送文件的信息量；判断所述临时文件的最终信息量是否等于所述临时文件的原始信息量和所述推送文件的信息量之和；若是，则判断若干个数据处理应用平台的若干个分库的数据是否传输完成；若是，则发送数据推送完成信号至所述远程文件系统,确保所有数据都已经被正确地处理和传输。

基于第一实施例，提出本申请第五实施例，本申请第五实施例与第一实施例的区别在于：

对步骤S20，对所述原始数据进行数据转换处理，得到推送文件的步骤进行细化，其中该步骤可以包括：

步骤S24，判断是否获取文件推送权限时，当已获取文件推送权限时，对所述原始数据进行数据转换处理，得到所述推送文件。

具体地，数据处理应用平台各分库待数据收集完成后，对交易数据进行预处理，预处理完成后尝试获取文件推送权限，如果没有获取到文件推送权限则等待一段时间后重新获取权限。

获取文件推送权限后，会对原始数据进行数据转换，得到推送文件，再把推送文件推送至远程文件系统。

这是因为，在推送数据时，需要访问远程文件系统或其他目标位置，可能需要进行身份认证、授权等操作才能够进行数据传输。

同时，获取文件推送权限也可以帮助确保数据传输的安全性和可靠性。只有授权的用户或应用程序才能够访问目标位置，避免了未经授权的访问和数据泄露的风险。因此，在进行数据推送之前，需要确保已经获取了相应的权限，并且可以在安全和合规的条件下进行数据传输。

本申请实施例提出的数据处理方法，通过判断是否获取文件推送权限时，当已获取文件推送权限时，对所述原始数据进行数据转换处理，得到所述推送文件,确保数据传输的安全性和可靠性。

提出本申请第六实施例。

步骤S40，接收数据处理应用平台以文件输出流的形式推送的推送文件，所述推送文件由所述数据处理应用平台对原始数据进行数据转换处理得到；

步骤S50，将所述推送文件进行合并，得到汇总文件。

本实施例应用于远程文件系统。

在接收到数据处理指令时，数据处理应用平台读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，节省了本地数据库资源并同时因无需在本地产生文件，避免了文件对程序本地磁盘空间的占用，避免系统崩溃的风险。

数据处理应用平台可以对原始数据进行数据转换处理，得到推送文件。

在远程文件系统中合并推送文件，可以避免本地合并文件所可能存在的资源限制和效率问题。如果在本地合并文件，需要将所有分片文件下载到本地进行合并，可能会占用大量的内存和磁盘空间，并且耗费较长的时间。而在远程文件系统中，可以直接将所有分片文件上传到同一个目录下，再由远程文件系统进行文件合并和汇总，可以更加高效地完成文件合并的任务。

本申请实施例提出的数据处理方法，通过接收数据处理应用平台以文件输出流的形式推送的推送文件，所述推送文件由所述数据处理应用平台对原始数据进行数据转换处理得到；将所述推送文件进行合并，得到汇总文件,降低数据库资源开销，避免系统崩溃的风险。

基于第六实施例，提出本申请第七实施例，本申请第七实施例与第X实施例的区别在于：

步骤S50，将所述推送文件进行合并，得到汇总文件的步骤进行细化，其中细化的步骤可以包括：

步骤S51，创建临时文件；

步骤S52，将所述推送文件合并写入所述临时文件；

步骤S53，当接收到数据处理应用平台发送的数据推送完成信号时，将所述临时文件转为正式文件，得到所述汇总文件。

具体地，远程文件系统创建临时文件，以接收数据处理应用平台推送的推送文件，在接收数据处理应用平台推送的推送文件时，将推送文件按顺序写入临时文件，当接收到数据处理应用平台发送的数据推送完成信号时，意味着推送结束，数据处理应用平台的所有分库数据传输完成后，重命名临时文件，将临时文件转成正式文件(汇总文件)。

具体地，创建临时文件是为了确保数据的完整性和可靠性，在数据传输过程中，可能会出现网络故障、程序崩溃等情况，导致数据传输不完整或损坏。因此，在将推送文件合并成汇总文件之前，需要先将它们写入到一个临时文件中，以避免对原始数据造成影响，如果在合并过程中出现了错误，可以及时停止操作，并删除临时文件，从而避免对正式数据造成影响。

将所述推送文件合并写入所述临时文件的目的是为了方便数据处理和管理，将多个推送文件合并成一个汇总文件可以更方便地进行数据分析、查询和处理。同时，将推送文件写入临时文件中还可以避免对原始文件的误操作，例如修改或删除原始文件。

此外，可以确保原始数据的完整性和准确性，同时也有助于数据备份和恢复工作。

本申请实施例提出的数据处理方法，通过创建临时文件；将所述推送文件合并写入所述临时文件；当接收到数据处理应用平台发送的数据推送完成信号时，将所述临时文件转为正式文件，得到所述汇总文件,方便数据处理和管理。

最后，可以将本申请的所有实施例组合，得到如图4所示的数据处理方案。具体地，当远程文件系统数据处理指令时，远程文件系统创建临时文件.tmp文件，数据处理应用平台接收到处理指令时，初始化文件传输控制记录，控制记录lock为N。

进一步地，数据处理应用平台各分库待数据收集完成后，对交易数据进行预处理，完成后尝试获取文件推送权限，如果没有获取到文件推送权限则等待一段时间后重新获取权限。

进一步地，数据处理应用平台获取到数据推送权限后，打开远程文件系统连接，获取远程服务器目标文件大小并记录下来，建文件输出流，读取原始数据，将原始数据中的字段拼接成字符串，然后将字符串根据指定编码转换成字节数组，得到推送文件并以追加的方式写入文件输出流，传输到远程文件系统，累计推送数据的字节大小，循环如此直至数据库中数据读取并上传完成，关闭文件输出流。待推送文件推送完成后重新获取远程文件字节大小，检查原始文件字节大小加上推送数据字节是否等于新文件的字节大小，关闭远程服务器连接。如果相等则认为传输完成，如果不相等则认为传输失败。

进一步地，数据处理应用平台检查数据处理应用平台的各个分库的数据是否传输完成，待所有分库数据传输完成后，重命名文件，远程文件系统将临时文件转成正式文件。

此外，本申请实施例还提出一种数据处理装置，所述数据处理装置包括：

数据获取模块，用于读取业务应用的原始数据；

数据处理模块，用于对所述原始数据进行数据转换处理，得到推送文件；

数据推送模块，用于将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。

本实施例实现数据处理的原理及实施过程，请参照上述各实施例，在此不再赘述。

此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上所述的数据处理方法的步骤。

由于本数据处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。

由于本数据处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

相比现有技术，本申请实施例提出的数据处理方法、装置、终端设备以及存储介质，通过读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。在接收到数据处理指令时，读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，由于远程文件系统的数据库不在本地，节省了本地数据库资源并同时因无需在本地产生文件，降低数据库资源开销，避免系统崩溃的风险。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于数据处理应用平台，所述数据处理方法包括：

读取业务应用的原始数据；

对所述原始数据进行数据转换处理，得到推送文件；

将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。

2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述原始数据进行数据转换处理，得到推送文件的步骤包括：

将所述原始数据中的字段信息进行拼接，得到原始字符串；

将所述原始字符串以指定编码进行字节数组转换，得到转换后的字节数组；

对所述转换后的字节数组进行组合，得到所述推送文件。

3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述推送文件以文件输出流的形式推送至远程文件系统的步骤包括：

创建所述文件输出流；

将所述推送文件以追加的方式写入所述文件输出流并推送至所述远程文件系统；

当所述推送文件写入完毕时，关闭所述文件输出流。

4.根据权利要求3所述的数据处理方法，其特征在于，所述当所述推送文件写入完毕时，关闭所述文件输出流的步骤之后还包括：

获取远程业务系统发送的临时文件的原始信息量和临时文件的最终信息量；

获取所述推送文件的信息量；

判断所述临时文件的最终信息量是否等于所述临时文件的原始信息量和所述推送文件的信息量之和；

若是，则判断若干个数据处理应用平台的若干个分库的数据是否传输完成；

若是，则发送数据推送完成信号至所述远程文件系统。

5.根据权利要求1所述的数据处理方法，其特征在于，所述对所述原始数据进行数据转换处理，得到推送文件的步骤还包括：

判断是否获取文件推送权限时，当已获取文件推送权限时，对所述原始数据进行数据转换处理，得到所述推送文件。

6.一种数据处理方法，其特征在于，其特征在于，应用于远程文件系统，所述数据处理方法包括：

接收数据处理应用平台以文件输出流的形式推送的推送文件，所述推送文件由所述数据处理应用平台对原始数据进行数据转换处理得到；

将所述推送文件进行合并，得到汇总文件。

7.根据权利要求6所述的数据处理方法，其特征在于，所述将所述推送文件进行合并，得到汇总文件的步骤包括：

创建临时文件；

将所述推送文件合并写入所述临时文件；

当接收到数据处理应用平台发送的数据推送完成信号时，将所述临时文件转为正式文件，得到所述汇总文件。

8.一种数据处理装置，其特征在于，所述数据处理装置包括：

数据获取模块，用于读取业务应用的原始数据；

数据处理模块，用于对所述原始数据进行数据转换处理，得到推送文件；

数据推送模块，用于将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法的步骤。