CN110865973B - 一种数据处理方法及设备和相关装置 - Google Patents

Abstract

本申请公开了一种数据处理方法及设备和相关装置。其中，所述方法包括：接收处理指令，其中，所述处理指令包括数据参数；向第一文件系统读取与所述数据参数匹配的第一目标数据，其中，所述第一目标数据的格式为非JSON格式；将所述第一目标数据转换为JSON格式的第二目标数据。上述方案，能够提高数据含义的明确性，避免对数据产生歧义。

Description

一种数据处理方法及设备和相关装置

技术领域

本申请涉及数据处理领域，特别是涉及一种数据处理方法及设备和相关装置。

背景技术

随着大数据及相关技术的持续发展，现有很多数据通常采用一些文件系统例如Hadoop分布式文件系统(Hadoop Distributed FileSystem，HDFS)进行存储。然而，大部分的文件系统底层存储的数据，例如HDFS文件，并不带模式说明，无从知道字段意义。因此，对该数据的后续使用处理时，例如将该数据进行解析等，容易由于该数据的含义难以明确而导致对该数据的解析产生歧义。

发明内容

本申请主要解决的技术问题是提供一种数据处理方法及设备和相关装置，能够提高数据含义的明确性，避免对数据产生歧义。

为了解决上述问题，本申请第一方面提供了一种数据处理方法，包括：接收处理指令，其中，所述处理指令包括数据参数；向第一文件系统读取与所述数据参数匹配的第一目标数据，其中，所述第一目标数据的格式为非JSON格式；将所述第一目标数据转换为JSON格式的第二目标数据。

为了解决上述问题，本申请第二方面提供了一种数据处理设备，包括存储器和处理器；所述处理器用于运行所述存储器存储的程序指令，以执行上述的方法。

为了解决上述问题，本申请第三方面提供了一种存储装置，存储有处理器可运行的程序指令，所述程序指令用于执行上述的方法。

为了解决上述问题，本申请第四方面提供了一种数据处理装置，包括：接收模块，用于接收处理指令，其中，所述处理指令包括数据参数；读取模块，用于向第一文件系统读取与所述数据参数匹配的第一目标数据，其中，所述第一目标数据的格式为非JSON格式；转换模块，用于将所述第一目标数据转换为JSON格式的第二目标数据。

上述方案中，通过将第一文件系统中的非JSON格式的第一目标数据转换成JSON格式的第二目标数据，由于JSON格式的数据含义明确，故经上述装换后，能够提高数据含义的明确性，进而可避免后续对数据产生歧义。

附图说明

图1是本申请数据处理方法一实施例的流程示意图；

图2是本申请一应用场景中第一文件系统的结构示意图；

图3是图1所示的步骤S130在另一实施例中的流程示意图；

图4是本申请数据处理方法又一实施例的流程示意图；

图5是本申请数据处理设备一实施例的结构示意图；

图6是本申请数据处理装置一实施例的结构示意图；

图7是本申请存储装置一实施例的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

本文中的第一文件系统中存储的是非JSON格式的数据(例如第一文件系统为Hadoop分布式文件系统，其存储的数据该Hadoop分布式文件系统存储的HDFS文件)，考虑后续对该数据的处理容易由于无法准确识别该数据含义而导致影响处理效果，本申请提出对该第一文件系统存储的数据首先转换成JSON格式，以便于后续对数据的处理。

JSON(JavaScript Object Notation,JS对象简谱)是一种轻量级的数据交换格式，它具体简洁和清晰的层次结构，而且易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。例如，该JSON格式用于表示对象时，其数据结构包括键名(key，表示对象的属性)和键值(value，表示对应的值)。其中，该键名代表数据含义,相当于给数据起了个名字。因此，JSON格式的数据具有明确的数据含义，故避免对数据处理时产生歧义。

进一步地，由于内容为空的JSON数据直接采用空数据表示。故如果数据中的空字段在转换为JSON格式后则为不存在。因此，转换后的数据的数据量更加精简，可减少无意义的数据存储或者在数据传输时减少对网络带宽的占用。

下面，对本申请数据处理方法及其相关装置实施例进行具体说明。

请参阅图1，图1是本申请数据处理方法一实施例的流程示意图。本实施例中，该方法由数据处理设备执行，该数据处理设备可以为能够与第一文件系统交互的任意设备，具体如服务器、电脑、手持终端等。

本实施例方法包括以下步骤：

S110：数据处理设备接收处理指令，其中，所述处理指令包括数据参数。

该数据参数即为第一文件系统中存储的数据的参数，该参数如为在第一文件系统中的存储路径、存储时间等。

例如，用户在需要进行数据处理时，触发该数据处理设备的显示界面上的处理选项，并输入相关参数如存储时间为2018年6月1日。数据处理设备接收到包含该存储时间的触发指令，即为该处理指令，数据处理设备开始执行后续步骤。

S120：数据处理设备向第一文件系统读取与数据参数匹配的第一目标数据。

本实施例的目的是为了将非JSON格式的数据转换为JSON格式的数据。故读取的第一目标数据的格式为非JSON格式。

该第一文件系统可以为用于存储数据的任意类型文件系统，例如可以为分布式文件系统。下面以第一文件系统为Hadoop分布式文件系统进行举例说明。该Hadoop分布式文件系统中存储有HDFS文件，数据处理设备在接收到处理指令时，生成包含该数据参数的读取请求，并将该读取请求发送给Hadoop分布式文件系统。Hadoop分布式文件系统根据读取请求中的数据参数，从存储的HDFS文件中查找到与之匹配的HDFS文件(例如查找到存储时间为2018年6月1日的HDFS文件)，并将查找到的HDFS文件作为该第一目标数据发送给数据处理设备。

具体地，向Hadoop分布式文件系统的读取数据过程可如下所述：请结合参阅图2，Hadoop分布式文件系统包括元数据节点(namenode)21、从元数据节点(secondarynamenode)22和多个数据节点(datanode)23。其中，Hadoop分布式文件系统上的文件被划分为块大小的多个分块，作为独立的存储单元，也即为数据块。数据节点23用于存储和检索数据块，并且定期向元数据节点21发送其所存储的数据块的列表。元数据节点21用于管理文件系统的命名空间，负责记录文件是如何分割成数据块，以及数据块与存储该数据库的数据节点之间的映射关系。从元数据节点22用于与元数据节点21进行通信，以便定期保存HDFS元数据的快照。可以理解的是，本文所述的节点之间是以功能进行区分，故实际上不同的节点可以在同一设备或者不同设备上实现。

数据处理设备安装有Hadoop分布式文件系统的客户端，数据处理设备通过运行该客户端将读取请求发送给元数据节点21，元数据节点21查找到与数据参数匹配的第一目标数据的存储位置信息，并反馈给数据处理设备。数据处理设备向与该存储位置信息相应的数据节点23发送读取请求。数据节点23响应该读取请求，并将与数据参数匹配的第一目标数据的数据块反馈给数据处理设备。即实现了向Hadoop分布式文件系统的读取数据。

向Hadoop分布式文件系统的写入数据的过程同理可如下：数据处理设备通过运行该客户端将写入请求发送给元数据节点21，元数据节点21确定用于存储该写入请求相关数据的存储位置信息，并反馈给数据处理设备。数据处理设备向与该存储位置信息相应的数据节点23发送写入请求。数据节点23响应该写入请求，并将写入请求中的对应数据块存储于自身的存储空间中。即实现了向Hadoop分布式文件系统的写入数据。

可以理解的是，在向Hadoop分布式文件系统读取或写入数据时，数据处理设备可调用MapReduce程序实现该读取或写入过程。该MapReduce作为一种分布式编程框架，能够使用多台机器上的多个进程来共同完成任务，即，在读取数据过程中，若相关数据块存储于多个数据节点上，可通过调用该MapReduce程序实现向该多个数据节点同步读取相关数据块。通过采用该分布式的读取方式，可提高单位时间内数据量的读取量(即提高了数据读取速度)，进而也可提高后续步骤中的数据转换速度，故可保证在规定时间内对大数据量的读取及转换，甚至后续的相应处理，即可满足时效性要求。

另外，上面仅是以Hadoop分布式文件系统进行示例性说明，在其他实施例中，可对其他类型的文件系统进行本数据处理方法，且其数据读取或写入过程可依据该文件系统自身的读取或写入方式进行。

S130：数据处理设备将第一目标数据转换为JSON格式的第二目标数据。

由于数据处理设备将该第一文件系统中的第一目标数据转换为JSON格式，故可明确该数据的含义，避免对数据后续使用处理时产生歧义。

在另一实施例中，数据处理设备可将第一目标数据划分为多个字段再进行转换。如图3所示，该S130包括以下子步骤：

S331：将第一目标数据按照预设规则划分为多个字段。

具体地，该预设规则可以为用户按需设定的，或者由数据处理设备自行设定。例如，数据处理设备根据历史转换记录选择的可保证高转换准确性和高转换速度的一种划分规则，其中，该数据处理设备具体可通过其预先建立的学习模型来实现该选择。

在一应用场景中，该预设规则为以预设字符作为划分界线进行划分。即，在第一目标数据中，每检测到预设字符，则将预设字符前面的字段提取作为独立一个字段，以此得到多个字段。其中，该预设字符可以包括换行字符和/或空格字符，又或者为任意标定符号字符。

在另一应用场景中，该第一目标数据为数据文件，例如可以为上述的HDFS文件。该第一目标数据包括至少一个数据块，此时，可对每个数据块进行上述划分。即，该S331包括：将所述第一目标数据的每个数据块均划分为至少一个字段。

S332：采用串行或并行方式将多个字段转换为JSON格式。

以串行方式举例，数据处理设备将划分得到的多个字段依序进行转换。其中，由于字段的内容及其长度可能会影响转换速度，故数据处理设备可根据该多个字段的内容和/或长度，调整其转换顺序，例如，将长度短的字段优先转换。

再以并行方式举例，为提高数据转换效率，数据处理设备可创建多个进程，以对该多个字段进行同步转换。例如，数据处理设备根据自身的处理能力创建两个进程，将多个字段分为两个字段队列，以利用该两个进程对该两个字段队列进行同步转换。

S333：将转换后的多个字段生成第二目标数据。

数据处理设备在将多个字段转换完成之后，将转换后的多个字段按照在第一目标数据中的位置关系进行合并，以生成第二目标数据。

请参阅图4，图4是本申请数据处理方法又一实施例的流程示意图。本实施例方法同样可以由上述数据处理设备执行，具体包括以下步骤：

S410：数据处理设备接收处理指令，其中，所述处理指令包括数据参数。

S420：数据处理设备向第一文件系统读取与数据参数匹配的第一目标数据。

其中，所述第一目标数据的格式为非JSON格式。

S430：数据处理设备将第一目标数据转换为JSON格式的第二目标数据。

S410-S430的具体描述可参阅上述方法实施例中的S110-S130中的说明，故在此不做赘述。

S440：数据处理设备将第二目标数据写入至第一文件系统中。

本实施例中，数据处理设备将转换成JSON格式的第二目标数据重新存储至第一文件系统中，以便于后续对该数据的处理。其中，该第二目标数据可存储于第一文件系统中用于存储第一目标数据的空间，即第二目标数据替代第一目标数据，存储于第一文件系统中。或者，该第二目标数据存储于第一文件系统中不同于第一目标数据存储空间的其他存储空间，即将第一目标文件和第二目标文件一并存储于第一文件系统中，且建立两个存储空间的映射关系。

具体地，向第一文件系统写入数据的方式可参考前面实施例的相关描述。另外，当第一目标数据为文件数据时，该第二目标数据也可以作为文件数据方式存储至第一文件系统中。

S450：数据处理设备在接收到传输指令时，向第一文件系统下载第二目标数据。

本实施例中，对目标数据的后续处理为将该目标数据传输至其他文件系统中。故数据处理设备作为中间节点，在接收到包含第二目标数据相关信息的传输指令时，向第一文件系统下载第二目标数据，例如数据处理设备调用自身的应用程序编程接口(API)程序将该第一文件系统中的第二目标数据下载到本地。其中，该下载方式可参阅前面实施例的读取数据方式。另外，该第二目标数据相关信息可以为前述的数据参数，该数据参数可以为第一目标数据或第二目标数据的参数。在一应用场景中，该第二目标数据相关信息为第一目标数据的存储位置，第一文件系统可根据该第一目标数据的存储位置以及第一目标数据和第二目标数据的存储空间映射关系，得到第二目标数据的存储位置，进而获取第二目标数据并反馈给数据处理设备。

S460：数据处理设备将下载得到的第二目标数据传输给第二文件系统。

该第二文件系统和第一文件系统为不同的两个类型文件系统，例如第一文件系统为Hadoop分布式文件系统，第二文件系统为文件传输协议(File Transfer Protocol，FTP)文件系统。通常，两个不同类型的文件系统，其存储的文件无法相互解析，或者难以准确解析。而本实施例通过先将第一文件系统中的目标数据转换为JSON格式，然后将JSON格式的目标数据传输给第二文件系统，以使第二文件系统能够准确解析出目标数据的含义。而且，由于JSON格式会将第一目标数据中的空字段不采用任何字符或字段表示，故转换之后的第二目标数据的数据得到精简，可减少数据传输量，提高数据传输效率。

具体地，数据处理系统将第二目标数据下载于本地之后，连接第二文件系统的运行设备(如FTP服务器)，在连接成功后将第二目标数据传输给该运行设备。其中，对于FTP文件系统，则可通过FTP传输协议将第二目标数据传输给第二文件系统。进一步地，为提高传输效率，减少对网络带宽的占用，数据处理设备可先将下载得到的所述第二目标数据进行压缩，再将压缩后的第二目标数据传输至第二文件系统。

S470：数据处理设备向与第二文件系统关联的设备发送通知消息，以通知第二目标数据已传输至第二文件系统。

为让数据调用方及时获知目标数据，在将第二目标数据成功传输至第二文件系统之后，数据处理设备调用通知接口，向与第二文件系统关联的设备发送通知消息，以通知所述第二目标数据已传输至第二文件系统。其中，该与第二文件系统关联的设备可以包括第二文件系统的运行设备、或者与该第二文件系统预先绑定的其他通信设备如手机、平板电脑等手持终端等。

为便于理解本申请数据处理方法的应用，列举一应用场景如下：第一文件系统用于存储财务系统中的客户相关信息。为了实现定时(如每天)抽取部分客户相关信息发送给催收系统。数据处理设备运行数据仓库，定时执行图4所示方法，将第一文件系统中当天存储的客户相关信息先转换成JSON格式，并下载至本地后，将该转格式后的客户相关信息发送给催收系统下的第二文件系统。在传输成功之后，向催收系统的管理员终端发送通知，以使管理员可通过催收系统从第二文件系统读取到客户相关信息，进而进行相应处理。而且，由于该客户相关信息已转换为JSON格式，故第二文件系统解析客户相关信息时不容易出错。

因此，本实施例可实现的数据的跨系统传输或调用，例如，可将待调用的数据存储于第一文件系统，并通过接口方式传递到本地，然后导出数据给调用方的第二文件系统。

请参阅图5，图5是本申请数据处理设备一实施例的结构示意图。本实施例中，该数据处理设备50包括存储器51和处理器52。其中，数据处理设备50的各个组件可通过总线耦合在一起，或者数据处理设备50的处理器分别与其他组件一一连接。

存储器51用于存储处理器52执行的程序指令以及处理器52在处理过程中的数据，其中，该存储器51包括非易失性存储部分，用于存储上述程序指令。

处理器52控制数据处理设备50的操作，处理器52还可以称为CPU(CentralProcessing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本实施例中，处理器52通过调用存储器51存储的程序指令，用于：接收处理指令，其中，所述处理指令包括数据参数；向第一文件系统读取与所述数据参数匹配的第一目标数据，其中，所述第一目标数据的格式为非JSON格式；将所述第一目标数据转换为JSON格式的第二目标数据。

在某些实施例中，处理器52执行所述将所述第一目标数据转换为JSON格式的第二目标数据，具体包括：将所述第一目标数据按照预设规则划分为多个字段，采用串行或并行方式将所述多个字段转换为JSON格式；将转换后的所述多个字段生成第二目标数据。

在某些实施例中，所述第一目标数据为数据文件，且包括至少一个数据块；处理器52执行所述将所述第一目标数据按照预设规则划分为多个字段，包括：将所述第一目标数据的每个数据块均划分为至少一个字段。

进一步地，所述预设规则可以为以预设字符作为划分界线进行划分。

在某些实施例中，数据处理设备50还可包括通信电路53，通信电路53用于与其他设备实现通信，具体可包括发送器和接收器。

处理器52还用于：将所述第二目标数据写入至所述第一文件系统中；在接收到传输指令时，向所述第一文件系统下载所述第二目标数据；通过通信电路53将下载得到的所述第二目标数据传输给第二文件系统。

进一步地，处理器52执行所述通过通信电路53将下载得到的所述第二目标数据传输给第二文件系统，可包括：将下载得到的所述第二目标数据进行压缩，并通过通信电路53将压缩后的所述第二目标数据传输至第二文件系统。

在一应用场景中，所述第二文件系统可以为FTP文件系统；处理器52执行所述通过通信电路53将压缩后的所述第二目标数据传输至第二文件系统，包括：通过通信电路53通过FTP传输协议将压缩后的第二目标数据传输给第二文件系统；处理器52还用于：通过通信电路53向与第二文件系统关联的设备发送通知消息，以通知所述第二目标数据已传输至第二文件系统。

在某些实施例中，处理器52通过调用MapReduce程序实现向所述第一文件系统读取或写入数据。

上述方案中，所述第一文件系统可以为Hadoop分布式文件系统。

在另一实施例中，该数据处理设备50的处理器52还用于执行上述任一实施例的方法。

请参阅图6，图6是本申请数据处理装置一实施例的结构示意图。本实施例中，该数据处理装置包括接收模块61、读取模块62和转换模块63。

接收模块61用于接收处理指令，其中，所述处理指令包括数据参数；

读取模块62用于向第一文件系统读取与所述数据参数匹配的第一目标数据，其中，所述第一目标数据的格式为非JSON格式；

转换模块63用于将所述第一目标数据转换为JSON格式的第二目标数据。

在某些实施例中，转换模块63包括：

划分单元，用于将所述第一目标数据按照预设规则划分为多个字段，采用串行或并行方式将所述多个字段转换为JSON格式；

生成单元，用于将转换后的所述多个字段生成第二目标数据。

在某些实施例中，所述第一目标数据可以为数据文件，且包括至少一个数据块；划分单元可具体用于：将所述第一目标数据的每个数据块均划分为至少一个字段。

进一步地，所述预设规则可以为以预设字符作为划分界线进行划分。

在某些实施例中，数据处理装置还包括写入模块64、下载模块65和传输模块66。

写入模块64用于将所述第二目标数据写入至所述第一文件系统中；

下载模块65用于在接收到传输指令时，向所述第一文件系统下载所述第二目标数据；

传输模块66用于将下载得到的所述第二目标数据传输给第二文件系统。

在某些实施例中，传输模块66具体用于：将下载得到的所述第二目标数据进行压缩，并将压缩后的所述第二目标数据传输至第二文件系统。

进一步地，所述第二文件系统可以为FTP文件系统；传输模块66可具体用于：通过FTP传输协议将压缩后的第二目标数据传输给第二文件系统；且传输模块66还可用于：向与第二文件系统关联的设备发送通知消息，以通知所述第二目标数据已传输至第二文件系统。

在某些实施例中，上述读取模块62和写入模块65可以通过调用MapReduce程序实现向所述第一文件系统读取或写入数据。

上述方案中，所述第一文件系统为Hadoop分布式文件系统；

其中，上述数据处理装置各模块具体描述可参阅上述实施例方法的相关步骤。

请参阅图7，本申请还提供一种存储装置的实施例的结构示意图。本实施例中，该存储装置70存储有处理器可运行的程序指令71，该程序指令71用于执行上述实施例中的方法。

该存储装置70具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。

在一实施例中，存储装置70还可以为如图5所示的存储器。

上述方案中，通过将第一文件系统中的非JSON格式的第一目标数据转换成JSON格式的第二目标数据，由于JSON格式的数据含义明确，故经上述装换后，能够提高数据含义的明确性，进而可避免后续对数据处理时产生歧义。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种数据处理方法，其特征在于，包括：

接收处理指令，其中，所述处理指令包括数据参数；

向第一文件系统读取与所述数据参数匹配的第一目标数据，其中，所述第一目标数据的格式为非JSON格式；所述第一目标数据在所述第一文件系统中被划分为多个数据块；

将所述第一目标数据的每个数据块按照预设规则划分为多个字段，采用串行或并行方式将所述多个字段转换为JSON格式，将转换后的多个字段按照在第一目标数据中的位置关系进行合并，以生成JSON格式的第二目标数据；所述预设规则为以换行字符和/或空格字符作为划分界线进行划分；

将所述第二目标数据写入至所述第一文件系统中，所述第二目标数据存储于所述第一文件系统中用于存储所述第一目标数据的空间或所述第二目标数据存储于所述第一文件系统中不同于第一目标数据存储空间的其他存储空间，且建立两个存储空间的映射关系。

2.根据权利要求1所述的方法，其特征在于，在将所述第一目标数据转换为JSON格式的第二目标数据之后，所述方法还包括：

将所述第二目标数据写入至所述第一文件系统中；

在接收到传输指令时，向所述第一文件系统下载所述第二目标数据；

将下载得到的所述第二目标数据传输给第二文件系统。

3.根据权利要求2所述的方法，其特征在于，所述第二文件系统为FTP文件系统；

所述将下载得到的所述第二目标数据传输给第二文件系统，包括：

将下载得到的所述第二目标数据进行压缩；

通过FTP传输协议将压缩后的第二目标数据传输给第二文件系统；

在将下载得到的所述第二目标数据传输给第二文件系统之后，所述方法还包括：

向与第二文件系统关联的设备发送通知消息，以通知所述第二目标数据已传输至第二文件系统。

4.根据权利要求1所述的方法，其特征在于，所述第一文件系统为Hadoop分布式文件系统；

通过调用MapReduce程序实现向所述第一文件系统读取或写入数据。

5.一种数据处理装置，其特征在于，包括：

接收模块，用于接收处理指令，其中，所述处理指令包括数据参数；

读取模块，用于向第一文件系统读取与所述数据参数匹配的第一目标数据，其中，所述第一目标数据的格式为非JSON格式；其中，所述第一目标数据在所述第一文件系统中被划分为多个数据块，所述多个数据块存储于多个数据节点上；

转换模块，将所述第一目标数据的每个数据块按照预设规则划分为多个字段，采用串行或并行方式将所述多个字段转换为JSON格式，将转换后的多个字段按照在第一目标数据中的位置关系进行合并，以生成JSON格式的第二目标数据；所述预设规则为以预设字符作为划分界线进行划分；

写入模块，将所述第二目标数据写入至所述第一文件系统中，所述第二目标数据存储于所述第一文件系统中用于存储所述第一目标数据的空间或所述第二目标数据存储于所述第一文件系统中不同于第一目标数据存储空间的其他存储空间，且建立两个存储空间的映射关系。

6.一种数据处理设备，其特征在于，包括存储器和处理器；

所述处理器用于运行所述存储器存储的程序指令，以执行权利要求1至4任一项所述的方法。

7.一种存储装置，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至4任一项所述的方法。

Images