CN110515894A

CN110515894A - 一种数据格式转换方法、装置、设备及可读存储介质

Info

Publication number: CN110515894A
Application number: CN201910712544.3A
Authority: CN
Inventors: 王超辉
Original assignee: Jinan Inspur Data Technology Co Ltd
Current assignee: Jinan Inspur Data Technology Co Ltd
Priority date: 2019-08-02
Filing date: 2019-08-02
Publication date: 2019-11-29
Anticipated expiration: 2039-08-02
Also published as: CN110515894B

Abstract

本申请公开了一种数据格式转换方法，应用于HDFS分布式文件系统，包括：获取用户通过人机交互界面输入的源数据的源路径，以及目的数据的目的路径和目的格式；按照源路径读取源数据，并确定源数据的源格式；从预设的格式转换器中调用与源格式和目的格式匹配的格式转换程序将源数据由源格式转换为目的格式，获得目的数据；所述格式转换器中存储有多种格式转换程序；按照目的路径存储目的数据。本申请针对任意需转换的源数据，均可按照用户在人机交互界面设定好的参数自动完成数据格式转换，从而提高了转换效率，也具备良好的通用性。相应地，本申请公开的一种数据格式转换装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据格式转换方法、装置、设备及可读存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种数据格式转换方法、装置、设备及可读存储介质。

背景技术

在HDFS分布式文件系统中，为了使不同数据具有相同的格式，需要对数据进行格式转换。具体为：开发人员根据源数据的格式和需要转换的目的格式编写转换程序，进而利用该程序将源数据转换为目的格式，根据此方法就可以将不同数据都转换为统一的目的格式，从而可便于对数据进行读取等操作。但是，由于HDFS分布式文件系统中的数据量比较大，若按照上述转换方式转换数据格式，将增加开发人员的工作量，也会降低数据格式转换效率。

因此，如何提高数据格式转换效率，是本领域技术人员需要解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据格式转换方法、装置、设备及可读存储介质，以提高数据格式转换效率。其具体方案如下：

第一方面，本申请提供了一种数据格式转换方法，应用于HDFS分布式文件系统，包括：

获取用户通过人机交互界面输入的源数据的源路径，以及目的数据的目的路径和目的格式；

按照源路径读取源数据，并确定源数据的源格式；

从预设的格式转换器中调用与源格式和目的格式匹配的格式转换程序将源数据由源格式转换为目的格式，获得目的数据；所述格式转换器中存储有多种格式转换程序；

按照目的路径存储目的数据。

优选地，获取用户通过人机交互界面输入的源数据的源路径，包括：

获取用户通过人机交互界面输入的多个源数据的源路径。

优选地，获取用户通过人机交互界面输入的多个源数据的源路径，包括：

获取用户通过人机交互界面输入的源数据的不完整源路径；

利用正则匹配方式查找与不完整源路径对应的所有完整源路径，并将所有完整源路径确定为源路径。

优选地，按照目的路径存储目的数据之后，还包括：

获取用户输入的删除指令，并根据删除指令删除源数据。

优选地，按照目的路径存储目的数据之后，还包括：

将源路径，目的路径和目的格式存储至历史参数记录表。

优选地，按照目的路径存储目的数据之后，还包括：

调用与目的格式对应的数据读取程序读取目的数据。

优选地，还包括：

记录源数据的格式转换日志。

第二方面，本申请提供了一种数据格式转换装置，应用于HDFS分布式文件系统，包括：

获取模块，用于获取用户通过人机交互界面输入的源数据的源路径，以及目的数据的目的路径和目的格式；

读取模块，用于按照源路径读取源数据，并确定源数据的源格式；

转换模块，用于从预设的格式转换器中调用与源格式和目的格式匹配的格式转换程序将源数据由源格式转换为目的格式，获得目的数据；所述格式转换器中存储有多种格式转换程序；

存储模块，用于按照目的路径存储目的数据。

第三方面，本申请提供了一种数据格式转换设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序，以实现前述公开的数据格式转换方法。

第四方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，计算机程序被处理器执行时实现前述公开的数据格式转换方法。

通过以上方案可知，本申请提供了一种数据格式转换方法，应用于HDFS分布式文件系统，包括：获取用户通过人机交互界面输入的源数据的源路径，以及目的数据的目的路径和目的格式；按照源路径读取源数据，并确定源数据的源格式；从预设的格式转换器中调用与源格式和目的格式匹配的格式转换程序将源数据由源格式转换为目的格式，获得目的数据；所述格式转换器中存储有多种格式转换程序；按照目的路径存储目的数据。

可见，本申请可为用户提供人机交互界面，通过该人机交互界面，用户可输入源数据的源路径，目的数据的目的路径和目的格式；也就是说，在进行数据转换之前，用户通过人机交互界面已经设定好了需要转换的源数据、转换的目的格式、以及转换完成后，转换得到的数据存储在什么地方。因此按照用户输入的源路径可在HDFS分布式文件系统读取到相应的源数据，这样可确定源数据的源格式；进一步地，可从存储有多种格式转换程序的预设格式转换器中调用与当前源格式和目的格式匹配的格式转换程序来转换源数据，如此可获得目的格式的目的数据，从而将目的格式的目的数据存储在HDFS分布式文件系统中。针对任意需转换的源数据，用户均可以在人机交互界面设定好与数据格式转换相关的参数，进而按照这些参数可自动完成数据格式转换，提高了数据格式转换的效率；且本申请中的格式转换器中存储有多种格式转换程序，从而使本申请具备良好的通用性。

相应地，本申请提供的一种数据格式转换装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的第一种数据格式转换方法流程图；

图2为图1中S101步骤的细化流程图；

图3为本申请公开的第二种数据格式转换方法流程图；

图4为本申请公开的一种数据格式转换装置示意图；

图5为本申请公开的一种数据格式转换设备示意图；

图6为本申请公开的一种数据格式转换系统示意图；

图7为本申请公开的一种可视化操作页面示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，HDFS分布式文件系统中的数据量比较大，若按照现有转换方式转换数据格式，将增加开发人员的工作量，也会降低数据格式转换效率。为此，本申请提供了一种数据格式转换方案，能够提高数据格式转换效率，也具备良好的通用性。

参见图1所示，本申请实施例公开了第一种数据格式转换方法，应用于HDFS分布式文件系统，包括：

S101、获取用户通过人机交互界面输入的源数据的源路径，以及目的数据的目的路径和目的格式；

其中，用户可通过键盘在人机交互界面写入源路径，还可以利用鼠标选择源路径。用户通过人机交互界面输入的目的数据的目的路径和目的格式可以是人机交互界面设定的供用户选择的目的路径和目的格式，也可以是用户自由输入的目的路径和目的格式。

S102、按照源路径读取源数据，并确定源数据的源格式；

其中，可以预设不同格式的数据的读取程序，这样便可利用读取程序逐行读取任意格式的数据。

S103、从预设的格式转换器中调用与源格式和目的格式匹配的格式转换程序将源数据由源格式转换为目的格式，获得目的数据；

其中，格式转换器中存储有多种格式转换程序。格式转换器中存储的格式转换程序众多，如：Sequence转Text的格式转换程序，Text转Sequence的格式转换程序。Sequence是二进制数据格式；Text是文本数据格式。为了便于区分，对于不同格式转换程序可进行标识，例如：用“1、2、3……N”作为各个格式转换程序的标识。当然还可以用“Sequence-Text”、“Text-Sequence”标识各个格式转换程序，以便于从格式转换器中找到与当前源格式和目的格式匹配的格式转换程序。

S104、按照目的路径存储目的数据。

在转换得到目的格式的目的数据后，可按照用户输入的目的数据的目的路径，存储目的数据在HDFS分布式文件系统。这样便可以调用与目的格式对应的数据读取程序读取目的数据。

请参见图2，图2为图1中S101步骤的细化流程图。图1中的S101的具体实现步骤包括：

S201、获取用户通过人机交互界面输入的源数据的不完整源路径，以及目的数据的目的路径和目的格式；

S202、利用正则匹配方式查找与不完整源路径对应的所有完整源路径，并将所有完整源路径确定为源路径。

在本实施例中，当想要同时转换多个源数据，且这多个源数据具有类似的源路径时，用户可在人机交互界面输入的不完整源路径。

例如：想要同时转换3个源数据，这3个源数据的源路径分别为：

hdfs:192.168.1.0:9000/tmp/sequence/test1，

hdfs:192.168.1.0:9000/tmp/sequence/test2，

hdfs:192.168.1.0:9000/tmp/sequence/test3。

那么用户可在人机交互界面输入hdfs:192.168.1.0:9000/tmp/sequence/test，进而可利用正则匹配方式查找与hdfs:192.168.1.0:9000/tmp/sequence/test对应的真实路径，而查找到的路径就是完整源路径，也就是：

hdfs:192.168.1.0:9000/tmp/sequence/test1，

hdfs:192.168.1.0:9000/tmp/sequence/test2，

hdfs:192.168.1.0:9000/tmp/sequence/test3。

这样可便于用户操作，提高用户体验。

当然，还可以存储用户输入的历史源路径、历史目的路径和历史目的格式，这样用户再次输入这些参数时，可调用历史参数，以供用户选择。也就是将源路径，目的路径和目的格式存储至历史参数记录表。

可见，本申请实施例公开了第一种数据格式转换方法，该方法针对任意需转换的源数据，均可以按照用户在人机交互界面设定好的参数自动完成数据格式转换，从而提高了数据格式转换的效率；且本实施例中的格式转换器中存储有多种格式转换程序，从而使本实施例具备了良好的通用性。

参见图3所示，本申请实施例公开了第二种数据格式转换方法，应用于HDFS分布式文件系统，包括：

S301、获取用户通过人机交互界面输入的多个源数据的源路径，以及目的数据的目的路径和目的格式；

具体的，用户可在人机交互界面同时输入多个源数据的源路径，从而可将多个源数据同时转换为目的格式。例如：用户可在人机交互界面输入如下源路径：

hdfs:192.168.1.0:9000/tmp/sequence/test1，

hdfs:192.168.1.0:9000/tmp/sequence/test2，

hdfs:192.168.1.0:9000/tmp/sequence/test3。

这样便可将这三个源路径分别对应的源数据同时转换为目的格式。其中，对这三个源路径分别对应的源数据进行转换后，可获得这三个源数据分别对应的目的数据，这三个目的数据可存储为同一目的路径下的不同文件，也可存储为同一目的路径下的同一文件。

S302、按照源路径读取源数据，并确定源数据的源格式；

S303、从预设的格式转换器中调用与源格式和目的格式匹配的格式转换程序将源数据由源格式转换为目的格式，获得目的数据；

其中，格式转换器中存储有多种格式转换程序；

S304、按照目的路径存储目的数据；

S305、获取用户输入的删除指令，并根据删除指令删除源数据。

在本实施例中，进行数据格式转换的过程可记录至HDFS分布式文件系统中的日志系统中，从而获得源数据的格式转换日志，格式转换日志中可以记录：源数据的名称、源路径、源格式；目的数据的名称、目的路径、目的格式；转换过程调用的格式转换程序的标识信息等。

需要说明的是，本实施例中的其他实现步骤与上述实施例相同或类似，故本实施例在此不再赘述。

由上可见，本实施例公开了第二种数据格式转换方法，该方法针对任意需转换的源数据，均可以按照用户在人机交互界面设定好的参数自动完成数据格式转换，从而提高了数据格式转换的效率；且本实施例中的格式转换器中存储有多种格式转换程序，从而使本实施例具备了良好的通用性。

下面对本申请实施例提供的一种数据格式转换装置进行介绍，下文描述的一种数据格式转换装置与上文描述的一种数据格式转换方法可以相互参照。

参见图4所示，本申请实施例公开了一种数据格式转换装置，应用于HDFS分布式文件系统，包括：

获取模块401，用于获取用户通过人机交互界面输入的源数据的源路径，以及目的数据的目的路径和目的格式；

读取模块402，用于按照源路径读取源数据，并确定源数据的源格式；

转换模块403，用于从预设的格式转换器中调用与源格式和目的格式匹配的格式转换程序将源数据由源格式转换为目的格式，获得目的数据；所述格式转换器中存储有多种格式转换程序；

存储模块404，用于按照目的路径存储目的数据。

在一种具体实施方式中，获取模块具体用于：

获取用户通过人机交互界面输入的多个源数据的源路径。

在一种具体实施方式中，获取模块包括：

获取单元，用于获取用户通过人机交互界面输入的源数据的不完整源路径；

查找单元，用于利用正则匹配方式查找与不完整源路径对应的所有完整源路径，并将所有完整源路径确定为源路径。

在一种具体实施方式中，还包括：

删除模块，用于获取用户输入的删除指令，并根据删除指令删除源数据。

在一种具体实施方式中，还包括：

参数存储模块，用于将源路径，目的路径和目的格式存储至历史参数记录表。

在一种具体实施方式中，还包括：

调用模块，用于调用与目的格式对应的数据读取程序读取目的数据。

在一种具体实施方式中，还包括：

记录模块，用于记录源数据的格式转换日志。

其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本实施例提供了一种数据格式转换装置，包括：获取模块、读取模块、转换模块以及存储模块。首先由获取模块获取用户通过人机交互界面输入的源数据的源路径，以及目的数据的目的路径和目的格式；然后读取模块按照源路径读取源数据，并确定源数据的源格式；进而转换模块从预设的格式转换器中调用与源格式和目的格式匹配的格式转换程序将源数据由源格式转换为目的格式，获得目的数据；所述格式转换器中存储有多种格式转换程序；最后存储模块按照目的路径存储目的数据。如此各个模块之间分工合作，各司其职，从而提高了转换效率，也使方案具备了良好的通用性。

下面对本申请实施例提供的一种数据格式转换设备进行介绍，下文描述的一种数据格式转换设备与上文描述的一种数据格式转换方法及装置可以相互参照。

参见图5所示，本申请实施例公开了一种数据格式转换设备，包括：

存储器501，用于保存计算机程序；

处理器502，用于执行所述计算机程序，以实现上述任意实施例公开的方法。

下面对本申请实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据格式转换方法、装置及设备可以相互参照。

一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的数据格式转换方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

请参见图6，图6为本申请公开的一种数据格式转换系统示意图。如图6所示，该系统包括：设置于客户端的可视化操作页面，数据读取器，格式转换器，数据写入器和数据清除器。

其中，可视化操作页面可以为web页面，用户可在可视化操作页面填写需要转换的数据路径(该路径为HDFS分布式文件系统上的路径)，格式转换后的数据的存储路径(该存储路径为HDFS分布式文件系统上的路径)，目的格式，完成后是否清除源数据。同时还提供“提交”按钮，可视化操作页面可参见图7。可视化操作页面即为上文提及的人机交互界面。

其中，源数据的路径表单可为单路径和多路径。当填写多个路径时，不同路径用“，”隔开。

具体的，单路径可填写为：

hdfs:192.168.1.0:9000/tmp/sequence/test-r-00000。

多路径可直接填写完整的多个路径，例如：

hdfs:192.168.1.0:9000/tmp/sequence/test1，

hdfs:192.168.1.0:9000/tmp/sequence/test2，

hdfs:192.168.1.0:9000/tmp/sequence/test3。

多路径还可以仅填写不完整路径，以待系统利用正则匹配方式查找相应的路径，不完整路径可填写为：hdfs:192.168.1.0:9000/tmp/sequence/test*。其中，“*”表示任意路径后缀，如上述所列的“1、2、3”等。当用户在可视化操作页面填写hdfs:192.168.1.0:9000/tmp/sequence/test*时，系统可自动查询到如下路径：

hdfs:192.168.1.0:9000/tmp/sequence/test1，

hdfs:192.168.1.0:9000/tmp/sequence/test2，

hdfs:192.168.1.0:9000/tmp/sequence/test3，

……

hdfs:192.168.1.0:9000/tmp/sequence/testN。

那么，上述查询到的所有路径即为源数据的源路径。

其中，用户在可视化操作页面填写的源数据路径、目的数据路径、目的数据格式、源数据是否删除，这些均可看作传递参数，当用户点击提交按钮后，系统可获取到这些参数，并按照这些参数执行相应的步骤。

例如：传递参数包括：

源数据路径为：hdfs:192.168.1.0:9000/tmp/sequence/test-r-00000；目的数据路径为：hdfs:192.168.1.0:9000/tmp/text/test-text-r-00000；目的数据格式为：Text；选择删除源数据。

数据读取器用于按照待转换的数据文件路径读取该路径下的数据文件，并识别该数据文件中的数据格式，并根据其数据格式调用对应的格式读取程序，然后逐行读取数据。

其中，数据读取器具体用于：获取源数据路径下的文件，识别文件中数据的格式；根据格式调用对应格式的读取程序进行数据读取。例如：test-r-0000文件，识别其为Sequence格式二进制文件，进而调用读取Sequence二进制文件的程序进行读取数据。

格式转换器用于调用与源格式和目的格式匹配的格式转换程序，以利用格式转换程序完成格式转换。

其中，格式转换器具体用于：获取待转换的数据，逐行读取数据；同时将读取到的数据逐行转换为目的格式。例如：获取Sequence格式的文件test-r-0000，逐行读取文件test-r-0000中的数据，将逐行读取到的数据由二进制byte转换为字符串String型，获取Text对象，以达到将数据由Sequence转换为Text的目的。

数据写入器用于按照转换后的数据文件的存储路径将转换后的数据完整写入HDFS分布式文件系统。

其中，数据写入器具体用于：调用写操作函数将转换后的数据存储至用户在可视化操作页面填写的目的数据路径下。

数据清除器用于写入转换后的数据后，对源数据执行清除操作。

其中，若用户在可视化操作页面选中“是”，则在数据写入后，数据清除器就会删除源数据路径中的文件；若用户在可视化操作页面选中“否”，则在数据写入后，数据清除器不会启动，将保留源数据。

可见，在该系统中，通过可视化操作页面，用户易于填写源数据路径、目的数据路径、目的数据格式、源数据是否删除，用户填写的这些参数可传递给数据读取器，格式转换器，数据写入器和数据清除器，从而可完成数据格式转换过程，最终输出目的格式的数据，达到将不同格式的数据转换为统一格式的目的。

本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。

本文中应用了具体个例对本申请的源理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种数据格式转换方法，其特征在于，应用于HDFS分布式文件系统，包括：

按照所述源路径读取所述源数据，并确定所述源数据的源格式；

从预设的格式转换器中调用与所述源格式和所述目的格式匹配的格式转换程序将所述源数据由所述源格式转换为所述目的格式，获得所述目的数据；所述格式转换器中存储有多种格式转换程序；

按照所述目的路径存储所述目的数据。

2.根据权利要求1所述的数据格式转换方法，其特征在于，所述获取用户通过人机交互界面输入的源数据的源路径，包括：

获取用户通过人机交互界面输入的多个源数据的源路径。

3.根据权利要求2所述的数据格式转换方法，其特征在于，所述获取用户通过人机交互界面输入的多个源数据的源路径，包括：

获取用户通过人机交互界面输入的源数据的不完整源路径；

利用正则匹配方式查找与所述不完整源路径对应的所有完整源路径，并将所有完整源路径确定为所述源路径。

4.根据权利要求2所述的数据格式转换方法，其特征在于，所述按照所述目的路径存储所述目的数据之后，还包括：

获取用户输入的删除指令，并根据所述删除指令删除所述源数据。

5.根据权利要求1所述的数据格式转换方法，其特征在于，所述按照所述目的路径存储所述目的数据之后，还包括：

将所述源路径，所述目的路径和所述目的格式存储至历史参数记录表。

6.根据权利要求1所述的数据格式转换方法，其特征在于，所述按照所述目的路径存储所述目的数据之后，还包括：

调用与所述目的格式对应的数据读取程序读取所述目的数据。

7.根据权利要求1至6任一项所述的数据格式转换方法，其特征在于，还包括：

记录所述源数据的格式转换日志。

8.一种数据格式转换装置，其特征在于，应用于HDFS分布式文件系统，包括：

读取模块，用于按照所述源路径读取所述源数据，并确定所述源数据的源格式；

转换模块，用于从预设的格式转换器中调用与所述源格式和所述目的格式匹配的格式转换程序将所述源数据由所述源格式转换为所述目的格式，获得所述目的数据；所述格式转换器中存储有多种格式转换程序；

存储模块，用于按照所述目的路径存储所述目的数据。

9.一种数据格式转换设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的数据格式转换方法。

10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据格式转换方法。