CN104007984B - 一种转换数据的方法及装置 - Google Patents

Abstract

本发明公开了一种转换数据的方法及装置，以实现灵活地转换各种格式的数据的目的。例如，该方法可以包括：针对需要被转换的数据，生成包含转换规则的若干个作业流；读取为所述作业流配置的参数文件，其中，所述参数文件中包括元素与对该元素进行转换所需的转换规则之间的对应关系；在所述作业流执行时，针对所述作业流需要被转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被转换的数据中的元素进行转换。

Description

一种转换数据的方法及装置

技术领域

本发明涉及数据处理领域，特别涉及一种转换数据的方法及装置。

背景技术

在IBM大型机环境中，主机的数据格式与外围系统所能识别的数据格式通常不同。主机为了能够与外围系统进行数据交换，通常会将主机的数据经过格式转换，转换为外围系统所能识别的数据格式，再将转换后的数据下传给外围系统。

为了将大型机数据转换为外围系统所能识别的格式，通常要根据被转换的数据的格式以及转换后的格式进行转换程序的总体设计、编写相应的程序代码，对程序代码进行测试。经过测试确定程序代码可用后，利用程序代码对这一种格式的数据进行转换。

但是，目前的转换程序只能针对一种格式的数据进行固定格式的转换。当被转换的数据的格式发生变化，或转换后的格式需要变化时，例如，增加或改变字段、或字段的属性变化时，则需要重新编写转换程序。因此，转换效率较低，不利于灵活的转换数据。

发明内容

有鉴于此，本发明的目的在于提供一种转换数据的方法及装置以实现灵活的转换数据的目的。

在本发明实施例的第一个方面，提供了一种转换数据的方法。例如，该方法可以包括：针对需要被转换的数据，生成包含转换规则的若干个作业流；读取为所述作业流配置的参数文件，其中，所述参数文件中包括元素与对该元素进行转换所需的转换规则之间的对应关系；在所述作业流执行时，针对所述作业流需要被转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被转换的数据中的元素进行转换。

在本发明实施例的第二个方面，提供了一种转换数据的装置。例如，该装置可以包括：作业流生成单元，用于针对需要被转换的数据，生成包含转换规则的若干个作业流；参数配置单元，用于读取为所述作业流配置的参数文件，其中，所述参数文件中包括元素与对该元素进行转换所需的转换规则之间的对应关系；转换单元，用于在所述作业流执行时，针对所述作业流需要被转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被转换的数据中的元素进行转换。

可见本发明具有如下有益效果：

由于本发明实施例针对需要被转换的数据，生成包含转换规则的若干个作业流，因此，作业流中可以按需包含用于实现不同转换功能的多个转换规则，且，本发明实施例在作业流执行时，读取为作业流配置的参数文件，针对所述作业流对应的需要被转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被转换的数据中的元素进行转换，因此，只需将参数文件中元素与对该元素进行转换所需的转换规则之间的对应关系进行调整，即可随时灵活的对不同格式的数据进行转换，而不需要重新编写转换程序。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种转换数据的方法流程示意图之一；

图2为本发明实施例提供的参数文件部分内容示意图

图3为本发明实施例提供的一种转换数据的方法流程示意图之二；

图4为本发明实施例提供的作业流模板参数示意图；

图5为本发明实施例提供的一种转换数据的装置结构示意图之一；

图6为本发明实施例提供的一种转换数据的装置结构示意图之二。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

例如，参见图1，为本发明实施例提供的转换数据的方法流程示意图之一。如图1所示，该实施例可以包括：

S110、针对需要被转换的数据，生成包含转换规则的若干个作业流。

需要说明的是，本发明实施例中，为了能够灵活的针对不同格式的数据进行转换，包含在作业流中的转换规则可以为具有不同转换功能的多个转换规则。

还需要说明的是，本发明实施例中需要被转换的数据的格式不限。例如，在IBM大型机环境下的主机中的数据可以为数据表。为了便于对主机中的数据表进行转换以及下发，在一种可能的实现方式中，还从主机的数据表下载出需要被转换的数据，并将下载得到的数据保存为文件，针对这些文件进行数据转换以及下发。例如，可以一表下载成一个文本文件，也可以一表拆分下载成多个文本文件，也可以多表下载成一个文本文件，本发明中并不进行限制。在该实现方式中，需要被转换的数据中的元素可以指字段及其属性。

针对需要被转换的数据，可以根据整个处理流程(如，包括从数据表下载成文件开始、到数据转换、以及下传给外围系统的整个流程)中的各个步骤，生成包含转换规则的若干个作业流。例如，每个作业流可以对应一份需要被转换的数据。需要说明的的是，各个作业流之间的转换流程可以相同，也可以不同，不同作业流可以是针对同一份需要被转换的数据的不同转换步骤的不同转换流程，也可以是针对不同份需要被转换的数据的相同转换流程，对此本发明并不进行限制。

S120、读取为所述作业流配置的参数文件，其中，所述参数文件中包括元素与对该元素进行转换所需的转换规则之间的对应关系。

需要说明的是，不同元素对应的转换规则可以相同也可以不同，具体根据转换需要在参数文件中进行设置。

S130、在所述作业流执行时，针对所述作业流需要被转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被转换的数据中的元素进行转换。

在一些可能的实现方式中，需要被转换的数据从数据表下载得到，并保存为文件。相应地，参数文件中可以包括转换前的字段及其属性、转换后的字段及其属性、以及将所述转换前的字段及其属性转换为所述转换后的字段及其属性所需的转换规则之间的对应关系。在所述作业流执行时，可以针对所述作业流需要被转换的文件中的字段及其属性，根据所述参数文件中的对应关系，调用所针对的字段及其属性对应的转换规则，对需要被转换的文件中的字段及其属性进行转换。该实现方式中，如果数据表中的字段及其属性发生变化，例如，增加字段、减少字段、字段名发生改变、或字段长度发生改变，只要相应对参数文件中的相关字段及其属性进行修改，调用相应的转换规则即可对需要被转换的数据进行转换，可见，即使原数据表格式发生改变，只要调整参数文件中的对应关系即可驱动数据转换，实现了灵活对各种格式的数据进行转换的目的。

例如，参见图2所示的参数文件部分内容示意图。如图所示，参数文件中的一条对应关系的记录可以包括：数据表在数据库中的名称、转换前数据名称，该转换前数据的字段名称、该转换前数据的字段的序号、起始位、字段长度、字段类型；将该转换前数据进行转换所需要的转换规则(如图2所示可以由转换类型标识转换规则)；以及，与该转换前数据对应的转换后数据的名称、该转换后数据的字段名称、起始位、字段长度、字段类型。可以理解的是，在参数文件中设置哪些字段与转换规则的对应关系具体可以根据需要被转换的数据表结构和转换后的数据格式进行设置，在此不再赘述。

另外，在实际应用中，由于需要被转换的数据的数据格式多变，因此，可以预先根据多种数据格式的转换需求设置相应的转换规则，本发明实施例中对转换规则的具体转换功能并不进行限制。例如，在上述实现方式中，转换规则可以包括用于日期格式转换的转换规则、用于账号加校验位的转换规则、用于敏感字段屏蔽的转换规则、用于数字类型转换的转换规则、以及用于字段重定义的转换规则、等等。例如，用于日期格式转换的转换规则可以为将“YYYY-MM-DD”的格式转换为“MM月DD，YYYY”的格式。还需要说明的的是，转换规则的功能实现具体采用的程序语言不限，例如，在IBM大型机环境下，可以采用COBOL程序实现。

可见，应用本发明实施例提供的方法，由于针对需要被转换的数据，生成包含转换规则的若干个作业流，因此，作业流中可以按需包含用于实现不同转换功能的多个转换规则，且，本发明实施例在作业流执行时，读取为作业流配置的参数文件，针对所述作业流对应的需要被转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被转换的数据中的元素进行转换，因此，只需将参数文件中元素与对该元素进行转换所需的转换规则之间的对应关系进行调整，即可随时灵活的对不同格式的数据进行转换，而不需要重新编写转换程序代码。

再例如，参见图3，为本发明实施例提供的转换数据的方法流程示意图之二。如图3所示，该实施例中所述针对需要被转换的数据，生成包含转换规则的若干个作业流可以包括：

S111、针对需要被转换的数据，生成包含转换规则的若干个作业流模板，其中，所述作业流模板中包括等待填充参数的位置；

S112、接收向所述若干个作业流模板的等待填充参数的位置写入的参数；

S113、将等待填充参数的位置已写入参数的所述若干个作业流模板生成可执行的若干个作业流。

需要说明的是，等待填充参数的位置可写入的参数具体为何种参数不限。具体可以根据实施需要进行设置。例如，在一些可能的实现方式中，可以在作业流模板中设置如图4所示的参数表。如图4所示，其中可以留有等待填充参数的位置，例如，“含义说明”所在栏可以为等待填充参数的位置。例如，在作业流模板中填充这些参数可以决定需要被转换的数据表名称、下载得到的文件的文件名、是否拼接文件以及去掉行号、下载模式(如全量或变量)、省份信息、是否分省下传等等。另外，还可以在等待填充参数的位置填充需要被转换的数据源目录、转换后的数据输出目录、配置的参数文件所在目录等信息。在作业流模板中等待填充参数的位置已写入参数后，一旦提交，即可将等待填充参数的位置已写入参数的所述若干个作业流模板，利用自动生成脚本工具生成可执行的若干个作业流，并可以相应执行。其中，自动生成脚本工具的具体实现方式不限，例如，自动生成脚本工具可以将作业流模板中的脚本源码与填充的参数按照脚本书写语法要求进行拼接从而生成可执行的脚本。

可见，应用本发明该实施例，只需向作业流模板中的等待填充参数的位置填充相应参数，对参数文件进行配置，即可自动生成可执行脚本对需要被转换的数据进行转换，从而达到转换程序自动生成、灵活地对各种格式的数据进行转换的目的。

与上述转换数据的方法相应地，本发明实施例还提供了一种转换数据的装置。例如，参见5，为本发明实施例提供的转换数据的装置的结构示意图之一。如图5所示，该装置可以包括：

作业流生成单元510，可以用于针对需要被转换的数据，生成包含转换规则的若干个作业流；

参数配置单元520，可以用于读取为所述作业流配置的参数文件，其中，所述参数文件中包括元素与对该元素进行转换所需的转换规则之间的对应关系；

转换单元530，可以用于在所述作业流执行时，针对所述作业流需要被转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被转换的数据中的元素进行转换。

可见，配置本发明实施例提供的装置，由于作业流生成单元510针对需要被转换的数据，生成包含转换规则的若干个作业流，因此，作业流中可以按需包含用于实现不同转换功能的多个转换规则，且，本发明实施例参数配置单元520在作业流执行时，读取为作业流配置的参数文件，转换单元530针对所述作业流对应的需要被转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被转换的数据中的元素进行转换，因此，只需将参数文件中元素与对该元素进行转换所需的转换规则之间的对应关系进行调整，即可随时灵活的对不同格式的数据进行转换，而不需要重新编写转换程序。

在一些可能的实现方式中，如图6所示，该装置还可以包括：文件下载单元540，可以用于从数据表下载出需要被转换的数据，并保存为文件；其中，所述参数文件中包括转换前的字段及其属性、转换后的字段及其属性、以及将所述转换前的字段及其属性转换为所述转换后的字段及其属性所需的转换规则之间的对应关系。相应地，所述转换单元530，可以用于在所述作业流执行时，针对所述作业流需要被转换的文件中的字段及其属性，根据所述参数文件中的对应关系，调用所针对的字段及其属性对应的转换规则，对需要被转换的文件中的字段及其属性进行转换。

在上述实现方式中，可以预先根据多种数据格式的转换需求设置相应的转换规则。例如，所述转换规则可以包括：用于日期格式转换的转换规则、用于账号加校验位的转换规则、用于敏感字段屏蔽的转换规则、用于数字类型转换的转换规则、以及用于字段重定义的转换规则。

在另一些可能的实现方式中，所述作业流生成单元510可以包括：模板生成子单元511，可以用于针对需要被转换的数据，生成包含转换规则的若干个作业流模板，其中，所述作业流模板中包括等待填充参数的位置；参数填充子单元512，可以用于接收向所述若干个作业流模板的等待填充参数的位置写入的参数；自动生成子单元513，可以用于将等待填充参数的位置已写入参数的所述若干个作业流模板生成可执行的若干个作业流。需要说明的是，将等待填充参数的位置已写入参数的所述若干个作业流模板生成可执行的若干个作业流的具体实现方式不限。例如，所述自动生成子单元513，可以用于将等待填充参数的位置已写入参数的所述若干个作业流模板，利用自动生成脚本工具生成可执行的若干个作业流。在该实现方式中，由于只需向作业流模板中的等待填充参数的位置填充相应参数，对参数文件进行配置，即可自动生成可执行脚本对需要被转换的数据进行转换，从而可以达到灵活地对各种格式的数据进行转换的目的。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种转换数据的方法，其特征在于，包括：

针对需要被格式转换的数据，生成包含转换规则的若干个作业流；

读取为所述作业流配置的参数文件，其中，所述参数文件中包括元素与对该元素进行格式转换所需的转换规则之间的对应关系；

在所述作业流执行时，针对所述作业流需要被格式转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被格式转换的数据中的元素进行格式转换；其中，所述针对需要被格式转换的数据，生成包含转换规则的若干个作业流包括：

针对需要被格式转换的数据，生成包含转换规则的若干个作业流模板，其中，所述作业流模板中包括等待填充参数的位置；

接收向所述若干个作业流模板的等待填充参数的位置写入的参数；

将等待填充参数的位置已写入参数的所述若干个作业流模板生成可执行的若干个作业流。

2.根据权利要求1所述的方法，其特征在于，所述将等待填充参数的位置已写入参数的所述若干个作业流模板生成可执行的若干个作业流包括：

将等待填充参数的位置已写入参数的所述若干个作业流模板，利用自动生成脚本工具生成可执行的若干个作业流。

3.根据权利要求1所述的方法，其特征在于，还包括：从数据表下载出需要被格式转换的数据，并保存为文件；

其中，所述参数文件中包括转换前的字段及其属性、转换后的字段及其属性、以及将所述转换前的字段及其属性转换为所述转换后的字段及其属性所需的转换规则之间的对应关系；

所述在所述作业流执行时，针对所述作业流需要被格式转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被格式转换的数据中的元素进行格式转换包括：在所述作业流执行时，针对所述作业流需要被格式转换的文件中的字段及其属性，根据所述参数文件中的对应关系，调用所针对的字段及其属性对应的转换规则，对需要被格式转换的文件中的字段及其属性进行格式转换。

4.根据权利要求3所述的方法，其特征在于，所述转换规则包括：用于日期格式转换的转换规则、用于账号加校验位的转换规则、用于敏感字段屏蔽的转换规则、用于数字类型转换的转换规则、以及用于字段重定义的转换规则。

5.一种转换数据的装置，其特征在于，包括：

作业流生成单元，用于针对需要被格式转换的数据，生成包含转换规则的若干个作业流；

参数配置单元，用于读取为所述作业流配置的参数文件，其中，所述参数文件中包括元素与对该元素进行格式转换所需的转换规则之间的对应关系；

转换单元，用于在所述作业流执行时，针对所述作业流需要被格式转换的数据中的元素，根据所述参数文件中的对应关系，调用所针对的元素对应的转换规则，对需要被格式转换的数据中的元素进行格式转换；

其中，所述作业流生成单元包括：

模板生成子单元，用于针对需要被格式转换的数据，生成包含转换规则的若干个作业流模板，其中，所述作业流模板中包括等待填充参数的位置；

参数填充子单元，用于接收向所述若干个作业流模板的等待填充参数的位置写入的参数；

自动生成子单元，用于将等待填充参数的位置已写入参数的所述若干个作业流模板生成可执行的若干个作业流。

6.根据权利要求5所述的装置，其特征在于，所述自动生成子单元，用于将等待填充参数的位置已写入参数的所述若干个作业流模板，利用自动生成脚本工具生成可执行的若干个作业流。

7.根据权利要求5所述的装置，其特征在于，还包括：文件下载单元，用于从数据表下载出需要被格式转换的数据，并保存为文件；

其中，所述参数文件中包括转换前的字段及其属性、转换后的字段及其属性、以及将所述转换前的字段及其属性转换为所述转换后的字段及其属性所需的转换规则之间的对应关系；

所述转换单元，用于在所述作业流执行时，针对所述作业流需要被格式转换的文件中的字段及其属性，根据所述参数文件中的对应关系，调用所针对的字段及其属性对应的转换规则，对需要被格式转换的文件中的字段及其属性进行格式转换。

8.根据权利要求7所述的装置，其特征在于，所述转换规则包括：用于日期格式转换的转换规则、用于账号加校验位的转换规则、用于敏感字段屏蔽的转换规则、用于数字类型转换的转换规则、以及用于字段重定义的转换规则。