CN104461516B - 一种数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理方法和装置。所述方法包括：源系统接收目标系统通过接口发送的数据交互请求；所述源系统获取所述目标系统对应的配置文件；所述源系统对所述获取的配置文件解析；所述源系统根据配置文件读取源数据；所述源系统将源数据转换成目标数据；所述源系统通过接口，向目标系统发送目标数据。本发明通过调用配置文件对不同的目标系统的数据请求统一进行处理，将不同目标系统的数据转换在源系统中实现，解决不同目标系统的数据转换需要修改源代码以及系统冗余问题，降低了处理不同目标系统间数据交互时格式转换的工作量。

Description

一种数据处理方法和装置

技术领域

本发明实施例涉及数据的交换处理领域，尤其涉及一种数据处理方法和装置。

背景技术

目前，互联网的应用大多是多个应用系统的数据协同处理，因此WebServices、SOA等接口受到越来越广泛的应用，内部的数据接口交互同样引起更大的重视。一个系统与多个系统协同操作时，不同的系统之间存在不同的数据格式，因此，为了节约开发成本及开发周期，数据灵活的转换越来越重要。

现有技术中，对于多个应用系统接口的不同协议标准，一般采取分别对待、分别处理的方法以满足不同应用系统的需要。例如，当与目标系统A开发接口时，需按协议标准，转化成目标系统A所需要的格式要求的文件或数据内容；当与目标系统B开发接口时，还需按照目标系统B的协议标准，转化成目标系统B所需要的格式要求的文件或数据内容，显然，对同样的源文件需单独设计开发数据格式处理过程。

如图1所示，一般的数据格式处理是在不同的目标系统处理插件中完成的，即在目标系统A与目标系统B中分别完成。图1中底层是源数据，上面一层代表数据处理层，即不同目标系统插件处理数据格式层。不同的目标系统封装有不同的插件，目标系统A与目标系统B分别通过插件a和插件b完成源数据的格式转化工作。当系统越来越多的时候，则插件会无限的放大，导致系统的冗余。当每一个接口发生变化时，就必须修改源代码对此时的插件做相应的处理，以适应新的要求，工作将变得十分繁杂，且工作量大。

发明内容

本发明提供一种数据处理方法和装置，以实现降低处理不同应用系统间数据交互时格式转换的工作量。

第一方面，本发明实施例提供了一种数据处理方法，包括：

源系统接收目标系统通过接口发送的数据交互请求；

所述源系统获取所述目标系统对应的配置文件；

所述源系统对所述获取的配置文件解析；

所述源系统根据配置文件读取源数据；

所述源系统将源数据转换成目标数据；

所述源系统通过接口，向目标系统发送目标数据。

进一步地，所述源系统获取所述目标系统对应的配置文件，具体包括：

获取所述源系统中与所述目标系统对应的配置文件；

在所述源系统中不包含与所述目标系统对应的配置文件时，获取接口参数，作为与所述目标系统对应的配置文件。

进一步地，所述源系统对所述获取的配置文件解析，具体包括：

依次读取配置文件中的配置项，根据配置项的内容查找相应的处理组件。

进一步地，所述根据配置文件读取源数据，具体包括：

通过反射方法得到源数据的值。

进一步地，所述源系统将源数据转换成目标数据，具体包括：

根据处理组件名称依次调用处理组件将源数据相应字段转换成目标数据字段；

将所有转换完成的目标数据字段整合为目标数据。

进一步地，所述源系统通过接口，向目标系统发送目标数据，具体包括：

向目标系统发送整合的目标数据；

在根据配置项的内容未找到相应的处理组件时，向目标系统发送源数据和提示信息。

进一步地，在所述源系统接收目标系统通过接口发送的数据交互请求之前，还包括：

配置所述源系统在启动时运行配置文件。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

数据交互请求接收模块，源系统接收目标系统通过接口发送的数据交互请求；

配置文件获取模块，用于获取所述目标系统对应的配置文件；

配置文件解析模块，用于对所述获取的配置文件解析；

源数据读取模块，用于根据配置文件读取源数据；

数据转换模块，用于将源数据转换成目标数据；

目标数据发送模块，用于通过接口，向目标系统发送目标数据。

进一步地，所述配置文件获取模块，具体用于：

获取所述源系统中与所述目标系统对应的配置文件；

在所述源系统中不包含与所述目标系统对应的配置文件时，获取接口参数，作为与所述目标系统对应的配置文件。

进一步地，其特征在于，所述配置文件解析模块，具体用于：

依次读取配置文件中的配置项，根据配置项的内容查找相应的处理组件。

进一步地，所述源数据读取模块，具体用于：

通过反射方法得到源数据的值。

进一步地，所述数据转换模块，具体包括：

数据字段转换单元，用于根据处理组件名称依次调用处理组件将源数据相应字段转换成目标数据字段；

数据整合单元，用于将所有转换完成的目标数据字段整合为目标数据。

进一步地，所述目标数据发送模块，具体用于：

向目标系统发送整合的目标数据；或，

在所述配置文件解析模块根据配置项的内容未找到相应的处理组件时，向目标系统发送源数据和提示信息。

进一步地，所述数据处理装置，还包括：

配置文件配置模块，用于配置所述源系统在启动时运行配置文件。

本发明通过调用配置文件对不同的目标系统的数据请求统一进行处理，将不同目标系统的数据转换在源系统中实现，解决不同目标系统的数据转换需要修改源代码以及系统冗余问题，降低了处理不同目标系统间数据交互时格式转换的工作量。

附图说明

图1为现有技术中不同系统间数据格式处理示意图；

图2为本发明实施例一提供的一种数据处理方法的流程图；

图3为本发明实施例二提供的一种数据处理方法的流程图；

图4为本发明实施例三提供的一种数据处理方法的流程图；

图5为本发明实施例四提供的不同系统间数据格式处理示意图；

图6为本发明实施例五提供的一种数据处理装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

本发明实施例适用于不同应用系统间的数据交互时的格式转换过程，誉为适用于多个不同应用系统同时对一个应用系统的数据进行交互的情况。本实施例的系统构架包括一个源系统和至少一个目标系统，源系统和目标系统表示不同的应用系统，其中源系统对源数据进行统一的格式处理转换为不同目标系统需要的目标数据。

图2为本发明实施例一提供的一种数据处理方法的流程图，具体包括如下操作：

110、源系统接收目标系统通过接口发送的数据交互请求；

不同目标系统都需要使用源系统中的同一源数据或文件，因此针对不同的目标系统调用各自接口向源系统发送数据交互请求。

120、所述源系统获取所述目标系统对应的配置文件；

由于不同目标系统所要求的数据内容格式一般情况下是不同的。因此，需要将源系统中的源数据转换成不同目标系统所需要的数据格式。所述配置文件制定了将源系统中的源数据转换成不同目标系统所需数据格式的规则。每个目标系统对应一个配置文件。配置文件包括多个配置项，例如：目标数据编码，目标数据字段名称，目标数据字段位置，处理组件名称等。处理组件是配置文件中配置项的具体代码实现的全集。处理组件包含了所有数据格式转换所需要的代码。每个处理组件都有相应的名称、入参、处参。按照这些参数定制不同目标系统的配置文件，并保存在所述源系统中。根据操作110中获取的目标系统的数据交互请求查找所述目标系统对应的配置文件。

优选地，在所述源系统启动时运行所有的配置文件，将配置文件加载到所述原系统的内存中，以提高数据处理效率。

130、所述源系统对所述获取的配置文件解析；

所述对配置文件解析是指依次读取配置文件中的配置项，根据配置项的内容查找相应的处理组件。

140、所述源系统根据配置文件读取源数据；

根据查询到的所述目标系统对应的配置文件读取相应的源数据，并将需要读取的源数据的所有数据字段进行封装，通过反射方法得到源数据的值。

150、所述源系统将源数据转换成目标数据；

读取目标系统对应的配置文件中配置项的各处理组件名称依次调用相应处理组件，将源数据转换成目标数据。

160、所述源系统通过接口，向目标系统发送目标数据。

将转换的目标数据通过目标系统所对应的接口发送给相应的目标系统。

本实施例的技术方案，通过在源系统中调用相应的配置文件，统一对不同目标系统所需的源数据进行处理，得到不同目标系统所需的目标数据，解决不同目标系统的数据转换需要修改源代码以及系统冗余问题，针对不同的数据格式请求，只需调用不同的配置文件，即可完成不同系统间的数据交换，减少了处理不同系统间数据交互时格式转换的开发工作量。

实施例二

图3为本发明实施例二提供的一种数据处理方法的流程图，本实施例在上述实施例一的基础上，优选地是将操作：所述源系统获取所述目标系统对应的配置文件进一步优化为操作230-240。如图3所示，该方法包括：

操作210中、接收目标系统通过接口发送的数据交互请求；

操作220中、查询源系统中是否包含与所述目标系统对应的配置文件；

当源系统中不包含与所述目标系统对应的配置文件时，执行操作230。

当源系统中包含与所述目标系统对应的配置文件时，执行操作240。

操作230中、获取接口参数，作为与所述目标系统对应的配置文件；

操作240中、获取所述源系统中与所述目标系统对应的配置文件；

操作250中、对所述获取的配置文件解析；

操作260中、根据配置文件读取源数据；

操作270中、将源数据转换成目标数据；

操作280中、通过接口，向目标系统发送目标数据。

本实施例的技术方案，当源系统中不包含与所述目标系统对应的配置文件时，通过获取接口参数，作为与所述目标系统对应的配置文件，在具备上述实施例一的有益效果的基础上，实现了在源系统中没有预存所述目标系统的配置文件的情况下，也能够获取目标系统所需的目标数据的目的。

实施例三

图4为本发明实施例三提供的一种数据处理方法的流程图，本实施例为上述实施例的进一步优化。如图4所示，该方法包括：

操作310中、接收目标系统通过接口发送的数据交互请求；

操作320中、查询源系统中是否包含与所述目标系统对应的配置文件；

当源系统中不包含与所述目标系统对应的配置文件时，执行操作330。

当源系统中包含与所述目标系统对应的配置文件时，执行操作340。

操作330中、获取接口参数，作为与所述目标系统对应的配置文件；

操作340中、获取所述源系统中与所述目标系统对应的配置文件；

操作350中、对所述获取的配置文件解析；

操作360中、根据配置文件读取源数据；

操作370中、判断根据配置项的内容是否找到相应的处理组件；

在根据配置项的内容未找到相应的处理组件时，执行操作380；

在根据配置项的内容找到相应的处理组件时，执行操作390；

操作380中、向目标系统发送源数据和提示信息。

所述提示信息以提示用户所述目标系统接收的是源数据，并提示用户单独通过其他操作实现该目标系统的数据转换。

操作390中、根据处理组件名称依次调用处理组件将源数据相应字段转换成目标数据字段；将所有转换完成的目标数据字段整合为目标数据，向目标系统发送整合的目标数据。

本实施例的技术方案，解决了不同目标系统的数据转换需要修改源代码以及系统冗余问题，针对不同的数据格式请求，只需调用不同的配置文件，即可完成不同系统间的数据交换，减少了处理不同系统间数据交互时格式转换的开发工作量。此外，对于配置文件的配置项中未包含到相应目标系统的处理组件时，通过向目标系统发送源数据和提示信息以告知用户通过其他途径得到该目标系统所需的数据。

实施例四

本发明实施例四提供一种数据处理方法的应用实例。

首先，为实现源系统对不同目标系统数据格式需求的转换，需要预先配置各种目标系统对应的配置文件。通过配置文件将源系统与目标系统关联起来，配置文件中描述了目标系统所要求转换的内容，不同目标系统的数据转换在源系统中以处理组件的形式体现。

配置文件包括多个配置项，例如：目标数据编码，目标数据字段名称，目标数据字段位置，处理组件名称等。下面列举一个目标系统的配置文件样例：

数字1,2表示目标数据字段位置

有时源数据字段内容包含特殊字符，例如？&/\，配置文件中的cdata_value配置项能够保证源数据字段内容中的特殊字符原样输出，而不是将该特殊字符也按照配置文件中的处理组件规定的规则进行格式转换处理，这样设置的好处是保证了数据内容的准确性，而且加快了数据格式转换效率。method表示处理组件名称，如果源数据字段需要多个操作处理，则method包括多个处理组件，用逗号隔开，系统对该数据字段依次调用处理组件进行处理。

图5为本发明实施例提供的不同系统间数据格式处理示意图。如图5所示，源系统接收目标系统A和B通过接口发送的数据交互请求后，分别查询与所述目标系统A和B对应的配置文件a和配置文件b。所述源系统对所述获取的配置文件解析并根据相应的配置文件读取源数据；根据所述配置文件中处理组件名称依次调用处理组件将源数据相应字段转换成目标数据字段；将所有转换完成的目标数据字段整合为目标数据，向目标系统A和B发送整合后的相应目标数据。如图5所示，目标系统所对应的是配置文件，并且是一一对应，配置文件的变化直接影响输出目标数据的不同，配置文件依赖于源数据和数据处理组件。

本发明实施例的技术方案旨在灵活、高效处理不同系统间数据交互时的格式转换，可以解决不同目标系统的数据转换需要修改源代码以及系统冗余问题，针对不同的数据格式请求，只需调用不同的配置文件，即可完成不同系统间的数据交换，减少了处理不同系统间数据交互时格式转换的开发工作量。

实施例五

图6为本发明实施例五提供的一种数据处理装置的结构示意图。该装置包括：

数据交互请求接收模块510，源系统接收目标系统通过接口发送的数据交互请求；

配置文件获取模块520，用于获取所述目标系统对应的配置文件；

配置文件解析模块530，用于对所述获取的配置文件解析；

源数据读取模块540，用于根据配置文件读取源数据；

数据转换模块550，用于将源数据转换成目标数据；

目标数据发送模块560，用于通过接口，向目标系统发送目标数据。

本实施例的技术方案，通过在源系统中调用相应的配置文件，统一对不同目标系统所需的源数据进行处理，得到不同目标系统所需的目标数据，解决不同目标系统的数据转换需要修改源代码以及系统冗余问题，针对不同的数据格式请求，只需调用不同的配置文件，即可完成不同系统间的数据交换，减少了处理不同系统间数据交互时格式转换的开发工作量。

在上述各实施例的基础上，所述配置文件获取模块，具体用于：获取所述源系统中与所述目标系统对应的配置文件；在所述源系统中不包含与所述目标系统对应的配置文件时，获取接口参数，作为与所述目标系统对应的配置文件。

所述配置文件解析模块，具体用于：依次读取配置文件中的配置项，根据配置项的内容查找相应的处理组件。

所述源数据读取模块，具体用于：通过反射方法得到源数据的值。

在上述各实施例的基础上，所述数据转换模块，具体包括：

数据字段转换单元，用于根据处理组件名称依次调用处理组件将源数据相应字段转换成目标数据字段；

数据整合单元，用于将所有转换完成的目标数据字段整合为目标数据。

在上述各实施例的基础上，所述目标数据发送模块，具体用于：向目标系统发送整合的目标数据；或，在所述配置文件解析模块根据配置项的内容未找到相应的处理组件时，向目标系统发送源数据和提示信息。

进一步地，所述数据处理装置，还包括：

配置文件配置模块，用于配置所述源系统在启动时运行配置文件。

本发明实施例所提供的数据处理装置可用于执行本发明任意实施例提供的数据处理方法，具备相应的功能模块，实现相同的有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据处理方法，其特征在于，包括：

源系统接收目标系统通过接口发送的数据交互请求；

所述源系统获取所述目标系统对应的配置文件；

所述源系统对获取的配置文件解析；

所述源系统根据配置文件读取源数据；

所述源系统将源数据转换成目标数据；

所述源系统通过接口，向目标系统发送目标数据；

所述源系统获取所述目标系统对应的配置文件，具体包括：

获取所述源系统中与所述目标系统对应的配置文件；

在所述源系统中不包含与所述目标系统对应的配置文件时，获取接口参数，作为与所述目标系统对应的配置文件；

所述配置文件包括多个配置项，所述配置项包括目标数据编码、目标数据字段名称、目标数据字段位置、处理组件名称和特殊字符原样输出；

所述源系统对所述获取的配置文件解析，具体包括：

依次读取配置文件中的配置项，根据配置项的内容查找相应的处理组件；

所述源系统将源数据转换成目标数据，具体包括：

根据处理组件名称依次调用处理组件将源数据相应字段转换成目标数据字段；

将所有转换完成的目标数据字段整合为目标数据。

2.根据权利要求1所述的数据处理方法，其特征在于，根据配置文件读取源数据，具体包括：

通过反射方法得到源数据的值。

3.根据权利要求1所述的数据处理方法，其特征在于，所述源系统通过接口，向目标系统发送目标数据，具体包括：

向目标系统发送整合的目标数据；

在根据配置项的内容未找到相应的处理组件时，向目标系统发送源数据和提示信息。

4.根据权利要求1所述的数据处理方法，其特征在于，在所述源系统接收目标系统通过接口发送的数据交互请求之前，还包括：

配置所述源系统在启动时运行配置文件。

5.一种数据处理装置，其特征在于，包括：

数据交互请求接收模块，源系统接收目标系统通过接口发送的数据交互请求；

配置文件获取模块，用于获取所述目标系统对应的配置文件；

配置文件解析模块，用于对获取的配置文件解析；

源数据读取模块，用于根据配置文件读取源数据；

数据转换模块，用于将源数据转换成目标数据；

目标数据发送模块，用于通过接口，向目标系统发送目标数据；

所述配置文件获取模块，具体用于：

获取所述源系统中与所述目标系统对应的配置文件；

在所述源系统中不包含与所述目标系统对应的配置文件时，获取接口参数，作为与所述目标系统对应的配置文件；所述配置文件包括多个配置项，所述配置项包括目标数据编码、目标数据字段名称、目标数据字段位置、处理组件名称和特殊字符原样输出；

所述配置文件解析模块，具体用于：

依次读取配置文件中的配置项，根据配置项的内容查找相应的处理组件；

所述数据转换模块，具体包括：

数据字段转换单元，用于根据处理组件名称依次调用处理组件将源数据相应字段转换成目标数据字段；

数据整合单元，用于将所有转换完成的目标数据字段整合为目标数据。

6.根据权利要求5所述的数据处理装置，其特征在于，所述源数据读取模块，具体用于：

通过反射方法得到源数据的值。

7.根据权利要求5所述的数据处理装置，其特征在于，所述目标数据发送模块，具体用于：

向目标系统发送整合的目标数据；或，

在所述配置文件解析模块根据配置项的内容未找到相应的处理组件时，向目标系统发送源数据和提示信息。

8.根据权利要求5所述的数据处理装置，其特征在于，所述数据处理装置，还包括：

配置文件配置模块，用于配置所述源系统在启动时运行配置文件。