CN111274350B - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据处理方法、装置、计算机设备和存储介质，所述方法包括：接收数据接收请求，数据接收请求中包含目标数据的数据结构标识信息；根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置；根据第一预设指定字段确定数据存储设备的目标数据结构；接收目标数据，根据目标数据结构将目标数据存储到数据存储设备。上述方法对分散在各物理服务器上的数据进行统一管理以提高分散数据的管理效率。

Description

数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

一般情况下，各种业务产生的文本文件的数据存储在不同的物理服务器上。当需要查看或者下载不同业务的文本文件的数据时，需要登录到各个物理服务器上进行数据下载或者由各物理服务器上开放文件服务来进行数据下载与查询。

由于不同业务的文本文件的数据分散在不同的物理服务器上，使用者获取不同业务的文本文件的数据时需要登录到各物理服务器上进行，操作成本高，并且针对分散在各个物理服务器上的文本文件的分散数据的管理效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够对分散在各物理服务器上的数据进行统一管理以提高分散数据的管理效率的数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，该方法包括：接收数据接收请求，数据接收请求中包含目标数据的数据结构标识信息；根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置；根据第一预设指定字段确定数据存储设备的目标数据结构；接收目标数据，根据目标数据结构将目标数据存储到数据存储设备。

在其中一个实施例中，根据第一预设指定字段确定数据存储设备的目标数据结构，包括：根据数据结构标识信息从数据存储设备中获取目标数据的第二预设指定字段；当第一预设字段与第二预设字段相同时，根据第二预设指定字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第一预设子字段时，在数据存储设备的字段列表增加第一预设子字段，根据增加的第一预设子字段与第二预设指定字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第二预设字段中包含有第一预设字段未包含的第二预设子字段时，从第二预设字段中获取第三预设子字段，第三预设子字段为第二预设字段中除第二预设子字段外的预设子字段，根据第三预设子字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第四预设子字段以及第二预设字段中包含有第一预设字段未包含的第五预设子字段时，在数据存储设备的字段列表增加第四预设子字段并从第二预设字段中获取第六预设子字段，第六预设子字段为第二预设字段中除第五预设子字段外的预设子字段，根据第六预设子字段以及增加的第四预设子字段确定数据存储设备的目标数据结构。

在其中一个实施例中，数据处理方法还包括：从数据结构标识信息中提取出目标数据的第一目标字段；根据数据结构标识信息从数据存储设备中获取目标数据的第二目标字段；根据第一目标字段和第二目标字段确定数据存储设备的待选字段；根据第一预设指定字段确定数据存储设备的目标数据结构，包括：根据第一预设指定字段以及待选字段确定数据存储设备的目标数据结构。

在其中一个实施例中，根据目标数据结构将目标数据存储到数据存储设备，包括：获取预设定界符；根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据；根据目标数据结构将第一数据和第二数据存储到数据存储设备。

在其中一个实施例中，预设定界符包括预设字段名定界符和预设字段定界符，根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据，包括：根据预设字段名定界符从目标数据中提取第一数据的第一字段名以及提取第二数据的第二字段名；根据预设字段定界符从目标数据中提取第一数据以及提取第二数据；根据目标数据结构将第一数据和第二数据存储到数据存储设备，包括：根据目标数据结构、第一字段名和第二字段名将第一数据和第二数据存储到数据存储设备。

在其中一个实施例中，根据第一预设指定字段确定数据存储设备的目标数据结构，包括：根据数据结构标识信息检测数据存储设备中是否包含目标数据的候选数据结构信息；若是，则根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构；若否，则根据数据结构标识信息在数据存储设备中创建候选数据结构信息，并根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构。

一种数据处理方法，该方法包括：按照预设数据读取规则读取多条数据；根据预设数据标识符将多条数据进行数据合并处理，得到合并处理后的多条数据；根据预设数据结构对合并处理后的多条数据进行数据结构配置处理，将配置后的合并处理后的多条数据作为目标数据；获取目标数据的数据结构标识信息；根据数据结构标识信息生成数据接收请求；向目标设备发送数据接收请求，数据接收请求用于指示目标设备根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置，并根据第一预设指定字段确定数据存储设备的目标数据结构，以根据目标数据结构将目标数据存储到数据存储设备。

一种数据处理装置，该装置包括：接收模块，用于接收数据接收请求，数据接收请求中包含目标数据的数据结构标识信息；获取模块，用于根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置；确定模块，用于根据第一预设指定字段确定数据存储设备的目标数据结构；存储模块，用于接收目标数据，根据目标数据结构将目标数据存储到数据存储设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例方法的步骤。

上述数据处理方法、装置、计算机设备和存储介质，任一物理服务器向数据统一管理服务器发送数据接收请求以请求数据统一管理服务器接收目标数据时，数据统一管理服务器可以根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，并根据第一预设指定字段确定数据存储设备中的目标数据结构，最后根据目标数据结构将目标数据存储到数据存储设备中。因此，任一物理服务器向数据统一管理服务器发送任意数据结构的目标数据时，数据统一管理服务器均可通过配置中心确定出该目标数据的目标数据结构，从而按照该目标数据结构将目标数据存储到数据存储设备，以对分散在各物理服务器上的不同数据结构的数据进行统一管理，从而提高分散数据的数据管理效率。

附图说明

图1为一个实施例中一种数据处理方法的应用环境图；

图2为一个实施例中一种数据处理方法的流程示意图；

图3为一个实施例中S106的流程示意图；

图4为一个实施例中一种数据处理方法的部分流程示意图；

图5为一个实施例中S108的流程示意图；

图6为另一个实施例中一种数据处理方法的流程示意图；

图7为一个实施例中一种数据处理装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的一种数据处理方法，应用于如图1所示的应用环境中。多个物理服务器通过网络连接与数据管理平台200连接。如图1所示，多个物理服务器中，物理服务器102、物理服务器104、物理服务器106以及物理服务器108分别通过网络连接与数据管理平台200连接。各物理服务器将各物理服务器内的文本文件的数据上传到数据管理平台200，以由数据管理平台200对数据进行统一管理，从而便于用户在数据管理平台200中统一查看数据或者下载数据，以提高分散数据的数据管理效率。数据管理平台200包括数据统一管理服务器202、数据存储设备204以及配置中心206。其中，配置中心206用于对接收到的数据进行数据结构配置。配置中心206包括数据配置服务器2062和配置终端2064。研发人员可以通过配置终端2064对上传到数据管理平台200的数据进行数据结构配置，并通过配置终端2064将配置的数据结构上传到数据配置服务器2062。具体地，配置终端2064通过配置预设指定字段实现数据结构的配置。

数据统一管理服务器202接收任一物理服务器发送的数据接收请求，数据接收请求中包含目标数据的数据结构标识信息，进一步根据数据接收请求中的数据结构标识信息从配置中心206获取目标数据的第一预设指定字段。具体从配置中心206的数据配置服务器2062中获取目标数据的第一预设指定字段。进而，根据第一预设指定字段确定数据存储设备204的目标数据结构。最后，根据目标数据结构将接收到的目标数据存储到数据存储设备204。因此，数据管理平台200实现了对各物理服务器上传的数据进行统一数据管理。

在一个实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的数据统一管理服务器202为例进行说明，包括以下步骤：

S102，接收数据接收请求，数据接收请求中包含目标数据的数据结构标识信息。

在本实施例中，各物理服务器上存储有业务的文件文本的数据。为了统一管理各物理服务器上的文件文本的数据，各物理服务器将本服务器的文本文件的数据上传到数据统一管理服务器，以由数据统一管理服务器进行数据统一管理。具体地，各物理服务器获取目标数据的数据结构标识信息，将目标数据的数据结构标识信息封装到数据接收请求中，并向数据统一管理服务器发送数据接收请求，以请求数据统一管理服务器接收目标数据。

S104，根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置。

在本实施例中，数据统一管理服务器接收到数据接收请求时，从数据接收请求中提取目标数据的数据结构标识信息。其中，数据结构标识信息用于标识目标数据的数据结构，具体可以是目标数据的结构代码信息。进一步地，数据统一管理服务器根据目标数据的数据结构标识信息从配置中心获取目标数据的第一预设指定字段。第一预设指定字段可以是描述目标数据中数据信息的字段、目标数据的关键结构字段等。第一预设指定字段为配置中心预先配置的字段。配置中心用于对数据统一管理服务器接收到的数据进行数据结构配置。具体地，配置中心可以为数据统一管理服务器接收到的数据配置一个或多个预设指定字段，一个或多个预设指定字段用于表征数据统一管理服务器接收到的数据的数据结构。

S106，根据第一预设指定字段确定数据存储设备的目标数据结构。

在本实施例中，数据存储设备用于存储数据统一管理服务器接收到的目标数据。数据统一管理服务器从配置中心获取到目标数据的第一预设指定字段之后，根据该第一预设指定字段确定出数据存储设备中目标数据对应的目标数据结构。可以是，数据存储设备中预先存储有多个数据结构，数据统一管理服务器根据第一预设指定字段从数据存储设备的多个数据结构中筛选出目标数据结构。例如，数据存储设备中预先存储有A类数据结构、B类数据结构和C类数据结构，数据统一管理服务器根据第一预设指定字段从A类数据结构、B类数据结构和C类数据结构中筛选出C类数据结构作为目标数据结构。还可以是，数据存储设备中未存储有目标数据的目标数据结构，数据统一管理服务器根据第一预设指定字段在数据存储设备中生成目标数据的目标数据结构。例如，数据统一管理服务器根据第一预设指定字段确定数据存储设备中未存储有目标数据的目标数据结构，进而根据第一预设指定字段在数据存储设备中生成D类数据结构，D类数据结构即为目标数据的目标数据结构。或者还可以是，数据存储设备中存储有目标数据的待选数据结构，数据统一管理服务器根据第一预设指定字段获取目标字段，根据目标字段和待选数据结构生成目标数据的目标数据结构。例如，数据存储设备中存储有目标数据对应的待选数据结构，E类数据结构。E类数据结构可以是数据存储设备之前为目标数据分配的数据结构。数据统一管理服务器根据第一预设指定字段确定E类数据结构不符合当前的目标数据的数据结构形式，如E类数据结构缺少对应的字段。此时数据统一管理服务器根据第一预设指定字段生成目标字段，如F字段。根据E类数据结构和F字段生成M类数据结构，M类数据结构为目标数据结构。因此，不管数据存储设备中是否包含有目标数据结构，数据统一管理服务器均可根据第一预设指定字段确定数据存储设备的目标数据结构。

S108，接收目标数据，根据目标数据结构将目标数据存储到数据存储设备。

在本实施例中，数据统一管理服务器确定出目标数据的目标数据结构之后，根据物理服务器发送的数据接收请求接收物理服务器发送的目标数据。进一步地，将目标数据按照目标数据结构的方式存储的数据存储设备中。数据存储设备可以是数据统一管理服务器中的高性能数据存储层，还可以是独立于数据统一管理服务器的数据库设备，如hive高性能数据库、elasticsearch高性能数据库等。由于数据统一管理服务器已根据数据接收请求中目标数据的数据结构标识信息在数据存储设备中确定出目标数据的目标数据结构，数据统一管理服务器接收到目标数据时可以直接将该目标数据存储到数据存储设备中，从而避免了数据统一管理服务器接收到目标数据却无法将目标数据进行按照对应数据结构进行存储带来的数据管理不当。

上述数据处理方法，任一物理服务器向数据统一管理服务器发送数据接收请求以请求数据统一管理服务器接收目标数据时，数据统一管理服务器可以根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，并根据第一预设指定字段确定数据存储设备中的目标数据结构，最后根据目标数据结构将目标数据存储到数据存储设备中。因此，任一物理服务器向数据统一管理服务器发送任意数据结构的目标数据时，数据统一管理服务器均可通过配置中心确定出该目标数据的目标数据结构，从而按照该目标数据结构将目标数据存储到数据存储设备，以对分散在各物理服务器上的不同数据结构的数据进行统一管理，从而提高分散数据的数据管理效率。

在一实施例中，如图3所示，步骤S106包括：

S1062，根据数据结构标识信息从数据存储设备中获取目标数据的第二预设指定字段。

S1064，当第一预设字段与第二预设字段相同时，根据第二预设指定字段确定数据存储设备的目标数据结构。

S1066，当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第一预设子字段时，在数据存储设备的字段列表增加第一预设子字段，根据增加的第一预设子字段与第二预设指定字段确定数据存储设备的目标数据结构。

S1068，当第一预设字段与第二预设字段不相同且第二预设字段中包含有第一预设字段未包含的第二预设子字段时，从第二预设字段中获取第三预设子字段，第三预设子字段为第二预设字段中除第二预设子字段外的预设子字段，根据第三预设子字段确定数据存储设备的目标数据结构。

S1069，当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第四预设子字段以及第二预设字段中包含有第一预设字段未包含的第五预设子字段时，在数据存储设备的字段列表增加第四预设子字段并从第二预设字段中获取第六预设子字段，第六预设子字段为第二预设字段中除第五预设子字段外的预设子字段，根据第六预设子字段以及增加的第四预设子字段确定数据存储设备的目标数据结构。

在该实施例中，数据存储设备中存储有目标数据对应的数据结构，该数据结构包含有第二预设指定字段。数据统一管理服务器根据数据结构标识信息从数据存储设备中获取目标数据的第二预设指定字段，同时数据统一管理服务器也根据数据结构标识信息从配置中心获取目标数据的第一预设指定字段。需要说明的是，配置中心用于对接收的数据进行数据结构配置。可以是研发人员手动输入的数据结构，也可以是配置中心自动化分配的数据结构。配置中心能够为目标数据配置最新的与目标数据的数据结构匹配的目标数据结构。具体可以通过配置中心的预设指定字段表征出目标数据结构。进一步地，数据统一管理服务器对第一预设字段和第二预设字段进行匹配检测。当第一预设字段与第二预设字段相同时，则说明数据存储设备中目标数据对应的数据结构与配置中心中为目标数据配置的数据结构相同，此时可根据数据存储设备的第二预设指定字段确定数据存储设备的目标数据结构。

当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第一预设子字段时，则说明数据存储设备中目标数据对应的数据结构与配置中心中为目标数据配置的数据结构不相同，并且配置中心中为目标数据配置的数据结构相对于数据存储设备中目标数据对应的数据结构增加了新的字段，即增加了第一预设子字段。此时在数据存储设备的字段列表增加第一预设子字段，根据增加的第一预设子字段与数据存储设备中原有的第二预设指定字段即可得到目标数据结构。具体实现过程中，数据统一管理服务器访问配置中心，读取配置中心的特殊字段配置列表，从特殊字段配置列表中读取第一预设字段，将第一预设字段与从数据存储设备中读取的第二预设指定字段进行对比。若字段有增加，往数据存储设备增加对应的特殊字段。例如，第一预设字段包括a预设子字段、b预设子字段、c预设子字段和d预设子字段。第二预设字段包括a预设子字段、b预设子字段和c预设子字段，此时在数据存储设备的字段列表中第二预设字段增加d预设子字段即可得到目标数据结构。

当第一预设字段与第二预设字段不相同且第二预设字段中包含有第一预设字段未包含的第二预设子字段时，则说明数据存储设备中目标数据对应的数据结构与配置中心中为目标数据配置的数据结构不相同，并且配置中心中为目标数据配置的数据结构相对于数据存储设备中目标数据对应的数据结构减少了部分字段，即减少了第二预设子字段。此时，从第二预设字段中获取除第二预设子字段之外的第三预设子字段即可得到目标数据结构。例如，第一预设字段包括e预设子字段和f预设子字段。第二预设字段包括e预设子字段、f预设子字段和g预设子字段，此时在数据存储设备获取e预设子字段和f预设子字段即可得到目标数据结构。

当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第四预设子字段以及第二预设字段中包含有第一预设字段未包含的第五预设子字段时，则说明数据存储设备中目标数据对应的数据结构与配置中心中为目标数据配置的数据结构不相同，并且配置中心中为目标数据配置的数据结构相对于数据存储设备中目标数据对应的数据结构减少了部分字段，即减少了第五预设子字段。此外，配置中心中为目标数据配置的数据结构相对于数据存储设备中目标数据对应的数据结构增加了新的字段，即增加了第四预设子字段。此时，从第二预设字段中获取除第五预设子字段之外的第六预设子字段并且在数据存储设备的字段列表增加第四预设子字段即可得到目标数据结构。例如，第一预设字段包括h预设子字段、i预设子字段以及j预设子字段。第二预设字段包括e预设子字段、f预设子字段和g预设子字段，此时在数据存储设备获取e预设子字段和f预设子字段以及j预设子字段即可得到目标数据结构。

因此，无需在数据存储设备中另外分配配置中心中目标数据的第一预设指定字段以得到数据存储设备目标数据的目标数据结构，只需要对应修改数据存储设备中目标数据对应的数据结构即可，减少了数据统一管理服务器的操作量，从而减轻了数据统一管理服务器的压力。

在一实施例中，如图4所示，步骤S106之前还包括：

S1052，从数据结构标识信息中提取出目标数据的第一目标字段。

S1054，根据数据结构标识信息从数据存储设备中获取目标数据的第二目标字段。

S1056，根据第一目标字段和第二目标字段确定数据存储设备的待选字段。

此时步骤S106包括：

S1061，根据第一预设指定字段以及待选字段确定数据存储设备的目标数据结构。

在该实施例中，在接收到数据接收请求时，数据统一管理服务器除了根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，以根据第一预设指定字段确定数据存储设备的目标数据结构之外，数据统一管理服务器还从数据结构标识信息中提取出目标数据的第一目标字段。此处的第一目标字段与第一预设指定字段或第二预设指定字段的字段属性不同。第一目标字段可以是用于展示的字段，第一预设指定字段和第二预设指定字段可以是用于检索的字段。进一步地，数据统一管理服务器从数据存储设备中获取目标数据的第二目标字段。此处的第二目标字段的字段属性与第一目标字段的字段属性相同。最后，根据第一目标字段和第二目标字段确定数据存储设备的待选字段。其中，待选字段与第一目标字段的字段属性相同，可以是用于展示的字段。确定数据存储设备的待选字段的方式可以是，若第一目标字段和第二目标字段，则将第二目标字段作为待选字段。若第一目标字段包含有第二目标字段未包含的第一目标子字段，则将第一目标子字段和第二目标字段作为待选字段。若第二目标字段包含有第一目标字段未包含的第二目标子字段，则将第二目标字段中除第二目标子字段之外第三目标子字段的作为待选字段。第二目标字段由第二目标子字段和第三目标子字段构成。进一步地，根据第一预设指定字段以及待选字段确定数据存储设备的目标数据结构。因此，将数据存储设备中的第二目标字段作为参考字段，在数据存储设备中通过修改字段的方式得到待选字段，避免了对数据存储设备进行全部字段的新增带来的额外的操作。同时，根据第一预设指定字段以及待选字段确定数据存储设备的目标数据结构使得目标数据结构更加的全面，与即将接收的目标数据的数据结构更加匹配。

在一实施例中，如图5所示，步骤S108包括：

S1082，获取预设定界符。

S1084，根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据。

S1086，根据目标数据结构将第一数据和第二数据存储到数据存储设备。

在该实施例中，数据统一管理服务器预先设置有预设定界符。数据统一管理服务器采用预设定界符对接收到的任一目标数据进行数据提取。具体地，物理服务器在上传目标数据时，统一采用预设定界符对目标数据进行处理，将目标数据中第一预设指定字段对应的第一数据以及待选字段对应的第二数据进行分离，以便于数据统一管理服务器识别。数据统一管理服务器根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据，并根据目标数据结构将第一数据和第二数据存储到数据存储设备。因此可使得数据统一管理服务器对目标数据的存储管理更加完善。

在一实施例中，预设定界符包括预设字段名定界符和预设字段定界符。步骤S1084包括：根据预设字段名定界符从目标数据中提取第一数据的第一字段名以及提取第二数据的第二字段名；根据预设字段定界符从目标数据中提取第一数据以及提取第二数据。此时，步骤S1086包括：根据目标数据结构、第一字段名和第二字段名将第一数据和第二数据存储到数据存储设备。

在该实施例中，目标数据中包含字段名对应的数据和字段对应的数据。因此，数据统一管理服务器中预设定界符包括预设字段名定界符和预设字段定界符。数据统一管理服务器根据预设字段名定界符从目标数据中提取第一数据的第一字段名以及提取第二数据的第二字段名，根据预设字段定界符从目标数据中提取第一数据以及提取第二数据，进而根据目标数据结构、第一字段名和第二字段名将第一数据和第二数据存储到数据存储设备。例如，物理服务器中配置每行数据的字段名定界符和字段定界符。此处的字段名定界符和字段定界符与数据统一管理服务器的预设字段名定界符和预设字段定界符对应。假设字段名定界符是AAAA，字段定界符是BBBB。目标数据为playerIdAAAA1234BBBBitemIdAAAA9876。根据AAAA和BBBB，数据统一管理服务器可从目标数据中提取第一字段名为playerId，第一数据为1234。第二字段名为itemId，第二数据为9876。最终，根据数据存储设备中的目标数据结构，以及第一字段名playerId和第二字段名itemId将第一数据1234和第二数据9876存储到数据存储设备。因此，数据统一管理服务器作为目标数据的统一接收方，根据预设字段名定界符和预设字段定界符可以提取任一目标数据的数据信息，任一目标数据可以是任一数据结构的数据，进而将任一数据结构的目标数据进行数据存储管理。

在一实施例中，步骤S106包括：根据数据结构标识信息检测数据存储设备中是否包含目标数据的候选数据结构信息；若是，根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构；若否，根据数据结构标识信息在数据存储设备中创建候选数据结构信息，并根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构。

在该实施例中，数据统一管理服务器根据数据结构标识信息先判断数据存储设备中是否包含有目标数据对应的候选数据结构信息。候选数据结构信息可以是第二预设指定字段和第二目标字段的字段集合。若无，则数据统一管理服务器根据数据结构标识信息在数据存储设备中创建候选数据结构信息后根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构。若有，则直接根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构。候选数据结构信息可以是为数据表结构信息或是索引表信息。因此，提高了数据统一管理服务器对数据存储设备的管理效率。

在一实施例中，如图6所示，提供了一种数据处理方法，以该方法应用于图1中的任一物理服务器为例进行说明，包括以下步骤：

S1002，按照预设数据读取规则读取多条数据。

在该实施例中，服务器按照预设数据读取规则读取本服务器内的多条数据。预设数据读取规则可以是确定出服务器每次读取数据的数据条目以及每次读取的时间间隔。例如，服务器根据每次抓取的条目数，进行数据的批量抓取。如每次抓取条目数为1000条，则抓取本服务器内第1、第2、第3…第1000条数据。抓取到的数据存储到服务器的上报模块的内存之中。

S1004，根据预设数据标识符将多条数据进行数据合并处理，得到合并处理后的多条数据。

在该实施例中，预设数据标识符可以是日志开始符，数据则是日志数据。具体地，服务器根据多行日志的日志开始符进行日志数据合并。多行日志代表的是一种特殊类型的日志，在计算机系统中，日志数据以一行行这样的形式进行存储，如：第一行[2019-01-0101:02:03]xxxxx；第二行aaa；第三行[2019-01-02 03:04:05]bbbb。那么第一行与第二行对于业务而言属于同一行日志数据，需要被一起关注的日志数据。另外，两者的日志数据时间都是2019-01-01 01:02:03，不应该被切割。对于业务方来说，上报时间不同，应当是不同的日志数据，应该被切割。因此第一行的日志数据和第二行的日志数据与第三行的日志数据应当分开处理。在以上的日志数据中，多行日志的日志开始符应[。在具体的合并处理中，服务器按照一行一行往下遍历的方式，遍历服务器内所有的日志数据，并且在遍历过程中在每一行中读取多行日志的日志开始符，记录当前行数a，继续往下遍历。若某一行不是以多行日志的日志开始符开头，则继续往下遍历，直到遇到多行日志的日志开始符为止，记录当前行数b。如果遍历结束，依然没有遇到多行日志的日志开始符，将会自动扩展读取“多行日志扩展抓取上限”条数据，直接到遇到多行日志的日志开始符的位置。如果读取到多行日志扩展抓取上限也没有读取到多行日志的日志开始符，则以最后一行为b。合并的方式为，将行数a到行数b的所有日志数据整理为同一条日志数据。

S1006，根据预设数据结构对合并处理后的多条数据进行数据结构配置处理，将配置后的合并处理后的多条数据作为目标数据。

在该实施例中，预设数据结构可以是根据预设定界符以及预设数据长度确定的数据结构。服务器按照预设定界符对合并处理后的多条数据的字段名和字段进行界定，以使得接收该合并处理后的多条数据的目标设备能够根据预设定界符识别出对应的字段名和字段。同时，服务器根据预设数据长度确定合并后每条数据的数据长度。具体地，根据预设数据结构对合并处理后的多条数据进行数据结构配置处理可以是服务器对合并处理后的多条数据进行压缩。具体压缩过程为：

1、将合并后的每一条日志数据的结构字段进行整理，整理第1、第2、第3…第n个结构字段。

2、将第一个结构字段的长度值n写入到第一字符。将第一个结构字段的n位字符分别写入第2到第n+1个字符，后续的结构字段都按这样处理。

3、将合并后的每一行的日志数据都按照第1步和第2步进行处理。

4、将合并后的每一行的日志数据合并成一个批次，准备发送。将该批次的日志数据的日志条数写入第一位置，将该批次的日志数据的结构类型写入第二位置，将后续的日志条数以日志1、定界符、日志2、定界符、…日志n的形式整理成一个批次。利用gzip算法进行压缩，将压缩后的数据作为目标数据。

S1008，获取目标数据的数据结构标识信息。

在该实施例中，服务器获取目标数据的数据结构标识信息。该数据结构标识信息可以是服务器为目标数据分配的结构代码信息。同时，该结构代码信息能够被接收目标数据的目标设备识别，以使得目标设备根据目标数据的结构代码信息识别出目标数据的数据结构。

S1010，根据数据结构标识信息生成数据接收请求。

在该实施例中，服务器将目标数据的数据结构标识信息封装进数据接收请求中，以向目标设备发送数据接收请求。目标设备接收到数据接收请求时，从数据接收请求中解析出目标数据的数据结构标识信息，根据数据结构标识信息确定数据存储设备中目标数据的目标数据结构，最终根据该目标数据结构将服务器发送的目标数据存储到数据存储设备。

S1012，向目标设备发送数据接收请求，数据接收请求用于指示目标设备根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置，并根据第一预设指定字段确定数据存储设备的目标数据结构，以根据目标数据结构将目标数据存储到数据存储设备。

在该实施例中，服务器向目标设备发送数据接收请求。其中，目标设备可以是上述数据统一管理服务器。数据统一管理服务器接收到数据接收请求时，按照上述实施例所述的数据处理方法对目标数据进行数据存储。具体存储方式为：将目标数据用gzip算法解压，读取目标数据中每一行数据的第一、第二位置，获取日志的条数、结构类型。将第1、2、3、…n条日志文本解析。读取每一行的第一位置，然后将第一位置的点位的数字读取，获取数据长度，将后续的每一个位置的信息提取出来，变为完整的日志字符串。如该日志结构类型设置有告警敏感词，则检查该日志字符串是否符合告警敏感词的条件。如符合，发送告警。将日志字符串存入到一些高性能数据库，如果遇到关键字段，对关键字段设置索引并存入，方便后续查询。

以下给出一具体实施例：假设已配置了一个日志数据：

1、结构中文名：道具日志；

结构内部代码：ITEM；

结构字段：id、item_id、player_id、before_num、after_num、created_time、message；

结构关键字段：item_id,player_id；

敏感词文本:after_num字段等于9999999；

2.用户将文本日志打印在磁盘中的目录/data/log/item.log。

3.启动日志上报器，配置好配置文件：

需要上报的日志：ITEM

上报的文件路径/data/log/item.log

每批次抓取条目数：1000

每批次抓取等待时间：1秒

多行日志开始符：[

多行日志扩展抓取上限：10

4.服务器中上报模块启动，读取上述配置，进行/data/log/item.log的数据抓取，假设用户打印了3005条数据到此文件，那么会先抓取第1-1000条。这里假设有以下数据：

第一行[1 2 3 0 100 1aaabbb；

第二行aaa；

第三行[1 2 3 0 100 1aaabbb；

第四行[1 2 3 0 100 1aaabbb；

…

第九百九十八行[1 2 3 0 100 1aaabbb；

第九百九十九行bbbb；

第一千行aaaa；

第一千零一行aaaa；

第一千零二行aaaa；

第一千零三行[1 2 3 0 100 1aaabbb；

5.依次往下遍历这一批每一行抓取的数据，每一行都会读取它的多行日志开始符号[，如读到第一行，发现有开始符号，记下当前行数a＝1，读到第二行，发现没有开始符号，继续读第三行，发现第三行有多行日志开始符号[，记录当前行号b＝3，提取a和b之间的行数即第一、第二行，合并为一条日志。记录当前行号a＝3，继续往下读第4行，发现第4行有多行日志开始符号，记录下当前行号b＝3,提取a和b之间的行数即第三行，合并为一条日志，以此类推。

当读到第九百九十八行时，记录当前行号a＝998，继续往下读，读到1000行，发现都没有出现多行日志开始符号[，按照多行日志扩展抓取上限，继续读取，读到1003行，发现有日志，将998-1002行日志全部合并成一条日志。

6.将该批次所有的日志进行处理。

处理1-1002行，每一行都遍历所有的字段，将字段长度、字段内容等信息整理，并整理成最终的字符串如第一行整理为1112131031001110aaabbb<空行>aaa。将1-1002行的数据全部合成为一个字节流，进行gzip算法压缩

7.发送到目标设备。

8.目标设备用gzip算法解压，依次读取每一行日志，变为完整的日志字符串。

9.目标设备遍历每一行日志，如果遇到符合告警设置如after_num字段等于9999999，发送告警消息给管理员。

应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本申请还提供一种数据处理装置，如图7所示，该装置包括接收模块10、获取模块20、确定模块30以及存储模块40。

接收模块10，用于接收数据接收请求，数据接收请求中包含目标数据的数据结构标识信息；获取模块20，用于根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置；确定模块30，用于根据第一预设指定字段确定数据存储设备的目标数据结构；存储模块40，用于接收目标数据，根据目标数据结构将目标数据存储到数据存储设备。

在其中一个实施例中，确定模块30可以包括(图7未示出)：第一获取单元，用于根据数据结构标识信息从数据存储设备中获取目标数据的第二预设指定字段；第一确定单元，用于当第一预设字段与第二预设字段相同时，根据第二预设指定字段确定数据存储设备的目标数据结构；第二确定单元，用于当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第一预设子字段时，在数据存储设备的字段列表增加第一预设子字段，根据增加的第一预设子字段与第二预设指定字段确定数据存储设备的目标数据结构；第三确定单元，用于当第一预设字段与第二预设字段不相同且第二预设字段中包含有第一预设字段未包含的第二预设子字段时，从第二预设字段中获取第三预设子字段，第三预设子字段为第二预设字段中除第二预设子字段外的预设子字段，根据第三预设子字段确定数据存储设备的目标数据结构；第四确定单元，用于当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第四预设子字段以及第二预设字段中包含有第一预设字段未包含的第五预设子字段时，在数据存储设备的字段列表增加第四预设子字段并从第二预设字段中获取第六预设子字段，第六预设子字段为第二预设字段中除第五预设子字段外的预设子字段，根据第六预设子字段以及增加的第四预设子字段确定数据存储设备的目标数据结构。

在其中一个实施例中，数据处理装置可以包括(图7未示出)：第一目标字段获取模块，用于从数据结构标识信息中提取出目标数据的第一目标字段；第二目标字段获取模块，用于根据数据结构标识信息从数据存储设备中获取目标数据的第二目标字段；待选字段确定模块，用于根据第一目标字段和第二目标字段确定数据存储设备的待选字段；此时，确定模块30包括第五确定单元，用于根据第一预设指定字段以及待选字段确定数据存储设备的目标数据结构。

在其中一个实施例中，存储模块40可以包括(图7未示出)：第二获取单元，用于获取预设定界符；第一提取单元，用于根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据；存储单元，用于根据目标数据结构将第一数据和第二数据存储到数据存储设备。

在其中一个实施例中，预设定界符包括预设字段名定界符和预设字段定界符。第一提取单元包括第一提取子单元和第二提取子单元；第一提取子单元，用于根据预设字段名定界符从目标数据中提取第一数据的第一字段名以及提取第二数据的第二字段名；第二提取子单元，用于根据预设字段定界符从目标数据中提取第一数据以及提取第二数据；存储单元包括存储子单元，用于根据目标数据结构、第一字段名和第二字段名将第一数据和第二数据存储到数据存储设备。

在其中一个实施例中，确定模块30可以包括(图7未示出)：检测单元，用于根据数据结构标识信息检测数据存储设备中是否包含目标数据的候选数据结构信息；第六确定单元，用于根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构；第七确定单元，用于根据数据结构标识信息在数据存储设备中创建候选数据结构信息，并根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构。

本申请还提供一种数据处理装置，该装置包括读取模块、合并模块、配置模块、数据结构标识信息获取模块、生成模块以及发送模块。

读取模块，用于按照预设数据读取规则读取多条数据；合并模块，用于根据预设数据标识符将多条数据进行数据合并处理，得到合并处理后的多条数据；配置模块，用于根据预设数据结构对合并处理后的多条数据进行数据结构配置处理，将配置后的合并处理后的多条数据作为目标数据；数据结构标识信息获取模块，用于获取目标数据的数据结构标识信息；生成模块，用于根据数据结构标识信息生成数据接收请求，发送模块，用于向目标设备发送数据接收请求，数据接收请求用于指示目标设备根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置，并根据第一预设指定字段确定数据存储设备的目标数据结构，以根据目标数据结构将目标数据存储到数据存储设备。

关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是上述数据统一管理服务器或物理服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的设备连接，以接收数据接收请求以及目标数据。或者该计算机设备的网络接口用于发送数据接收请求以及目标数据。该计算机程序被处理器执行时以实现一种数据处理方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：接收数据接收请求，数据接收请求中包含目标数据的数据结构标识信息；根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置；根据第一预设指定字段确定数据存储设备的目标数据结构；接收目标数据，根据目标数据结构将目标数据存储到数据存储设备。

在其中一个实施例中，处理器执行计算机程序实现上述的根据第一预设指定字段确定数据存储设备的目标数据结构步骤时，具体实现以下步骤：根据数据结构标识信息从数据存储设备中获取目标数据的第二预设指定字段；当第一预设字段与第二预设字段相同时，根据第二预设指定字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第一预设子字段时，在数据存储设备的字段列表增加第一预设子字段，根据增加的第一预设子字段与第二预设指定字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第二预设字段中包含有第一预设字段未包含的第二预设子字段时，从第二预设字段中获取第三预设子字段，第三预设子字段为第二预设字段中除第二预设子字段外的预设子字段，根据第三预设子字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第四预设子字段以及第二预设字段中包含有第一预设字段未包含的第五预设子字段时，在数据存储设备的字段列表增加第四预设子字段并从第二预设字段中获取第六预设子字段，第六预设子字段为第二预设字段中除第五预设子字段外的预设子字段，根据第六预设子字段以及增加的第四预设子字段确定数据存储设备的目标数据结构。

在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：从数据结构标识信息中提取出目标数据的第一目标字段；根据数据结构标识信息从数据存储设备中获取目标数据的第二目标字段；根据第一目标字段和第二目标字段确定数据存储设备的待选字段；处理器执行计算机程序实现上述的根据第一预设指定字段确定数据存储设备的目标数据结构步骤时，具体实现以下步骤：根据第一预设指定字段以及待选字段确定数据存储设备的目标数据结构。

在其中一个实施例中，处理器执行计算机程序实现上述的根据目标数据结构将目标数据存储到数据存储设备步骤时，具体实现以下步骤：获取预设定界符；根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据；根据目标数据结构将第一数据和第二数据存储到数据存储设备。

在其中一个实施例中，预设定界符包括预设字段名定界符和预设字段定界符，处理器执行计算机程序实现上述的根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据步骤时，具体实现以下步骤：根据预设字段名定界符从目标数据中提取第一数据的第一字段名以及提取第二数据的第二字段名；根据预设字段定界符从目标数据中提取第一数据以及提取第二数据；处理器执行计算机程序实现上述的根据目标数据结构将第一数据和第二数据存储到数据存储设备时，具体实现以下步骤：根据目标数据结构、第一字段名和第二字段名将第一数据和第二数据存储到数据存储设备。

在其中一个实施例中，处理器执行计算机程序实现上述的根据第一预设指定字段确定数据存储设备的目标数据结构时，具体实现以下步骤：根据数据结构标识信息检测数据存储设备中是否包含目标数据的候选数据结构信息；若是，则根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构；若否，则根据数据结构标识信息在数据存储设备中创建候选数据结构信息，并根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：按照预设数据读取规则读取多条数据；根据预设数据标识符将多条数据进行数据合并处理，得到合并处理后的多条数据；根据预设数据结构对合并处理后的多条数据进行数据结构配置处理，将配置后的合并处理后的多条数据作为目标数据；获取目标数据的数据结构标识信息；根据数据结构标识信息生成数据接收请求；向目标设备发送数据接收请求，数据接收请求用于指示目标设备根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置，并根据第一预设指定字段确定数据存储设备的目标数据结构，以根据目标数据结构将目标数据存储到数据存储设备。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收数据接收请求，数据接收请求中包含目标数据的数据结构标识信息；根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置；根据第一预设指定字段确定数据存储设备的目标数据结构；接收目标数据，根据目标数据结构将目标数据存储到数据存储设备。

在其中一个实施例中，计算机程序被处理器执行实现上述的根据第一预设指定字段确定数据存储设备的目标数据结构步骤时，具体实现以下步骤：根据数据结构标识信息从数据存储设备中获取目标数据的第二预设指定字段；当第一预设字段与第二预设字段相同时，根据第二预设指定字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第一预设子字段时，在数据存储设备的字段列表增加第一预设子字段，根据增加的第一预设子字段与第二预设指定字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第二预设字段中包含有第一预设字段未包含的第二预设子字段时，从第二预设字段中获取第三预设子字段，第三预设子字段为第二预设字段中除第二预设子字段外的预设子字段，根据第三预设子字段确定数据存储设备的目标数据结构；当第一预设字段与第二预设字段不相同且第一预设字段中包含有第二预设字段未包含的第四预设子字段以及第二预设字段中包含有第一预设字段未包含的第五预设子字段时，在数据存储设备的字段列表增加第四预设子字段并从第二预设字段中获取第六预设子字段，第六预设子字段为第二预设字段中除第五预设子字段外的预设子字段，根据第六预设子字段以及增加的第四预设子字段确定数据存储设备的目标数据结构。

在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：从数据结构标识信息中提取出目标数据的第一目标字段；根据数据结构标识信息从数据存储设备中获取目标数据的第二目标字段；根据第一目标字段和第二目标字段确定数据存储设备的待选字段；计算机程序被处理器执行实现上述的根据第一预设指定字段确定数据存储设备的目标数据结构步骤时，具体实现以下步骤：根据第一预设指定字段以及待选字段确定数据存储设备的目标数据结构。

在其中一个实施例中，计算机程序被处理器执行实现上述的根据目标数据结构将目标数据存储到数据存储设备步骤时，具体实现以下步骤：获取预设定界符；根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据；根据目标数据结构将第一数据和第二数据存储到数据存储设备。

在其中一个实施例中，预设定界符包括预设字段名定界符和预设字段定界符，计算机程序被处理器执行实现上述的根据预设定界符从目标数据中提取第一预设指定字段对应的第一数据以及提取待选字段对应的第二数据步骤时，具体实现以下步骤：根据预设字段名定界符从目标数据中提取第一数据的第一字段名以及提取第二数据的第二字段名；根据预设字段定界符从目标数据中提取第一数据以及提取第二数据；计算机程序被处理器执行实现上述的根据目标数据结构将第一数据和第二数据存储到数据存储设备时，具体实现以下步骤：根据目标数据结构、第一字段名和第二字段名将第一数据和第二数据存储到数据存储设备。

在其中一个实施例中，计算机程序被处理器执行实现上述的根据第一预设指定字段确定数据存储设备的目标数据结构时，具体实现以下步骤：根据数据结构标识信息检测数据存储设备中是否包含目标数据的候选数据结构信息；若是，则根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构；若否，则根据数据结构标识信息在数据存储设备中创建候选数据结构信息，并根据候选数据结构信息和第一预设指定字段确定数据存储设备的目标数据结构。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：按照预设数据读取规则读取多条数据；根据预设数据标识符将多条数据进行数据合并处理，得到合并处理后的多条数据；根据预设数据结构对合并处理后的多条数据进行数据结构配置处理，将配置后的合并处理后的多条数据作为目标数据；获取目标数据的数据结构标识信息；根据数据结构标识信息生成数据接收请求；向目标设备发送数据接收请求，数据接收请求用于指示目标设备根据数据接收请求中的数据结构标识信息从配置中心获取目标数据的第一预设指定字段，配置中心用于对接收到的数据进行数据结构配置，并根据第一预设指定字段确定数据存储设备的目标数据结构，以根据目标数据结构将目标数据存储到数据存储设备。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种数据处理方法，所述方法包括：

接收数据接收请求，所述数据接收请求中包含目标数据的数据结构标识信息；

根据所述数据接收请求中的所述数据结构标识信息从配置中心获取所述目标数据的第一预设指定字段，所述配置中心用于对接收到的数据进行数据结构配置；

根据所述第一预设指定字段确定数据存储设备的目标数据结构；

接收所述目标数据，根据所述目标数据结构将所述目标数据存储到所述数据存储设备；

其中，所述根据所述第一预设指定字段确定数据存储设备的目标数据结构之前，还包括：

从所述数据结构标识信息中提取出所述目标数据的第一目标字段；

根据所述数据结构标识信息从所述数据存储设备中获取所述目标数据的第二目标字段；

根据所述第一目标字段和所述第二目标字段确定所述数据存储设备的待选字段；

所述根据所述第一预设指定字段确定数据存储设备的目标数据结构，包括：

根据所述第一预设指定字段以及所述待选字段确定数据存储设备的目标数据结构。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一预设指定字段确定数据存储设备的目标数据结构，包括：

根据所述数据结构标识信息从所述数据存储设备中获取所述目标数据的第二预设指定字段；

当所述第一预设字段与所述第二预设字段相同时，根据所述第二预设指定字段确定所述数据存储设备的所述目标数据结构；

当所述第一预设字段与所述第二预设字段不相同且所述第一预设字段中包含有所述第二预设字段未包含的第一预设子字段时，在所述数据存储设备的字段列表增加所述第一预设子字段，根据增加的所述第一预设子字段与所述第二预设指定字段确定所述数据存储设备的所述目标数据结构；

当所述第一预设字段与所述第二预设字段不相同且所述第二预设字段中包含有所述第一预设字段未包含的第二预设子字段时，从所述第二预设字段中获取第三预设子字段，所述第三预设子字段为所述第二预设字段中除所述第二预设子字段外的预设子字段，根据所述第三预设子字段确定所述数据存储设备的所述目标数据结构；

当所述第一预设字段与所述第二预设字段不相同且所述第一预设字段中包含有所述第二预设字段未包含的第四预设子字段以及所述第二预设字段中包含有所述第一预设字段未包含的第五预设子字段时，在所述数据存储设备的字段列表增加所述第四预设子字段并从所述第二预设字段中获取第六预设子字段，所述第六预设子字段为所述第二预设字段中除所述第五预设子字段外的预设子字段，根据所述第六预设子字段以及增加的所述第四预设子字段确定所述数据存储设备的所述目标数据结构。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据结构将所述目标数据存储到所述数据存储设备，包括：

获取预设定界符；

根据所述预设定界符从所述目标数据中提取所述第一预设指定字段对应的第一数据以及提取所述待选字段对应的第二数据；

根据所述目标数据结构将所述第一数据和所述第二数据存储到所述数据存储设备。

4.根据权利要求3所述的方法，其特征在于，所述预设定界符包括预设字段名定界符和预设字段定界符，所述根据所述预设定界符从所述目标数据中提取所述第一预设指定字段对应的第一数据以及提取所述待选字段对应的第二数据，包括：

根据所述预设字段名定界符从所述目标数据中提取所述第一数据的第一字段名以及提取所述第二数据的第二字段名；

根据所述预设字段定界符从所述目标数据中提取所述第一数据以及提取所述第二数据；

所述根据所述目标数据结构将所述第一数据和所述第二数据存储到所述数据存储设备，包括：

根据所述目标数据结构、所述第一字段名和所述第二字段名将所述第一数据和所述第二数据存储到所述数据存储设备。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一预设指定字段确定数据存储设备的目标数据结构，包括：

根据所述数据结构标识信息检测所述数据存储设备中是否包含所述目标数据的候选数据结构信息；

若是，则根据所述候选数据结构信息和所述第一预设指定字段确定数据存储设备的目标数据结构；

若否，则根据所述数据结构标识信息在所述数据存储设备中创建候选数据结构信息，并根据所述候选数据结构信息和所述第一预设指定字段确定数据存储设备的目标数据结构。

6.一种数据处理方法，其特征在于，所述方法包括：

按照预设数据读取规则读取多条数据；

根据预设数据标识符将所述多条数据进行数据合并处理，得到合并处理后的多条数据；

根据预设数据结构对所述合并处理后的多条数据进行数据结构配置处理，将配置后的所述合并处理后的多条数据作为目标数据；

获取所述目标数据的数据结构标识信息；

根据所述数据结构标识信息生成数据接收请求；

向目标设备发送所述数据接收请求，所述数据接收请求用于指示所述目标设备根据所述数据接收请求中的所述数据结构标识信息从配置中心获取所述目标数据的第一预设指定字段，所述配置中心用于对接收到的数据进行数据结构配置，并根据所述第一预设指定字段确定数据存储设备的目标数据结构，以根据所述目标数据结构将所述目标数据存储到所述数据存储设备。

7.一种数据处理装置，其特征在于，所述装置包括：

接收模块，用于接收数据接收请求，所述数据接收请求中包含目标数据的数据结构标识信息；

获取模块，用于根据所述数据接收请求中的所述数据结构标识信息从配置中心获取所述目标数据的第一预设指定字段，所述配置中心用于对接收到的数据进行数据结构配置；

确定模块，用于根据所述第一预设指定字段确定数据存储设备的目标数据结构；

存储模块，用于接收所述目标数据，根据所述目标数据结构将所述目标数据存储到所述数据存储设备；

其中，所述根据所述第一预设指定字段确定数据存储设备的目标数据结构之前，还包括：

从所述数据结构标识信息中提取出所述目标数据的第一目标字段；

根据所述数据结构标识信息从所述数据存储设备中获取所述目标数据的第二目标字段；

根据所述第一目标字段和所述第二目标字段确定所述数据存储设备的待选字段；

所述根据所述第一预设指定字段确定数据存储设备的目标数据结构，包括：

根据所述第一预设指定字段以及所述待选字段确定数据存储设备的目标数据结构。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤；或所述处理器执行所述计算机程序时实现权利要求6所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤；或，所述计算机程序被处理器执行时实现权利要求6所述方法的步骤。

Images