CN115757439A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括：根据数据定义语言DDL确定待处理数据的字段变化信息，根据字段变化信息确定待处理数据的数据调整策略，根据数据调整策略对待处理数据进行数据归档调整。本发明实施例，通过数据定义语言DDL确定待处理数据的字段变化信息，能够精确的查找字段变化的类型，提升字段变化信息查找的准确度；通过字段变化信息确定待处理数据的数据调整策略，并根据数据调整策略对待处理数据进行数据归档调整，能够有效减小DDL变化带来的计算量，消除由于对DDL变化对数据有效性和数据查询造成的影响。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

数据定义语言(Data Definition Language，DDL)，是用于描述数据库中要存储的现实世界实体的语言。

现有技术中，在DDL语句的字段信息发生变化，即出现删除列、增加列以及列位置发生变化的情况下，往往需要全部重建新的表，然后将历史数据插入新建的表中，在历史数据插入新建表的过程中，需要进行大量的数据操作，由此增加了DDL变化所产生的计算量，且对数据有效性和数据查询造成一定的影响。

发明内容

有鉴于此，本发明提供一种数据处理方法、装置、电子设备及存储介质，能够有效减小DDL变化带来的计算量，消除由于对DDL变化对数据有效性和数据查询造成的影响。

根据本发明的一方面，本发明实施例提供了一种数据处理方法，该方法包括：

根据DDL确定待处理数据的字段变化信息；

根据所述字段变化信息确定所述待处理数据的数据调整策略；

根据所述数据调整策略对所述待处理数据进行数据归档调整。

根据本发明的另一方面，本发明实施例还提供了一种数据处理装置，该装置包括：

信息确定模块，用于根据DDL确定待处理数据的字段变化信息；

策略确定模块，用于根据所述字段变化信息确定所述待处理数据的数据调整策略；

数据调整模块，用于根据所述数据调整策略对所述待处理数据进行数据归档调整。

根据本发明的另一方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。

根据本发明的另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。

本发明实施例的上述技术方案，通过DDL确定待处理数据的字段变化信息，根据字段变化信息确定待处理数据的数据调整策略，根据数据调整策略对待处理数据进行数据归档调整。本发明实施例，通过DDL确定待处理数据的字段变化信息，能够精确的查找字段变化的类型，提升字段变化信息查找的准确度；通过字段变化信息确定待处理数据的数据调整策略，并根据数据调整策略对待处理数据进行数据归档调整，有效减小DDL 变化带来的计算量，消除由于对DDL变化对数据有效性和数据查询造成的影响。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种数据处理方法的流程图；

图2为本发明实施例二提供的一种数据处理方法的流程图；

图3为本发明实施例三提供的一种数据处理方法的流程示意图；

图4为本发明实施例三提供的一种DDL变化和映射示意图；

图5为本发明实施例四提供的一种数据处理装置的结构框图；

图6为本发明实施例五提供的一种数据处理系统的结构框图；

图7为本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一、第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

在一实施例中，图1为本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于对字段数据的DDL变化进行处理时的情况，该方法可以由数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现，该数据处理装置可配置于电子设备中。如图1所示，该方法包括：

S110、根据DDL确定待处理数据的字段变化信息。

其中，待处理数据可以理解为等待被处理的数据，待处理数据可以为银行系统中交易类数据、电信系统中通话信息数据以及其他互联网系统中的数据。字段变化信息可以理解为待处理数据中的字段变换信息，字段变化信息可以为待处理数据的字段增加，也可以为待处理数据的字段减少，也可以为待处理数据的字段顺序位置，也可以为待处理数据的字段内容发生变化，还可以为待处理数据的字段信息未发生变化，本实施例在此不做限制。

在本实施例中，可以通过DDL解析器进行解析预设时间范围内的元数据中待处理数据以及归档表数据中待处理数据，并通过DDL比较器以确定待处理数据的相关字段变化信息；也可以通过触发器进行监控待处理数据中的字段信息变化，在数据触发了触发器后，通过判断预设时间范围内的新字段与旧字段是否有变化，以确定字段变化信息。

在一实施例中，变化信息至少包括下述之一：待处理数据的字段增加、待处理数据的字段减少、待处理数据的字段顺序位置和/或内容发生变化。

在本实施例中，处理数据的字段增加指的是待归档文本字段多于Hive 表字段的情况，待处理数据的字段减少指的是待归档文本字段少于Hive 表字段，待处理数据的字段顺序位置和/或内容发生变化指的是待归档文本字段出现列位置顺序改变或者待归档文本字段的文本内容。

在本实施例中，待处理数据的字段变化信息可以为待处理数据的字段增加、待处理数据的字段减少以及待处理数据的字段顺序位置和/或内容发生变化的至少之一。需要说明的是，若待处理信息未发生变化，可以认为待归档数据中的待归档文本字段与元数据中的Hive表字段的字段个数、字段顺序位置以及字段内容等呈现一一有序对应的情况。其中，hive表是基于Hadoop的一个数据仓库工具，可以用来进行数据提取、转化以及加载。

S120、根据字段变化信息确定待处理数据的数据调整策略。

其中，数据调整策略可用于对待处理数据的出现字段增加、字段减少或者字段顺序位置和/或内容发生变化时进行相应的数据调整。

在本实施例中，不同的字段变化信息所对应的数据调整策略是不同的。需要说明的是，若待处理数据的字段变化信息未发生变化，则不需要进行数据调整；若待处理数据的字段变化信息发生变化，例如可以是出现字段增加、字段减少或者字段顺序位置和/或内容发生变化时，可以依据不同的字段变化信息对待处理数据做出不同的数据调整策略。

在本实施例中，可以依据DDL比较器将预设时间范围内元数据中的 Hive表字段与归档表数据中待归档数据字段进行比较，并依据比对结果确定Hive表字段与待归档数据字段是否一一有序对应，在非一一有序对应的情况下，按照字段变化信息的变化情况以确定数据调整策略；也可以字段检测触发器触发字段数据之后，依据检测到的字段变化以进行数据调整策略，本实施例在此不做限制。

S130、根据数据调整策略对待处理数据进行数据归档调整。

其中，数据归档调整可以理解为按一定的数据调整策略对字段发生变化的数据行进行相应的数据归档。

在本实施例中，数据调整策略可以为在待处理数据出现字段增加的情况下，移动本次新增列数据至元数据中的Hive表字段行尾顺序增加缺少列；也可以为待处理数据出现字段减少的情况下，在待归档文本字段中增加空值列，并在Hive表中原位补充被删除的列数据；也可以为在待处理数据的字段顺序位置和/或内容发生变化的情况下，在待处理数据中修改文本并按顺序位置重新排列。

在本实施例中，可以依据对待处理数据的出现字段增加、字段减少或者字段顺序位置和/或内容发生变化时，对应相应的字段变化对待处理数据进行相应的数据归档调整；也可以通过将获取的归档数据进行封装为消息，并从消息队列中获取消息进行解析，以进行数据归档调整。

本发明实施例的上述技术方案，通过DDL确定待处理数据的字段变化信息，根据字段变化信息确定待处理数据的数据调整策略，根据数据调整策略对待处理数据进行数据归档调整。本发明实施例，通过DDL确定待处理数据的字段变化信息，能够精确的查找字段变化的类型，提升字段变化信息查找的准确度；依据字段变化信息确定待处理数据的数据调整策略，并依据数据调整策略对待处理数据进行数据归档调整，有效减小DDL变化带来的计算量，消除由于对DDL变化对数据有效性和数据查询造成的影响。

在一实施例中，根据数据调整策略对待处理数据进行数据归档调整之后，还包括：

将调整后的归档数据保存至元数据库中。

其中，元数据库用于存放历史数据，可以理解为已经进行归档的数据。

在本实施例中，依据不同的待处理数据的字段变化情况对待处理数据进行调整以及数据归档之后，还需要将字段调整之后的归档数据保持至元数据库中。

实施例二

在一实施例中，图2为本发明实施例二提供的一种数据处理方法的流程图，本实施例在上述各实施例地基础上，对根据DDL确定待处理数据的字段变化信息、根据字段变化信息确定待处理数据的数据调整策略，以及根据数据调整策略对待处理数据进行数据归档调整进行了进一步的细化，如图2所示，本实施例中的数据处理方法具体可以包含如下步骤：

S210、解析DDL以获取元数据中待处理数据的第一字段。

其中，第一字段可以理解为元数据中的Hive表字段信息。

在本实施例中，可以通过DDL解析器，以获取元数据中数据定义语言 DDL的Hive表字段。其中，DDL解析器可以理解为通过预先写入的固定程序对DDL语言进行相应的解析，解析之后提取DDL语言的相应部分。

S220、解析DDL以获取归档表数据中待处理数据的第二字段。

其中，第二字段可以理解为归档表数据中待归档文本字段。

在本实施例中，通过DDL解析器，以获取归档表数据中DDL的待归档文本字段。

S230、将第一字段和第二字段进行比对，以得到字段变化信息。

在本实施例中，将DDL解析器解析出的元数据中待处理数据的第一字段以及DDL解析器解析出的归档表数据中待处理数据的第二字段，通过DDL 比较器进行相应的比较，可以得到预设时间范围内待处理数据的字段变化信息。其中，DDL比较器用于将第一字段和第二字段进行比对。其中，预设时间范围可以为以天粒度计算，也可以以小时粒度计算，本实施例在此不做限制。示例性的，预设时间范围为第一天至第二天的范围内。

示例性的，假设元数据中待处理数据第一天的字段信息为A1、A2、A3、 A4、A5、A6、A7、A8，第二天内归档表数据中待处理数据的字段信息为A1’、 A2’、A3、A6、A7’、A8’、A7、A9、A10，由此可知第二天较第一天内待处理数据的变化为：①有增加的列字段，增加的列字段为A1’、A2’、A7’、A8’、 A9、A10；②有减少的列字段，减少的列字段为A1、A2、A4、A5、A8，则可知字段变化信息为有新增列且有删除列。

S240、在第一字段与第二字段一一有序对应的情况下，确定数据调整策略为不进行数据调整。

在本实施例中，将元数据中的第一字段与归档表数据中第二字段进行比较，若比较结果为元数据中的第一字段与归档表数据中第二字段一一有序对应的情况，则此时的数据调整策略为不进行相应的数据调整。需要说明的是，第一字段与第二字段一一有序对应可以理解为第一字段与第二字段的字段个数、字段顺序以及字段内容是一一对应的情况。

示例性的，元数据中待处理数据第一天的字段信息为B1、B2、B3、B4、，第二天内归档表数据中待处理数据的字段信息为B1、B2、B3、B4，则元数据中的Hive表字段与归档表数据中待归档文本字段为一一有序对应的情况，不存在增加列以及减少列字段变化信息，此时需要进行数据调整。

S250、在第一字段与第二字段非一一有序对应的情况下，按照字段变化信息的变化情况确定数据调整策略。

在本实施例中，第一字段与第二字段非一一有序对应可以理解为第一字段与第二字段的字段个数、字段顺序以及字段内容的至少其中之一，是非一一对应的情况。示例性的，第一字段与第二字段非一一有序对应的情况可以为第一字段与第二字段的字段个数是不对应的，即为字段有增加或减少的情况；也可以为第一字段与第二字段的字段顺序是不对应的，即为字段顺序出现错位的情况；也可以为第一字段与第二字段的字段内容是非一一对应的关系，可以通过调节字段的文本信息使得第一字段与第二字段的字段内容一一对应。

在本实施例中，若将元数据中的第一字段与归档表数据中第二字段进行比较，当比较结果为元数据中的第一字段与归档表数据中第二字段非一一有序对应的情况，则此时的数据调整策略可以为按照字段变化信息的变化情况进行确定。具体的，依据第一字段与第二字段的字段个数、字段顺序位置以及字段内容，进行相对应的数据调整策略。

示例性的，若元数据中待处理数据第一天的字段信息为C1、C2、C3、 C4、C5、C6、C7、C8，第二天内归档表数据中待处理数据的字段信息为C1’、 C2’、C3、C6、C7’、C8’、C7、C9、C10，可知第二天较第一天内待处理数据的变化为增加的列字段为C1’、C2’、C7’、C8’、C9、C10，减少的列字段为C1、C2、C4、C5、C8，则可知字段变化信息的变化情况为有新增列且有删除列，此时在存在新增列且有删除列的情况下，执行新增列调整策略以及删除列调整策略，即为在Hive表中保留原系统已删除的字段C1、C2、C4、 C5、C8，同时在Hive表最后顺序增加列C1’、C2’、C7’、C8’、C9、C10。

在一实施例中，按照字段变化信息的变化情况确定数据调整策略，包括：

在第一字段多于第二字段的情况下，认为存在被删除的列数据，数据调整策略为删除列调整策略；

在第一字段少于第二字段的情况下，认为存在新增列数据，数据调整策略为新增列调整策略；

在第一字段与第二字段的位置顺序和/或内容不一致的情况下，认为存在列数据的顺序位置调整，数据调整策略为列顺序位置调整策略。

其中，删除列调整策略指的是存在被删除的列数据时，所执行的数据调整策略。新增列调整策略指的是存在新增列数据时，所执行的数据调整策。列顺序位置调整策略指的是存在字段信息的位置顺序和/或内容不一致的情况下，所执行的数据调整策略。

在本实施例中，在元数据中的Hive表字段多于归档表数据中待归档文本字段的情况下，认为存在被删除的列数据，此时数据调整策略为在归档表数据中待归档文本字段中增加空值列，并原位补充至被删除的列数据，以进行数据归档调整；在元数据中的Hive表字段少于归档表数据中待归档文本字段的情况下，认为存在新增列数据，此时数据调整策略为在元数据中的Hive表字段所在行中的数据行尾顺序增加缺少的列；在元数据中的Hive表字段与归档表数据中待归档文本字段的顺序及内容不一致的情况下，认为需要列数据位置调整，数据调整策略为修改文本按Hive表字段位置做重新排列。

S260、在数据调整策略为不进行数据调整的情况下，直接将待处理数据进行归档。

在本实施例中，在元数据中的Hive表字段与归档表数据中待归档文本字段意义有序对应的情况下，数据调整策略为不进行数据调整，直接将待处理数据进行归档，然后存储至归档数据保存平台。

S270、在数据调整策略为删除列调整的情况下，在第二字段的待处理数据中增加空值列以进行数据归档调整。

在本实施例中，在元数据中的第一字段多于归档表数据中第二字段的情况下，数据调整策略为删除列调整，此时在第二字段的待处理数据中增加空值列以进行数据归档调整。示例性的，若元数据中待处理数据第一天的字段信息为D1、D2、D3、D4、D5、D6、D7、D8，第二天内归档表数据中待处理数据的字段信息为D3、D6、D7、D8，可知第二天较第一天内待处理数据的变化：减少的列字段为D1、D2、D4、D5，则可知字段变化信息的变化情况为有删除列，此时在存在有删除列的情况下，执行删除列调整策略，即为在Hive表中保留原系统已删除的字段D1、D2、D4、D5，并设置为空值。

S280、在数据调整策略为新增列调整的情况下，在第一字段的待处理数据中的数据行尾顺序增加缺少列以进行数据归档调整。

在本实施例中，在元数据中的Hive表字段少于归档表数据中待归档文本字段的情况下，数据调整策略为新增列调整，此时在在第一字段的待处理数据中的数据行尾顺序增加缺少列以进行数据归档调整。示例性的，若元数据中待处理数据第一天的字段信息为E1、E2、E3、E4、E5、E6、E7、E8，第二天内归档表数据中待处理数据的字段信息为E1’、E2’、E1、E2、E3、E4、E5、E6、E7、E8、E7’、E8’、E7、E9、E10，可知第二天较第一天内待处理数据的变化为增加的列字段为E1’、E2’、E7’、E8’、E9、E10，则可知字段变化信息的变化情况为：有新增列，此时在存在新增列的情况下，执行新增列调整策略，即为在Hive表最后顺序增加列E1’、E2’、E7’、E8’、E9、E10。

S290、在数据调整策略为列顺序位置调整的情况下，在第二字段的待处理数据中修改文本并按第一字段顺序位置重新排列以进行数据归档调整。

在本实施例中，在元数据中的Hive表字段与归档表数据中待归档文本字段的位置顺序和/或内容不一致的情况下，数据调整策略为列顺序位置调整策略，此时在第二字段的待处理数据中修改文本并按元数据中的Hive表字段顺序位置重新排列以进行数据归档调整。示例性的，若元数据中待处理数据第一天的字段信息为F1、F2、F3、F4，第二天内归档表数据中待处理数据的字段信息为F3、F1、F2、F4，可知第二天较第一天内待处理数据的变化为列顺序位置发生了变化，则可知字段变化信息的变化情况为有列顺序位置调整，此时在存在列顺序位置调整的情况下，执行列顺序位置调整调整策略，即为在Hive表中修改文本按Hive表字段位置做重新排列，表示为F1、F2、F3、 F4。

需要说明的是，列位置调整的本质是修改文本，并没有修改表位置，调整的是归档文本字段的顺序。

本发明实施例的上述技术方案，解析数据定义语言DDL以获取元数据中待处理数据的第一字段，解析数据定义语言DDL以获取归档表数据中待处理数据的第二字段，将第一字段和第二字段进行比对，以得到字段变化信息，能够精确的查找字段变化的类型，提升字段变化信息查找的准确度；在第一字段与所二字段一一有序对应的情况下，确定数据调整策略为不进行数据调整。在第一字段与第二字段非一一有序对应的情况下，按照字段变化信息的变化情况确定数据调整策略，在数据调整策略为不进行数据调整的情况下，直接将待处理数据进行归档；在数据调整策略为删除列调整的情况下，在第二字段的待处理数据中增加空值列以进行数据归档调整；在数据调整策略为新增列调整的情况下，在第一字段的待处理数据中的数据行尾顺序增加缺少列以进行数据归档调整；在数据调整策略为列顺序位置调整的情况下，在第二字段的待处理数据中修改文本并按第一字段顺序位置重新排列以进行数据归档调整，有效减小DDL变化带来的计算量，消除由于对DDL变化对数据有效性和数据查询造成的影响。

实施例三

在一实施例中，为便于更好的理解数据处理方法，图3为本发明实施例三提供的一种数据处理方法的流程示意图，本发明实施例，DDL变化处理依据元数据组件(可以理解为DDL语句)计算比较得到的当前Hive表字段与待归档文本字段差别对照关系。其中，当前Hive表字段表示为上述实施例中的第一字段，待归档文本字段表示为上述实施例中的第二字段。在本实施例中，若Hive表字段与待归档文本字段为一一有序对应的文本，则数据调整策略为不进行数据调整，即为不予处理，如果Hive表字段与待归档文本字段个数、字段顺序以及字段内容不一样，需要按不同情况进行调整文本或Hive表。如图3所示，具体如下：

S310、获取的DDL字段变化信息和需要处理的数据行。

S320、是否有被删除的列数据，若有，则执行S330，若否，则执行 S340。

S330、在待处理数据行中增加空值列，原位补充被删除的列，以进行数据归档调整。

在本实施例中，存在被删除的列数据的情况下，可以理解为待归档文本字段比Hive表字段少，此时数据调整策略为修改文本把已经删除的列位置数据内容设置为空占位。

S340、是否有新增列数据，若有，则执行S340，否则执行S360。

S350、移动本次新增列数据到数据行尾。

在本实施例中，存在新增列数据调整的情况下，可以理解为待归档文本字段比Hive表字段多，此时数据调整策略为修改Hive表，在最后一列后面顺序增加缺少的列，并且修改文本把多的字段移动到最后。

S360、是否有列数据顺序位置调整，若有，则执行S370，否则直接结束。

S370、按新顺序调整列数据位置。

在本实施例中，存在列顺序位置调整的情况下，可以理解为待归档文本字段与Hive表字段相比，字段个数一致，但是字段顺序发生变化，此时可以修改文本按Hive表字段位置做重新排列。

在本实施例中，图4为本发明实施例三提供的一种DDL变化和映射示意图。在本实施中，图4演示了两天之间的历史数据情况，其中，元数据中示出了第一天和第二天的映射，归档表数据中体现了第一天和第二天DDL的变化，其中，C1、C2、C3、C4、C5、C6、C7、C8为第一天的字段信息(列数据)，原系统待归档数据第二天较第一天有DDL变化的情况出现：1)增加列为C1’、 C2’、C7’、C8’、C9、C10；2)减少列C1、C2、C4、C5、C8。DDL列情况由第一天的C1、C2、C3、C4、C5、C6、C7、C8变为C1’、C2’、C3、C6、 C7’、C8’、C7、C9、C10。由于不会去调整Hive表已归档数据列位置，所以需要调整元数据映射和待归档文件列位置来适应新的变化。在本实施例中，针对上述DDL增加列调整以及减少列调整的变化，数据调整规则为：1)在 Hive表中保留原系统已删除的字段C1、C2、C4、C5、C8，把已经删除的列位置内容设置为空占位；2)在Hive表最后，顺序增加列C1’、C2’、C7’、C8’、 C9、C10，把修改文本把多的字段移动到最后。

实施例四

在一实施例中，图5为本发明实施例四提供的一种数据处理装置的结构框图，该装置适用于对充电桩的异常计量点档案进行筛选时的情况，该装置可以由硬件/软件实现。可配置于电子设备中来实现本发明实施例中的一种数据处理方法。如图5所示，该装置包括：信息确定模块510、信息确定模块520、数据调整模块530。

其中，信息确定模块510，用于根据DDL确定待处理数据的字段变化信息；

策略确定模块520，用于根据所述字段变化信息确定所述待处理数据的数据调整策略；

数据调整模块530，用于根据所述数据调整策略对所述待处理数据进行数据归档调整。

本发明实施例，信息确定模块，通过DDL确定待处理数据的字段变化信息，能够精确的查找字段变化的类型，提升字段变化信息查找的准确度；策略确定模块，根据字段变化信息确定待处理数据的数据调整策略，数据调整模块，根据数据调整策略对待处理数据进行数据归档调整，能够有效减小DDL 变化带来的计算量，消除由于对DDL变化对数据有效性和数据查询造成的影响。

在一实施例中，信息确定模块510，包括：

第一字段获取单元，用于解析所述DDL以获取元数据中所述待处理数据的第一字段；

第二字段获取单元，用于解析所述DDL以获取归档表数据中所述待处理数据的第二字段；

信息获得单元，用于将所述第一字段和所述第二字段进行比对，以得到所述字段变化信息。

在一实施例中，策略确定模块520，包括：

第一策略单元，用于在所述第一字段与所述第二字段一一有序对应的情况下，确定所述数据调整策略为不进行数据调整；

第二策略单元，用于在所述第一字段与所述第二字段非一一有序对应的情况下，按照字段变化信息的变化情况确定所述数据调整策略。

在一实施例中，第二策略单元，包括：

第一调整策略单元，用于在所述第一字段多于所述第二字段的情况下，认为存在被删除的列数据，所述数据调整策略为删除列调整策略；

第二调整策略单元，用于在所述第一字段少于所述第二字段的情况下，认为存在新增列数据，所述数据调整策略为新增列调整策略；

第三调整策略单元，用于在所述第一字段与所述第二字段的位置顺序和/ 或内容不一致的情况下，认为存在列数据的顺序位置调整，所述数据调整策略为列顺序位置调整策略。

在一实施例中，数据调整模块530，包括：

第一归档单元，用于在所述数据调整策略为不进行数据调整的情况下，直接将所述待处理数据进行归档；

第二归档单元，用于在所述数据调整策略为删除列调整的情况下，在所述第二字段的所述待处理数据中增加空值列以进行数据归档调整；

第三归档单元，用于在所述数据调整策略为新增列调整的情况下，在所述第一字段的所述待处理数据中的数据行尾顺序增加缺少列以进行数据归档调整；

第四归档单元，用于在所述数据调整策略为列顺序位置调整的情况下，在所述第二字段的所述待处理数据中修改文本并按所述第一字段顺序位置重新排列以进行所述数据归档调整。

在一实施例中，所述装置，还包括：

数据保存单元，用于所述根据所述数据调整策略对所述待处理数据进行数据归档调整之后，将调整后的归档数据保存至源数据库中。

在一实施例中，所述变化信息至少包括下述之一：所述待处理数据的字段增加、所述待处理数据的字段减少、所述待处理数据的字段顺序位置和/或内容发生变化。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

实施例五

在一实施例中，为便于更好的理解数据处理系统，图6为本发明实施例五提供的一种数据处理系统的结构框图，该系统包括：元数据管理模块610、数据调整模块620以及归档数据保存模块630。其中，元数据管理模块610 还包括：DDL解析器以及DDL比较器。

在本实施例中，通过DDL解析器可以获取元数据中DDL的Hive表字段以及获取DDL的待归档文本字段；通过DDL比较器将Hive表字段和待归档文本字段进行比对，以得到比对结果，依据比对结果确定DDL变化信息。数据调整模块620，通过调用元数据管理模块610中的DDL解析器和DDL比较器得到DDL变化信息，指导数据列和Hive列调整模块620实施对待归档数据和Hive表的调整。通过此DDL变化流程的有效管理控制，在不用调整 Hive表已归档数据列位置的情况下，而是通过流程中DDL解析器和DDL比较器得到DDL变化信息，从而调整元数据映射和待归档文件列的位置来适应新的结构变化，可以有效的减小DDL变化带来的计算量。

实施例六

在一实施例中，图7为本发明实施例六提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14 彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据处理方法。

在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件) 而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

根据数据定义语言DDL确定待处理数据的字段变化信息；

根据所述字段变化信息确定所述待处理数据的数据调整策略；

根据所述数据调整策略对所述待处理数据进行数据归档调整。

2.根据权利要求1所述的方法，其特征在于，所述根据数据定义语言DDL确定待处理数据的字段变化信息，包括：

解析所述数据定义语言DDL以获取元数据中所述待处理数据的第一字段；

解析所述数据定义语言DDL以获取归档表数据中所述待处理数据的第二字段；

将所述第一字段和所述第二字段进行比对，以得到所述字段变化信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述字段变化信息确定所述待处理数据的数据调整策略，包括：

在所述第一字段与所述第二字段一一有序对应的情况下，确定所述数据调整策略为不进行数据调整；

在所述第一字段与所述第二字段非一一有序对应的情况下，按照字段变化信息的变化情况确定所述数据调整策略。

4.根据权利要3所述的方法，其特征在于，所述按照字段变化信息的变化情况确定所述数据调整策略，包括：

在所述第一字段多于所述第二字段的情况下，认为存在被删除的列数据，所述数据调整策略为删除列调整策略；

在所述第一字段少于所述第二字段的情况下，认为存在新增列数据，所述数据调整策略为新增列调整策略；

在所述第一字段与所述第二字段的位置顺序和/或内容不一致的情况下，认为存在列数据的顺序位置调整，所述数据调整策略为列顺序位置调整策略。

5.根据权利要1所述的方法，其特征在于，所述根据所述数据调整策略对所述待处理数据进行数据归档调整，包括：

在所述数据调整策略为不进行数据调整的情况下，直接将所述待处理数据进行归档；

在所述数据调整策略为删除列调整的情况下，在所述第二字段的所述待处理数据中增加空值列以进行数据归档调整；

在所述数据调整策略为新增列调整的情况下，在所述第一字段的所述待处理数据中的数据行尾顺序增加缺少列以进行数据归档调整；

在所述数据调整策略为列顺序位置调整的情况下，在所述第二字段的所述待处理数据中修改文本并按所述第一字段顺序位置重新排列以进行所述数据归档调整。

6.根据权利要求1所述的方法，其特征在于，所述根据所述数据调整策略对所述待处理数据进行数据归档调整之后，还包括：

将调整后的归档数据保存至元数据库中。

7.根据权利要求1所述的方法，其特征在于，所述变化信息至少包括下述之一：所述待处理数据的字段增加、所述待处理数据的字段减少、所述待处理数据的字段顺序位置和/或内容发生变化。

8.一种数据处理装置，其特征在于，包括：

信息确定模块，用于数据定义语言DDL确定待处理数据的字段变化信息；

策略确定模块，用于根据所述字段变化信息确定所述待处理数据的数据调整策略；

数据调整模块，用于根据所述数据调整策略对所述待处理数据进行数据归档调整。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。

Images