CN117009355A - 基于新旧系统的数据处理方法、装置及存储介质 - Google Patents

Abstract

本申请提供一种基于新旧系统的数据处理方法、装置及存储介质，可用于大数据领域。该方法包括：在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表；将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取旧系统数据和新系统数据。本申请的方法，在数据湖中统一进行格式转换，降低每一下游应用的格式切换成本，并且新旧系统切换不会给下游应用带来影响，以解决新旧系统切换过程中，下游应用获取的数据格式无法保持一致甚至容易调用出错的问题。

Description

基于新旧系统的数据处理方法、装置及存储介质

技术领域

本申请涉及大数据技术领域，尤其涉及一种基于新旧系统的数据处理方法、装置及存储介质。

背景技术

随着互联网场景及支付业务持续快速增长，快捷支付业务量屡创新高，对旧系统安全提出严峻挑战，原有的集中式系统已不能满足业务的需求，因此，金融机构开始逐渐将集中式系统内的数据过渡到满足业务需求的分布式的平台系统中，以实现新旧系统切换。

现有新旧系统切换过程耗时较长，为了避免切换过程导致下游应用无法正常使用，主要通过数据湖的方式为下游应用提供数据支持，在数据湖内同时存在新系统的数据和旧系统的数据，以使下游应用通过数据湖同时加载新旧系统的数据，以避免因数据缺失导致交易报错等问题。

当新旧系统切换过程出现问题时，为了确保交易能够继续完成，通常会暂停新系统，并回切到旧系统。但由于新旧系统的表结构可能不同，回切后的新增的数据依旧以旧系统的格式保存，使得新系统数据很难追平旧系统数据，还可能因同一关联数据分别以新旧系统格式存储导致下游应用调用数据时发生混乱，增加新旧系统切换过程的复杂度。

发明内容

本申请提供一种基于新旧系统的数据处理方法、装置及存储介质，用以解决由于新旧系统的表结构可能不同，回切后的新增的数据依旧以旧系统的格式保存，使得新系统数据很难追平旧系统数据，还可能因同一关联数据分别以新旧系统格式存储导致下游应用调用数据时发生混乱，增加新旧系统切换过程的复杂度问题。

第一方面，本申请提供一种基于新旧系统的数据处理方法，包括：

在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；

根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表；

将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取旧系统数据和新系统数据。

在一种可能的设计中，所述根据所述新系统数据中的表结构，在数据湖中构建空白数据表，包括：

复制所述新系统数据中的表结构，得到新系统表结构副本；

将所述新系统表结构副本迁移至数据湖中，并根据所述新系统表结构副本，新建与所述新系统表结构副本属性相同的空白数据表。

在一种可能的设计中，所述将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表，包括：

复制所述旧系统数据和新系统数据，得到旧系统数据贴源表和新系统数据贴源表；

根据所述旧系统数据贴源表和预设新旧数据格式转换规则，将所述旧系统数据贴源表转换为中间表；其中，所述中间表的表结构与所述新系统数据中的表结构相同；

将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表。

在一种可能的设计中，所述将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表之后，所述方法还包括：

将所述中间表迁移至所述空白数据表之后，逐一判断所述新系统数据贴源表中的数据与已迁移的中间表中的数据是否一致；

若否，则将所述新系统数据贴源表中的数据迁移至所述空白数据表中，得到合并后的保鲜表。

在一种可能的设计中，还包括：

在监测到新旧系统处于回切过程时，获取更新的旧系统数据；

将所述更新的旧系统数据存储至所述保鲜表中；

将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的旧系统数据。

在一种可能的设计中，还包括：

在监测到新旧系统切换完成后，获取更新的新系统数据；

将所述更新的新系统数据存储至所述保鲜表中；

将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的新系统数据。

第二方面，本申请提供一种基于新旧系统的数据处理装置，包括：

获取模块，用于在监测到新旧系统切换时，分别获取旧系统数据和新系统数据。

处理模块，用于根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表。

发送模块，用于将所述保鲜表下发至下游应用中，以使下游应用以新系统数据中的表结构获取旧系统数据和新系统数据。

可选的，所述处理模块具体用于：

根据所述新系统数据中的表结构，在数据湖中构建空白数据表，包括：

复制所述新系统数据中的表结构，得到新系统表结构副本；

将所述新系统表结构副本迁移至数据湖中，并根据所述新系统表结构副本，新建与所述新系统表结构副本属性相同的空白数据表。

可选的，所述处理模块具体用于：

将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表，包括：

复制所述旧系统数据和新系统数据，得到旧系统数据贴源表和新系统数据贴源表；

根据所述旧系统数据贴源表和预设新旧数据格式转换规则，将所述旧系统数据贴源表转换为中间表；

其中，所述中间表的表结构与所述新系统数据中的表结构相同；

将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表。

进一步的，所述处理模块具体用于：

将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表，包括：

将所述中间表迁移至所述空白数据表；

逐一判断所述新系统数据贴源表中的数据与已迁移的中间表中的数据是否一致；

若否，则将所述新系统数据贴源表中的数据迁移至所述空白数据表中，得到合并后的保鲜表。

可选的，所述处理模块还可以用于：

在监测到新旧系统处于回切过程时，触发获取模块获取更新的旧系统数据；

将所述更新的旧系统数据存储至所述保鲜表中；

触发发送模块将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的旧系统数据。

可选的，所述处理模块还可以用于：

在监测到新旧系统切换完成后，触发获取模块获取更新的新系统数据；

将所述更新的新系统数据存储至所述保鲜表中；

触发发送模块将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的新系统数据。

第三方面，本申请提供一种服务器，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现基于新旧系统的数据处理方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现基于新旧系统的数据处理方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现基于新旧系统的数据处理方法。

本申请提供的基于新旧系统的数据处理方法、装置及存储介质，通过在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表；将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取旧系统数据和新系统数据。相较于现有技术中由于新旧系统的表结构可能不同，回切后的新增的数据依旧以旧系统的格式保存，使得新系统数据很难追平旧系统数据，还可能因同一关联数据分别以新旧系统格式存储导致下游应用调用数据时发生混乱，增加新旧系统切换过程的复杂度的缺陷，本申请通过在数据湖中统一进行格式转换，降低每一下游应用的格式切换成本，并且新旧系统切换不会给下游应用带来影响，从而解决新旧系统切换过程中，下游应用获取的数据格式无法保持一致的问题，进而降低调用出错情况的发生。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的基于新旧系统的数据处理的应用场景示意图；

图2为本申请实施例提供的基于新旧系统的数据处理方法的流程示意图一；

图3为本申请实施例提供的基于新旧系统的数据处理方法的流程示意图二；

图4为本申请实施例提供的基于新旧系统的数据处理装置的结构示意图；

图5为本申请实施例提供的服务器的硬件结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是本申请的一些方面相一致的装置和方法的例子。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户装置信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要说明的是，本申请提供的基于新旧系统的数据处理方法、装置及存储介质可用于大数据领域，也可用于除大数据领域之外的任意领域，本申请对基于新旧系统的数据处理方法、装置及存储介质的应用领域不做限定。

首先对本申请所涉及的相关概念或名词进行解释：

旧系统：是指已经稳定存在并使用较长时间的业务处理平台，数据在旧系统内以旧系统格式进行存储，以供下游应用使用旧系统格式调取对应的数据。

新系统：是指新建立并使用较短时间的业务处理平台，数据在新系统内以新系统格式进行存储，以供下游应用使用新系统格式调取对应的数据，新系统格式可以与旧系统格式相同，也可以不同。

数据湖：是指一种面向多数据源的信息存储中间区域，是原始数据的汇聚区域，且不对数据做转换、清洗、加工等处理，保留数据原始特征。

贴源表：是指完全复制原始表格后得到的，与原始表格的表结构及内容均一致的表。

现有技术的新旧系统在切换过程中，虽然新旧系统都有双写功能，但由于新旧系统的表结构可能不同，新旧系统的数据入湖时间也有前后，下游应用需要同时加载新旧系统的下传的数据，一旦新旧系统切换过程中出现问题，回切到旧系统，则新系统数据无法追平旧系统数据。

并且，由于系统一直在进行高并发交易场景时，数据随时在发生变化，下游应用众多，回切存在较大问题。在新系统的建设过程中，新旧系统的数据表通常不完全相同，大部分表是一对一关系，但也存在一张旧表对应多张新表的情况，即一对多的对应关系，而且还可能存在多张旧表对应一张新表的关系。

以上多种情况导致了新旧系统切换过程复杂，耗时较长，这就导致新旧系统切换过程中，下游应用既可能使用旧系统数据，也可能使用新系统数据，且新旧系统数据均存在时，很容易导致下游应用的数据调用发生混乱。

基于上述技术问题，本申请的发明构思在于：在下游应用使用数据前的数据湖中进行新旧系统中的数据合并处理，并将合并处理后的数据以新系统的表结构形式下发给下游应用，以使下游应用始终以新系统的表结构形式获取旧系统数据和新系统数据，避免下游应用对数据格式的切换，旨在解决现有技术的如上技术问题。

本申请具体的应用场景如下：

图1为本申请实施例提供的基于新旧系统的数据处理方法应用场景示意图。如图1所示，新系统101和旧系统102内的数据表被复制后进入数据湖103分别形成新系统和旧系统的数据贴源表，在数据湖中新建空白数据表，空白数据表的表结构参考新系统数据表的表结构，以便后期系统切换完成后不再进行表格式转换，又由于新旧系统内表格式相对固定，在数据湖103中的旧系统数据通过固定的格式转换后，以新系统数据表的表格式存储至保鲜表中，而新系统数据贴源表由于格式相同可以直接复制到保鲜表中，并且保鲜表周期性核对新旧系统的数据贴源表，以使保鲜表内的数据为最新数据，进而将最新的数据提供给下游应用104。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例提供的基于新旧系统的数据处理方法流程示意图一。如图2所示，该方法包括：

S201、在监测到新旧系统切换时，分别获取旧系统数据和新系统数据。

具体来说，服务器实时监测新旧系统的切换状态，若处于切换状态时，此时新系统和旧系统之间会进行数据同步，为了避免数据同步过程中出现故障，需要在同步前，也就是切换前先备份新旧系统内的数据，因此需要先获取旧系统数据和新系统数据。

S202、根据该新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的该旧系统数据和新系统数据存储至该空白数据表中，得到保鲜表。

具体来说，由于数据是以数据表的形式存储并使用的，当新旧系统数据表的表格式不一致时，为了方便后期数据统一，并顺利过渡到新系统，因此，需要以新系统数据的表结构作为合并后数据的存储形式。

优选的，通过获取的新系统数据，复制其表结构得到表结构副本，然后再将表结构副本移动至数据湖中，以根据该表结构副本构建用于存储合并数据的空白数据表。

对于新系统数据来说，由于新系统数据的表结构与空白数据表的表结构相同，因此不存在格式转化问题，可以直接进行数据迁移，但对于旧系统来说，需要先将旧系统数据进行格式转化后，再迁移至空白数据表中，以符合空白数据表的数据存储要求。

优选的，由于旧系统数据运行时间较长也较稳定，其数据准确性相对较高，因此，当新系统数据和旧系统数据存在相同数据时，优先以旧系统的数据作为存储数据加载，因此，需要先在空白数据表中存储旧系统的数据，然后再存储不重复的新系统的数据。

通过构建保鲜表将新旧系统的数据都合并在一起，以便对新旧系统内的数据进行统一存储，使得新旧系统在切换过程中不会影响到下游应用对数据的正常调用，并且保鲜表独立于新旧系统的原始数据之外，不影响新旧系统原始数据的记录。

S203、将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取旧系统数据和新系统数据。

具体来说，由于保鲜表中同时存储有旧系统数据和新系统数据，足以支持下游应用的正常使用，将保鲜表作为直接暴露给下游应用的数据表，而新系统的数据表不对外服务，只作为保鲜表的上一级表，从而在新系统出现问题需要停止服务时，不会影响到下游应用对保鲜表内数据的正常调取。

由于下游应用存在数量较多且较杂，若调取的数据格式不统一，则需要下游应用对调取的数据再进行格式转换，而由于不同下游应用所支持的转换格式不同，还需要下游应用即能支持新系统格式，也能支持旧系统格式，因而需要对下游应用进行针对性的程序升级，以满足不同应用的格式需求。

在切换量较大时，就需要耗费大量的下游成本，且格式有新有旧，导致上游收集数据的格式也是有新有旧，给后期的基于新旧系统的数据处理带来麻烦的同时，还使得下游应用的数据无法保持一致性。通过在数据湖中构建保鲜表，使得数据在下发给下游应用之前进行格式统一，从而减少下游应用的切换成本，下游应用可以统一支持新系统格式即可，后期使用数据过程中不再来回切换，且在新系统和旧系统中的任一系统出现问题需要切换时，对下游应用不会产生任何影响。

同时，新收集的下游应用数据均为新系统格式，无需新系统再进行格式转换，降低格式转换工作量。

本实施例提供的方法，通过在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；根据该新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的该旧系统数据和新系统数据存储至该空白数据表中，得到保鲜表；将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取旧系统数据和新系统数据的手段，在数据湖中统一进行格式转换，降低每一下游应用的格式切换成本，并且新旧系统切换不会给下游应用带来影响，以解决新旧系统切换过程中，下游应用获取的数据格式无法保持一致甚至容易调用出错的问题。

下面结合一个具体的实施例，对本申请的基于新旧系统的数据处理方法进行详细说明。

图3为本申请实施例提供的基于新旧系统的数据处理方法流程示意图二。如图3所示，该方法包括：

S301、在监测到新旧系统切换时，分别获取旧系统数据和新系统数据。

具体来说，服务器实时监测新旧系统的切换状态，若处于切换状态时，此时新系统和旧系统之间会进行数据同步，为了避免数据同步过程中出现故障，需要在同步前，也就是切换前先备份新旧系统内的数据，因此需要先获取旧系统数据和新系统数据。

S302、复制该新系统数据中的表结构，得到新系统表结构副本。

具体来说，由于新系统是后期需要长期使用的系统，因而适用于新系统数据中的表结构便是下游应用后期都需要支持的数据格式，因此，在上游基于新旧系统的数据处理时，需要尽可能的以该表结构作为唯一格式进行数据输出，从而降低下游应用在调取数据时还需要进行格式匹配的弊端，而为了统一格式，就需要复制该表结构，以得到新系统表结构副本。

S303、将该新系统表结构副本迁移至数据湖中。

具体来说，由于数据湖作为业务数据和外部数据的汇聚系统，能及时对收集的原始数据进行整合纳管，且保留原始数据的格式和内容，无需新建获取模块就能从数据湖中获取准确的原始数据贴源表，因此，可以利用这些原始数据贴源表的在数据湖中新建整合新旧系统数据的新表格，通过该新表格来隔绝贴源表与下游应用，使得该新表格可以独立于不能修改处理的贴源表之外，为下游应用提供更方便使用也更准确的数据。

由于已经通过新系统表结构复制得到新系统表结构副本，因此，可以将新系统表结构副本迁移至数据湖中，以使新表格可以直接根据新系统表结构副本进行构建。

S304、根据该新系统表结构副本，新建与该新系统表结构副本属性相同的空白数据表。

具体来说，由于新系统表结构副本仅为一种规定化格式，没有实质的数据内容，根据新系统表结构副本构建的新表格也是没有数据的，即为空白数据表，但由于是根据新系统表结构副本构建的，因而该空白数据表的属性与新系统表结构副本相同，也必然与新系统表结构属性相同，从而有利于后期下游应用的数据调用。

S305、复制该旧系统数据和新系统数据，得到旧系统数据贴源表和新系统数据贴源表。

具体来说，由于空白数据表中需要存储数据，而数据是从数据湖中获取的，而数据湖中的数据又是复制新旧系统的数据得到的，因此，获取旧系统数据和新系统数据后，需要复制，以得到旧系统数据贴源表和新系统数据贴源表。

S306、根据该旧系统数据贴源表和预设新旧数据格式转换规则，将该旧系统数据贴源表转换为中间表。

其中，该中间表的表结构与该新系统数据中的表结构相同。

具体来说，由于旧系统数据和新系统数据的格式都是固定的，因此可以在下发数据前统一进行格式转换，即将旧系统数据的格式统一转换成新系统数据的格式，从而避免下发给下游应用后，再利用下游应用各自的程序进行格式转换，由于一次性把旧系统数据转换成带有新系统数据格式的中间表，其转换的数据量必然小于多个下游应用分别转换后的总转换量，即统一转换可以降低整体数据格式转换量。

S307、将该中间表迁移至该空白数据表。

具体来说，在将旧系统数据转换为新系统数据格式的中间表后，中间表中就存储有以新系统数据格式存储的旧系统数据，将中间表直接迁移至空白数据表中后，空白数据表就存储了以新系统数据格式存储的旧系统数据。

S308、逐一判断该新系统数据贴源表中的数据与已迁移的中间表中的数据是否一致，若是，则执行S309，若否，则执行S310。

具体来说，由于新旧系统切换混用过程中，很可能存在同一笔交易在新系统和旧系统中均存储的情况，因此，在数据合并时就需要对数据进行筛选。

S309、不迁移该新系统数据贴源表中的数据。并跳转至S311。

具体来说，由于旧系统数据已经全部迁移至空白数据表中了，并且旧系统由于已经稳定运行较长时间，其数据准确性相对于新运行的新系统数据更加准确，因而合并过程以旧系统数据为准，若新系统数据中有与旧系统数据重合的数据，则不迁移对应的新系统数据。

S310、将该新系统数据贴源表中的数据迁移至该空白数据表中，得到合并后的保鲜表。

具体来说，若新系统数据与旧系统数据不同，即新系统数据为独有数据，此时则以新系统数据为准，将新系统数据存储至空白数据表中，并在新系统数据全部存储完成后，就得到同时包含新系统数据和旧系统数据的数据总表，即为保鲜表。由于保鲜表为一个整表，因此避免新系统数据与旧系统数据中一表对多表或者多表对一表的情况，从而降低数据切换一致性的比对难度。

优选的，保鲜表的数据需要与新系统数据和旧系统数据进行核对，以保证数据的准确性。

S311、将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取旧系统数据和新系统数据。

具体来说，由于旧系统数据量较大，导致数据转换也需要耗费一定的时间，在保鲜表还未构建完成时，为确保下游应用能够稳定使用，此时下游应用调用数据湖中旧系统数据贴源表内的数据，即下游应用加载旧系统数据，待保鲜表构建完成后，此时新旧系统切换完成，将保鲜表作为下游应用的加载数据，同时下游应用不再加载旧系统数据，也不加载新系统数据，只以保鲜表内数据为准，从而避免后续系统再次切换导致下游应用切换加载的数据表，保证下游应用业务的正常运行。

S312、在监测到新旧系统切换完成后，获取更新的新系统数据。

具体来说，新旧系统切换完成后，旧系统就可以停用了，新系统开始收集并更新数据，因此，为了确保数据的完整性和全面性，需要获取新系统更新的数据。

S313、将该更新的新系统数据存储至该保鲜表中。

具体来说，由于新系统更新的数据都是与保鲜表相同的新系统数据格式，因而可以直接将新系统更新的数据存储至保鲜表中。

优选的，由于保鲜表数据以旧系统数据为准，更新的新系统数据在存储至保鲜表时仍要逐一核对保鲜表内是否存在重复数据，若存在，则无需存储重复的更新数据。

S314、将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取更新的新系统数据。

具体来说，下游应用始终对接的是保鲜表，与新系统的数据不直接对接，因而新系统的启用和停用不会影响到下游应用的正常运行，下游应用始终从保鲜表中获取最新且最全的新系统数据格式的数据。

S315、在监测到新旧系统处于回切过程时，获取更新的旧系统数据。

具体来说，在已经使用保鲜表作为下游应用加载数据后，即系统切换完成后，若新系统发生故障或需要停运维护时，需要临时启用旧系统，此时新系统停止向数据湖更新数据，数据湖内数据更新来源主要依靠旧系统，因此需要获取更新的旧系统数据。

S316、将该更新的旧系统数据存储至该保鲜表中。

具体来说，同理将更新的旧系统数据转换成新系统格式后存储至保鲜表内，同时，由于没有新系统数据更新，因此不必核对新旧系统数据的重复性。

S317、将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取更新的旧系统数据。

具体来说，下游应用始终对接的是保鲜表，因而在新系统切换成旧系统后，旧系统更新的数据会同步到保鲜表中，然后被下游应用获取，从而使下游应用无需切换数据来源以及数据格式，始终从保鲜表中获取最新且最全的新系统数据格式的数据。

本实施例提供的方法，通过在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；复制该新系统数据中的表结构，得到新系统表结构副本；将该新系统表结构副本迁移至数据湖中，并根据该新系统表结构副本，新建与该新系统表结构副本属性相同的空白数据表；复制该旧系统数据和新系统数据，得到旧系统数据贴源表和新系统数据贴源表；根据该旧系统数据贴源表和预设新旧数据格式转换规则，将该旧系统数据贴源表转换为中间表；将该新系统数据贴源表和该中间表分别迁移至该空白数据表中合并，得到保鲜表，将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取旧系统数据和新系统数据的手段，实现新旧系统数据的一致性，避免回切到旧系统后数据格式不匹配的问题，同时利用数据湖内的保鲜表来隔绝下游应用与新旧系统，避免新旧系统来回切换导致下游应用无法使用。

通过将该中间表迁移至该空白数据表之后，逐一判断该新系统数据贴源表中的数据与已迁移的中间表中的数据是否一致；若否，则将该新系统数据贴源表中的数据迁移至该空白数据表中，得到合并后的保鲜表的手段，确保存储至保鲜表内的数据不会存在重复或无效数据，进而降低下游应用调用数据时发生错误的可能性。

通过在监测到新旧系统切换完成后，获取更新的新系统数据；将该更新的新系统数据存储至该保鲜表中；将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取更新的新系统数据的手段，使得下游应用不直接加载新系统数据，从而避免因新系统回切至旧系统时对下游应用产生影响。

通过在监测到新旧系统处于回切过程时，获取更新的旧系统数据；将该更新的旧系统数据存储至该保鲜表中；将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取更新的旧系统数据的手段，实现回切过程中旧系统数据的更新，不影响之前已经同步并转换的数据，保证下游应用使用数据的质量以及数据一致性。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

进一步需要说明的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图4为本申请实施例提供的基于新旧系统的数据处理装置的结构示意图。如图4所示，该装置包括：

获取模块401，用于在监测到新旧系统切换时，分别获取旧系统数据和新系统数据。

处理模块402，用于根据该新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的该旧系统数据和新系统数据存储至该空白数据表中，得到保鲜表。

发送模块403，用于将该保鲜表下发至下游应用中，以使下游应用以新系统数据中的表结构获取旧系统数据和新系统数据。

可选的，该处理模块402具体用于：

根据该新系统数据中的表结构，在数据湖中构建空白数据表，包括：

复制该新系统数据中的表结构，得到新系统表结构副本；

将该新系统表结构副本迁移至数据湖中，并根据该新系统表结构副本，新建与该新系统表结构副本属性相同的空白数据表。

可选的，该处理模块402具体用于：

将获取的该旧系统数据和新系统数据存储至该空白数据表中，得到保鲜表，包括：

复制该旧系统数据和新系统数据，得到旧系统数据贴源表和新系统数据贴源表；

根据该旧系统数据贴源表和预设新旧数据格式转换规则，将该旧系统数据贴源表转换为中间表；

其中，该中间表的表结构与该新系统数据中的表结构相同；

将该新系统数据贴源表和该中间表分别迁移至该空白数据表中合并，得到保鲜表。

进一步的，该处理模块402具体用于：

将该新系统数据贴源表和该中间表分别迁移至该空白数据表中合并，得到保鲜表，包括：

将该中间表迁移至该空白数据表；

逐一判断该新系统数据贴源表中的数据与已迁移的中间表中的数据是否一致；

若否，则将该新系统数据贴源表中的数据迁移至该空白数据表中，得到合并后的保鲜表。

可选的，在上述实施例的基础上，该处理模块402还可以用于：

在监测到新旧系统处于回切过程时，触发获取模块401获取更新的旧系统数据；

将该更新的旧系统数据存储至该保鲜表中；

触发发送模块403将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取更新的旧系统数据。

可选的，在上述实施例的基础上，该处理模块402还可以用于：

在监测到新旧系统切换完成后，触发获取模块401获取更新的新系统数据；

将该更新的新系统数据存储至该保鲜表中；

触发发送模块403将该保鲜表下发至下游应用中，以使下游应用从该保鲜表中获取更新的新系统数据。

本实施例提供的基于新旧系统的数据处理装置，可执行上述实施例的基于新旧系统的数据处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。

应该理解，上述的装置实施例仅是示意性的，本申请的装置还可通过其它的方式实现。

例如，上述实施例中单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。

另外，若无特别说明，在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。

上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

在前述的基于新旧系统的数据处理装置的具体实现中，各模块可以被实现为处理器，处理器可以执行存储器中存储的计算机执行指令，使得处理器执行上述的基于新旧系统的数据处理方法。

图5为本申请实施例提供的服务器的硬件结构示意图。如图5所示，该服务器包括：

至少一个处理器501和存储器502。

该服务器还包括通信部件503。

其中，处理器501、存储器502以及通信部件503通过总线504连接。

在具体实现过程中，至少一个处理器501执行该存储器502存储的计算机执行指令，使得至少一个处理器501执行如上服务器侧所执行的基于新旧系统的数据处理方法。

处理器501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述实施例中，应理解，上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。

若无特别说明，处理器可以是任何适当的硬件处理器，比如中央处理单元(Central Processing Unit，CPU)、图形处理器(graphics processing unit，GPU)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理(Digital SignalProcessing，DSP)和专用集成电路(Application Specific Integrated Circuit，ASIC)等等。

若无特别说明，存储单元可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-AccessMemory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。

集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部装置互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。

为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述针对服务器以及主控装置所实现的功能，对本发明实施例提供的方案进行了介绍。可以理解的是，服务器或主控装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。

本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的技术方案的范围。

本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现基于新旧系统的数据处理方法。

本实施例提供的计算机程序产品，可执行上述实施例的基于新旧系统的数据处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行该计算机执行指令时，实现如上基于新旧系统的数据处理方法。

本实施例提供的计算机可读存储介质，可执行上述实施例的基于新旧系统的数据处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。

上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储装置或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。

当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。

当然，处理器和可读存储介质也可以作为分立组件存在于服务器或主控装置中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

Claims (10)

1.一种基于新旧系统的数据处理方法，其特征在于，包括：

在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；

根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表；

将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取旧系统数据和新系统数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述新系统数据中的表结构，在数据湖中构建空白数据表，包括：

复制所述新系统数据中的表结构，得到新系统表结构副本；

将所述新系统表结构副本迁移至数据湖中，并根据所述新系统表结构副本，新建与所述新系统表结构副本属性相同的空白数据表。

3.根据权利要求1所述的方法，其特征在于，所述将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表，包括：

复制所述旧系统数据和新系统数据，得到旧系统数据贴源表和新系统数据贴源表；

根据所述旧系统数据贴源表和预设新旧数据格式转换规则，将所述旧系统数据贴源表转换为中间表；其中，所述中间表的表结构与所述新系统数据中的表结构相同；

将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表。

4.根据权利要求3所述的方法，其特征在于，所述将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表，包括：

将所述中间表迁移至所述空白数据表；

逐一判断所述新系统数据贴源表中的数据与已迁移的中间表中的数据是否一致；

若否，则将所述新系统数据贴源表中的数据迁移至所述空白数据表中，得到合并后的保鲜表。

5.根据权利要求1所述的方法，其特征在于，还包括：

在监测到新旧系统处于回切过程时，获取更新的旧系统数据；

将所述更新的旧系统数据存储至所述保鲜表中；

将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的旧系统数据。

6.根据权利要求1所述的方法，其特征在于，还包括：

在监测到新旧系统切换完成后，获取更新的新系统数据；

将所述更新的新系统数据存储至所述保鲜表中；

将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的新系统数据。

7.一种基于新旧系统的数据处理装置，其特征在于，包括：

获取模块，用于在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；

处理模块，用于根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表；

发送模块，用于将所述保鲜表下发至下游应用中，以使下游应用以新系统数据中的表结构获取旧系统数据和新系统数据。

8.一种服务器，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。