CN114936199B - 系统重构的数据处理方法、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种系统重构的数据处理方法、计算机设备及存储介质，该数据处理方法包括：首先对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；然后根据映射关系生成模型层；最后利用模型层进行新旧数据的迁移。本申请通过建设数据仓库模型层，根据模型层进行新旧业务系统的数据表整合，并完善新业务系统数据资产信息，各数据应用方可根据更加有质量的模型层进行业务系统的重构改造，无需再各自一对一地与重构业务系统进行重构逻辑确认，降低数据研发成本和数据测试成本，提高工作效率，同时降低对数据应用方的业务系统造成的影响。

Description

系统重构的数据处理方法、计算机设备及存储介质

技术领域

本申请涉及金融技术领域，具体是涉及一种系统重构的数据处理方法、计算机设备及存储介质。

背景技术

因银行内技术框架更新以及业务发展要求，业务系统存在技术框架更新以及数据模型升级的诉求。由于银行内存在各系统进行数据交互的情况，以及各分析型数据系统在进行日常经营分析以及功能交互时存在使用重构系统数据的情况。相关技术中对业务系统的重构需要投入大量的时间和人力，且对数据应用方的系统会造成较大的影响。

发明内容

有鉴于此，本申请提供一种系统重构的数据处理方法、计算机设备及存储介质，以解决现有技术中对业务系统的重构需要投入大量的时间和人力，且对数据应用方的系统会造成较大影响的问题。

为了解决上述技术问题，本申请提供的第一个技术方案为：提供一种系统重构的数据处理方法，包括：对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；根据所述映射关系生成模型层；利用所述模型层进行新旧数据的迁移。

其中，在所述对所述数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单之前，包括：确定所述重构业务系统的数据表的范围，并确定所述数据应用方的影响范围；基于所述数据应用方的影响范围确定所述重构业务系统的数据表的变更范围；根据所述重构业务系统的数据表的变更范围对所述数据仓库方和所述模型层的建设和使用情况进行梳理，以进行所述模型层的数据补足。

其中，所述对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单包括：对所述数据应用方的影响范围内的所述重构业务系统的数据表进行新旧数据表之间的映射关系梳理；基于所述新旧数据表之间的映射关系梳理明确表级和字段级的映射清单。

其中，所述根据所述映射关系生成模型层包括：根据所述重构业务系统的数据表的主题之间的映射关系生成所述模型层；和/或根据所述重构业务系统的数据表的字段之间的映射关系生成所述模型层。

其中，所述利用所述模型层进行新旧数据的迁移包括：利用所述模型层所对应的所述新旧数据之间的所述映射关系进行所述新旧数据的迁移。

其中，所述数据仓库方与数据应用方同步进行数据开发，包括：所述数据仓库方和所述数据应用方根据所述映射清单同步进行数据开发。

其中，所述数据仓库方和所述数据应用方根据所述映射清单同步进行数据开发包括：所述数据仓库方和所述数据应用方同步进行所述模型层的开发；以及基于所述模型层的开发对多个所述数据应用方的所述新旧数据进行所述模型层和所述重构业务系统的数据表之间的切换。

其中，所述数据仓库方与数据应用方同步进行数据开发之后，还包括：所述数据应用方在完成所述数据开发后进行数据测试；以及所述数据仓库方完成所述模型层开发后进行数据测试。

其中，所述数据仓库方完成所述模型层开发后进行数据测试包括：进行业务系统的新旧数据的差异点内容测试；对完成所述业务系统的新旧数据的迁移之后的数据准确性进行核验；进行所述业务系统的新旧数据的时效差异情况核验；响应于上述的测试均核验无误，则所述数据仓库方进行数据测试的步骤完成。

其中，所述进行业务系统的新旧数据的差异点内容测试包括：核验所述业务系统的新旧数据的一致性；响应于所述业务系统的新旧数据一致，核验所述业务系统的新旧数据的码值是否变化；响应于所述业务系统的新旧数据的码值均无变化，则核验所述业务系统的新旧数据表的数据是否需要合并。

其中，所述数据应用方在完成所述数据开发后进行数据测试包括：对于同一天的数据，核验所述业务系统的新旧数据表的数据一致性；核验切换所述模型层及所述重构业务系统的数据表后，所述码值过滤是否需要修改；核验切换所述模型层及所述重构业务系统的数据表的映射关系是否一致；核验新增数据的码值内容是否一致，数据量浮动情况是否正常；核验切换所述模型层及所述重构业务系统的数据表后，数据时效是否发生变化；响应于上述的测试均核验无误，则所述数据应用方进行数据测试的步骤完成。

为了解决上述技术问题，本申请提供的第二个技术方案为：提供一种计算机设备，包括：处理器和存储器，存储器连接所述处理器，用于存储可在所述处理器上运行的计算机程序；其中，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

为了解决上述技术问题，本申请提供的第三个技术方案为：提供一种计算机可读的存储介质，所述计算机可读的存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。

本申请的有益效果：区别于现有技术，本申请的系统重构的数据处理方法包括：首先对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；然后根据所述映射关系生成模型层；最后利用所述模型层进行新旧数据的迁移。本申请通过建设数据仓库模型层，根据模型层进行新旧业务系统的数据表整合，并完善新业务系统数据资产信息，各数据应用方可根据更加有质量的模型层进行业务系统的重构改造，无需再各自一对一地与重构业务系统进行重构逻辑确认，降低数据研发成本和数据测试成本，提高工作效率，同时降低对数据应用方的业务系统造成的影响。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请一实施例提供的系统重构的数据处理方法的流程框图；

图2是本申请一实施例提供的数据层分布及数据管理的处理过程示意图；

图3是本申请一实施例提供的在对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单之前的步骤的流程框图；

图4是本申请一实施例提供的在对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单的步骤的流程框图；

图5是本申请一实施例提供的根据映射关系生成模型层的步骤的流程框图；

图6是本申请一实施例提供的利用模型层进行新旧数据的迁移的步骤之后的流程框图；

图7是本申请一实施例提供的据仓库方和数据应用方根据映射清单同步进行数据开发的步骤的流程框图；

图8是本申请一实施例提供的数据仓库方和数据应用方的交互示意图；

图9是本申请一实施例提供的数据应用方在完成数据开发后进行数据测试的步骤的流程框图；

图10是本申请一实施例提供的数据仓库方完成模型层开发后进行数据测试的步骤的流程框图；

图11是本申请一实施例提供的进行业务系统的新旧数据的差异点内容测试的流程框图；

图12是本申请一实施例提供的计算机设备的结构示意图；

图13是本申请一实施例提供的计算机可读的存储介质的结构示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、的特征可以明示或者隐含地包括至少一个该特征。本申请实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或者请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理个人信息种类等信息。

因银行内技术框架更新以及业务发展要求，业务系统存在技术框架更新以及数据模型升级的诉求。由于银行内存在各系统进行数据交互的情况，以及各分析型数据系统在进行日常经营分析以及功能交互时存在使用重构系统数据的情况。随着上游业务系统数据处理的变化，该数据血缘链路上的所有关系方均需要同步进行重构。目前通过受影响方都参与受影响数据范围的改造，完整进行需求澄清、需求开发、测试及上线全流程。由于此类项目较多是时间紧而关联方较多，如何快速响应重构系统数据变化诉求，降低人力投入，降低各系统影响成为迫切需要解决的问题。

为了解决上述问题，本申请提供一种系统重构的数据处理方法。

请参阅图1至图2，图1是本申请一实施例提供的系统重构的数据处理方法的流程框图，图2是本申请一实施例提供的数据层分布及数据管理的处理过程示意图。

本申请提供的系统重构的数据处理方法，包括：

S1：对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；

S2：根据映射关系生成模型层；

S3：利用模型层进行新旧数据的迁移。

具体的，本申请的应用对象包括数据仓库方和数据应用方，数据仓库方可以理解为银行自身，数据应用方可以理解为与银行具有业务交互关系的各个客户方，例如金融机构、企业客户等。可以理解，在银行的业务系统进行升级改造之后，与银行具有业务关系的数据应用方也需要对其自身的业务系统进行数据的同步更新，以使得业务数据相互一致。由于现有技术中对于业务系统的升级改造需要投入大量的人力和时间，且会对数据应用方的业务系统造成很大的影响，且数据更新和同步效率低，不能满足系统升级改造的时间紧而关联方多的需求。

本申请通过数据仓库的建设，落地数据标准，并建设数据仓库模型层，在数据仓库模型层进行屏蔽影响，各层数据应用方可最小程度修改数据处理规则。无需再各自一对一地与重构业务系统进行重构逻辑确认，降低了数据研发成本和数据测试成本。

具体可以参见如下本申请系统重构的数据处理方法实施例的描述。

S1：对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单。

具体的，数据仓库方和重构业务系统的数据表的映射关系可以是业务数据表的多个表格、多个主题以及多个字段之间的对应关系，如在数据仓库方的原来的业务系统中交易表的“交易金额”可以与重构之后的业务系统的交易表中的“交易额”进行对应，通过建立两个表格之间的函数对应关系，使得原业务数据表与新的数据仓库中的数据表形成一一对应的关系，多个业务数据表与数据仓库的对应关系可以形成一个关于对应关系的映射清单，以便于后续的模型层的建立以及数据的迁移。如图2所示，其中业务系统可以包括核心业务、贷款业务、资金业务、票据业务、国际结算业务等等。数据仓库可以包括主题模型层和公共汇总层，主题模型层和公共汇总层是数据仓库对数据所做的分层。其中主题模型层包括按银行业务的传统金融模型实现的一些主题域，并对该主题域做一些轻度的汇总加工，例如渠道、组织、产品、交易与行为的事件、账户与签约的协议等。公共汇总层也是按主题域进行数据提取，但是数据范围更加广，体现的是银行的大的分类表，用于进行业务数据的支持和获取，例如科目级汇总、交易级汇总、客户级汇总、机构级汇总、存款业务汇总、卡类业务汇总、中间业务汇总等等。

S2：根据映射关系生成模型层。

具体的，通过对数据仓库方的数据表和重构之后的业务系统的数据表进行映射关系的对应，使得新旧数据表能够建立起对应的连接关系，并通过该映射关系生成一个用于迁移业务数据的模型层。该模型层可以是对每个数据表的主题进行整合设计，使得后续的数据转移效率更高、准确率也更高。

S3：利用模型层进行新旧数据的迁移。

具体的，通过建立起新旧数据表的模型层进行新旧数据的迁移，可以包括数据表格的迁移以及对应字段的迁移。

请参阅图3，图3是本申请一实施例提供的在对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单之前的步骤的流程框图。

在一实施例中，在对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单的步骤S1之前，包括：

S01：确定重构业务系统的数据表的范围，并确定数据应用方的影响范围。

具体的，可以理解，在形成数据仓库方和重构业务系统的数据表之间的映射关系之前，首先需要确定重构业务系统的数据表的范围，使得重构业务系统的目标更加明确，同时也可以进一步确定数据应用方的影响范围，使得对于数据应用方的业务系统的数据同步更加准确、效率更高，且影响范围更小。

S02：基于数据应用方的影响范围确定重构业务系统的数据表的变更范围。

具体的，在确定数据应用方的影响范围之后即可确定重构业务系统的数据表的变更范围，使得后续的重构业务系统的数据迁移准确率更高，通过有针对性地进行数据变更也能节省时间、提高效率。

S03：根据重构业务系统的数据表的变更范围对数据仓库方和模型层的建设和使用情况进行梳理，以进行模型层的数据补足。

具体的，对于数据仓库方和模型层的建设和使用情况进行的梳理可以明确重构业务系统的数据完整性。例如，若有一些相关的数据没有在数据仓库中进行模型层的确认，也没有形成新旧数据表之间的映射关系的建立，那么这些数据就属于遗漏数据，则首先需要补足该遗漏数据，然后根据这些遗漏数据在新旧数据表中的映射关系补充模型层中的内容。

请参阅图4，图4是本申请一实施例提供的在对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单的步骤的流程框图。

在一实施例中，对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单的步骤S1包括：

S11：对数据应用方的影响范围内的重构业务系统的数据表进行新旧数据表之间的映射关系梳理。

具体的，如上所述，多个业务系统可以产生多个数据表，并可以通过数据采集平台对新旧数据表之间的映射关系进行梳理，以得到需要进行数据迁移的数据的映射清单。如图2所示，其中数据采集平台可以通过增量识别、码制转换和文件拆分等数据采集的手段和方法获得业务系统的数据。具体来讲，数据系统的源数据在业务系统只有一个表，要将业务系统的数据同步到大数据平台，有些数据需要进行增量提取。例如对每日的交易流水数据进行提取，每次进行数据同步只需要同步前一天的数据，不需要同步提取每一天加进去的全部流水数据，因此进行数据提取的时候需要做一些数据识别，即哪些数据需要增量提取，哪些数据需要全量提取。增量提取即对于增加的数据进行提取，全量提取即对全部的数据进行提取。码制转换可以理解为：有些业务系统生成数据文件，而大数据平台读取文件，需要把业务系统生成的数据文件里面的数据同步到大数据平台中以生成数据，在数据同步的过程中需要进行数据的不同码制的转换，以适应不同系统和平台之间的数据同步。文件拆分可以理解为对于数据文件的拆分，例如在重构业务系统中，其数据表的建立方式与旧数据表不同，某一个表格的建立可能只需要原来的数据表中的部分数据，因此可以通过对数据文件进行拆分的方式获得新的数据表。

S12：基于新旧数据表之间的映射关系梳理明确表级和字段级的映射清单。

具体的，新旧数据表之间的映射关系包括但不限于表级和字段级的映射关系，其中表级为大级，属于优先考虑的映射关系，而字段级属于数据表里面的小单元，需要在表级的映射关系的基础上进行进一步的映射关系确认，以形成一个更加全面、准确的映射清单。另外，新旧数据表之间的映射关系还可以包括数据来源方以及数据来源关系等。

请参阅图5，图5是本申请一实施例提供的根据映射关系生成模型层的步骤的流程框图。

在一实施例中，根据映射关系生成模型层的步骤S2包括：

S21：根据重构业务系统的数据表的主题之间的映射关系生成模型层；和/或

S22：根据重构业务系统的数据表的字段之间的映射关系生成模型层。

具体的，旧数据表与重构业务系统的数据表之间的映射关系可以通过新旧数据表的主题之间的映射关系形成数据的模型层。例如，某一表格的主题在旧数据表中为“今日营业收入”，在新数据表中为“今日营收总额”，如果该数据在新旧数据表中的要表达的含义和填入的数据相同，那么就可以将该数据在新旧数据表中的主题进行对应关系建立，例如在模型层中将旧数据表中的“今日营业收入”与新数据表中的“今日营收总额”等同起来，以进行数据的迁移。可以理解，也可以通过新旧数据表的字段之间的映射关系生成模型层。例如，对于新旧数据表的表格名称完成相同的数据表，那么就可以直接通过对于新旧数据表的字段对应的映射关系直接生成模型层，将新旧两个名称相同的数据表进行对应。当然，对于新旧数据表中的不同主题相同字段的数据，也可以通过字段对应的方式进行映射关系对应，以生成模型层。

在一实施例中，利用模型层进行新旧数据的迁移的步骤S3包括：

S30：利用模型层所对应的新旧数据之间的映射关系进行新旧数据的迁移。

具体的，将新旧数据之间的映射关系建立完成之后，就可以通过该模型层进行新旧数据的迁移了。具体可以通过主题映射关系、字段映射关系或者其他的映射关系建立模型层和数据读取的关系，从而进行新旧数据的迁移，具体的数据读取方式根据需要进行选择，本申请对此不做限制。

请参阅图6至图8，图6是本申请一实施例提供的利用模型层进行新旧数据的迁移的步骤之后的流程框图，图7是本申请一实施例提供的据仓库方和数据应用方根据映射清单同步进行数据开发的步骤的流程框图，图8是本申请一实施例提供的数据仓库方和数据应用方的交互示意图。

在一实施例中，利用模型层进行新旧数据的迁移的步骤S3之后，还包括：

S4：数据仓库方与数据应用方同步进行数据开发。

进一步的，数据仓库方和数据应用方根据映射清单同步进行数据开发。具体来讲，数据仓库方与数据应用方同步进行数据开发，即数据仓库方和数据应用方根据上述新旧数据表之间的映射关系形成的映射清单同步进行数据开发。可以理解，在数据仓库方将新旧数据表之间的映射关系建立模型层之后，为了提高数据同步的效率，可以将数据仓库方和数据应用方的新旧数据表进行同步的开发和迁移。

在进一步的实施例中，数据仓库方和数据应用方根据映射清单同步进行数据开发的步骤包括：

S41：数据仓库方和数据应用方同步进行模型层的开发。

具体的，当数据仓库方将需要迁移的新旧数据表确定好，并建立了新旧数据表之间的映射关系之后，数据仓库方和数据应用方可以同步进行模型层的开发，以节省时间，提高数据迁移的效率。可以理解，数据仓库方和数据应用方开发的模型层可以相同或者不同，只要能够实现对于新旧数据表之间的映射关系的建立和数据的迁移即可，本申请对此不做限制。

S42：基于模型层的开发对多个数据应用方的新旧数据进行模型层和重构业务系统的数据表之间的切换。

具体的，当模型层开发完成之后，可以基于该模型层进行数据应用方的新旧数据表之间的切换。例如，如图2所示，旧数据表均是贴源层和加密层的数据，对于数据仓库的数据表生成设计文档，把原来的贴源数据表改成数据仓库方和数据应用方约定的数据仓库的新数据表，以完成新旧数据表的切换，然后数据集市可以从数据仓库中提取数据。

数据集市可以包括对公集市、同业集市、小企业集市、财务集市、风险集市、监管集市等等。有的贴源层和加密层的数据直接可以进入数据集市，有的贴源层和加密层的数据还需要经过数据仓库的切换，然后再进入数据集市。经过数据集市提取之后的数据进入数据中台，数据中台可以包括指标管理系统和标签管理系统，还可以包括客户库、产品库、人员库、案例库和渠道库。数据中台是连接前台和后台的桥梁，D Data API是数据中台的核心，通过API的方式提供数据服务。指标管理系统可以进行具体的数据统计汇总，体现的是经过统计分析的结果数据，标签管理系统可以是给客户库、产品库、人员库、案例库和渠道库等打的具体的分类统计标签，较多的是明细的数据。

数据服务用于提供分析数据的服务，提供数据的方式可以包括提供数据文件、DATA-API（数据接口）、查询引擎、数据引擎、知识图谱、挖掘模型等等。

在一实施例中，数据仓库方与数据应用方同步进行数据开发的步骤S4之后，还包括：

S5：数据应用方在完成数据开发后进行数据测试；以及

S6：数据仓库方完成模型层开发后进行数据测试。

可以理解，为了保证数据迁移的完整性和准确性，在数据迁移、数据开发完成之后，可以进一步进行数据测试。可选地，数据应用方可以在完成数据开发后进行数据测试，以保证基于模型层的旧数据表切换后的新数据的使用与原来一致。而数据仓库方完成模型层开发后也可以进行数据测试，以保证基于模型层进行迁移的数据的质量。

请参阅图9至图11，图9是本申请一实施例提供的数据应用方在完成数据开发后进行数据测试的步骤的流程框图，图10是本申请一实施例提供的数据仓库方完成模型层开发后进行数据测试的步骤的流程框图，图11是本申请一实施例提供的进行业务系统的新旧数据的差异点内容测试的流程框图。

在进一步的实施例中，数据应用方在完成数据开发后进行数据测试的步骤S5包括：

S51：对于同一天的数据，核验业务系统的新旧数据表的数据一致性。

具体的，在银行进行业务系统重构之后，进行数据测试，如图2所示，可以查看通过统一调度平台的逻辑生成的数据，或者通过统一数据管控平台查询新旧数据表中的数据是否一致，可以理解，对于同一天的业务数据，新旧数据表应该完全一致。统一调度平台用于承接数据流向并进行展示，业务系统的数据通过统一调度平台到大数据平台进行处理，统一调度平台进行数据加工、逻辑梳理、生成，找出需要的数据。统一调度平台的构成模块可以包括：事件管理、调度引擎、运行统计、运行概况、异常处理、监控计划以及系统监控等等。统一数据管控平台为数据管理提供了一个接口，由于业务系统的数据是一张一张的表格，统一数据管控平台提供数据获取入口，可以看到数据类型，为源数据配置数据监控，保证数据质量，还可以对已经生成好的数据进行运营管理动作。统一数据管控平台可以包括数据质量、数据标准、元数据导入导出、数据质量管理、数据标准分析等等模块，以对数据进行更好、更全面的分析和处理。

S52：核验切换模型层及重构业务系统的数据表后，码值过滤是否需要修改。

具体的，核验通过模型层进行数据迁移之后形成的重构业务系统的数据表，相对旧数据表的数据码值过滤是否准确。例如采用国际通用的ASCII码（American StandardCode for Information Interchange，美国标准信息交换代码），ASCII码由8位二进制数组成，其中最高位为校验位，用于在数据的传输过程中检验数据的正确性，其余7位二进制数表示一个字符。如果在通过模型层进行新旧数据表的迁移过程中，有的数据迁移不准确，则需要对相应的码值进行修改。

S53：核验切换模型层及重构业务系统的数据表的映射关系是否一致。

具体的，虽然在数据迁移的前期对新旧数据表的映射关系进行了一一对应，并形成了基于映射关系的模型层，但是在实际的数据迁移过程中，偶尔也可能会因为系统原因、数据匹配错误、字段误差等造成重构之后的业务系统的数据表与源数据表的映射关系出现不一致、不对应的情况，使得有一些数据没有进行同步的迁移，因此要对新旧数据表的映射关系一致性进行核验。

S54：核验新增数据的码值内容是否一致，数据量浮动情况是否正常。

具体的，对于一些新增数据，即原来的旧数据表没有的数据，需要核对该新增数据与业务系统上的其他数据的码值内容是否一致，例如，对于同一类型的数据需要设置相同的码值，以便于后续数据的迁移、查询和使用。而数据量的浮动情况可以理解为数据的新增数量或者减少数量，例如对于某一业务数据突然新增或者减少较多，则需要核验是否在数据迁移的过程中发生了码值识别错误或者内容匹配错误等情况，以防止对后续的数据使用造成不利影响。

S55：核验切换模型层及重构业务系统的数据表后，数据时效是否发生变化。

具体的，新旧数据的时效差异情况可以理解为通过模型层进行数据迁移前后的数据对应的时间是否正确，是否发生数据对应的日期不准确或者发生了数据错位的情况。对于银行和其数据应用方来讲，业务系统的数据时效具有关键的作用，对于业务数据的统计、计算具有不可忽略的影响，因此对于数据时效的核验可以极大地提高数据迁移的准确性。

S56：响应于上述的测试均核验无误，则数据应用方进行数据测试的步骤完成。

具体的，上述的多个数据测试项目为并列的关系，不存在测试的先后顺序，也不是每一项都需要进行测试，可以理解，在实际使用中可以新增核验项目，也可以进行适应性地删减，具体可以根据业务类型和数据表的类型进行选择，本申请对此不做限制。当然，如果在进行上述的数据测试过程中有一项或者多项发生核验不通过的情况，则需要对相应的测试项目进行原因查询和重新进行数据迁移，以确保进行核验的每一个项目均核验无误。

在进一步的实施例中，数据仓库方完成模型层开发后进行数据测试的步骤S6，包括：

S61：进行业务系统的新旧数据的差异点内容测试。

具体的，对比重构业务系统前后的数据表中的数据存在的差异，并对该差异内容进行测试。

在更进一步的实施例中，进行业务系统的新旧数据的差异点内容测试的步骤S61包括：

S611：核验业务系统的新旧数据的一致性。

具体的，新旧数据的一致性包括对比迁移前后的数据的一致性，以及数据存在的一致性等。例如在查看数据时发现新的业务系统中存在空字段的情况，那么就需要查看源业务系统中该字段是否有数据，如果旧的业务系统有数据，就需要与源业务系统进行确认，该字段到底是否应该具有数据，数据迁移后该字段没有数据是否属于正常现象。如果不是正常现象，那么该问题是如何产生的。

S612：响应于业务系统的新旧数据一致，核验业务系统的新旧数据的码值是否变化。

具体的，如果业务系统的新旧数据一致，需要进一步核验业务系统中新旧数据的码值是否变化。该码值的核验方式可以参考上述步骤S52及S54的内容，此处不再赘述。

S613：响应于业务系统的新旧数据的码值均无变化，则核验业务系统的新旧数据表的数据是否需要合并。

具体的，需要合并的数据主要体现在：如果同一条数据在新旧数据表中都具有数据，但是该数据不同，应该以哪一个数据表为准。具体可以根据需要进行选择。

可以理解，在其他实施例中，上述步骤S611、S612及S613的核验顺序可以根据具体的业务系统或者业务数据表进行相应的调整，本申请对此不做限制。

S62：对完成业务系统的新旧数据的迁移之后的数据准确性进行核验。

具体的，数据准确性核验包括对于数据一致性和数据数量的核验。数据一致性可以理解为经过统一调度平台进行调度的数据，其进行数据迁移前后的数据是否一致。而对于数据数量的核验可以理解为对于迁移后的新增数据的核验，包括验证新增数据的码值内容与源业务系统的历史数据是否一致，以及新增数据的主要字段与源业务系统的字段是否对应，数据的数量变化是否属于正常情况，如果不属于正常情况，则需要找出异常的原因并进行相应数据的再次迁移。

S63：进行业务系统的新旧数据的时效差异情况核验。

具体的，新旧数据的时效差异情况可以理解为数据迁移前后的数据对应的时间是否正确，是否发生数据对应的日期不准确或者发生了数据错位的情况。对于银行和其数据应用方来讲，业务系统的数据时效具有关键的作用，对于业务数据的统计、计算具有不可忽略的影响，因此对于数据时效的核验可以极大地提高数据迁移的准确性。

S64：响应于上述的测试均核验无误，则数据仓库方进行数据测试的步骤完成。

具体的，上述的多个数据测试方面为并列的关系，不存在测试的先后顺序，也不是每一项都需要进行测试，可以理解，在实际使用中可以新增核验项目，也可以进行适应性的删减，具体可以根据业务类型和数据表的类型进行选择，本申请对此不做限制。当然，如果在进行上述的数据测试过程中有一项或者多项发生核验不通过的情况，则需要对相应的测试项目进行原因查询和重新进行数据迁移，以确保进行核验的每一个项目核验无误。

本申请公开的系统重构的数据处理方法包括：首先对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；然后根据映射关系生成模型层；最后利用模型层进行新旧数据的迁移。本申请通过建设数据仓库模型层，根据模型层进行新旧业务系统的数据表整合，并完善新业务系统数据资产信息，各数据应用方可根据更加有质量的模型层进行业务系统的重构改造，无需再各自一对一地与重构业务系统进行重构逻辑确认，降低数据研发成本和数据测试成本，提高工作效率，同时降低对数据应用方的业务系统造成的影响。

请参阅图12，图12是本申请一实施例提供的计算机设备的结构示意图。

计算机设备200，具体可以包括处理器210和存储器220。存储器220耦接处理器210。

处理器210用于控制计算机设备200的操作，处理器210还可以称为CPU（CentralProcessing Unit，中央处理单元）。处理器210可能是一种集成电路芯片，具有信号的处理能力。处理器210还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器210也可以是任何常规的处理器等。

存储器220用于存储计算机程序，可以是RAM，也可以是ROM，或者其他类型的存储设备。具体的，存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一条程序代码。

处理器210用于执行存储器220中存储的计算机程序以实现本申请系统重构的数据处理方法的实施例描述的系统重构的数据处理方法。

在一些实施方式中，计算机设备200还可以包括：外围设备接口230和至少一个外围设备。处理器210、存储器220和外围设备接口230之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口230相连。具体的，外围设备包括：射频电路240、显示屏250、音频电路260和电源270中的至少一种。

外围设备接口230可被用于将I/O(Input/output，输入/输出)相关的至少一个外围设备连接到处理器210和存储器220。在一些实施例中，处理器210、存储器220和外围设备接口230被集成在同一芯片或电路板上；在一些其他实施方式中，处理器210、存储器220和外围设备接口230中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路240用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路240通过电磁信号与通信网络以及其他通信设备进行通信，射频电路240则是计算机设备200的通信电路。射频电路240将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路240包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路240可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(WirelessFidelity，无线保真)网络。在一些实施例中，射频电路240还可以包括NFC(Near FieldCommunication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏250用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏250是触摸显示屏时，显示屏250还具有采集在显示屏250的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器210进行处理。此时，显示屏250还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施方式中，显示屏250可以为一个，设置在计算机设备200的前面板；在另一些实施方式中，显示屏250可以为至少两个，分别设置在计算机设备200的不同表面或呈折叠设计；在另一些实施方式中，显示屏250可以是柔性显示屏，设置在计算机设备200的弯曲表面上或折叠面上。甚至，显示屏250还可以设置成非矩形的不规则图形，也即异形屏。显示屏250可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode ,有机发光二极管)等材质制备。

音频电路260可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器210进行处理，或者输入至射频电路240以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器210或射频电路240的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路260还可以包括耳机插孔。

电源270用于为计算机设备200中的各个组件进行供电。电源270可以是交流电、直流电、一次性电池或可充电电池。当电源270包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

关于本申请计算机设备200的实施例中各功能模块或者部件功能和执行过程的详细阐述，可以参照上述本申请系统重构的数据处理方法实施例中的阐述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的计算机设备200和系统重构的数据处理方法，可以通过其它的方式实现。例如，以上所描述的计算机设备200的各实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

请参阅图13，图13是本申请一实施例提供的计算机可读的存储介质的结构示意框图。

参阅图13，上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质300中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令/计算机程序用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等计算机设备。

关于计算机可读的存储介质300中的程序数据的执行过程的阐述可以参照上述本申请系统重构的数据处理方法的实施例中阐述，在此不再赘述。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种系统重构的数据处理方法，其特征在于，包括：

对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；

根据所述映射关系生成模型层，包括：

所述数据仓库方和数据应用方同步进行所述模型层开发；

基于所述模型层的开发对多个所述数据应用方的新旧数据进行所述模型层和所述重构业务系统的数据表之间的切换；其中，进行所述模型层和所述重构业务系统的数据表之间的切换包括：将数据仓库的所述数据表生成设计文档，通过所述模型层将贴源层和加密层的数据同步转换为所述数据仓库方和所述数据应用方约定的所述数据仓库的新数据表，以完成新旧数据表的切换；数据集市从所述数据仓库中提取数据，经过所述数据集市提取之后的数据进入数据中台以进行指标管理和标签管理；

利用所述模型层进行新旧数据的迁移。

2.根据权利要求1所述的方法，其特征在于，在所述对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单之前，包括：

确定所述重构业务系统的数据表的范围，并确定所述数据应用方的影响范围；

基于所述数据应用方的影响范围确定所述重构业务系统的数据表的变更范围；

根据所述重构业务系统的数据表的变更范围对所述数据仓库方和所述模型层的建设和使用情况进行梳理，以进行所述模型层的数据补足。

3.根据权利要求2所述的方法，其特征在于，所述对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单包括：

对所述数据应用方的影响范围内的所述重构业务系统的数据表进行新旧数据表之间的映射关系梳理；

基于所述新旧数据表之间的映射关系梳理明确表级和字段级的映射清单。

4.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系生成模型层包括：

根据所述重构业务系统的数据表的主题之间的映射关系生成所述模型层；和/或

根据所述重构业务系统的数据表的字段之间的映射关系生成所述模型层。

5.根据权利要求4所述的方法，其特征在于，所述利用所述模型层进行新旧数据的迁移包括：

利用所述模型层所对应的所述新旧数据之间的所述映射关系进行所述新旧数据的迁移。

6.根据权利要求1所述的方法，其特征在于，所述数据仓库方与数据应用方同步同步进行所述模型层开发之后，还包括：

所述数据应用方在完成所述模型层开发后进行数据测试；以及

所述数据仓库方完成所述模型层开发后进行数据测试。

7.根据权利要求6所述的方法，其特征在于，所述数据仓库方完成所述模型层开发后进行数据测试包括：

进行业务系统的新旧数据的差异点内容测试；

对完成所述业务系统的新旧数据的迁移之后的数据准确性进行核验；

进行所述业务系统的新旧数据的时效差异情况核验；

响应于上述的测试均核验无误，则所述数据仓库方进行数据测试的步骤完成。

8.根据权利要求7所述的方法，其特征在于，所述进行业务系统的新旧数据的差异点内容测试包括：

核验所述业务系统的新旧数据的一致性；

响应于所述业务系统的新旧数据一致，核验所述业务系统的新旧数据的码值是否变化；

响应于所述业务系统的新旧数据的码值均无变化，则核验所述业务系统的新旧数据表的数据是否需要合并。

9.根据权利要求6所述的方法，其特征在于，所述数据应用方在完成所述模型层开发后进行数据测试包括：

对于同一天的数据，核验所述业务系统的新旧数据表的数据一致性；

核验切换所述模型层及所述重构业务系统的数据表后，码值过滤是否需要修改；

核验切换所述模型层及所述重构业务系统的数据表的映射关系是否一致；

核验新增数据的码值内容是否一致，数据量浮动情况是否正常；

核验切换所述模型层及所述重构业务系统的数据表后，数据时效是否发生变化；

响应于上述的测试均核验无误，则所述数据应用方进行数据测试的步骤完成。

10.一种计算机设备，其特征在于，包括：

处理器；

存储器，连接所述处理器，用于存储可在所述处理器上运行的计算机程序；

其中，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述的方法。

11.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。

Images