CN107506462A - 企业级数据的数据处理方法、系统、电子设备、存储介质 - Google Patents

Abstract

本发明公开了一种企业级数据的数据处理方法、系统、电子设备、存储介质，其中，所述方法包括：获取在当前数据生命阶段针对多个实施对象中的可操作对象的操作数据，其中，所述操作数据包括新增数据或变更数据；基于所述操作数据确定与所述可操作对象关联的检测项是否满足设定条件；如果确定所述检测项的值满足设定条件，则保存所述操作数据。采用本发明，通过检核检测项来确保在不同数据生命阶段新增数据或变更数据是否可用，不仅能够基于企业级的视角应对庞大的数据量，还能提高数据质量，保证数据一致性。

Description

企业级数据的数据处理方法、系统、电子设备、存储介质

技术领域

本发明涉及数据处理领域，更为具体而言，涉及企业级数据的数据处理方法、系统、电子设备、存储介质。

背景技术

在现有的银行系统中，通常采用“以部门级需求实现”为特征的软件工程方法。中国建设银行正在进行新一代核心系统建设，其从企业级视角出发，以“一套业务模型、一套IT架构、一套实施工艺和一套管理流程”为指导思想，以“企业级架构实现”为特征的企业工程方法代替传统的“以部门级需求实现”为特征的软件工程方法，从而对现有的IT系统进行全面的转型升级。

新一代核心系统建设伊始就面临着系统日渐繁多、数据量逐日剧增的现实情况。数据是银行的重要战略资产，如何最大程度的利用数据资源、服务于信息化建设的高速发展，对新一代核心系统建设的成功具有重大的保障意义。其中，提升数据质量对于充分发挥数据资源的价值而言是重中之重，而提升数据质量的根本出发点和落脚点就是要保证数据的一致性。

随着系统增多和数据量爆炸式增长，数据质量问题已经成为了迫在眉睫的问题，而数据一致性是提升数据整体质量的基础，是为新一代核心系统建设顺利进行提供良好的数据支撑基础。中国建设银行在新一代建设之前，对数据的一致性管理大都还停留在系统级别，全行范围内缺乏一套企业级视角并且可以实施并落地的整体方案。其它银行也存在类似问题。

具体而言，在新一代核心系统建设之前，数据一致性仅仅体现在单个系统内部，且存在相同的信息在不同的系统中命名不同、定义不同、格式不同的现象，各个系统形成一个个信息孤岛，信息的共享、交换、分析和集成非常困难，这也是业界的通病。此外，对于保证数据一致性的方法、流程和手段大都停留在系统级，缺乏企业级统一的机制。所以，探索、研究、设计出企业级数据一致性保证方法，从而最大程度发挥数据资产的价值，不仅是中国建设银行新一代建设的重要任务，也是全面提升业界数据治理水平的重要实践。

发明内容

鉴于现有技术的上述缺陷，本发明实施方式提供了一种企业级数据的数据处理方法、系统、电子设备、存储介质，能够提高数据质量，保证数据一致性。

具体地，本发明实施方式提供了一种企业级数据的数据处理方法，其包括：

获取在当前数据生命阶段针对多个实施对象中的可操作对象的操作数据，其中，所述操作数据包括新增数据或变更数据；

基于所述操作数据确定与所述可操作对象关联的检测项是否满足设定条件；

如果确定所述检测项的值满足设定条件，则保存所述操作数据。

本发明实施方式还提供一种企业级数据的数据处理系统，包括：

数据获取模块，用于获取在当前数据生命阶段针对多个实施对象中的可操作对象的操作数据，其中，所述操作数据包括新增数据或变更数据；

检核模块，用于基于所述操作数据确定与所述可操作对象关联的检测项是否满足设定条件；

处理模块，用于在所述检测项的值满足设定条件时，保存所述操作数据。

本发明实施方式还提供一种电子设备，所述电子设备包括存储器和处理器，其中，

所述存储器存储有计算机程序；

所述处理器用于调用所述存储器中的计算机程序，并通过执行所述计算机程序实现前述数据处理方法。

本发明实施方式还提供一种计算机存储介质，所述计算机存储介质中存储有一条或多条计算机指令，所述计算机指令被执行时实现前述数据处理方法。

采用本发明实施方式具有下述有益效果：

通过检核检测项来确保在不同数据生命阶段新增数据或变更数据是否可用，不仅能够基于企业级的视角应对庞大的数据量，还能提高数据质量，保证数据一致性。

附图说明

图1是根据本发明一种实施例的企业级数据的数据处理方法的流程示意图；

图2是根据本发明一种实施例的企业级数据的数据处理系统的框图的一例；

图3是图2所示数据处理系统中的检核模块的框图的一例；

图4是根据本发明一种实施例的企业级数据的数据处理系统的框图的另一例；

图5是根据本发明一种实施例的企业级数据的数据处理系统的框图的再一例；

图6是根据本发明一种实施例的电子设备的框图；

图7是根据本发明一种实施例的变更管控流程及各相关方职责的流程示意图。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

首先对根据本发明涉及或可能涉及到的名称进行解释。本领域技术人员应当理解，这些解释意在使本发明各个实施例更易于被理解，而不用于对本发明保护范围进行限制。

数据一致性:数据一致性指同一数据经过系统的数据采集、存储、传输、加工和使用等过程，其业务含义和数据格式始终保持准确、一致，符合数据需求定义。

企业级数据字典：企业级数据字典指对例如银行经营管理、信息系统研发过程中涉及数据项定义的收录和编制，通过标准化处理数据项的描述信息进而提高整体的数据质量,为业务、技术人员以及外部监管提供可靠数据服务奠定基础。企业级数据字典是业务实体、数据库表设计的基础。

企业级数据模型：企业级数据模型是企业级模型的重要组成部分之一。在中国建设银行新一代核心系统建设中，包括逻辑数据模型和物理数据模型。逻辑数据模型指的是C模型，C模型是业务实体的及其关系的集合，C模型的实体及其属性描述了我行业务经营管理所需要的数据信息；物理数据模型指的是D模型，D模型是数据库表的一种表现形式，我们把它放在数据库表中进行管理。

数据库表：数据库表是支持应用、应用组件、技术组件、平台和框架实现其功能的需要持久化存储的数据单元，是业务实体的技术实现形式。数据库表在实现的时候，要保持数据的含义和业务实体一致。

副本数据：副本数据是相对于主本数据而言的，是基于性能要求考虑的冗余设计，对主本数据的引用和复制，主本数据是可信数据源。副本数据需要和主本数据保持一致。

元数据：元数据是关于数据的数据，是对信息资源进行描述，以便理解、使用和管理信息资源。

图1是根据本发明一种实施例的企业级数据的数据处理方法的流程示意图。参照图1，所述方法包括：

10：获取在当前数据生命阶段针对多个实施对象中的可操作对象的操作数据。其中，所述操作数据包括针对可操作对象的新增数据或变更数据。

可选地，在本实施例的一种实现方式中，所述多个实施对象包括：企业级数据字典、企业级数据模型、企业级主本与副本，以及企业级数据传输。

12：基于所述操作数据确定与所述可操作对象关联的检测项是否满足设定条件。如果满足设定条件，则执行处理14。

可选地，在本实施例的一种实现方式中，预先设置与可操作对象以及操作方式(新增或变更)关联的检测项，从而在用户针对可操作对象进行操作时，确定需要检核的检测项。

可选地，在本实施例的一种实现方式中，如图中虚线框所示，如果与所述可操作对象关联的检测项不满足所述设定条件，则执行处理16。

14：保存所述操作数据。

16：基于所述检测项输出检测结果。

采用本实施例提供的企业级数据的数据处理方法，通过检核检测项来确保在不同数据生命阶段新增数据或变更数据是否可用，不仅能够基于企业级的视角应对庞大的数据量，还能提高数据质量，保证数据一致性。而这是手工统计、人工控制、以部门级需求实现为特征的现有技术所无法实现的。

可选地，在本实施例的一种实现方式中，当前数据生命阶段可操作的对象是一定的。换言之，本实施例提供的数据处理方法能够控制/配置在不同的数据生命阶段，可以由用户操作的实施对象。

具体而言，在本实施例的一种实现方式中，所述企业级数据字典为在数据需求、数据创建、数据传输、数据集成阶段的可操作对象；所述企业级数据模型为在数据创建、数据传输和数据集成阶段的可操作对象；所述企业级主本与副本为在数据存储和数据集成阶段的可操作对象；所述企业级数据传输为在数据传输阶段的可操作对象。

可选地，在本实施例的处理12的一种实现方式中，在可操作对象为企业级数据字典时，基于新增数据检核所述新增数据的合规性是否满足设定条件；或，基于变更数据检核所述变更数据的影响性是否满足设定条件。其中，所述影响性包括所述变更数据对所述企业级数据模型和/或所述企业级主本与副本的影响性是否满足设定条件。

进一步地，还可以根据基线版本管理策略检测基线版本设置是否满足设定条件。

可选地，在本实施例的处理12的一种实现方式中，在可操作对象为企业级数据模型时，针对不同类型的数据模型，基于新增数据或变更数据进行检核。

例如，基于针对C模型的新增数据或变更数据，检核所述新增数据或变更数据对所述企业级数据模型和/或所述企业级主本与副本的影响性是否满足设定条件；基于针对C'模型的新增数据或变更数据，检核C'模型与所述企业级数据字典的匹配率是否满足设定条件；基于针对D模型的新增数据或变更数据，检核D模型与所述企业级数据字典的匹配率是否满足设定条件。

进一步地，可基于针对C’0模型的新增数据或变更数据，进行C'0实体责任组件的划分和确认。

可选地，在本实施例的处理12的一种实现方式中，在可操作对象为企业级主本与副本时，基于新增数据或变更数据，检核所述企业级主本与副本的数据一致性是否满足设定条件。

可选地，在本实施例的处理12的一种实现方式中，在可操作对象为企业级数据传输时，基于针对数据线接口的新增数据或变更数据，检测数据线接口与所述企业级数据字典的匹配率是否满足设定条件；或，基于针对交易线接口的新增数据或变更数据，检测交易线接口与所述企业级数据字典的匹配率是否满足设定条件。

图2是根据本发明一种实施例的企业级数据的数据处理系统的框图，参照图2，所述数据处理系统包括数据获取模块20、检核模块22和处理模块24。下面进行详细说明。

在本实施例中，数据获取模块20用于获取在当前数据生命阶段针对多个实施对象中的可操作对象的操作数据。其中，所述操作数据包括新增数据或变更数据。

可选地，在本实施例的一种实现方式中，所述多个实施对象包括：企业级数据字典、企业级数据模型、企业级主本与副本，以及企业级数据传输。

在本实施例中，检核模块22用于基于所述操作数据确定与所述可操作对象关联的检测项是否满足设定条件。

可选地，在本实施例的一种实现方式中，预先设置与可操作对象以及操作方式(新增或变更)关联的检测项，从而在用户针对可操作对象进行操作时，确定需要检核的检测项。

在本实施例中，处理模块24用于在所述检测项的值满足设定条件时，保存所述操作数据。

可选地，在本实施例的一种实现方式中，所述处理模块24还用于在所述检测项的值不满足设定条件时，基于所述检测项输出检核结果，以便于定位存在的问题。

采用本实施例提供的企业级数据的数据处理系统，通过检核检测项来确保在不同数据生命阶段新增数据或变更数据是否可用，不仅能够基于企业级的视角应对庞大的数据量，还能能提高数据质量，保证数据一致性。而这是手工统计、人工控制、以部门级需求实现为特征的现有技术所无法实现的。

可选地，在本实施例的一种实现方式中，当前数据生命阶段可操作的对象是一定的。换言之，本实施例提供的数据处理方法能够控制/配置在不同的数据生命阶段，可以由用户操作的实施对象。

具体而言，在本实施例的一种实现方式中，所述企业级数据字典为在数据需求、数据创建、数据传输、数据集成阶段的可操作对象；所述企业级数据模型为在数据创建、数据传输和数据集成阶段的可操作对象；所述企业级主本与副本为在数据存储和数据集成阶段的可操作对象；所述企业级数据传输为在数据传输阶段的可操作对象。

可选地，在本实施例的一种实现方式中，如图3所示，检核模块22包括第一检核子模块220、第二检核子模块222、第三检核子模块224和第四检核子模块226中的任意一者或多者，下面进行详细说明。

在该实现方式中，第一检核子模块220用于在所述可操作对象为所述企业级数据字典时，基于新增数据检核所述新增数据的合规性是否满足设定条件，或，基于变更数据检核所述变更数据对所述企业级数据模型和/或所述企业级主本与副本的影响性是否满足设定条件。

进一步地，如图4所示，数据处理系统还可以包括基线版本管理模块26，用于根据基线版本管理策略检测基线版本设置是否满足设定条件。

在该实现方式中，第二检核子模块222用于在所述可操作对象为所述企业级数据模型时进行以下任意一项或多项处理：基于针对C模型的新增数据或变更数据，检核所述新增数据或变更数据对所述企业级数据模型和/或所述企业级主本与副本的影响性是否满足设定条件；基于针对C'模型的新增数据或变更数据，检核C'模型与所述企业级数据字典的匹配率是否满足设定条件；基于针对D模型的新增数据或变更数据，检核D模型与所述企业级数据字典的匹配率是否满足设定条件。

进一步地，如图5所示，数据处理系统还可以包括模型处理模块28，用于基于针对C’0模型的新增数据或变更数据，进行C'0实体责任组件的划分和确认。

在该实现方式中，第三检核子模块224用于在所述可操作对象为所述企业级主本与副本时，基于新增数据或变更数据，检核所述企业级主本与副本的数据一致性是否满足设定条件。

在该实现方式中，第四检核子模块226用于在所述可操作对象为所述企业级数据传输时进行以下处理：基于针对数据线接口的新增数据或变更数据，检测数据线接口与所述企业级数据字典的匹配率是否满足设定条件；或，基于针对交易线接口的新增数据或变更数据，检测交易线接口与所述企业级数据字典的匹配率是否满足设定条件。

图6是根据本发明一个实施例的电子设备的框图。参照图6，所述电子设备包括存储器60和处理器62。其中，存储器60存储有计算机程序，处理器用于调用所述存储器中的计算机程序，并通过执行所述计算机程序实现图1所示实施例或其实现方式所提供的数据处理方法。此外，电子设备还可以包括用于进行通信的输入输出接口64。

本发明的一个实施例还提供一种计算机存储介质，其存储有一条或多条计算机指令，所述计算机指令被执行时实现图1所示实施例或其实现方式所提供的数据处理方法。

以上结合附图对根据本发明的多个实施例进行了说明。下面结合实际开发与设计，对本发明的一个实施例进行示例性说明。

在本发明实施例中，数据一致性指同一数据经过需求、创建、传输、集成、使用、归档和退出各个环节，在企业级范围内保证其数据格式保持和定义一致，业务含义保持和数据需求一致。在本实施例中，将其具体化为元数据级别的一致性和数据内容级别的一致性两方面，其中元数据级别又可分为单一数据和数据间关系两部分。

具体而言，单一数据一致是指：同一数据在不同地方使用，需要保证数据业务含义(命名、业务规则)和技术属性(数据类型、数据长度)的定义在企业范围内唯一，对数据定义的一致性描述指的是元数据级别的一致性。数据关系一致是指，对于有逻辑关系的不同数据，其数据的关联关系在不同地方使用要保持一致，对数据之间关系的一致性描述指的是元数据级别的一致性。数据内容一致是指，同一数据在不同地方使用，需保持数据取值的一致，对数据取值的一致性是数据内容级别的一致性。

采用本实施例，其目的如下述任意一种或多种：实现同一数据在业务和技术间的一致性、实现数据在不同类型系统间的一致性、同一数据在主副本之间的一致性、数据在同一系统的新旧版本间一致性。

实施对象是本实施例提供的方案的载体，通过对实施对象的设置，使数据从需求、创建、传输、集成、使用、归档和退出的各个环节都按照标准化、规范化的流程运转，同时通过检核指标的设置，以体系化、自动化检核为驱动，对数据一致性问题层层把关和筛查，从根本上解决新一代核心系统建设过程中面临的企业级数据一致性问题。

可选地，在本实施例的一种实现方式中，在数据需求阶段，通过企业级数据字典解决同一数据在业务和技术间理解和使用的一致性。

可选地，在本实施例的一种实现方式中，在数据创建阶段，遵循数据单点创建机制，基于数据C’0模型范围明确数据的管理者即首要责任方，确定数据的可信来源。这是解决数据在主副本之间一致性的基础。

可选地，在本实施例的一种实现方式中，在数据传输阶段，解决同一数据在相同类型和不同类型系统之间的一致性，比如数据从产品服务类组件传输到管理分析类组件，数据在传输过程中必须遵循企业级数据字典管控规则、企业级数据模型管控规则，同时通过企业级转换规则库解决同一数据在其新旧版本之间的一致性，保证老系统向外供数都统一按照企业级数据规则提供。

可选地，在本实施例的一种实现方式中，数据集成阶段是后续数据应用的重要基础，遵循数据模型、主副本管控规则，解决数据主副本之间的一致性。

【企业级数据字典】

企业级数据字典中的数据项是可以直接使用的最小独立单元，具有明确的分类、目的、定义和使用范围。企业级数据字典是保证数据一致性的重要手段之一，同时是企业级数据模型设计以及主副本设计的基础。

企业级数据字典的管控目标是保证项目实施过程中数据的命名、域值符合要求，通过数据项先定义后使用，以确保数据的一致性和规范性。它由数据项、域、代码表三部分组成。数据项是由一组属性规定其定义、标识、表示和允许值的数据单元。是数据字典的基本对象，通过域来规范其取值。域是属性值集合的通用表示，每个单独的属性都有需要遵循值范围，域具有清晰的值范围，是对数据项取值范围的定义，是数据项标准化内容的一部分。其中，代码类域是一种特殊的域，其取值范围是代码值，代码类域管理包括代码表管理。通过“代码表”以一组由数值、字符或符号以离散形式表示信息的明确域取值的集合。

数据项规范了业务过程中所涉及数据的各方面特性，包括数据的定义、计算规则、取值范围、长度、格式等，这些特性需要在所应用的范围内统一地理解和使用。为了更好地理解和执行这些特性的标准，可以将这些特性归类为业务属性、技术属性和管理属性。

其中，业务属性用于描述数据与银行业务相关联的特性，包括数据的名称、业务定义、业务规则、等。技术属性用于描述数据与信息技术实现相关联的特性，是数据在信息系统中实现时统一的技术内容规范，包括数据类型、数据格式等。管理属性用于描述与数据管理相关联的特性，包括数据定义者(注册方)、数据管理者(责任方)等。

企业级数据字典对数据一致性的控制体现在数据全生命周期的多个阶段。具体而言，在数据需求阶段，对同一数据通过业务属性(数据项分类、数据项名称、目的、定义、范围)和技术属性(格式、引用的域、各个数据库落地格式)的对应关系，统一业务和技术的理解。在数据创建阶段，企业级数据建模过程与企业级数据字典紧密结合，数据字典作为数据模型中属性的唯一来源，反向来看整个数据模型体系均作为数据字典的重要组成部分。在数据传输阶段，所有联机报文接口和批量数据传输接口文件以及DDL(Data DefinitionLanguage，数据库模式定义语言)文件(DDL文件是指创建该数据表或文本文件所需的结构定义文件)中的数据项均必须来源于企业级数据字典，在项目实施过程中对其含义和格式会持续的检核、校验和跟踪。

综上所述，企业级数据字典是保证数据一致性的基础，通过形成涵盖业务领域和技术领域的完整统一的标准规则，实现企业级数据全集的整合，保证同一数据业务与技术间的一致性。

【企业级数据模型】

企业级数据模型是规范化、结构化描述数据项之间关系的方法与结果。以数据字典为基础，将银行经营管理涉及的全部业务信息以规范化、结构化的方式表达和描述出来。数据模型在保证数据一致性过程中起到重要作用。

可选地，在本实施例的一种实现方式，以FSDM(finanCial serviCes data model，金融业务数据模型)模型为基础，从业务、技术和管控三个维度出发，自主建立以“概念模型、逻辑模型、物理模型和管控模型”为主体的模型体系；其中“概念模型”描述业务经营管理所需要的全部信息及其之间的关系；“逻辑模型”和“物理模型”描述了IT实现所需要的全部数据及其之间的关系，其中逻辑模型是设计结果，是概念模型和物理模型的中介；“管控模型”描述数据在所有者、实施者及应用之间的关系，是数据认责和实施管控的载体。所有模型都是在不同层面完整一致地对数据进行描述。

A、B、C模型是概念模型，C’模型是逻辑模型，D模型是物理模型，C’0模型是管控模型。A模型将银行经营管理所需数据分为九大概念；B模型基于A模型、采用层次分类结构对数据进一步细分和规范，形成企业级的语义模型；C模型将B模型定义的数据采用三范式的方式按业务对象进行统筹整合，形成标准规范的数据模型；C’0模型是作为数据管控和应用的基础，将C模型从应用的角度按实体粒度划分到相应的应用组件中，确定了组件的数据范围；C’模型作为应用级数据模型，是在C’0模型基础之上考虑应用系统具体实施层面的要求，进行降范式和实体拆分等操作后形成；D模型则是在C’模型基础上考虑系统性能等因素，并结合数据库管理系统的特点进行分库分表等操作而形成的物理数据模型。

A、B、C、C’0、C’和D模型体系很好地解决了操作类应用数据相关问题，对于管理分析类应用，我们采用了分区建立模型方式解决相关数据问题。贴源区采用类似D模型数据结构进行数据整合，基础主题区采用近似C模型的三范式数据结构进行数据组织，计算区则采用多维建模的方式按照客户、产品、合约、员工、渠道、账户等维度组织数据，供数据分析使用；在访问区按照企业级统一指标体系，按照业务主题建立企业级数据使用的视图，支持多种用数方式。

可选地，在企业级数据模型的管控过程中遵循如下原则：在设计阶段，数据模型与数据字典绑定，模型设计采用的字段必须在企业级数据字典中预先定义，其业务属性与技术属性均与字典完全一致。在数据创建阶段，通过C’0模型圈定各组件实施的数据范围，保证数据的唯一创建。保证物理数据模型准确承接逻辑数据模型的内容，包括数据及数据间关系完整继承。在实施阶段，D模型数据库表与测试环境库表完全一致，D模型数据库表与投产版本保证一致。

通过统一的数据模型定义和应用，能解决数据在应用场景(例如，银行系统)内部的定义一致性问题，各组件在构建时就依照统一的数据标准。

【企业级主本与副本】

在本实施例中，企业级主本与副本的设计及管控的根本目标是保证数据的一致性。通过数据的唯一创建原则，主副本设计建立起数据的可信数据源(主本数据)；通过主副本数据的管理，保证同一数据和关联数据的主副本数据的一致性；同时，形成企业级主副本分布视图。

副本数据是相对于主本数据而言的，是基于性能要求考虑的冗余设计，对主本数据的引用和复制，主本数据是可信数据源。原则上，副本数据与主本数据部署在不同的系统上。

副本管控对象分为两类：表级副本及字段级副本。表级副本是对主本表的复制。主副本表所表达的业务含义是一致的，描述对象相同；副本表主键必须包含主本表主键，其属性可以是主本表的全集或子集，且需要进行数据同步。字段级副本是在数据库表的设计过程中对主本表属性的引用或复制，其在副本表中为冗余设计。

表级副本的基本特征如下：

(1)在数据库表中，副本表不在C'0范围内；

(2)与主本表不在同一个物理子系统中；

(3)副本表中，副本表与主本表主键相同，或包含主本表主键；

(4)副本表至少包含一个冗余属性(即来自主本表的非键值属性)；

(5)副本表中的属性，原则上来自同一个主本表(或者来自同一个子系统)。

字段级副本的基本特征如下：

(1)在数据库表中，副本属性不在组件数据实施范围内；

(2)该属性的数据是从外组件获取(其他组件创建-首责方创建)，与主本表不在同一个物理子系统中；

(3)该属性为主本表的非键值属性；

(4)该属性在副本表中为冗余设计；

(5)该副本属性所在数据库表中，应包含该属性依赖的主本表主键(键值属性)，或本组件内包含主本表主键。

【企业级转换规则库】

企业级转换规则库是保证新旧系统间数据一致性的重要手段，可涵盖内容如下：1)对转换数据进行分类，依据数据分类情况定义数据转换规则；2)将已定义的转换规则纳入企业级数据转换规则库进行统一管理，指导数据迁移与数据集成工作；3)基于企业级数据转换规则库建立企业级数据转换和检核平台，用于数据迁移和数据整合。在新一代核心系统建设过程中，对于同一系统新旧版本之间数据转换一致性工作由项目组从实施的角度去保证。

【实施过程控制】

在本实施例中，实施过程控制是依托于实施对象，设置一系列检核指标以及流程方法，通过指标结果分析数据在全生命周期各个阶段是否满足一致性目标，并通过检核反向驱动数据质量的提升，另一方面通过具体的流程控制来保证一致性解决方案的落地。

企业级数据字典对数据一致性的支持体现在元数据级，数据字典对保证业务和技术间的一致性发挥重要作用，同时也是保证不同类型系统间数据一致性的参照基础。针对字典的指标设置重点在完整率上，具体为：

数据库表与字典匹配完整率：

接口与字典匹配完整率：

在本实施例中，企业级数据模型对数据一致性的支持覆盖元数据级和数据内容级，对保证同一数据业务与技术间的一致性以及数据间关系在业务与技术间的一致性发挥重要作用，同时也在一定程度保证数据在不同系统间定义的一致性。企业级数据模型的指标设置重点针对从C模型到C’模型的建模设计，具体指标设置如下：

实体继承率：

对于C’0里面的每个实体，在工具上导入C’时要求必须存在一个C’实体与之对应，必须填写C’处理模式，如果“C'处理模式”为“一一对应”映射，“映射类型”只能选择“基础实体”，如果“C'处理模式”为其他模式，“映射类型”只能选择“基础派生实体”；如果是作为技术要求、统计报表、外部数据要求等新增的实体，无法映射到C’0的实体，“映射类型”选择“技术实施实体”。针对实体继承情况，通过工具可以依据C’模型数据生成各物理组件的C’0实体和C’实体映射清单、C’0实体键值和C’实体键值继承情况清单，最后给出“xx物理组件实体继承完成率”指标。

属性继承率：

对于C’0里面的每个实体的属性，在C’里面必须存在一个实体的属性进行对应，并且要求所有对应属性都只能在非技术实施实体中映射。针对属性继承情况，可以生成各物理组件的C’0实体属性和C’实体属性映射清单，计算出“xx物理组件属性继承完成率”指标。

关系继承率：

C模型中，实体间的关系可以分为属性关系、父子关系、关联关系、引用关系；C模型实体按照首要责任组件被拆分到物理组件后，以上关系就又可以分成物理组件内的关系和物理组件间的关系；关系继承率针对的是物理组件内的关系，主要依据实体继承，检查属性关系、父子关系、关联关系是否都继承。

针对实体关系继承情况，可以生成各物理组件的C’0实体和C’实体映射关系清单，依据C模型的Erwin(一种现有的数据建模工具)图和C’模型的Erwin图比对进行审核，最后给出“xx物理组件实体关系继承完成率”指标。

在数据模型C’设计过程中，业务数据只能来自于C’0实体的属性，这样才能保证C模型实体属性的唯一创建，保证数据的一致性，如果使用了不在本物理组件的C’0实体的属性，就属于实施超范围，对C’模型设计过程中超范围数据问题的识别是企业级主副本管控的基础，跨组件数据使用有两种方式，一种是通过联机服务方式，一种是通过副本方式，对于副本方式，从技术实施的性能考虑，通过数据同步直接使用其它物理组件C’模型的数据，并在本地保存副本，这部分数据就不属于实施超范围。实施超范围的检查，是在各项目组进行物理组件的C’模型生成过程中进行自动检查，针对超范围的内容进一步分析是否作为主副本管理。

在本实施例中，企业级主副本对数据一致性的支持覆盖元数据级和数据内容级。通过数据的唯一创建，建立起数据的可信数据源(主本数据)；通过主副本数据的管理，保证同一数据和关联数据的主副本数据的一致性。元数据级指标设置的目的是要形成表级主副本的数据分布，提供表级主副本一致性保证机制有效性验证的基础。数据内容级检核指标设置的目的是检查主副本设计与实际数据是否一致。具体指标设置如下：

表级副本登记正确率:

字段级副本登记正确率:

副本表键值完整率:

其中，副本表主键完整是指主本表的主键全部包含在副本表中。

在本实施例中，企业级转换规则库对数据一致性的支持体现在元数据级，重点解决数据在同一系统的新旧版本间一致性问题。

【企业级数据字典管控流程】

针对企业级数据字典的管控要遵循以下三点原则：1)先定义后使用原则：所有数据项、域和代码表均应遵循先在数据字典中定义，然后在C’模型、报文接口、数据库表等对象设计中使用的原则；2)唯一性原则：数据项的数据项编号、中文名称和英文简称在企业数据字典范围内唯一，包括企业级视图和项目级级视图；3)认责原则：责任方负责数据项的命名、业务属性和技术属性等关键信息的定义和变更，相关使用方只能使用和查看，不能变更

企业级数据字典的数据项可以划分为业务数据、衍生数据、技术数据和外部数据四类。对于基础业务数据，必须和C模型保持一致。由于C’0指定了每个组件的基础业务数据范围，所以，对于本组件内的基础业务数据，可以直接使用；对于非组件内的基础业务数据，则可以副本的形式使用。无论是直接使用还是以副本形式使用，数据项的中英文名称、业务含义、业务规则等信息必须保持不变。

对于基础业务数据，还有一种使用方式就是派生使用。所谓派生，是指从已有基础数据项上演变而来，是适应具体业务应用场景需要的，除了名称可以改变外，其他信息均应与相应基础业务数据项一致或向下兼容。

衍生数据是通过对基础数据进行计算获取的数据。对于衍生数据，保证数据一致性我们管控的重点是该衍生数据计算的规则、该衍生数据的计算方和该衍生数据使用的统一维度等信息。

技术数据是信息系统实施中偏重数据处理细节和数据结构的数据，是在设计时根据技术处理的需要产生的属性，技术数据一般不具有业务含义，或者有业务含义但是业务不可见、不关注的。根据技术数据的使用范围，可以分为全局技术数据和系统技术数据。全局技术数据是一个系统创建，其他系统以副本的形式共享使用的数据；系统技术数据是一个系统创建，仅在本系统范围内使用的数据。

外部数据是指由外部组织定义和解释的数据，我行直接使用该数据。外部数据管理的目标是确保同一外部数据来源唯一，以保证数据的一致性。

影响性分析流程是字典变更的一个重要环节，任何一个数据项的变更都可触发影响性分析流程，通过各个组件C’模型、D模型、接口等内容与字典数据项引用的耦合关系推导出疑似受影响的组件清单，及时通知相关方进行分析和同步更新，这一环节保证了各组件使用同一数据项的一致性。

【企业级数据模型管控流程】

数据模型管控流程包括逻辑模型C’0、C’模型管控和物理模型D模型管控。C’0模型是面向实施的，是业务和技术的桥梁，它在企业范围内界定了组件创建的数据范围，也同时明确了数据实施的责任主体和实施期限。C’0模型管控是保证数据主副本间一致性的基础。C’模型的重要作用之一是继承C模型的建设成果，保证C模型建模成果完整落地。对于一个确定的组件来讲，C’0明确了其应该创建的数据范围。所以，C’模型的管控目标为：要完整继承C’0模型的实体、属性及实体之间的关系，服务于保证数据一致性这一目标。

真正落地的是企业级物理数据模型，即D模型。可以按照项目阶段将D模型划分为几个并行的管理批次，各批次独立管理。对各划分后的批次D模型按照总装测试及仓库组数据集成的要求设定基线时点，独立生成各批次基线，同时要严格控制项目组提交的D模型变更申请，分别与测试环境库表、DDL文件、数据字典及之前的D模型版本进行变更影响分析。一种示例性的变更管控流程及各相关方职责设置如图7所示，其中的序号以及箭头表示处理的执行顺序。

参照图7，产品服务类项目组执行以下处理：①-a：项目组将变更后的D模型在数据管理平台进行提交；⑤项目组将变更后的DDL文件通过数据管理平台进行提交；①-b：项目组将变更后的D模型在SIT环境进行部署。

测试组执行以下处理：②：测试组每天中午12点将SIT环境的数据库表定义导出到D模型数据共享交换目录上；⑨：测试组组织P9对变更部分进行测试；⑩：测试组组织分析类的应用对变更部分进行测试。

数据架构组进行以下处理：③：将SIT环境提供的数据库表定义内容导入平台，形成SIT(System Integration Testing，系统集成测试)环境D模型；④：对测试环境D模型和平台当前D模型进行差异对比；⑥：用当前D模型对项目组提交的DDL文件进行校验，校验通过后发布D模型；⑦：将D模型当前版本与前一版本进行版本差异对比，分析D模型变更范围。

P9平台项目组进行以下处理：⑧：P9平台依据数据架构组发布的D模型进行P9平台各区的数据库设计和数据的加载设计开发；⑨：P9对变更部分进行测试。

管理分析类项目组通过管理分析类应用(MA)对变更部分进行调整并测试。

【企业级主副本管控流程】

副本管控按照两个维度进行划分：一是按照副本类型分为表级、字段级两个维度。表级副本主副本表所表达的业务含义是一致的，描述对象相同；字段级副本所在的表所表达的业务含义与主本表业务含义不同，描述的对象不同。

表级副本的识别方法：

(1)在数据库表(或测试库表)中，副本表不在C'0范围内；

(2)与主本表不在同一个物理子系统中；

(3)副本表中，副本表与主本表主键相同，或包含主本表主键；

(4)副本表至少包含一个冗余属性(即来自主本表的非键值属性)；

(5)副本表中的属性，原则上来自同一个主本表(或者来自同一个子系统)。

字段级副本的识别方法：

(1)在数据库表(或测试库表)中，副本属性不在C'0范围内；

(2)该属性的数据是从外组件获取(首责方为其他组件)，与主本表不在同一个物理子系统中；

(3)该属性为主本表的非键值属性；

(4)该属性在副本表中为冗余设计；

(5)该副本属性所在数据库表中，应包含该属性依赖的主本表主键(键值属性)，或本组件内包含主本表主键。

不论是表级副本还是字段级副本的管理流程均可按照项目阶段分为设计阶段、开发测试阶段两个维度。在D模型设计阶段与开发测试阶段，管控重点可以不同。

字段级副本管控流程在D模型设计阶段与开发测试阶段，管控重点不同。D模型设计阶段主要是副本登记管理，开发测试阶段主要是对副本质量进行检查及问题跟踪管理。

【企业级转换规则库管控流程】

这部分管控流程由项目组在遵循整体数据一致性要求的前提下，从具体实施的视角去设置。在本实施例中，涵盖以下步骤：1)对转换数据进行分类，依据数据分类情况定义数据转换规则；2)将已定义的转换规则纳入企业级数据转换规则库进行统一管理，指导数据迁移与数据集成工作；3)基于企业级数据转换规则库建立企业级数据转换和检核平台，用于数据迁移和数据整合。

【实施管控工具(或者称作数据管理平台)】

新一代核心系统建设覆盖中国建设银行6800多项业务功能从旧的核心平台向新的平台整体迁移并升级，涉及的数据量之大前所未有。本文阐述的数据一致性解决方案在实际应用过程中，全面作用于新一代系统建设覆盖的所有项目的建设和实施过程。面对如此大批量的数据一致性保证工作，除了强大的控制手段方法、严谨的流程制度保障、全面的检核指标设置，还离不开自动化管控工具的支撑。

本实施例提供的数据管理平台，其功能全面覆盖企业级数据字典管理、企业级数据模型(包括逻辑数据模型、物理数据模型)管理、数据分布(数据主副本)管理、数据线及数据线接口管理、交易线及报文接口管理等内容，同时还具备检核结果统计分析相关功能。

该平台对企业级数据一致性保证方案的支撑体现在以下方面：

1、通过企业级数据字典保证数据需求、数据创建、数据传输、数据集成阶段均遵循相关数据标准进行，企业级数据字典中数据项的注册、审核、变更影响性分析以及版本管理和版本发布等功能都通过管控平台来实现，平台自动检查校验C’模型、D模型和接口中的字段是否已经在数据字典中预先定义，另一方面管控平台基于字典设置的检核指标从流程上控制数据不一致问题：C’模型与字典匹配率检核、数据库表与字典匹配率检核、接口及DDL文件与字典匹配率检核等指标设置有效制止不满足数据一致性目标的问题数据进入下移流转过程。

2、通过保证数据模型管控，保证数据在创建、传输和集成阶段的一致性。管控平台对项目组的模型设计过程进行自动化质量检核，不合格的不允许导入平台，或者进行质量不达标提示，具体包括模型的导入、变更影响性分析、形成基线版本以及同一视图等基本功能。通过C模型到C’模型实体继承、属性继承、关系继承检核保证业务信息完整落地并保持数据一致性，通过C’0实体首要责任组件的认定流程，确定数据产生的可信数据源，通过C’模型超范围检核，筛查出副本数据范围，为后续的主副本管控以及保证主副本数据间一致性奠定基础。平台针对数据库表管理提出了完善的一致性检核功能，包括：与数据字典的一致性检核、与C’模型的一致性检核、与测试环境库表一致性检核、与DDL文件一致性检核、与交换接口一致性检核等。

3、通过主副本管理，保证数据在存储、传输和集成环节的一致性。平台除了实现了主副本的登记和审核流程，对副本基线进行管控，还设计并实现了严谨的检核指标体系，比如副本表键值完整率等，充分保证主副本之间的一致性，同时将副本基线纳入D模型变更影响性分析范围，模型变化与副本变更联动，保证数据的一致性。

示例性地，数据管理平台技术框架具体可划分为：接入层、基础服务层、应用层、数据接入层和系统层(含数据层)。接入层包含用户认证、角色授权、访问控制等基础功能；基础服务层涵盖规则引擎、检核引擎、调度机制、流程服务等内容；应用层涵盖信息应用支撑、数据管控支撑等内容；系统层涵盖数据字典、数据模型等具体数据的存储。整体框架通过软硬件防火墙、提高可靠性；通过应用服务器、文件系统服务器、数据库服务器实现双机每日互备、定期离线备份。该框架全面支持数据管理平台的功能实现和业务流转过程，同时支持Notes邮件通知功能。

下面以企业级数据字典为典型案例介绍技术实现考虑的细节问题。企业级数据字典作为保证数据一致性方案中最基础的实施对象，平台在技术实现过程中对其设置了目标库与历史库同步管控机制，为使用者提供数据项变更历史跟踪查询功能。数据项的变更操作可跟踪、可追溯，为在全局范围保证一致性提供基础。

目标库存储当前数据项的最新版本数据，作为数据项应用的标准，其中的数据项编号唯一；历史库存储数据项的历史数据，保证变更历史可追朔，其中的数据项编号不唯一。

设置历史库的作用在于：即时获得生产环境数据项状态；对每个数据项进行全生命周期管理，变更历史可追踪；可对数据项的变更频率、稳定性等指标进行分析。另一方面，平台对其进行管理的业务活动对象分为3种类型，即新增(启用)、变更、删除(废止)。以企业级数据字典数据项为例，数据项新增、变更操作后入库，状态为启用，当数据项删除，则该数据项状态变为“废止”。

数据质量管控平台将企业级数据字典管理、数据库表管理和企业级副本管理都纳入其中。通过自动化的检查手段和管控流程，提升了保证数据一致性框架的整体管控能力和工作效率。该平台大大提升管控水平和管控效率，促进项目实施过程中针对数据一致性管控的各项指标和执行情况可视化、可量化、规范化和专业化；同时也为新一代核心系统建设的专业化和可持续发展奠定基础。

在本实施例的实际开发中，一期释放13个项目，二期释放34个项目，三期释放40个项目，共计87个项目涉及117个逻辑子系统，均遵循本文阐述的企业级数据一致性解决方案实施，按照企业级数据字典的标准规范进行项目实施过程中的设计和开发；按照数据模型管控规范定义逻辑数据模型和物理数据模型，现阶段新一代项目共发布数据库表13,492个，字段276,312个；同时在数据库表设计阶段和实施阶段引入主副本设计方法和检核环境，从根本上保证数据的一致性。

基于数据一致性管控框架，新一代系统实施过程中，针对数据质量检核，数据一致性问题百分比随投产期次，呈现出逐渐收敛的状态。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本领技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。

Claims (20)

1.一种企业级数据的数据处理方法，其特征在于，所述方法包括：

获取在当前数据生命阶段针对多个实施对象中的可操作对象的操作数据，其中，所述操作数据包括新增数据或变更数据；

基于所述操作数据确定与所述可操作对象关联的检测项是否满足设定条件；

如果确定所述检测项的值满足设定条件，则保存所述操作数据。

2.如权利要求1所述的方法，其特征在于，

所述多个实施对象包括：企业级数据字典、企业级数据模型、企业级主本与副本，以及企业级数据传输；其中，

所述企业级数据字典为在数据需求、数据创建、数据传输、数据集成阶段的可操作对象，

所述企业级数据模型为在数据创建、数据传输和数据集成阶段的可操作对象，

所述企业级主本与副本为在数据存储和数据集成阶段的可操作对象，

所述企业级数据传输为在数据传输阶段的可操作对象。

3.如权利要求1或2所述的方法，其特征在于，在所述可操作对象为所述企业级数据字典时，所述基于所述操作数据确定与所述可操作实施对象关联的检测项是否满足设定条件，包括：

基于新增数据检核所述新增数据的合规性是否满足设定条件；或，

基于变更数据检核所述变更数据对所述企业级数据模型和/或所述企业级主本与副本的影响性是否满足设定条件。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

根据基线版本管理策略检测基线版本设置是否满足设定条件。

5.如权利要求1或2所述的方法，其特征在于，在所述可操作对象为所述企业级数据模型时，所述基于所述操作数据确定与所述可操作实施对象关联的检测项是否满足设定条件，包括：

基于针对概念模型C模型的新增数据或变更数据，检核所述新增数据或变更数据对所述企业级数据模型和/或所述企业级主本与副本的影响性是否满足设定条件；或，

基于针对逻辑模型C'模型的新增数据或变更数据，检核C'模型与所述企业级数据字典的匹配率是否满足设定条件；或

基于针对物理模型D模型的新增数据或变更数据，检核D模型与所述企业级数据字典的匹配率是否满足设定条件。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

基于针对管控模型C’0模型的新增数据或变更数据，进行C'0实体责任组件的划分和确认。

7.如权利要求1或2所述的方法，其特征在于，在所述可操作对象为所述企业级主本与副本时，所述基于所述操作数据确定与所述可操作实施对象关联的检测项是否满足设定条件，包括：

基于新增数据或变更数据，检核所述企业级主本与副本的数据一致性是否满足设定条件。

8.如权利要求1或2所述的方法，其特征在于，在所述可操作对象为所述企业级数据传输时，所述基于所述操作数据确定与所述可操作实施对象关联的检测项是否满足设定条件，包括：

基于针对数据线接口的新增数据或变更数据，检测数据线接口与所述企业级数据字典的匹配率是否满足设定条件；或，

基于针对交易线接口的新增数据或变更数据，检测交易线接口与所述企业级数据字典的匹配率是否满足设定条件。

9.如权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述检测项不满足设定条件，则基于所述检测项输出检测结果。

10.一种企业级数据的数据处理系统，其特征在于，所述系统包括：

数据获取模块，用于获取在当前数据生命阶段针对多个实施对象中的可操作对象的操作数据，其中，所述操作数据包括新增数据或变更数据；

检核模块，用于基于所述操作数据确定与所述可操作对象关联的检测项是否满足设定条件；

处理模块，用于在所述检测项的值满足设定条件时，保存所述操作数据。

11.如权利要求10所述的系统，其特征在于，

所述多个实施对象包括：企业级数据字典、企业级数据模型、企业级主本与副本，以及企业级数据传输；其中，

所述企业级数据字典为在数据需求、数据创建、数据传输、数据集成阶段的可操作对象，

所述企业级数据模型为在数据创建、数据传输和数据集成阶段的可操作对象，

所述企业级主本与副本为在数据存储和数据集成阶段的可操作对象，

所述企业级数据传输为在数据传输阶段的可操作对象。

12.如权利要求10或11所述的系统，其特征在于，所述检核模块包括：

第一检核子模块，用于在所述可操作对象为所述企业级数据字典时，基于新增数据检核所述新增数据的合规性是否满足设定条件，或，基于变更数据检核所述变更数据对所述企业级数据模型和/或所述企业级主本与副本的影响性是否满足设定条件。

13.如权利要求12所述的系统，其特征在于，所述系统还包括：

基线版本管理模块，用于根据基线版本管理策略检测基线版本设置是否满足设定条件。

14.如权利要求10或11所述的系统，其特征在于，所述检核模块包括：

第二检核子模块，用于在所述可操作对象为所述企业级数据模型时进行以下任意一项或多项处理：

基于针对C模型的新增数据或变更数据，检核所述新增数据或变更数据对所述企业级数据模型和/或所述企业级主本与副本的影响性是否满足设定条件；

基于针对C'模型的新增数据或变更数据，检核C'模型与所述企业级数据字典的匹配率是否满足设定条件；

基于针对D模型的新增数据或变更数据，检核D模型与所述企业级数据字典的匹配率是否满足设定条件。

15.如权利要求14所述的系统，其特征在于，所述系统还包括：

模型处理模块，用于基于针对C’0模型的新增数据或变更数据，进行C'0实体责任组件的划分和确认。

16.如权利要求10或11所述的系统，其特征在于，所述检核模块还包括：

第三检核子模块，用于在所述可操作对象为所述企业级主本与副本时，基于新增数据或变更数据，检核所述企业级主本与副本的数据一致性是否满足设定条件。

17.如权利要求10或11所述的系统，其特征在于，所述检核模块还包括：

第四检核子模块，用于在所述可操作对象为所述企业级数据传输时进行以下处理：

基于针对数据线接口的新增数据或变更数据，检测数据线接口与所述企业级数据字典的匹配率是否满足设定条件；或，

基于针对交易线接口的新增数据或变更数据，检测交易线接口与所述企业级数据字典的匹配率是否满足设定条件。

18.如权利要求10所述的系统，其特征在于，

所述处理模块还用于：在所述检测项不满足设定条件时，基于所述检测项输出检测结果。

19.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，其中，

所述存储器存储有计算机程序；

所述处理器用于调用所述存储器中的计算机程序，并通过执行所述计算机程序实现如权利要求1-9中任一项所述的方法。

20.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有一条或多条计算机指令，所述计算机指令被执行时实现如权利要求1-9中任一项所述的方法。