CN109344173B - 数据管理方法和装置、数据结构 - Google Patents

Abstract

本说明书实施例提供一种数据管理方法和装置、数据结构，通过场景代码、场景逻辑和场景描述将基本元数据与各个业务场景下的场景元数据进行关联，并通过目标代码、目标逻辑和目标描述将场景元数据与用户所能理解的目标元数据进行关联，提高了数据在不同业务场景下的自描述能力，降低了开发过程中的数据分析和清洗难度。

Description

数据管理方法和装置、数据结构

技术领域

本说明书涉及数据处理技术领域，尤其涉及数据管理方法和装置、数据结构。

背景技术

随着移动互联网的快速发展，数据的产生速度和数量远远超过人们的预期，而随着数据量的快速增长，为企业带来的数据分析工作带来更多的技术负债，比如在做数据分析作业前，对于海量数据的清洗工作往往是沉重的，同时在各种系统建设工作中，由于数据定义的不统一往往会造成许多额外的开发负担。因此，有必要对数据进行管理。

发明内容

基于此，本说明书提供了数据管理方法和装置、数据结构。

根据本说明书实施例的第一方面，提供一种数据管理方法，所述方法包括：从数据源提取基本元数据，所述基本元数据是数据的最小单元；根据场景代码、场景逻辑和场景描述将所述基本元数据映射为场景元数据；其中，场景代码是所述基本元数据所应用的业务场景对应的标识信息，场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，场景描述是所述基本元数据在所述业务场景下的数据描述；根据目标代码、目标逻辑和目标描述将所述场景元数据映射为目标元数据；其中，目标代码是目标用户所属类别对应的标识信息，目标逻辑是所述目标用户采用的数据转换逻辑，目标描述是所述目标用户对所述基本元数据的数据描述。

可选地，所述方法还包括：根据所述目标代码将所述目标元数据划分为若干个数据集合，每个数据集合中的各个目标元数据对应相同的目标代码。

可选地，所述方法还包括：根据所述目标代码、目标逻辑和目标描述查询所述目标元数据对应的场景元数据。

可选地，所述方法还包括：根据查询到的场景元数据查询所述目标元数据以外的其他目标元数据。

可选地，所述方法还包括：根据所述场景代码、场景逻辑和场景描述查询所述场景元数据对应的基本元数据。

可选地，所述方法还包括：根据查询到的基本元数据查询所述场景元数据以外的其他场景元数据。

根据本说明书实施例的第二方面，提供一种数据结构，所述数据结构包括：基本元数据、场景元数据和目标元数据；所述场景元数据基于场景代码、场景逻辑和场景描述与所述基本元数据相关联；其中，基本元数据从数据源提取，场景代码是所述基本元数据所应用的业务场景对应的标识信息，场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，场景描述是所述基本元数据在所述业务场景下的数据描述；所述目标元数据基于目标代码、目标逻辑和目标描述与所述场景元数据相关联；其中，目标代码是目标用户所属类别对应的标识信息，目标逻辑是所述目标用户采用的数据转换逻辑，目标描述是所述目标用户对所述基本元数据的数据描述。

根据本说明书实施例的第三方面，提供一种数据管理装置，所述装置包括：提取模块，用于从数据源提取基本元数据，所述基本元数据是数据的最小单元；第一映射模块，用于根据场景代码、场景逻辑和场景描述将所述基本元数据映射为场景元数据；其中，场景代码是所述基本元数据所应用的业务场景对应的标识信息，场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，场景描述是所述基本元数据在所述业务场景下的数据描述；第二映射模块，用于根据目标代码、目标逻辑和目标描述将所述场景元数据映射为目标元数据；其中，目标代码是目标用户所属类别对应的标识信息，目标逻辑是所述目标用户采用的数据转换逻辑，目标描述是所述目标用户对所述基本元数据的数据描述。

根据本说明书实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。

根据本说明书实施例的第五方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。

应用本说明书实施例方案，通过场景代码、场景逻辑和场景描述将基本元数据与各个业务场景下的场景元数据进行关联，并通过目标代码、目标逻辑和目标描述将场景元数据与用户所能理解的目标元数据进行关联，提高了数据在不同业务场景下的自描述能力，降低了开发过程中的数据分析和清洗难度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本说明书一个实施例中数据管理方法流程图。

图2是本说明书一个实施例中数据应用架构示意图。

图3是本说明书一个实施例中数据管理方法的实际应用示意图。

图4是本说明书一个实施例中数据管理方法的价值链示意图。

图5是本说明书一个实施例中数据结构的示意图。

图6是本说明书一个实施例中数据管理装置的框图。

图7是本说明书一个实施例中用于实施本发明实施例方法的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

如图1所示，是本说明书一个实施例中数据管理方法流程图。所述方法可包括：

步骤102：从数据源提取基本元数据，所述基本元数据是数据的最小单元；

步骤104：根据场景代码、场景逻辑和场景描述将所述基本元数据映射为场景元数据；其中，场景代码是所述基本元数据所应用的业务场景对应的标识信息，场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，场景描述是所述基本元数据在所述业务场景下的数据描述；

步骤106：根据目标代码、目标逻辑和目标描述将所述场景元数据映射为目标元数据；其中，目标代码是目标用户所属类别对应的标识信息，目标逻辑是所述目标用户采用的数据转换逻辑，目标描述是所述目标用户对所述基本元数据的数据描述。

在本实施例中，数据源可以是客户端，服务器可以从客户端获取用户数据，然后从用户数据中提取出基本元数据。例如，对于用户的订单交易数据，可以从中提取出订单编号、订单类型、订单金额、订单时间等基本元数据。元数据是关于数据的组织、数据域及其关系的信息，基本元数据是一种符号的组成，可以是一类通用语言文字的描述，是数据的最小单元。

在提取出基本元数据之后，可以将基本元数据映射为场景元数据。场景元数据是基本元数据在对应业务场景下的表示方式。通过获取场景代码、场景逻辑和场景描述，可以将基本元数据映射为场景元数据。其中，场景代码是各个业务场景的标识信息，用于唯一标识各个业务场景。例如，支付业务场景的场景代码是001，订单业务场景的场景代码是002，等等。场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，即基本元数据在某类业务场景中的转换规则，例如元数据单据号orderNo在支付场景的场景逻辑中转换为支付单据号payOrderNo。场景描述是所述基本元数据在所述业务场景下的数据描述，以便达到场景逻辑可被理解。场景逻辑可以看做是基本元数据在具体业务场景下的表达方式，而场景规则可以看做是对这种表达方式在该业务场景下的含义的解释说明。

在获取场景元数据之后，可以将场景元数据映射为目标元数据。目标元数据即为使用数据的目标用户(即，数据消费方)所能理解和识别的元数据。通过目标代码、目标逻辑和目标描述可以将场景元数据映射为目标元数据。其中，目标代码是目标用户所属类别对应的标识信息，目标用户所属类别可以根据目标用户的职能来确定，例如，应用架构师和应用开发人员对应第一用户类别，其目标代码设为100；业务架构师和运营人员对应第二用户类别，其目标代码设为200，等等。目标逻辑是目标用户采用的数据转换逻辑，场景元数据在目标逻辑的转换下得到目标元数据的表达，例如场景元数据支付单据号payOrderNo在目标逻辑转义下可以得到在数据表中的字段名为pay_order_no。目标描述是所述目标用户对所述基本元数据的数据描述，以便达到目标逻辑可被理解。

在实际应用中，可以按照以下过程来获取目标元数据：

a)定义基本数据元A，基本元数据在整个数据管理中可以看做是一个不可分割的单元定义。

b)定义场景逻辑函数FA(a,b,c)＝Y，Y：场景元数据，a：场景代码，b：场景逻辑，c：场景描述。

c)定义目标逻辑函数FY(p,q,r)＝D，D：目标元数据，p：目标代码，q：目标逻辑，r：目标描述。

以下可定义：

bData＝基本元数据；

sData＝场景元数据；

tData＝目标元数据。

例如bData(id)，通过场景逻辑函数Fid(101,单据类场景规则,单据类场景描述)，得到sData(id)，而sData(id)通过目标逻辑函数Fid(201,交易订单目标规则,交易订单目标)得到tData(id)。

在一个实施例中，所述方法还包括：根据所述目标代码将所述目标元数据划分为若干个数据集合，每个数据集合中的各个目标元数据对应相同的目标代码。如图2所示，将得到的tData归集到数据池，进行一次池操作得到一个数据对象，这个数据对象可以是数据库设计层面的数据表，领域模型驱动设计的领域对象，也可以是业务活动中的业务对象。

对于获取到的目标元数据，可以执行一定的对象行为，以提供微服务。微服务专注于单一职责和功能为基础，利用组件化的方式编排出复杂的系统，各功能域服务使用与语言无关的API(Application Programming Interface，应用程序编程接口)集相互通讯。对象行为即对对数据对象执行的操作，例如，对于账户余额数据对象，可以执行存入、取出操作，从而提供一种微服务，使用户可以获取到账户当前余额。一个或多个微服务可以构成一个应用系统，不同的应用系统及其相互之间的调用关系共同构成一个完整的产品，供用户使用。

如图3所示，是本说明书一个实施例中数据管理方法的实际应用示意图。在图中，基本元数据包括id号、name名称、type类型、amount金额、time时间以及remark说明。在将基本元数据映射为场景元数据时，对于场景代码为A001，场景逻辑为{订单}，场景描述为付款的情形，可以将id号映射为A001业务场景下的场景元数据，即orderId订单号。同理，对于场景代码为A002，场景逻辑为{收款人收款}，场景描述为付款的情形，可以将id号映射为A002业务场景下的场景元数据，即收款人id。对于场景代码为A003，场景逻辑为{付款人付款}，场景描述为付款的情形，可以将id号映射为A003业务场景下的场景元数据，即付款人id。类似地，可以采用对应的场景代码、场景逻辑和场景描述，分别将type类型、amount金额、time时间以及remark说明映射为orderName账单名称、payType付款方式、amount付款金额、createTime创建时间和remark备注说明。

然后，可以根据目标代码、目标逻辑和目标描述将所述场景元数据映射为目标元数据。例如，可以根据目标代码：B001，目标逻辑：{32位非空数字}，以及目标描述：订单号，将orderId映射为业务对象中的orderId订单号。另外，用于映射的条件除了目标代码、目标逻辑和目标描述之外，还可以包括其他扩展信息，扩展信息可以根据实际需要设定。又例如，可以根据目标代码：B02，目标逻辑：{订单，数据约束}，以及目标描述：付款账单，将orderId订单号映射为领域对象中的orderId订单号。可以根据目标代码：B01，目标逻辑：{命名规则，数据约束}，以及目标描述：付款账单，将orderId订单号映射为数据表对象中的order_id。其他映射方式类似，此处不再赘述。

上述实施例从数据定义、数据关联、管理策略，提供数据自描述能力，能够在不同业务场景下对业务数据进行统一定义，通过这种统一定义方式，数据分析人员无需花费过多时间去理解数据本身含义以及各种场景和业务规则，减少了数据清洗工作。上述数据定义方式不依赖特定平台的实现，同时能够为业务提供持续的、可度量的价值。该方式为系统数据规范、业务数据提供了一套完整的数据视图入口，同时也具备赋能业务中台的条件。

在一个实施例中，所述方法还包括：根据所述目标代码、目标逻辑和目标描述查询所述目标元数据对应的场景元数据。在本实施例中，通过目标代码、目标逻辑和目标描述可以反向查询到目标元数据所关联的场景元数据。进一步地，根据查询到的场景元数据还可以查询所述目标元数据以外的其他目标元数据。

在一个实施例中，所述方法还包括：根据所述场景代码、场景逻辑和场景描述查询所述场景元数据对应的基本元数据。在本实施例中，通过场景代码、场景逻辑和场景描述可以反向查询到场景元数据所关联的基本元数据。进一步地，根据查询到的基本元数据还可以查询所述场景元数据以外的其他场景元数据。

例如，目标用户当前获取到的是目标元数据A，当该目标用户需要获取目标元数据B时，可以先反向查询目标元数据所关联的场景元数据a，然后，遍历场景元数据a所关联的目标元数据，直到找到目标元数据B。如果未在场景元数据a所关联的目标元数据中查询到目标元数据B，则反向查询场景元数据a所关联的基本元数据S，再获取S所关联的各个场景元数据b，c，d……。对于各个场景元数据b，c，d……，分别遍历其所关联的目标元数据，直到找到目标元数据B。通过这种方式，解决了当前通过元数据去反查关联信息能力缺失的问题。

如图4所示，是本说明书一个实施例中数据管理方法的价值链示意图。该价值链通过三层数据模型建模，为业务、系统参与者等提供了统一的数据入口。其中价值链主要体现在根据每层的对象可以关联到其它对象模型，每层对象模型可以被参与者所关注，例如，数据库表可以是数据表对象，数据表对象的字段集合是一组目标元数据，通过该目标元数据关联的场景元数据可以跟踪到领域对象或业务对象。数据表对象所在模型可以为数据库管理员(Database Administrator，简称DBA)和数据分析人员提供统一的数据入口，领域对象所在模型可以为应用架构师和应用开发人员提供统一的数据入口，业务对象所在模型可以为业务架构师、运营人员和产品人员提供统一的数据入口。业务架构师还可以根据业务对象所关联的场景元数据查询到对应的业务对象和数据表。

如图5所示，本说明书实施例还提供一种数据结构，所述数据结构包括：

基本元数据、场景元数据和目标元数据；

所述场景元数据基于场景代码、场景逻辑和场景描述与所述基本元数据相关联；其中，基本元数据从数据源提取，场景代码是所述基本元数据所应用的业务场景对应的标识信息，场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，场景描述是所述基本元数据在所述业务场景下的数据描述；

所述目标元数据基于目标代码、目标逻辑和目标描述与所述场景元数据相关联；其中，目标代码是目标用户所属类别对应的标识信息，目标逻辑是所述目标用户采用的数据转换逻辑，目标描述是所述目标用户对所述基本元数据的数据描述。

本实施例的数据结构提供了一种三层模型的数据治理方案，通过该方案可以建立一套有数据定义、数据血缘、管理策略，并提供数据自描述能力组成的数据治理框架。通过该数据治理方案，能够为数据价值链上的参与者提供一套完整的统一视图入口。

如图6所示，本说明书实施例还提供一种数据管理装置，所述装置包括：

提取模块602，用于从数据源提取基本元数据，所述基本元数据是数据的最小单元；

第一映射模块604，用于根据场景代码、场景逻辑和场景描述将所述基本元数据映射为场景元数据；其中，场景代码是所述基本元数据所应用的业务场景对应的标识信息，场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，场景描述是所述基本元数据在所述业务场景下的数据描述；

第二映射模块606，用于根据目标代码、目标逻辑和目标描述将所述场景元数据映射为目标元数据；其中，目标代码是目标用户所属类别对应的标识信息，目标逻辑是所述目标用户采用的数据转换逻辑，目标描述是所述目标用户对所述基本元数据的数据描述。

上述装置中各个模块的功能和作用的实现过程具体详情见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书装置的实施例可以应用在计算机设备上，例如服务器或终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本说明书装置所在计算机设备的一种硬件结构图，除了图7所示的处理器702、内存704、网络接口706、以及非易失性存储器708之外，实施例中装置所在的服务器或电子设备，通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。

相应的地，本说明书实施例还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。

相应的地，本说明书实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读命令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员在考虑说明书及实践这里公开的说明书后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (9)

1.一种数据管理方法，所述方法包括：

从数据源提取基本元数据，所述基本元数据是数据的最小单元；

根据场景代码、场景逻辑和场景描述将所述基本元数据映射为场景元数据；其中，场景代码是所述基本元数据所应用的业务场景对应的标识信息，场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，场景描述是所述基本元数据在所述业务场景下的数据描述；

根据目标代码、目标逻辑和目标描述将所述场景元数据映射为目标元数据；其中，目标代码是目标用户所属类别对应的标识信息，目标逻辑是所述目标用户采用的数据转换逻辑，目标描述是所述目标用户对所述基本元数据的数据描述。

2.根据权利要求1所述的方法，所述方法还包括：

根据所述目标代码将所述目标元数据划分为若干个数据集合，每个数据集合中的各个目标元数据对应相同的目标代码。

3.根据权利要求1所述的方法，所述方法还包括：

根据所述目标代码、目标逻辑和目标描述查询所述目标元数据对应的场景元数据。

4.根据权利要求3所述的方法，所述方法还包括：

根据查询到的场景元数据查询所述目标元数据以外的其他目标元数据。

5.根据权利要求3所述的方法，所述方法还包括：

根据所述场景代码、场景逻辑和场景描述查询所述场景元数据对应的基本元数据。

6.根据权利要求5所述的方法，所述方法还包括：

根据查询到的基本元数据查询所述场景元数据以外的其他场景元数据。

7.一种数据管理装置，所述装置包括：

提取模块，用于从数据源提取基本元数据，所述基本元数据是数据的最小单元；

第一映射模块，用于根据场景代码、场景逻辑和场景描述将所述基本元数据映射为场景元数据；其中，场景代码是所述基本元数据所应用的业务场景对应的标识信息，场景逻辑是所述基本元数据在所述业务场景下的数据转换逻辑，场景描述是所述基本元数据在所述业务场景下的数据描述；

第二映射模块，用于根据目标代码、目标逻辑和目标描述将所述场景元数据映射为目标元数据；其中，目标代码是目标用户所属类别对应的标识信息，目标逻辑是所述目标用户采用的数据转换逻辑，目标描述是所述目标用户对所述基本元数据的数据描述。

8.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至6任意一项所述的方法。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至6任意一项所述的方法。

Images