CN116010415A - 数据管理方法、装置、设备以及存储介质 - Google Patents

Abstract

提供了一种数据管理方法、装置、设备和计算机可读存储介质。该方法包括：响应于接收到数据定义请求，基于数据定义请求中的数据定义信息，对数据定义元数据进行映射；响应于接收到操作定义请求，基于操作定义请求中的操作定义信息，对操作定义元数据进行映射，其中，操作定义元数据包含数据定义元数据的标识信息；以及基于所述操作定义元数据，生成操作处理结果。

Description

数据管理方法、装置、设备以及存储介质

技术领域

本公开涉及大数据技术领域，特别是涉及一种数据管理方法、数据管理装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

大数据是信息化发展的新阶段，随着信息技术和人类生产生活交汇融合，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、国家管理、人们生活都产生了重大影响。人们在不同领域采集到的数据量之大，达到了前所未有的程度。同时，数据的产生、存储和处理方式发生了革命性的变化，人们的工作和生活基本上都可以用数字化表示，数据的使用查询非常频繁。

随着时间的不断发展，数据的数量和种类都在不断增加，存储的数据也越来越多，各种数据融合在一起，导致当前的数据存储及查询方式无法满足用户的需求。

发明内容

本公开提供了一种数据管理方法、数据管理装置、电子设备、计算机可读存储介质及计算机程序产品。

根据本公开的一方面，提供了一种数据管理方法，方法包括：响应于接收到数据定义请求，基于数据定义请求中的数据定义信息，对数据定义元数据进行映射；响应于接收到操作定义请求，基于操作定义请求中的操作定义信息，对操作定义元数据进行映射，其中，操作定义元数据包含数据定义元数据的标识信息；以及基于操作定义元数据，生成操作处理结果。

根据本公开的另一方面，提供了一种数据管理装置，装置包括：数据定义模块，被配置为：响应于接收到数据定义请求，基于数据定义请求中的数据定义信息，对数据定义元数据进行映射；操作定义模块，被配置为响应于接收到操作定义请求，基于操作定义请求中的操作定义信息，对操作定义元数据进行映射，其中，操作定义元数据包含数据定义元数据的标识信息；以及操作处理模块，被配置为：基于操作定义元数据，生成操作处理结果。

根据本公开的又另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一方面的方法。

根据本公开的又另一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一方面所述的方法。

根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一方面所述的方法。

根据本公开的一个或多个实施例，可以高效的满足用户对数据管理的个性化需求，从而提高数据管理效率。

根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；

图2是图示出根据示例性实施例的数据管理方法的流程图；

图3是图示出根据另一示例性实施例的数据管理方法的流程图；

图4是图示出根据示例性实施例的数据管理装置的示意性框图；

图5是图示出根据本公开实施例的电子设备的框图。

具体实施方式

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

随着大数据的不断发展，大数据的统计分析应用，在各行业越来越普及，例如营销效果的展示，或者工艺流程的改进都需要使用数据来进行证明。而传统的大数据统计分析平台，针对某一行业往往采用一个通用的模式进行数据的采集、数据的存储，并且按固定逻辑计算预定义的指标并进行展现。传统的大数据统计分析平台一般在使用初期可以满足用户的使用需求，但随着对大数据统计分析平台了解的深入，用户会结合自己业务特点提出更具体和细致的需求，这时大数据统计分析平台就需要进行定制化的开发，而现有的对大数据统计分析平台的定制化开发不仅会增加沟通成本，而且耗时费力，还未必能满足用户的需求。

为了缓解、减轻或消除上述至少一个问题，本公开提供了一种数据管理方法。该方法支持用户自定义数据模型，可以高效地满足用户对数据管理的个性化需求，从而提高数据管理效率。

在介绍本公开的示例性实施例之前，首先对本文中使用的若干术语进行解释。

1、数据集

数据集是数据的集合，其中数据可以是任意形式的数据，如采集数据、数据文件、数据库表等。数据集中可以包括数据集的名称、标识、字段类型以及构成规则等信息。

2、物理存储信息

物理存储信息是关于数据的物理存储的信息，可以包括存储类型、访问地址、分区方式以及认证信息等。

3、OLAP模型

OLAP(online analysis processing，在线分析处理)模型是数据的统计分析模型，可以包括维度(Dimension)、度量(Metric)、层级(Hierarchy/Level)等信息。

下面结合附图详细描述本公开的示例性实施例。

图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。

参考图1，该系统100包括客户端设备110、服务器120、以及将客户端设备110与服务器120通信地耦合的网络130。

客户端设备110包括显示器114和可经由显示器114显示的客户端应用(APP)112。客户端应用112可以为运行前需要下载和安装的应用程序或者作为轻量化应用程序的小程序(liteapp)。在客户端应用112为运行前需要下载和安装的应用程序的情况下，客户端应用112可以被预先安装在客户端设备110上并被激活。在客户端应用112为小程序的情况下，用户102可以通过在宿主应用中搜索客户端应用112(例如，通过客户端应用112的名称等)或扫描客户端应用112的图形码(例如，条形码、二维码等)等方式，在客户端设备110上直接运行客户端应用112，而无需安装客户端应用112。在一些实施例中，客户端设备110可以是任何类型的移动计算机设备，包括移动计算机、移动电话、可穿戴式计算机设备(例如智能手表、头戴式设备，包括智能眼镜，等)或其他类型的移动设备。在一些实施例中，客户端设备110可以替换地是固定式计算机设备，例如台式机、服务器计算机或其他类型的固定式计算机设备。

服务器120典型地为由互联网服务提供商(ISP)或互联网内容提供商(ICP)部署的服务器。服务器120可以代表单台服务器、多台服务器的集群、分布式系统、或者提供基础云服务(诸如云数据库、云计算、云存储、云通信)的云服务器。将理解的是，虽然图1中示出服务器120与仅一个客户端设备110通信，但是服务器120可以同时为多个客户端设备提供后台服务。

网络130的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)、和/或诸如互联网之类的通信网络的组合。网络130可以是有线或无线网络。在一些实施例中，使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来处理通过网络130交换的数据。此外，还可以使用诸如安全套接字层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、网际协议安全(IPsec)等加密技术来加密所有或者一些链路。在一些实施例中，还可以使用定制和/或专用数据通信技术来取代或者补充上述数据通信技术。

为了本公开实施例的目的，在图1的示例中，客户端应用112可以为数据管理应用程序，该数据管理应用程序可以提供基于数据管理的各种功能，例如，数据收集、数据展示等等。与此相应，服务器120可以是与数据管理应用程序一起使用的服务器。该服务器120可以向客户端设备110中运行的客户端应用112提供在线数据服务，例如在线数据收集以及在线数据展示等。替换地，服务器120也可以将管理数据提供给客户端设备110，由客户端设备110中运行的客户端应用112根据该管理数据提供数据管理服务。

图2是图示出根据示例性实施例的数据管理方法200的流程图。方法200可以在客户端设备(例如，图1中所示的客户端设备110)处执行，也即，方法200的各个步骤的执行主体可以是图1中所示的客户端设备110。在一些实施例中，方法200可以在服务器(例如，图1中所示的服务器120)处执行。在一些实施例中，方法200可以由客户端设备(例如，客户端设备110)和服务器(例如，服务器120)相组合地执行。在下文中，以执行主体为客户端设备110为例，详细描述方法200的各个步骤。

在步骤S201：响应于接收到数据定义请求，基于数据定义请求中的数据定义信息，对数据定义元数据进行映射。

根据一些实施例，数据定义请求可以为用户根据自身的业务规划数据向客户端设备110发送的与业务规划数据相对应的信息，其中，数据定义请求中包括数据定义信息。在示例中，当用户业务规划数据是流式数据时，数据定义信息包括数据的字段名称和数据类型等；当用户业务规划数据是批处理数据时，数据定义信息包括数据库表(或数据文件)的列名和数据库表(或数据文件)的类型等。数据定义元数据可以包含数据定义元数据的名称，数据定义元数据的标识信息以及数据定义元数据的字段类型等。

根据一些实施例，数据定义信息可以包括数据逻辑信息和数据存储信息，数据定义元数据可以包括数据逻辑元数据和数据存储元数据。客户端设备110响应于接收到的数据定义请求，基于数据定义请求中的数据定义信息，对数据定义元数据进行映射。此处，映射可以是指将数据定义请求中的数据定义信息映射到数据定义元数据中。在示例中，映射过程可以包括将数据存储信息映射到数据存储元数据中，以及将数据逻辑信息映射到数据逻辑元数据中。

在步骤S202：响应于接收到操作定义请求，基于操作定义请求中的操作定义信息，对操作定义元数据进行映射，其中，操作定义元数据包含数据定义元数据的标识信息。

根据一些实施例，操作定义请求可以为用户根据自身的业务规划数据向客户端设备110发送的与业务规划数据的具体操作流程相对应的信息，其中，操作定义请求中包括操作定义信息。客户端设备110响应于接收到的操作定义请求，基于操作定义请求中包括的操作定义信息，对操作定义元数据进行映射。此处，映射可以是指将操作定义请求中的操作定义信息映射到操作定义元数据中。可以使操作定义元数据与数据定义元数据相关联，从而可以使操作定义信息与数据定义信息相关联，以便于生成操作处理结果。

根据一些实施例，操作定义信息包括流程信息和处理逻辑信息，操作定义元数据包括流程元数据和处理逻辑元数据。在示例中，流程元数据可以为有向无环图(DAG)元数据，处理逻辑元数据可以为算子定义(Operator)元数据。客户端设备110响应于接收到的操作定义请求，可以将操作定义信息中的流程信息映射到DAG元数据中，同时还可以将处理逻辑信息映射到Operator元数据中。

在步骤S203：基于所述操作定义元数据，生成操作处理结果。

由于操作定义元数据包含数据定义元数据的标识信息，通过该步骤，客户端设备110基于操作定义元数据就可以生成操作处理结果。

在根据本公开实施例的数据管理方法200中，对数据定义信息进行数据定义元数据的映射，对操作定义信息进行操作定义元数据的映射，同时，通过操作定义元数据包含数据定义元数据的标识信息，将操作元数据与数据定义元数据相关联，可以使用户自定义数据模型，从而可以高效地满足用户对数据管理的个性化需求，进而提高数据管理效率。

根据一些实施例，数据定义信息包括数据逻辑信息和数据存储信息，数据定义元数据包括数据逻辑元数据和数据存储元数据。基于数据定义请求中的数据定义信息，对数据定义元数据进行映射包括：

基于数据存储信息，对数据存储元数据进行映射；以及

基于数据逻辑信息，对数据逻辑元数据进行映射，其中，数据逻辑元数据包含数据存储元数据的标识信息，其中，操作定义元数据包含数据逻辑元数据的标识信息。

根据一些实施例，数据定义信息包括数据逻辑信息和数据存储信息，数据定义元数据包括数据逻辑元数据(Dataset)和数据存储元数据(Storage/DataSource)。客户端设备110响应于接收到的数据定义请求，基于数据定义请求中的数据定义信息，对数据定义元数据进行映射。此处，映射可以是指将数据存储信息映射到数据存储元数据(Storage/DataSource)中，将数据逻辑信息映射到数据逻辑元数据中(Dataset)。

根据一些实施例，数据逻辑元数据(Dataset)包含数据存储元数据(Storage/DataSource)的标识信息，操作定义元数据包含数据逻辑元数据(Dataset)的标识信息。数据逻辑元数据(Dataset)、数据存储元数据(Storage/DataSource)以及操作定义元数据之间可以根据标识信息进行相互调用，使用户自定义的数据模型更加简单。

根据一些实施例，数据存储信息包括数据源信息和物理存储信息，数据存储元数据包括数据源元数据和物理存储元数据。基于所述数据存储信息，对数据存储元数据进行映射包括：

基于物理存储信息，对物理存储元数据进行映射；以及

基于数据源信息，对数据源元数据进行映射，其中，数据源元数据包括物理存储元数据的标识信息，并且，数据逻辑元数据包含数据源元数据的标识信息。

根据一些实施例，数据存储信息包括数据源信息和物理存储信息；数据存储元数据包括数据源元数据(DataSource)和物理存储元数据(Storage)其中，数据源元数据(DataSource)包括数据存储规则的划分，例如分区信息是按具体的数值进行划分或是按照数值范围进行划分，格式属性以及存储文件格式等；物理存储元数据(Storage)为物理存储的具体的物理实现方式，数据的访问权限以及数据存储路径等信息。

根据一些实施例，客户端设备110响应于接收到的数据定义请求，基于数据定义请求中的物理存储信息，对物理存储元数据(Storage)进行映射(此处，映射可以是指将物理存储信息映射到物理存储元数据(Storage)中)，以及基于数据定义请求中的数据源信息，对数据源元数据(DataSource)进行映射(此处，映射可以是指将数据源信息映射到数据源元数据(DataSource)中)。

根据一些实施例，数据逻辑元数据(Dataset)中包含了数据源元数据(DataSource)和物理存储元数据(Storage)的标识信息。在示例中，数据逻辑元数据(Dataset)中包含属性“DataSourceRef”，“DataSourceRef”的值为数据源元数据(DataSource)的唯一标识，系统可以通过“DataSourceRef”的值检索到数据源元数据(DataSource)。类似地，数据源元数据(DataSource)中包含了“StorageRef”属性，“StorageRef”值为物理存储元数据(Storage)的唯一标识，系统据此来检索具体的物理存储元数据(Storage)。

根据一些实施例，操作定义信息包括流程信息和处理逻辑信息，操作定义元数据包括流程元数据和处理逻辑元数据。响应于接收到操作定义请求，基于操作定义请求中的操作定义信息，对操作定义元数据进行映射包括：

响应于接收到操作定义请求，基于流程信息，对流程元数据进行映射；并且

基于处理逻辑信息，对处理逻辑元数据进行映射，其中，流程元数据包括处理逻辑元数据的标识信息和数据定义元数据的标识信息。

根据一些实施例，数据处理过程可以为一个有向无环图(DAG)，数据处理过程中的每一个数据处理步骤对应于有向无环图(DAG)中的一个节点(Node)，节点之间相互依赖。一个有向无环图(DAG)可以包含一组节点，一组输入和一组输出，其中，输入和输出的内容为前述实施例中逻辑元数据(DataSet)的标识。

根据一些实施例，节点(Node)包括输入、输出以及处理逻辑，其中处理逻辑为算子定义(Operator)或数据处理任务定义(Task)。此外，节点还可以包括依赖关系(dependency)，依赖关系(dependency)指示当前节点所依赖的其他节点的名称。算子定义(Operator)包括数据处理步骤的入参(parameter)、上下文(context)、开发语言(language)、运行平台(platform)以及类别(category)等信息。

根据一些实施例，操作定义信息包括流程信息和处理逻辑信息，操作定义元数据包括流程元数据(DAG)和处理逻辑元数据。逻辑元数据可以是算子定义(Operator)，也可以是数据处理任务定义(Task)，可以根据具体使用场景进行选择。算子定义(Operator)一般用于数据处理的步骤，数据处理任务定义(Task)一般用于调度系统编排。

根据一些实施例，客户端设备110响应于接收到的操作定义请求，基于流程信息，对流程元数据(DAG)进行映射(此处，映射可以是指将流程信息映射到流程元数据(DAG)中)；以及基于处理逻辑信息，对处理逻辑元数据(Operator或Task)进行映射(此处，映射可以是指将处理逻辑信息映射到处理逻辑元数据(Operator或Task))。

根据一些实施例，流程元数据(DAG)包括处理逻辑元数据(Operator或TASK)的标识信息和数据定义元数据的标识信息。可以根据流程元数据(DAG)将处理逻辑元数据(Operator或Task)与数据定义元数据相关联，从而可以基于流程元数据(DAG)，生成操作处理结果。

根据一些实施例，流程元数据包括一个或多个节点元数据、流程输入元数据和流程输出元数据。节点元数据包括节点输入元数据、节点输出元数据、节点逻辑元数据和节点关联元数据。流程输入元数据、流程输出元数据中的每一个包括数据定义元数据的标识信息。对于每个节点元数据，节点输入元数据和节点输出元数据中的每一个包括数据定义元数据的标识信息，节点逻辑元数据包括处理逻辑元数据的标识信息，节点关联元数据包括其他节点元数据的标识信息。

根据一些实施例，由于流程元数据(DAG)中的流程输入元数据、流程输出元数据中的每一个包括数据定义元数据的标识信息，可以使流程元数据(DAG)与数据定义元数据相关联。由于节点元数据(Node)中的节点输入元数据和节点输出元数据中的每一个包括数据定义元数据的标识信息，可以使节点元数据(Node)与数据定义元数据相关联，从而实现流程元数据(DAG)、节点元数据(Node)以及数据定义元数据之间的关联。同时，由于节点逻辑元数据包括处理逻辑元数据的标识信息，并且节点关联元数据包括其他节点元数据的标识信息，可以使节点元数据(Node)之间相互关联。

根据一些实施例，基于操作定义元数据，生成操作处理结果包括：响应于接收到数据操作请求，至少基于数据操作请求中的处理逻辑元数据的标识信息，进行处理逻辑元数据所对应的操作。

根据一些实施例，数据操作请求中包括处理逻辑元数据(Operator)。如前所述，处理逻辑元数据(Operator)包括数据处理步骤的入参(parameter)、上下文(context)、开发语言(language)、运行平台(platform)以及类别(category)等信息。

根据一些实施例，客户端设备110接收用户发送的数据操作请求，至少基于数据操作请求中的处理逻辑元数据(Operator)的标识信息，就可以进行处理逻辑元数据(Operator)所对应的操作，对数据的操作更加简单。

根据一些实施例，响应于接收到维度定义请求，将维度定义请求中的维度定义信息映射到维度定义元数据中，其中，维度定义元数据包括数据定义元数据的标识信息。

根据一些实施例，用户可以利用客户端设备110，在已经生成的操作处理结果中执行数据探索。探索的数据范围可以基于用户定义的OLAP模型。OLAP模型中包括维度定义信息，维度定义信息可以包括组成该维度的数据选取规则。例如，针对国家维度，可以规定只选取亚洲国家。维度定义信息还可以包括维度值的属性，维度值的属性可以包括：mType，表示维度值是数值型还是字符型；isTime，表示维度值是否是时间维度；physicalRef，表示维度信息到物理存储映射关系定义的引用；以及cardinality，表示维度值的基数信息。

根据一些实施例，客户端设备110响应于接收到的维度定义请求，将维度定义请求中的维度定义信息映射到维度定义元数据中。由于维度定义元数据包括数据定义元数据的标识信息，可以将维度定义元数据与数据定义元数据进行关联，从而可以根据维度定义元数据限定数据定义元数据的维度。

根据一些实施例，数据定义元数据包括多个数据成员元数据，维度定义元数据还包括多个维度成员元数据以及维度映射元数据。维度映射元数据限定了所述多个维度成员元数据与所述多个数据成员元数据之间的映射。

根据一些实施例，数据定义元数据包括多个数据成员元数据，维度定义元数据包括多个维度成员元数据。由于维度定义元数据还包括维度映射元数据，可以通过维度映射元数据限定多个维度成员元数据与多个数据成员元数据之间的映射。这里，多个维度成员元数据与多个数据成员元数据之间的映射可以是多个维度成员元数据对应于一个数据成员元数据，也可以是一个维度成员元数据同时对应于多个数据成员元数据，还可以是一个维度成员元数据对应于一个数据成员元数据。

根据一些实施例，响应于接收到指标探索请求，确定指标探索请求所对应的维度定义元数据。基于指标探索请求中的指标探索信息，对指标探索请求所对应的维度定义元数据进行指标计算。基于指标探索信息，对指标定义元数据进行映射，其中，指标定义元数据包括数据定义元数据的标识信息。

根据一些实施例，用户可以通过客户端设备110对数据进行探索，经过探索后得到的结果可以作为自定义指标保存，并映射到指标(Indicator)元数据上。探索数据范围是基于用户定义的OLAP模型，所有的事件和属性都依赖于OLAP模型的内容。探索过程中，除了对单个事件的属性添加各类过滤条件外，还可以针对一个或多个属性进行分组(Group)操作，多个事件可以通过公式(Formula)构成复杂的计算逻辑，形成复杂指标。

根据一些实施例，用户可以设定数据成员以及相应的维度(Dimension)对应的过滤条件(Filter)、分组(Group)以及公式(Formula)等。数据成员以及相应的维度(Dimension)对应的过滤条件(Filter)、分组(Group)以及公式(Formula)等可以形成一个指标探索请求(QueryRequest)。

根据一些实施例，基于指标探索信息，将指标探索请求中的信息映射到指标定义元数据(Indicator)中。由于指标定义元数据(Indicator)中包括数据定义元数据的标识信息，可以将指标定义元数据(Indicator)与数据定义元数据相关联，进一步简化了用户定义指标的复杂度。

根据一些实施例，基于指标探索请求中的指标探索信息，对指标探索请求所对应的维度定义元数据进行指标计算包括：

基于指标探索请求所对应的维度定义元数据，确定指标探索请求所对应的数据存储元数据；

基于指标探索请求所对应的数据存储元数据和指标探索请求中的探索条件信息，生成指标查询语句；

在指标探索请求所对应的维度定义元数据中，执行指标查询语句；以及

响应于指标查询语句返回查询结果，基于查询结果和指标探索请求中的计算信息，确定指标探索结果。

根据一些实施例，指标定义元数据(Indicator)可以包括：

-查询逻辑(logic)，例如上述生成的SQL主体；

-参数(Parameter)，表示运行时需要的参数，如时间；

-数据集(DataSet)，表示计算该指标涉及的数据集；

-实现语言(Language)，如SQL；

-平台(Flatform)，表示执行平台与环境，如Spark；

-结果(Result)，包括返回结果的形式，例如Table/Map/List；是否需要缓存；以及缓存的过期策略等。

根据一些实施例，探索请求的实现语言可以是SQL、DQL等实现语言中的任意一种。

根据一些实施例，客户端设备110可以基于探索请求的实现语言和探索请求中的探索条件信息生成不同类型的指标查询语句。

根据一些实施例，客户端设备110可以在指标探索请求所对应的维度定义元数据中，执行指标查询语句；并基于查询结果和指标探索请求中的计算信息，确定指标探索结果并返回。

根据一些实施例，响应于指标查询语句未返回查询结果，判断指标探索请求为异常。用户可以基于指标探索请求为异常的结果，重新发送指标探测请求。

图3是图示出根据另一示例性实施例的数据管理方法300的流程图。如图3所示，数据管理方法300包括：

步骤S301：数据模型定义。

根据一些实施例，响应于接收到数据定义请求，基于数据逻辑信息，对数据逻辑元数据进行映射；基于物理存储信息，对物理存储元数据进行映射；基于数据源信息，对数据源元数据进行映射，其中，数据源元数据包括物理存储元数据的标识信息，并且，数据逻辑元数据包含数据源元数据的标识信息。

步骤S302：数据探索指标定义。

根据一些实施例，响应于接收到操作定义请求，基于流程信息，对流程元数据进行映射，并且基于处理逻辑信息，对处理逻辑元数据进行映射，其中，流程元数据包括处理逻辑元数据的标识信息和数据定义元数据的标识信息。

根据一些实施例，响应于接收到维度定义请求，将维度定义请求中的维度定义信息映射到维度定义元数据中，其中，维度定义元数据包括数据定义元数据的标识信息。基于指标探索请求所对应的维度定义元数据，确定指标探索请求所对应的数据存储元数据；基于指标探索请求所对应的数据存储元数据和指标探索请求中的探索条件信息，生成指标查询语句；基于指标探索信息，对指标定义元数据进行映射，其中，指标定义元数据包括数据定义元数据的标识信息。

步骤S303：执行元数据服务。

根据一些实施例，响应于接收到的请求，基于请求中的信息，对元数据进行映射。

步骤S304：执行数据处理。

根据一些实施例，对原始数据进行清洗和处理。

步骤S305：调用报表系统。

根据一些实施例，将操作结果以及指标探索结果可以通过报表系统呈现。报表可以针对同一个指标以不同形式(图表)、尺寸(大中小)进行展示。用户还可以在报表上进行二次探查，以获得更具体或宏观的指标数据。

步骤S306：调用查询引擎。

根据一些实施例，在指标探索请求所对应的维度定义元数据中，执行指标查询语句；以及响应于指标查询语句返回查询结果，基于查询结果和指标探索请求中的计算信息，确定指标探索结果。

步骤S307：调用存储系统。

根据一些实施例，对操作处理结果、指标探索结果、在操作处理过程中的中间数据以及指标探索过程中的数据进行存储。

虽然各个操作在附图中被描绘为按照特定的顺序，但是这不应理解为要求这些操作必须以所示的特定顺序或者按顺行次序执行，也不应理解为要求必须执行所有示出的操作以获得期望的结果。

根据本公开的实施例，对数据定义信息进行数据定义元数据的映射，对操作定义信息进行操作定义元数据的映射，同时，操作定义元数据包含数据定义元数据的标识信息将操作元数据与数据定义元数据相关联，可以使用户自定义数据模型，从而可以高效的满足用户对数据管理的个性化需求，进而提高数据管理效率。

图4是图示出根据示例性实施例的数据管理装置400的示意性框图。装置400包括：数据定义模块401，被配置为：响应于接收到数据定义请求，基于数据定义请求中的数据定义信息，对数据定义元数据进行映射；操作定义模块402，被配置为响应于接收到操作定义请求，基于操作定义请求中的操作定义信息，对操作定义元数据进行映射，其中，操作定义元数据包含数据定义元数据的标识信息；以及操作处理模块403，被配置为：基于所述操作定义元数据，生成操作处理结果。

应当理解，图4中所示装置400的各个模块可以与参考图2描述的方法200中的各个步骤相对应，由此，上面针对方法200描述的操作、特征和优点同样适用于装置400及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。

虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的特定模块执行动作包括该特定模块本身执行该动作，或者替换地该特定模块调用或以其他方式访问执行该动作(或结合该特定模块一起执行该动作)的另一个组件或模块。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。例如，上面描述的操作定义模块402/操作处理模块403在一些实施例中可以组合成单个模块。

还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图4描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，数据定义模块401、操作定义模块402、操作处理模块403中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。

根据本公开的一方面，提供了一种电子设备，其包括存储器、处理器以及存储在存储器上的计算机程序。该处理器被配置为执行计算机程序以实现上文描述的任一方法实施例的步骤。

根据本公开的一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。

根据本公开的一方面，提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。

在下文中，结合图5描述这样的电子设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。图5是图示出根据本公开实施例的电子设备的框图。举例来说，图1中所示的服务器120和/或客户端设备110可以包括类似于电子设备500的架构。上述电子设备也可以全部或至少部分地由电子设备500或类似设备或系统实现。

电子设备500可以是各种不同类型的设备。电子设备500的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备(例如，平板电脑、蜂窝或其他无线电话(例如，智能电话)、记事本计算机、移动台)、可穿戴设备(例如，眼镜、手表)、娱乐设备(例如，娱乐器具、通信地耦合到显示设备的机顶盒、游戏机)、电视或其他显示设备、汽车计算机等等。

电子设备500可以包括能够诸如通过系统总线514或其他适当的连接彼此通信的至少一个处理器502、存储器504、(多个)通信接口506、显示设备508、其他输入/输出(I/O)设备510以及一个或更多大容量存储设备512。

处理器502可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器502可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器502可以被配置成获取并且执行存储在存储器504、大容量存储设备512或者其他计算机可读介质中的计算机可读指令，诸如操作系统516的程序代码、应用程序518的程序代码、其他程序520的程序代码等。

存储器504和大容量存储设备512是用于存储指令的计算机可读存储介质的示例，所述指令由处理器502执行来实施前面所描述的各种功能。举例来说，存储器504一般可以包括易失性存储器和非易失性存储器二者(例如RAM、ROM等等)。此外，大容量存储设备512一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如CD、DVD)、存储阵列、网络附属存储、存储区域网等等。存储器504和大容量存储设备512在本文中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，所述计算机程序代码可以由处理器502作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。

多个程序可以存储在大容量存储设备512上。这些程序包括操作系统516、一个或多个应用程序518、其他程序520和程序数据522，并且它们可以被加载到存储器504以供执行。

虽然在图5中被图示成存储在电子设备500的存储器504中，但是模块516、518、520和522或者其部分可以使用可由计算机设备500访问的任何形式的计算机可读介质来实施。如本文所使用的，“计算机可读介质”至少包括两种类型的计算机可读介质，也就是计算机可读存储介质和通信介质。

计算机可读存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，所述信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机可读存储介质包括而不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字通用盘(DVD)、或其他光学存储装置，磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储信息以供计算机设备访问的任何其他非传送介质。与此相对，通信介质可以在诸如载波或其他传送机制之类的已调制数据信号中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文所定义的计算机可读存储介质不包括通信介质。

一个或更多通信接口506用于诸如通过网络、直接连接等等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口(例如，网络接口卡(NIC))、有线或无线(诸如IEEE 802.11无线LAN(WLAN))无线接口、全球微波接入互操作(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、Bluetooth^TM接口、近场通信(NFC)接口等。通信接口506可以促进在多种网络和协议类型内的通信，其中包括有线网络(例如LAN、电缆等等)和无线网络(例如WLAN、蜂窝、卫星等等)、因特网等等。通信接口506还可以提供与诸如存储阵列、网络附属存储、存储区域网等等中的外部存储装置(未示出)的通信。

在一些示例中，可以包括诸如监视器之类的显示设备508，以用于向用户显示信息和图像。其他I/O设备510可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。

本文描述的技术可以由电子设备500的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。例如，该功能还可以通过使用分布式系统在“云”上全部或部分地实现。云包括和/或代表用于资源的平台。平台抽象云的硬件(例如，服务器)和软件资源的底层功能。资源可以包括在远离电子设备500的服务器上执行计算处理时可以使用的应用和/或数据。资源还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。平台可以抽象资源和功能以将电子设备500与其他计算机设备连接。因此，本文描述的功能的实现可以分布在整个云内。例如，功能可以部分地在电子设备500上以及部分地通过抽象云的功能的平台来实现。

虽然在附图和前面的描述中已经详细地说明和描述了本公开，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；本公开不限于所公开的实施例。通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除未列出的其他元件或步骤，不定冠词“一”或“一个”不排除多个，术语“多个”是指两个或两个以上，并且术语“基于”应解释为“至少部分地基于”。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获益。

Claims (15)

1.一种数据管理方法，包括：

响应于接收到数据定义请求，基于所述数据定义请求中的数据定义信息，对数据定义元数据进行映射；

响应于接收到操作定义请求，基于所述操作定义请求中的操作定义信息，对操作定义元数据进行映射，其中，所述操作定义元数据包含所述数据定义元数据的标识信息；以及

基于所述操作定义元数据，生成操作处理结果。

2.如权利要求1所述的方法，其中，所述数据定义信息包括数据逻辑信息和数据存储信息，所述数据定义元数据包括数据逻辑元数据和数据存储元数据，并且，所述基于所述数据定义请求中的数据定义信息，对数据定义元数据进行映射包括：

基于所述数据存储信息，对所述数据存储元数据进行映射；以及

基于所述数据逻辑信息，对所述数据逻辑元数据进行映射，其中，所述数据逻辑元数据包含所述数据存储元数据的标识信息，

其中，所述操作定义元数据包含所述数据逻辑元数据的标识信息。

3.如权利要求2所述的方法，其中，所述数据存储信息包括数据源信息和物理存储信息，所述数据存储元数据包括数据源元数据和物理存储元数据，并且，所述基于所述数据存储信息，对所述数据存储元数据进行映射包括：

基于所述物理存储信息，对所述物理存储元数据进行映射；以及

基于所述数据源信息，对所述数据源元数据进行映射，

其中，所述数据源元数据包括所述物理存储元数据的标识信息，并且，所述数据逻辑元数据包含所述数据源元数据的标识信息。

4.如权利要求1-3中任一项所述的方法，其中，所述操作定义信息包括流程信息和处理逻辑信息，所述操作定义元数据包括流程元数据和处理逻辑元数据，并且，所述响应于接收到操作定义请求，基于所述操作定义请求中的操作定义信息，对操作定义元数据进行映射包括：

响应于接收到所述操作定义请求，基于所述流程信息，对所述流程元数据进行映射，并且

基于所述处理逻辑信息，对所述处理逻辑元数据进行映射，

其中，所述流程元数据包括所述处理逻辑元数据的标识信息和所述数据定义元数据的标识信息。

5.如权利要求4所述的方法，其中，所述流程元数据包括一个或多个节点元数据、流程输入元数据和流程输出元数据，所述节点元数据包括节点输入元数据、节点输出元数据、节点逻辑元数据和节点关联元数据，

其中，所述流程输入元数据、所述流程输出元数据中的每一个包括所述数据定义元数据的标识信息，并且

对于每个节点元数据，所述节点输入元数据和所述节点输出元数据中的每一个包括所述数据定义元数据的标识信息，所述节点逻辑元数据包括所述处理逻辑元数据的标识信息，所述节点关联元数据包括其他节点元数据的标识信息。

6.如权利要求5所述的方法，其中，所述基于所述操作定义元数据，生成操作处理结果包括：

响应于接收到数据操作请求，至少基于所述数据操作请求中的所述处理逻辑元数据的标识信息，进行所述处理逻辑元数据所对应的操作。

7.如权利要求2-3中任一项所述的方法，还包括：

响应于接收到维度定义请求，将所述维度定义请求中的维度定义信息映射到维度定义元数据中，其中，所述维度定义元数据包括所述数据定义元数据的标识信息。

8.如权利要求7所述的方法，其中，所述数据定义元数据包括多个数据成员元数据，所述维度定义元数据还包括：

多个维度成员元数据；以及

维度映射元数据，其中，所述维度映射元数据限定了所述多个维度成员元数据与所述多个数据成员元数据之间的映射。

9.如权利要求7所述的方法，还包括：

响应于接收到指标探索请求，确定所述指标探索请求所对应的所述维度定义元数据；

基于所述指标探索请求中的指标探索信息，对所述指标探索请求所对应的所述维度定义元数据进行指标计算；以及

基于所述指标探索信息，对指标定义元数据进行映射，其中，所述指标定义元数据包括所述数据定义元数据的标识信息。

10.如权利要求9所述的方法，其中，所述基于所述指标探索请求中的指标探索信息，对所述指标探索请求所对应的所述维度定义元数据进行指标计算包括：

基于所述指标探索请求所对应的所述维度定义元数据，确定所述指标探索请求所对应的数据存储元数据；

基于所述指标探索请求所对应的数据存储元数据和所述指标探索请求中的探索条件信息，生成指标查询语句；

在所述指标探索请求所对应的所述维度定义元数据中，执行所述指标查询语句；以及

响应于所述指标查询语句返回查询结果，基于所述查询结果和所述指标探索请求中的计算信息，确定所述指标探索结果。

11.如权利要求9所述的方法，还包括：

响应于所述指标查询语句未返回查询结果，判断所述指标探索请求为异常。

12.一种数据管理装置，包括：

数据定义模块，被配置为：响应于接收到数据定义请求，基于所述数据定义请求中的数据定义信息，对数据定义元数据进行映射；

操作定义模块，被配置为：响应于接收到操作定义请求，基于所述操作定义请求中的操作定义信息，对操作定义元数据进行映射，其中，所述操作定义元数据包含所述数据定义元数据的标识信息；以及

操作处理模块，被配置为：基于所述操作定义元数据，生成操作处理结果。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

14.一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-11中任一项所述方法。

15.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-11中任一项所述方法。

Images