CN111597267A - 一种基于多层服务引擎的数据中台及构建方法 - Google Patents

Abstract

本发明涉及企业管理系统技术领域，具体地说，涉及一种基于多层服务引擎的数据中台及构建方法，包括数据获取单元、数据处理单元、数据存储单元、数据资产管理和数据应用规划及实现，利用多层服务引擎同步获取数据信息，提高数据获取的速度，提高效率，可以为企业提供强大的数据资产的获取和存储的能力，用更高效、更协同的方式加快从数据到业务的价值，能够给业务提供更高的响应力；构建的标签体系可以对用户、产品、客商、营销各主题域进行标签提取，将其特征数字化，为后续进行精准营销和用户画像提供必要条件，还可以着重分析当前需要但是无法获取到的指标，描述使用不便的指标，分析问题原因，绘制数据供应链条。

Description

一种基于多层服务引擎的数据中台及构建方法

技术领域

本发明涉及企业管理系统技术领域，具体地说，涉及一种基于多层服务引擎的数据中台及构建方法。

背景技术

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径，数据中台是数据应用开发门户，具有闭环涵盖数据应用开发全流程，完整覆盖离线计算、实时计算应用等功能。能够满足开发人员从数据采集、数据分析、数据挖掘、数据质量、数据地图、数据模型、数据 API 的各层次应用。可以理解，使用数据中台可以解放开发人员的生产力，极大的缩短数据价值的萃取过程，提高企业提炼数据价值的能力。现如今的数据中台大多数是通过单层服务引擎进行数据平台的构建，处理速度慢，效率低。

发明内容

本发明的目的在于提供一种基于多层服务引擎的数据中台及构建方法，以解决上述背景技术中提出的数据中台大多数是通过单层服务引擎进行数据平台的构建，处理速度慢，效率低问题。

为实现上述目的，本发明提供一种基于多层服务引擎的数据中台，包括数据获取单元、数据处理单元、数据存储单元、数据资产管理和数据应用规划及实现，所述数据获取单元用于收集多层服务引擎的数据信息，所述数据处理单元用于将收集的数据信息根据主题域进行标签提取，将其特征数字化，所述数据存储单元用于将处理后的数据存储入数据库中，所述数据资产管理用于将数据库中的数据进行数据分析，所述数据应用规划及实现用于将所有的数据汇聚到数据中台形成大数据资产层，每个数据应用均从数据中台获取数据并将数据进行读取和使用。

作为优选，所述数据资产管理的数据分析包括盘点数据资源、规划数据资源、获取数据资源，并将所有数据资源进行完整呈现。

作为优选，所述数据处理单元包括特征提取单元、特征数字化单元、标签建立单元和数据标签对应单元。

作为优选，所述特征提取单元用于将收集的数据信息进行特征提取，所述标签建立单元用于将收集的数据信息根据用户、产品、客商、营销各主题领域进行标签提取。

作为优选，所述特征数字化单元用于将提取的特征数据进行编号。

作为优选，所述数据标签对应单元将数据信息与标签信息进行对应。

作为优选，所述数据标签对应单元的具体操作为：先将数据特征、数据标签以及数据信息一一对应，再建立标签目录库，将标签目录的各个标签与对应的数据建立索引链接。

另一方面，本发明提供一种基于多层服务引擎的数据中台的构建方法，包括上述的基于多层服务引擎的数据中台，具体包括如下步骤：

S1、数据中台的数据获取单元收集多层服务引擎的数据信息；

S2、数据处理单元将收集数据信息根据用户、产品、客商、营销各主题域进行标签提取，将其特征数字化；

S3、将数据特征与数据信息一一对应，建立标签目录库，将标签目录的各个标签与对应的数据建立索引链接；

S4、将标签目录库和数据存入数据库中进行数据资产管理，盘点数据资源、规划数据资源、获取数据资源，并将所有数据资源进行完整呈现；

S5、将所有的数据汇聚到数据中台，每个数据应用均从数据中台获取数据并将数据进行读取和使用。

与现有技术相比，本发明的有益效果：本基于多层服务引擎的数据中利用多层服务引擎同步获取数据信息，提高数据获取的速度，提高效率，可以为企业提供强大的数据资产的获取和存储的能力，用更高效、更协同的方式加快从数据到业务的价值，能够给业务提供更高的响应力；数据资产管理可以盘点数据资源、规划数据资源、获取数据资源，并将所有数据资源进行完整呈现；通过元数据信息收集、数据血缘探查、数据权限申请授权等手段，解决有哪些数据可用、到哪里可以找到数据的难题，并且提升数据资源的利用率；构建的标签体系可以对用户、产品、客商、营销各主题域进行标签提取，将其特征数字化，为后续进行精准营销和用户画像提供必要条件，还可以着重分析当前需要但是无法获取到的指标，描述使用不便的指标，分析问题原因，绘制数据供应链条；数据应用规划及实现将所有的数据汇聚到数据中台，以后的每个数据应用统统从数据中台获取数据，无论是指标和分析类的，还是画像类和大数据类的，若数据中台没有，则数据中台就负责把数据找来，若数据中台找不来，就说明当前真没有这个数据，数据应用也就无从展开。

附图说明

图1为本发明的组成的模块示意图；

图2为本发明多服务引擎同步处理数据的流程示意图；

图3为本发明建立数据标签目录的库的流程示意图；

图4为本发明的数据中台构建方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图4所示，本发明提供一种技术方案：

本发明提供一种基于多层服务引擎的数据中台，如图1和图2所示，包括数据获取单元、数据处理单元、数据存储单元、数据资产管理和数据应用规划及实现，所述数据获取单元用于收集多层服务引擎的数据信息，所述数据处理单元用于将收集的数据信息根据主题域进行标签提取，将其特征数字化，所述数据存储单元用于将处理后的数据存储入数据库中，所述数据资产管理用于将数据库中的数据进行数据分析，所述数据应用规划及实现用于将所有的数据汇聚到数据中台形成大数据资产层，每个数据应用均从数据中台获取数据并将数据进行读取和使用，将所有的数据汇聚到数据中台，以后的每个数据应用统统从数据中台获取数据，无论是指标和分析类的，还是画像类和大数据类的，若数据中台没有，则数据中台就负责把数据找来，若数据中台找不来，就说明当前真没有这个数据，数据应用也就无从展开。

进一步的，数据资产管理的数据分析包括盘点数据资源、规划数据资源、获取数据资源，并将所有数据资源进行完整呈现，通过元数据信息收集、数据血缘探查、数据权限申请授权等手段，解决有哪些数据可用、到哪里可以找到数据的难题，并且提升数据资源的利用率；资产数据指的是明确价值、使用场景、生命周期、特征标签的数据。数据中台持久化存储的都是资产，非资产相关数据在清洗过程中直接丢弃。

具体的，数据处理单元包括特征提取单元、特征数字化单元、标签建立单元和数据标签对应单元，数据特征信息指的是唯一标记出一项资产的ID，可以是数字、字符串等。例如，针对政务数据有自然人身份证号、地区编号、行政机关编号等，数据标签信息用于标记资产特征，且与数据服务和应用强相关的一系列标签。例如，针对政务数据有高收入人群、少数民族、事故多发路段等，构建的标签体系可以对用户、产品、客商、营销各主题域进行标签提取，将其特征数字化，为后续进行精准营销和用户画像提供必要条件，还可以着重分析当前需要但是无法获取到的指标，描述使用不便的指标，分析问题原因，绘制数据供应链条。

值得说明的是，特征提取单元用于将收集的数据信息进行特征提取，标签建立单元用于将收集的数据信息根据用户、产品、客商、营销各主题领域进行标签提取。

进一步的，如图3所示，特征数字化单元用于将提取的特征数据进行编号，数据标签对应单元将数据信息与标签信息进行对应，数据标签对应单元的具体操作为：先将数据特征、数据标签以及数据信息一一对应，再建立标签目录库，将标签目录的各个标签与对应的数据建立索引链接。

另一方面，如图4所示，本发明提供一种基于多层服务引擎的数据中台的构建方法，包括上述的基于多层服务引擎的数据中台，具体包括如下步骤：

S1、数据中台的数据获取单元收集多层服务引擎的数据信息；

S2、数据处理单元将收集数据信息根据用户、产品、客商、营销各主题域进行标签提取，将其特征数字化；

S3、将数据特征与数据信息一一对应，建立标签目录库，将标签目录的各个标签与对应的数据建立索引链接；

S4、将标签目录库和数据存入数据库中进行数据资产管理，盘点数据资源、规划数据资源、获取数据资源，并将所有数据资源进行完整呈现；

S5、将所有的数据汇聚到数据中台，每个数据应用均从数据中台获取数据并将数据进行读取和使用。

本发明的基于多层服务引擎的数据中台中利用多层服务引擎同步获取数据信息，提高数据获取的速度，提高效率，可以为企业提供强大的数据资产的获取和存储的能力，用更高效、更协同的方式加快从数据到业务的价值，能够给业务提供更高的响应力；数据资产管理可以盘点数据资源、规划数据资源、获取数据资源，并将所有数据资源进行完整呈现；通过元数据信息收集、数据血缘探查、数据权限申请授权等手段，解决有哪些数据可用、到哪里可以找到数据的难题，并且提升数据资源的利用率；构建的标签体系可以对用户、产品、客商、营销各主题域进行标签提取，将其特征数字化，为后续进行精准营销和用户画像提供必要条件，还可以着重分析当前需要但是无法获取到的指标，描述使用不便的指标，分析问题原因，绘制数据供应链条；数据应用规划及实现将所有的数据汇聚到数据中台，以后的每个数据应用统统从数据中台获取数据，无论是指标和分析类的，还是画像类和大数据类的，若数据中台没有，则数据中台就负责把数据找来，若数据中台找不来，就说明当前真没有这个数据，数据应用也就无从展开。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，该些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于多层服务引擎的数据中台，其特征在于：包括数据获取单元、数据处理单元、数据存储单元、数据资产管理和数据应用规划及实现，所述数据获取单元用于收集多层服务引擎的数据信息，所述数据处理单元用于将收集的数据信息根据主题域进行标签提取，将其特征数字化，所述数据存储单元用于将处理后的数据存储入数据库中，所述数据资产管理用于将数据库中的数据进行数据分析，所述数据应用规划及实现用于将所有的数据汇聚到数据中台形成大数据资产层，每个数据应用均从数据中台获取数据并将数据进行读取和使用。

2.根据权利要求1所述的基于多层服务引擎的数据中台，其特征在于：所述数据资产管理的数据分析包括盘点数据资源、规划数据资源、获取数据资源，并将所有数据资源进行完整呈现。

3.根据权利要求1所述的基于多层服务引擎的数据中台，其特征在于：所述数据处理单元包括特征提取单元、特征数字化单元、标签建立单元和数据标签对应单元。

4.根据权利要求3所述的基于多层服务引擎的数据中台，其特征在于：所述特征提取单元用于将收集的数据信息进行特征提取，所述标签建立单元用于将收集的数据信息根据用户、产品、客商、营销各主题领域进行标签提取。

5.根据权利要求3所述的基于多层服务引擎的数据中台，其特征在于：所述特征数字化单元用于将提取的特征数据进行编号。

6.根据权利要求3所述的基于多层服务引擎的数据中台，其特征在于：所述数据标签对应单元将数据信息与标签信息进行对应。

7.根据权利要求6所述的基于多层服务引擎的数据中台，其特征在于：所述数据标签对应单元的具体操作为：先将数据特征、数据标签以及数据信息一一对应，再建立标签目录库，将标签目录的各个标签与对应的数据建立索引链接。

8.一种基于多层服务引擎的数据中台的构建方法，包括权利要求1-7任意一项所述的基于多层服务引擎的数据中台，其特征在于：具体包括如下步骤：

S1、数据中台的数据获取单元收集多层服务引擎的数据信息；

S2、数据处理单元将收集数据信息根据用户、产品、客商、营销各主题域进行标签提取，将其特征数字化；

S3、将数据特征与数据信息一一对应，建立标签目录库，将标签目录的各个标签与对应的数据建立索引链接；

S4、将标签目录库和数据存入数据库中进行数据资产管理，盘点数据资源、规划数据资源、获取数据资源，并将所有数据资源进行完整呈现；

S5、将所有的数据汇聚到数据中台，每个数据应用均从数据中台获取数据并将数据进行读取和使用。

Images