CN109582669A

CN109582669A - 一种基于数据湖的雾计算架构及其实现方法

Info

Publication number: CN109582669A
Application number: CN201811260185.4A
Authority: CN
Inventors: 盘浩军; 罗引; 奉凡; 王磊; 赵菲菲; 曹家; 张西娜
Original assignee: Shenzhen Zhongke Wenge Technology Co Ltd
Current assignee: Shenzhen Zhongke Wenge Technology Co Ltd
Priority date: 2018-10-26
Filing date: 2018-10-26
Publication date: 2019-04-05
Anticipated expiration: 2038-10-26
Also published as: CN109582669B

Abstract

本申请涉及一种基于数据湖的雾计算架构及其实现方法,该方法包括以下步骤：在数据湖中增加多个业务流程系统，并对各个业务流程系统的接口进行抽象；分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；根据接收到的数据请求所对应的业务标签，按照业务逻辑关系从业务流程系统中读取目标业务数据。本申请实现了数据标签和元数据管理以及业务数据之间的互联互通，相比于现有技术中的数据业务逻辑被割裂，本申请保留了业务数据之间的业务逻辑关系，实现了业务数据与业务领域的绑定，提高了业务数据的存取和分析效率。

Description

一种基于数据湖的雾计算架构及其实现方法

技术领域

本申请涉及物联网及雾计算领域，尤其涉及一种基于数据湖的雾计算架构及其实现方法。

背景技术

在数据分析领域中，数据湖作为一种在系统或者存储库中以自然格式存储数据的方法，有助于以各种模式和结构形式配置数据，通常配置为对象块或文件。数据湖主要用于实现数据的统一存储，将原始数据(例如源系统数据的精确副本)转换为用于报告、可视化、分析和机器学习等各种任务的转换数据。

数据湖中的数据包括结构化数据、半结构化数据(例如CSV、XML、JSON的日志)、非结构化数据(例如电子邮件、文档、PDF)和二进制数据(例如图像、音频、视频)，从而数据湖形成了一个集中式数据存储，以容纳所有形式的数据。

数据湖虽然解决了不同结构的数据统一存储的问题，但是由于数据湖中的数据是按照数据类型来规划数据池进行存储的，因此在业务流程的处理过程中，从数据池中调取数据时，之前的业务系统结束后可能会产生一些占用存储空间的文件，使得业务系统之间的数据业务逻辑被割裂，从而导致业务系统的数据存取和分析效率降低。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种基于数据湖的雾计算架构及其实现方法。

第一方面，本申请提供了一种基于数据湖的雾计算架构的实现方法，包括以下步骤：

在数据湖中增加多个业务流程系统，并对各个业务流程系统的接口进行抽象；

分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；

根据接收到的数据请求所对应的业务标签，按照所述业务逻辑关系从所述业务流程系统中读取目标业务数据。

可选的，还包括：

将各个接口中数据获取频次大于频次阈值的业务数据存储到所述数据湖中；或者，

为各个接口中数据获取频次小于频次阈值的业务数据建立目录索引；

建立所述目录索引与所述业务数据之间的对应关系表；

将所述对应关系表存储到所述数据湖中，以根据接收到的数据请求从所述对应关系表中读取相应业务数据。

可选的，还包括：按照所述业务数据的业务标签的不同，将所述数据湖划分为多个数据池。

可选的，还包括：

为各个接口创建统一的外部接口；

通过所述外部接口接收数据请求；

根据接收到的所述数据请求，从所述数据池中获取所述目标业务数据。

可选的，还包括：采用深度学习算法、认知计算或语义计算从所述数据池中获取所述目标业务数据。

第二方面，本申请提供了一种基于数据湖的雾计算架构，包括：

数据湖，用于存储多个业务流程系统的数据；

接口抽象单元，用于对各个业务流程系统的接口进行抽象；

雾计算单元，通过雾节点分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；

数据读取单元，根据接收到的数据请求所对应的业务标签，按照所述业务逻辑关系从所述业务流程系统中读取目标业务数据。

可选的，还包括：

第一数据存储单元，所述第一数据存储单元用于将各个接口中数据获取频次大于频次阈值的业务数据存储到所述数据湖中；或者，

第二数据存储单元，用于为各个接口中数据获取频次小于频次阈值的业务数据建立目录索引；建立所述目录索引与所述业务数据之间的对应关系表；将所述对应关系表存储到所述数据湖中，以根据接收到的数据请求从所述对应关系表中读取相应业务数据。

可选的，还包括划分单元，所述划分单元用于按照所述业务数据的业务标签的不同，将所述数据湖划分为多个数据池。

可选的，还包括外部接口创建单元，所述外部接口创建单元用于为各个接口创建统一的外部接口；通过所述外部接口接收数据请求；根据接收到的所述数据请求，从所述数据池中获取所述目标业务数据。

可选的，还包括智能计算单元，所述智能计算单元用于采用深度学习算法、认知计算或语义计算从所述数据池中获取所述目标业务数据。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该方法，通过在数据湖中增加多个业务流程系统，对各个业务流程系统的接口进行抽象，为各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签，实现数据标签和元数据管理；根据接收到的数据请求所对应的业务标签，按照业务逻辑关系从业务流程系统中读取目标业务数据，实现了数据之间的互联互通，相比于现有技术中的数据业务逻辑被割裂，本申请保留了业务数据之间的业务逻辑关系，实现了业务数据与业务领域的绑定，提升了业务数据的存取和分析效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于数据湖的雾计算架构的实现方法的流程示意图；

图2为本申请实施例提供的一种基于数据湖的雾计算架构的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的一种基于数据湖的雾计算架构的实现方法，如图1所示，该实现方法包括以下步骤：

S101、在数据湖中增加多个业务流程系统，并对各个业务流程系统的接口进行抽象。

S102、分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签。

S103、根据接收到的数据请求所对应的业务标签，按照业务逻辑关系从业务流程系统中读取目标业务数据。

可选的，在步骤S102中，还可以为业务数据增加用于进行数据管理的管理标签。

可选的，该实现方法还包括对数据湖中的业务数据进行数据预处理，该数据预处理包括流处理和批处理。

可选的，该实现方法还包括：

将各个接口中数据获取频次大于频次阈值的业务数据存储到数据湖中；或者，为各个接口中数据获取频次小于频次阈值的业务数据建立目录索引；建立目录索引与业务数据之间的对应关系表；将对应关系表存储到数据湖中，以根据接收到的数据请求从对应关系表中读取相应业务数据。

可选的，该实现方法还包括：按照业务数据的业务标签的不同，即业务领域的不同，将数据湖划分为多个数据池，实现数据标签和元数据管理，为后续数据湖的智能计算提供数据基础。通过对各个业务流程系统的接口进行抽象，实现了业务数据的互联互通。

可选的，该实现方法还包括：为各个接口创建统一的外部接口；通过外部接口接收数据请求；根据接收到的数据请求，从数据池中获取对应的业务数据，作为目标业务数据。各个业务流程系统无需直接对外提供服务，实现了数据资源的智能调度和规划，同时实现了复杂应用接口的高效管理。

具体地，通过雾节点对外提供外部接口，接收外部发送的数据请求，例如该数据请求中携带的数据要求为获取某一业务流程的数据，可能涉及多个业务流程系统，比如获取某年采购台式机的数据，可能涉及设备使用部门，采购部门，财务部门等，则从数据池中按照相应的业务逻辑关系获取所有业务流程系统中各个部门的业务数据，数据业务逻辑执行完毕后获取到的所有业务数据即为目标目标数据。

可选的，该实现方法还包括：采用深度学习算法、认知计算或语义计算从数据池中获取对应的目标业务数据。为数据湖赋予智能计算能力，使数据湖更加智能，为各个业务流程系统提供智能分析和决策能力，从而使得数据应用服务的实现更加高效。

本申请另一实施例提供的一种基于数据湖的雾计算架构，如图2所示，该雾计算架构包括：

数据湖11，用于存储多个业务流程系统的数据；

接口抽象单元12，用于对各个业务流程系统的接口进行抽象；

雾计算单元13，通过雾节点分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；

数据读取单元14，根据接收到的数据请求所对应的业务标签，按照业务逻辑关系从业务流程系统中读取目标业务数据。

可选的，该雾计算架构还包括：

第一数据存储单元，第一数据存储单元用于将各个接口中数据获取频次大于频次阈值的业务数据存储到数据湖中；或者，

第二数据存储单元，用于为各个接口中数据获取频次小于频次阈值的业务数据建立目录索引；建立目录索引与业务数据之间的对应关系表；将对应关系表存储到数据湖中，以根据接收到的数据请求从对应关系表中读取相应业务数据。。

可选的，该雾计算架构还包括划分单元，按照业务数据的业务标签的不同，将数据湖划分为多个数据池。

可选的，该雾计算架构还包括外部接口创建单元，外部接口创建单元为各个接口创建统一的外部接口；通过外部接口接收数据请求；根据接收到的数据请求，从数据池中获取目标业务数据。

可选的，该雾计算架构还包括智能计算单元，智能计算单元采用深度学习算法、认知计算或语义计算从数据池中获取目标业务数据。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于数据湖的雾计算架构的实现方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于数据湖的雾计算架构的实现方法，其特征在于，还包括：

建立所述目录索引与所述业务数据之间的对应关系表；

3.根据权利要求2所述的基于数据湖的雾计算架构的实现方法，其特征在于，还包括：按照所述业务数据的业务标签的不同，将所述数据湖划分为多个数据池。

4.根据权利要求3所述的基于数据湖的雾计算架构的实现方法，其特征在于，还包括：

为各个接口创建统一的外部接口；

通过所述外部接口接收数据请求；

5.根据权利要求4所述的基于数据湖的雾计算架构的实现方法，其特征在于，还包括：采用深度学习算法、认知计算或语义计算从所述数据池中获取所述目标业务数据。

6.一种基于数据湖的雾计算架构，其特征在于，包括：

数据湖，用于存储多个业务流程系统的数据；

接口抽象单元，用于对各个业务流程系统的接口进行抽象；

7.根据权利要求6所述的基于数据湖的雾计算架构，其特征在于，还包括：

8.根据权利要求7所述的基于数据湖的雾计算架构，其特征在于，还包括划分单元，所述划分单元用于按照所述业务数据的业务标签的不同，将所述数据湖划分为多个数据池。

9.根据权利要求8所述的基于数据湖的雾计算架构，其特征在于，还包括外部接口创建单元，所述外部接口创建单元用于为各个接口创建统一的外部接口；通过所述外部接口接收数据请求；根据接收到的所述数据请求，从所述数据池中获取所述目标业务数据。

10.根据权利要求9所述的基于数据湖的雾计算架构，其特征在于，还包括智能计算单元，所述智能计算单元用于采用深度学习算法、认知计算或语义计算从所述数据池中获取所述目标业务数据。