CN114024976B - 一种基于5g的大数据服务架构及构建大数据业务的方法 - Google Patents
一种基于5g的大数据服务架构及构建大数据业务的方法 Download PDFInfo
- Publication number
- CN114024976B CN114024976B CN202010690392.4A CN202010690392A CN114024976B CN 114024976 B CN114024976 B CN 114024976B CN 202010690392 A CN202010690392 A CN 202010690392A CN 114024976 B CN114024976 B CN 114024976B
- Authority
- CN
- China
- Prior art keywords
- data
- big data
- service
- edge node
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 5
- 230000008602 contraction Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000021393 food security Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2416—Real-time traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1061—Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
- H04L67/1065—Discovery involving distributed pre-established resource-based relationships among peers, e.g. based on distributed hash tables [DHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于5G的大数据服务架构，大数据服务架构包括：大数据资源虚拟化层，用于在边缘节点提供基础设施资源，对边缘节点的基础设施资源进行调度，并且边缘云端提供的基础设施资源接受核心云节点的调度和管理；数据虚拟化管理及访问层，用于在边缘节点对不同云环境下的不同数据节点进行数据访问，对获取到的数据信息基于预设的规则进行处理，并将处理后的结果及相关数据发送到核心云端，核心云端对接收到的数据进行统一管理；大数据功能虚拟化层，用于部署实现业务需求的大数据功能，并在调起大数据功能后边缘云执行所述大数据功能。由此可知，该大数据服务架构可以构建不同业务需求的大数据服务，实现了大数据业务的扩展。
Description
技术领域
本发明涉及通信领域，尤其涉及一种基于5G的大数据服务架构及构建大数据业务的方法。
背景技术
大数据技术是将大数据分析挖掘与处理、移动开发与架构、软件开发、云计算等前沿技术相结合的“互联网+”前沿科技。并且，大数据技术应用广泛，例如包括：医疗卫生、商业分析、国家安全、食品安全、金融安全等方面。
随着网络的发展，5G网络也在逐渐的趋于成熟，5G网络具有“大带宽、超连接、低时延”的网络特点，能够快速的为业务提供网络服务。
为更好地支撑“大带宽、超连接、低时延”业务场景，需要通过大数据和人工智能技术更好地融入到5G业务场景中去，提供实时的数据采集、数据处理、数据实时复杂计算，为不同业务场景提供实时的策略分析和实时数据服务。但是，当前大数据业务存在于不同的系统中，将不同系统与5G网络结合，将5G网络应用于大数据业务中，但是每种系统只能实现一种大数据业务，无法对大数据业务进行扩展，同时也缺乏为大数据业务提供统一服务的能力。
发明内容
有鉴于此，本发明实施例公开了一种基于5G的大数据服务架构和构建大数据业务的方法，由此可以通过本实施例提供的大数据服务架构构建大数据业务，实现了大数据业务的扩展。
本发明实施例公开了一种基于5G的大数据服务架构，该大数据服务架构不属于5G网络中，该大数据服务架构包括：
大数据资源虚拟化层、数据虚拟化管理及访问层、大数据功能虚拟化层；
所述大数据资源虚拟化层，用于在边缘节点部署基础设施资源，对边缘节点的基础设施资源进行调度，并且边缘云节点接受核心云端对基础设施资源的调度和管理；
所述数据虚拟化管理及访问层，用于在边缘节点对不同云环境下的不同数据节点进行数据访问，对获取到的数据信息基于预设的规则进行处理，并将处理后的结果及相关数据发送到核心云端，核心云端对接收到的数据进行统一管理；
大数据功能虚拟化层，用于部署实现业务需求的大数据功能，并在调起大数据功能后使边缘云节点执行所述大数据功能。
可选的，所述大数据资源虚拟化层，包括：
资源部署模块，用于在边缘节点部署基础设施资源组件；
信息反馈模块，用于在边缘节点的大数据服务拉起后，向核心云端实时反馈边缘节点中提供的基础设施资源的相关信息；
业务调度资源，用于基于业务需求为业务分配相对应的基础设施资源。
可选的，所述大数据资源虚拟化层，还包括：
资源扩、缩容模块，用于检测业务的负载情况，并基于业务的负载情况的变化对支持业务执行的资源进行调整。
可选的，所述数据虚拟化管理及访问层，包括：
数据联接模块，用于联接不同数据环境下的数据节点，并获取已连接的数据节点的数据信息，并监听与数据节点的网络连接以保障与数据节点的连接是实时在线的；
数据虚拟化模块，用于生成包括不同数据节点的数据结构类型的数据拓扑结构，并提供不同数据结构之间的转换关系和数据共享规范；
数据消费模块，用于对不同数据结构的数据之间进行格式转换。
可选的，所述数据虚拟化模块，包括：
虚拟基础层子模块，用于生成包括不同数据节点的数据结构类型的数据拓扑结构；
企业数据层子模块，用于提供不同数据结构之间的转换关系；
数据消费层子模块，用于提供数据共享规范，以使不同数据节点之间基于所述数据共享规范共享数据。
可选的，所述大数据功能虚拟化层，包括：
大数据功能部署模块，用于将大数据功能部署于容器中；
调取大数据功能模块，用于在相关业务拉起后，调起与所述业务相关的大数据功能，并以镜像的方式在边缘云执行所述大数据功能。
本发明实施例还公开了一种构建大数据业务的方法，所述方法应用于所述大数据服务架构，所述方法包括：
基于预设的大数据业务需求，通过所述大数据资源虚拟化层在边缘节点部署基础设施资源组件；
依据预设的大数据业务需求，通过所述大数据功能虚拟化层部署与所述业务需求相关的大数据功能组件；
当大数据业务拉起后，通过大数据虚拟化层调取与所述业务需求相关基础设施的资源；
通过所述大数据功能虚拟化层调起与所述业务需求相关的大数据功能组件，并在边缘节点执行所述大数据功能组件的功能；
通过所述数据虚拟化层对相关数据节点进行访问，并基于预设的规则对获取到的数据信息进行处理。
可选的，所述当大数据业务拉起后，通过大数据虚拟化层调取与所述业务需求相关的基础设施资源，包括：
通过边缘节点调取与所述业务需求相关的基础设施资源；
核心云端通过所述大数据虚拟化层向边缘节点发送基础设施资源调取指令，边缘节点执行核心云端发送的基础设施资源调取指令。
本发明实施例公开了一种构建大数据业务的装置，所述装置应用于所述大数据服务架构，所述装置包括：
第一部署单元，用于基于预设的大数据业务需求，通过所述大数据资源虚拟化层在边缘节点部署基础设施资源组件；
第二部署单元，用于依据预设的大数据业务需求，通过所述大数据功能虚拟化层部署与所述业务需求相关的大数据功能组件；
资源调度单元，用于当大数据业务拉起后，通过大数据虚拟化层调取与所述业务需求相关基础设施的资源；
功能执行单元，用于通过所述大数据功能虚拟化层调起与所述业务需求相关的大数据功能组件，并在边缘节点执行所述大数据功能组件的功能；
数据访问及处理单元，用于通过所述数据虚拟化层对相关数据节点进行访问，并基于预设的规则对获取到的数据信息进行处理。
可选的，所述资源调度单元，包括：
边缘节点调度子单元，用于通过边缘节点调取与所述业务需求相关的基础设施资源；
协同调度子单元，用于核心云端通过所述大数据虚拟化层向边缘节点发送基础设施资源调取指令，边缘节点执行核心云端发送的基础设施资源调取指令。
本发明实施例公开了一种基于5G的大数据服务架构，该大数据服务架构部署于5G网络中，所述大数据服务架构包括：大数据资源虚拟化层、数据虚拟化管理及访问层、大数据功能虚拟化层；所述大数据资源虚拟化层，用于在边缘节点提供基础设施资源，对边缘节点的基础设施资源进行调度，并且边缘云端提供的基础设施资源接受核心云节点的调度和管理；所述数据虚拟化管理及访问层，用于在边缘节点对不同云环境下的不同数据节点进行数据访问，对获取到的数据信息基于预设的规则进行处理，并将处理后的结果及相关数据发送到核心云端，核心云端对接收到的数据进行统一管理；大数据功能虚拟化层，用于部署实现业务需求的大数据功能，并在调起大数据功能后边缘云执行所述大数据功能。由此可知，通过该大数据服务架构可以构建不同业务需求的大数据服务，实现了大数据业务的扩展。并且，该大数据服务架构能够在5G网络边缘侧部署大数据服务能力，提升了数据处理效率。除此之外，还可以实现边缘节点和核心云节点的统一资源调度，提升了大数据服务的能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例公开的一种基于5G的大数据服务架构的结构示意图；
图2示出了大数据服务架构在5G网络中部署的结构示意图；
图3示出了大数据资源虚拟化层的结构示意图；
图4示出了本发明实施例提供的一种数据虚拟化管理及访问层的结构示意图；
图5示出了本发明实施例提供的一种功能虚拟化层的结构示意图；
图6示出了本发明实施例提供的一种构建大数据业务的方法的流程示意图；
图7示出了本发明实施例提供的一种构建大数据业务的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，示出了本发明实施例公开的一种基于5G的大数据服务架构的结构示意图，该大数据服务架构包括：
大数据资源虚拟化层100、数据虚拟化管理及访问层200、大数据功能虚拟化层300；
其中，大数据资源虚拟化层100，用于在边缘节点部署基础设施资源，对边缘节点的基础设施资源进行调度，并且边缘云节点接受核心云端对基础设施资源的调度和管理；
本实施例中，基础设施资源可以是用于提供基础服务的资源组件，例如提供计算、存储、网络、虚拟化等服务的组件。
本实施例中，在实际应用中，该大数据服务架构可以用来构建大数据业务，用户可以通过大数据资源虚拟化层在边缘节点部署大数据资源组件。这样，大数据资源虚拟化层就可以为大数据服务提供基础设施资源。
其中，不同的大数据业务对资源的需求不同，为了实现不同的大数据业务，可以基于不同的大数据业务的需求设计相关的基础设施资源，并通过大数据资源虚拟化层在边缘节点部署大数据资源组件。除此之外，该大数据资源虚拟化层还能够实现边缘云节点与核心云端的资源协同，即核心云端可以对边缘云的基础设施资源进行调度和管理，边缘云节点接受核心云端的调度和管理，即边缘云节点可以执行核心云端的资源调度指令。
数据虚拟化管理及访问层200，用于在边缘节点对不同云环境下的不同数据节点进行数据访问，对获取到的数据信息基于预设的规则进行处理，并将处理后的结果及相关数据发送到核心云端，核心云端对接收到的数据进行统一管理。
本实施例中，数据虚拟化管理及访问层200主要实现了对数据的访问及管理。其中，不同数据节点的数据的数据结构不同，例如包括结构化、半结构化与混合结构数据，不同结构的数据可以称之为异构数据。本实施例提供的数据虚拟化管理及访问层可以实现对异构数据的访问，并可以对获取到的数据进行处理，例如可以对异构数据进行转换，转换成预设的结构形式或者转换成用户需求的结构形式。
除此之外，不同云环境下，或者不同的数据节点中包含的数据的质量也参差不齐，例如数据存在格式差异、命名差异、语义差异和数据内容差异等，这样的数据可以称之为异质数据。本实施例中，数据虚拟化管理及访问层可以对获取到的异质数据通过预设的规则进行处理，例如可以将异质数据进行转换，转换成预设的格式或者转换成用户需求的格式。
本实施例中，数据虚拟化管理及访问层中提供的用于进行数据处理的预设规则，可以是预先设定的，也可以是根据用户需求设置的，该预设的规则可以用于实现不同数据结构或者不同数据格式之间的转换。
除此之外，面对不断新增的数据源、应用请求、数据结构等，数据虚拟化管理及访问层还具备数据扩展功能，例如可以实现对新增的数据源的数据的访问。
大数据功能虚拟化层300，用于部署实现业务需求的大数据功能，并在调起所述大数据功能后使边缘云节点执行所述大数据功能。
本实施例中，可以将数据处理的能力及其相关数据通过容器化及分布式数据虚拟集成方式将大数据功能部署于边缘节点。
其中，数据处理的能力可以包括多种，本实施例中不进行限定，例如包括：数据加工或者查询分析等能力。
本实施例中，需要知道的是，上述公开的大数据服务架构部署于5G网络中，如图2所示，示出了大数据服务架构在5G网络中部署的结构示意图，其中，5G网络的架构包括：虚拟化的网络功能(NFV)、软件定义的网络(SDN)、分布式云/边缘计算(Distributed Cloud/Edge Computing)，以及自动管理与协同系统。除此之外，还包括：网络传输层、网络切片层以及智能化管理及运营层等。大数据服务架构部署在5G网络中，包括：大数据资源虚拟化层100、数据虚拟化管理及访问层200、大数据功能虚拟化层300。
本实施例中提供的大数据服务架构包括：大数据资源虚拟化层、数据虚拟化管理及访问层、大数据功能虚拟化层；所述大数据资源虚拟化层，用于在边缘节点提供基础设施资源，对边缘节点的基础设施资源进行调度，并且边缘云端提供的基础设施资源接受核心云节点的调度和管理；所述数据虚拟化管理及访问层，用于在边缘节点对不同云环境下的不同数据节点进行数据访问，对获取到的数据信息基于预设的规则进行处理，并将处理后的结果及相关数据发送到核心云端，核心云端对接收到的数据进行统一管理；大数据功能虚拟化层，用于部署实现业务需求的大数据功能，并在调起大数据功能后边缘云执行所述大数据功能。由此可知，通过该大数据服务架构可以构建不同业务需求的大数据服务，实现了大数据业务的扩展。并且，该大数据服务架构能够在5G网络边缘侧部署大数据服务能力，提升了数据处理效率。除此之外，还可以实现边缘节点和核心云节点的统一资源调度，提升了大数据服务的能力。
参考图3，示出了大数据资源虚拟化层的结构示意图，在本实施例中，该大数据资源虚拟化层包括：
资源部署模块101、信息反馈模块102、业务调度模块103；
其中，资源部署模块101，用于在边缘节点部署基础设施资源组件；
本实施例中，基础设施资源组件为用于为大数据业务提供基础服务的组件，例如提供计算、存储、网络、虚拟化等服务的组件。
其中，不同的业务场景，对基础服务的要求不同，本实施例中可以基于不同的大数据业务需求设计所需的基础设施资源组件，并通过资源部署模块在边缘节点部署相应的基础设施资源组件。
举例说明：本实施例中可以通过多种方式在边缘节点部署资源组件，本实施例中不进行限定，例如可以通过BluePrint方式在边缘节点快速部署资源组件。
信息反馈模块102，用于在边缘节点的大数据服务拉起后，向核心云端实时反馈边缘节点中提供的基础设施资源的相关信息；
本实施例中，边缘节点上部署有基础设施资源组件，核心云端可以对部署在边缘节点的资源组件进行调度，为了便于核心云端合理的调度边缘云的资源，需要掌握边缘节点提供的基础设施的资源情况。
为了让核心云端能够掌握边缘节点提供的基础设施资源的情况，在边缘节点的大数据服务拉起后，向核心云端实时反馈边缘节点中提供的基础设施资源的相关信息。
其中，大数据服务拉起表示某种大数据业务被启动。
本实施例中，向核心云端反馈基础设施资源的情况的方式可以包括多种，本实施例中不进行限定，例如可以通过大数据平台反向注册的方式。
业务调度模块103，用于基于业务需求为业务分配相对应的资源。
本实施例中，大数据业务在执行的过程中，不同的大数据业务或者大数据业务的不同阶段对基础设施资源的需求程度不同，为了满足不同大数据业务的需求，可以基于大数据业务的需求为大数据业务分配相对应的资源。
除此之外，大数据业务在执行的过程中，负载情况可能会不断的发生变化，随着负载情况的变化，对基础设施资源的需求也不同，例如，在负载较高时，需要更多的基础设施资源以保障大数据业务的顺利执行，例如网络资源、存储资源等，但是负载较少时，对基础设施的资源需求不大，可以适当的减少之前分配的基础设施资源。为了平衡不同负载的情况，即在负载较高时，能够提供足够的资源，或者在负载较低时，可以将提供的多余资源转出，以提供给其它业务。
通过上述的介绍可知，大数据资源虚拟化层还公开了资源扩、缩容模块，用于检测业务的负载情况，并基于业务负载情况的变化对支持业务执行的资源进行调整。
本实施例中，通过大数据资源虚拟化层，实现了大数据业务的资源部署，以及大数据资源的协同调度。
参考图4，示出了本发明实施例提供的一种数据虚拟化管理及访问层的结构示意图，在本实施例中，该数据虚拟化管理及访问层包括：
数据联接模块201、数据虚拟化模块202以及数据消费模块203；
其中，数据联接模块201，用于连接不同数据环境下的数据节点，并获取已联接的数据节点的数据信息，并监听与数据节点的网络连接以保障与数据节点的连接是实时在线的；
本实施例中，数据联接模块，可以与不同数据环境下的数据节点建立连接，为了保障连接的实时在线，对与数据节点的连接进行了监听。
其中，数据联接模块201可以适配多边云环境的路由部署，进而实现和不同数据环境下的数据节点的连接。
数据虚拟化模块202，用于生成包括不同数据节点的数据结构类型的数据拓扑结构，并提供不同数据结构之间的转换关系和数据共享规范；
本实施例中，不同的数据节点中的数据结构不同，其中，数据结构的类型包括：结构化、半结构化以及混合结构数据等，不同的数据结构需要采用不同的方式进行访问，为了能够实现对包含不同数据结构的数据源进行访问，并能识别出不同数据源的数据结构，需要了解不同数据节点的数据结构类型。本实施例中提供的数据拓扑结构包括不同数据源的结构类型，这样就保障了对不同数据源的数据的访问和识别。
本实施例中，为了实现不同数据节点之间的数据交互，数据虚拟化模块还提供了不同数据结构之间的转换关系。
本实施例中，当某个企业节点获取了其它数据节点的数据后，获取到的数据可以缓存到预设的位置，当再有其它的企业节点需要访问该数据时，为了提高数据访问效率，节省存储空间，可以直接从缓存数据的位置调取该数据。为了实现上述功能，数据虚拟化模块还提供了实现数据共享的数据规范。
基于上述的介绍，本实施例中的数据虚拟化模块包括：
虚拟基础子模块，用于生成包括不同数据节点的数据结构类型的数据拓扑结构；
企业消费子模块，用于提供不同数据结构之间的转换关系；
数据消费层子模块，用于提供数据共享规范，以使不同数据节点之间基于所述数据共享规范共享数据。
数据消费模块203，用于对不同数据结构的数据之间进行格式转换。
本实施例中，可以通过数据虚拟化模块中提供的数据拓扑结构访问不同数据节点中的数据，并基于提供的数据结构之间的转换关系对不同数据结构的数据进行格式转换。
本实施例中，数据虚拟化管理及访问层，通过数据拓扑结构，实现了对不同数据节点的数据访问，并不同数据结构之间的转换，实现了不同数据结构之间的数据转换，通过数据共享规范实现了不同企业节点之间的数据共享。由此，为大数据业务的实现提供了基础。
参考图5，示出了本发明实施例提供的一种功能虚拟化层的结构示意图，在本实施例中，该功能虚拟化层包括：
大数据功能部署模块301和调取大数据功能模块302；
其中，大数据功能部署模块301，用于将大数据功能部署于容器中；
调取大数据功能模块302，用于在大数据功能拉起后，调起与所述业务相关的大数据功能，并以镜像的方式在边缘云执行所述大数据功能。
本实施例中，大数据功能为实现大数据业务需要具备的一些能力，例如数据加工功能、查询分析功能，在大数据业务执行之前，可以预先通过大户数功能部署模块在边缘节点上部署相应的大数据功能。
其中，可以通过容器化以及分布式数据虚拟集成方式将大数据功能及相关数据部署于边缘节点。
本实施例中，通过大数据功能虚拟化层实现了对大数据业务功能的部署，以及在执行大数据业务时，调起大数据业务功能。这样扩展了大数据业务的功能，用户可以基于需求部署不同的大数据功能，从而实现不同的大数据业务。
参考图6，示出了本发明实施例提供的一种构建大数据业务的方法的流程示意图，该方法应用于上述的大数据服务架构，该方法包括：
S601：基于预设的大数据业务需求，通过所述大数据资源虚拟化层在边缘节点部署基础设施资源组件；
本实施例中，部署的基础设施资源组件为用于为大数据业务提供资源的服务组件，例如提供计算、存储、网络、虚拟化等服务的组件。具体需要部署哪些组件，需要根据大数据业务确定。
本实施例中，通过大数据虚拟化层在边缘节点部署了基础设施资源组件后，通过大数据资源虚拟化层还可以实现大数据资源的协同调度，即边缘节点可以对基础设施资源进行调取，边缘节点也可以接收核心云端对基础设施资源的调取和管理。
S602：依据预设的大数据业务需求，通过所述大数据功能虚拟化层部署与所述业务需求相关的大数据功能组件；
本实施例中，为了实现的大数据业务的一些功能，需要预先通过大数据功能虚拟化层部署相关的功能组件，这样在执行大数据业务时，可以调起该大数据功能组件执行相关的功能。
上述S601-S602实现了对大数据业务的需求部署，通过部署的相关组件实现大数据业务。
举例说明：对于高清视频场景网络的大数据服务，该大数据服务的场景例如为：当有4个用户观看路况视频时，此时通过对边缘DPI网络检测数据分析，发现业务正常。当用户数量增加，导致承载网络原分配带宽不足，视频出现马赛克，在这种情况下，通过对数据的分析以提供更多的资源，从而满足业务的需求。通过上述需求可知，需要部署有网络资源、存储资源等，需要部署的功能包括：数据采集功能、数据分析功能等)
S603：当大数据业务拉起后，通过大数据虚拟化层调取与所述业务需求相关的基础设施资源；
本实施例中，大数据业务拉起后，对于基础设施资源的调取，除了边缘节点可以自行进行调取外，还可以实现边缘节点和核心云端的协同调度，由此，S603包括：
通过边缘节点调取与所述业务需求相关的基础设施资源；
核心云端通过所述大数据虚拟化层向边缘节点发送基础设施资源调取指令，边缘节点执行核心云端发送的基础设施资源调取指令。
S604：通过所述大数据功能虚拟化层调起与所述业务需求相关的大数据功能组件，并在边缘节点执行所述大数据功能组件的功能；
举例说明：对于高清视频场景网络的大数据服务，例如预先部署了数据采集功能以及数据分析功能，在大数据服务拉起后，可以通过部署的数据采集功能采集相关数据，并通过数据分析功能对采集到的相关数据进行分析。
S605：通过所述数据虚拟化层对相关数据节点的数据进行访问，并基于预设的规则对获取到的数据进行处理。
本实施例中，在执行大数据业务时，需要根据大数据业务的需求对数据节点的数据进行访问，若需要在不同的企业节点之间进行数据传输，可以通过预设的规则对数据进行处理，例如将获取到的数据转换成所需的数据格式。
本实施例中，通过大数据服务架构可以构建不同的大数据业务，这样避免了一种系统只能实现一种大数据业务的问题，实现了大数据业务的扩展，并且通过5G网络执行大数据业务，提升了数据处理效率，除此之外，还是先了实现边缘节点和核心云节点的统一资源调度，提升了大数据服务的能力。
参考图7，示出了本发明实施例提供的一种构建大数据业务的装置的结构示意图，在本实施例中，该装置包括：
第一部署单元701，用于基于预设的大数据业务需求，通过所述大数据资源虚拟化层在边缘节点部署基础设施资源组件；
第二部署单元702，用于依据预设的大数据业务需求，通过所述大数据功能虚拟化层部署与所述业务需求相关的大数据功能组件；
资源调度单元703，用于当大数据业务拉起后，通过大数据虚拟化层调取与所述业务需求相关基础设施的资源；
功能执行单元704，用于通过所述大数据功能虚拟化层调起与所述业务需求相关的大数据功能组件，并在边缘节点执行所述大数据功能组件的功能；
数据访问及处理单元705，用于通过所述数据虚拟化层对相关数据节点进行访问，并基于预设的规则对获取到的数据信息进行处理。
可选的，所述资源调度单元，包括：
边缘节点调度子单元，用于通过边缘节点调取与所述业务需求相关的基础设施资源；
协同调度子单元，用于核心云端通过所述大数据虚拟化层向边缘节点发送基础设施资源调取指令，边缘节点执行核心云端发送的基础设施资源调取指令。
通过本实施例的装置，通过大数据服务架构可以构建不同的大数据业务，这样避免了一种系统只能实现一种大数据业务的问题，实现了大数据业务的扩展，并且通过5G网络执行大数据业务，提升了数据处理效率，除此之外，还是先了实现边缘节点和核心云节点的统一资源调度，提升了大数据服务的能力。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于5G的大数据服务系统，其特征在于，包括：
所述大数据服务架构部署于5G网络中；
所述大数据服务架构包括：
大数据资源虚拟化层、数据虚拟化管理及访问层、大数据功能虚拟化层；
所述大数据资源虚拟化层，用于在边缘节点部署基础设施资源，对边缘节点的基础设施资源进行调度，并且边缘节点接受核心云端对基础设施资源的调度和管理；
所述数据虚拟化管理及访问层，用于在边缘节点对不同云环境下的不同数据节点进行数据访问，对获取到的数据信息基于预设的规则进行处理，并将处理后的结果及相关数据发送到核心云端，核心云端对接收到的数据进行统一管理；
大数据功能虚拟化层，用于部署实现业务需求的大数据功能，并在调起大数据功能后使边缘节点执行所述大数据功能。
2.根据权利要求1所述的大数据服务系统，其特征在于，所述大数据资源虚拟化层，包括：
资源部署模块，用于在边缘节点部署基础设施资源组件；
信息反馈模块，用于在边缘节点的大数据服务拉起后，向核心云端实时反馈边缘节点中提供的基础设施资源的相关信息；
业务调度资源，用于基于业务需求为业务分配相对应的基础设施资源。
3.根据权利要求1所述大数据服务系统，其特征在于，所述大数据资源虚拟化层，还包括：
资源扩、缩容模块，用于检测业务的负载情况，并基于业务的负载情况的变化对支持业务执行的资源进行调整。
4.根据权利要求1所述的大数据服务系统，其特征在于，所述数据虚拟化管理及访问层，包括：
数据联接模块，用于联接不同数据环境下的数据节点，并获取已连接的数据节点的数据信息，并监听与数据节点的网络连接以保障与数据节点的连接是实时在线的；
数据虚拟化模块，用于生成包括不同数据节点的数据结构类型的数据拓扑结构，并提供不同数据结构之间的转换关系和数据共享规范；
数据消费模块，用于对不同数据结构的数据之间进行格式转换。
5.根据权利要求4所述的大数据服务系统，其特征在于，所述数据虚拟化模块，包括：
虚拟基础层子模块，用于生成包括不同数据节点的数据结构类型的数据拓扑结构；
企业数据层子模块，用于提供不同数据结构之间的转换关系；
数据消费层子模块，用于提供数据共享规范，以使不同数据节点之间基于所述数据共享规范共享数据。
6.根据权利要求1所述的大数据服务系统，其特征在于，所述大数据功能虚拟化层，包括：
大数据功能部署模块，用于将大数据功能部署于容器中；
调取大数据功能模块，用于在相关业务拉起后，调起与所述业务相关的大数据功能，并以镜像的方式在边缘云执行所述大数据功能。
7.一种构建大数据业务的方法，其特征在于，所述方法应用于如权利要求1所述的大数据服务系统，所述方法包括：
基于预设的大数据业务需求，通过所述大数据资源虚拟化层在边缘节点部署基础设施资源组件；
依据预设的大数据业务需求，通过所述大数据功能虚拟化层部署与所述业务需求相关的大数据功能组件；
当大数据业务拉起后，通过大数据资源虚拟化层调取与所述业务需求相关基础设施的资源；
通过所述大数据功能虚拟化层调起与所述业务需求相关的大数据功能组件，并在边缘节点执行所述大数据功能组件的功能；
通过所述数据虚拟化管理及访问层对相关数据节点进行访问，并基于预设的规则对获取到的数据信息进行处理。
8.根据权利要求7所述的方法，其特征在于，所述当大数据业务拉起后，通过大数据虚拟化层调取与所述业务需求相关的基础设施资源，包括：
通过边缘节点调取与所述业务需求相关的基础设施资源；
核心云端通过所述大数据资源虚拟化层向边缘节点发送基础设施资源调取指令，边缘节点执行核心云端发送的基础设施资源调取指令。
9.一种构建大数据业务的装置，其特征在于，所述装置应用于如权利要求1所述的大数据服务系统，所述装置包括：
第一部署单元，用于基于预设的大数据业务需求，通过所述大数据资源虚拟化层在边缘节点部署基础设施资源组件；
第二部署单元，用于依据预设的大数据业务需求，通过所述大数据功能虚拟化层部署与所述业务需求相关的大数据功能组件；
资源调度单元，用于当大数据业务拉起后，通过大数据资源虚拟化层调取与所述业务需求相关基础设施的资源；
功能执行单元，用于通过所述大数据功能虚拟化层调起与所述业务需求相关的大数据功能组件，并在边缘节点执行所述大数据功能组件的功能；
数据访问及处理单元，用于通过所述数据虚拟化管理及访问层对相关数据节点进行访问，并基于预设的规则对获取到的数据信息进行处理。
10.根据权利要求9所述的装置，其特征在于，所述资源调度单元，包括：
边缘节点调度子单元，用于通过边缘节点调取与所述业务需求相关的基础设施资源；
协同调度子单元，用于核心云端通过所述大数据资源虚拟化层向边缘节点发送基础设施资源调取指令，边缘节点执行核心云端发送的基础设施资源调取指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010690392.4A CN114024976B (zh) | 2020-07-17 | 2020-07-17 | 一种基于5g的大数据服务架构及构建大数据业务的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010690392.4A CN114024976B (zh) | 2020-07-17 | 2020-07-17 | 一种基于5g的大数据服务架构及构建大数据业务的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114024976A CN114024976A (zh) | 2022-02-08 |
| CN114024976B true CN114024976B (zh) | 2024-04-09 |
Family
ID=80054005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010690392.4A Active CN114024976B (zh) | 2020-07-17 | 2020-07-17 | 一种基于5g的大数据服务架构及构建大数据业务的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114024976B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115002810B (zh) * | 2022-08-01 | 2023-01-13 | 阿里巴巴达摩院(杭州)科技有限公司 | 资源配置方法、专网管控方法、边缘云服务器及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105915588A (zh) * | 2016-04-06 | 2016-08-31 | 易云捷讯科技（北京）股份有限公司 | 一种基于数据虚拟化的混合云计算管理系统 |
| CN110266744A (zh) * | 2019-02-27 | 2019-09-20 | 中国联合网络通信集团有限公司 | 基于位置的边缘云资源调度方法及系统 |
| CN110572448A (zh) * | 2019-08-30 | 2019-12-13 | 烽火通信科技股份有限公司 | 一种分布式边缘云系统架构 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11467881B2 (en) * | 2017-09-13 | 2022-10-11 | At&T Intellectual Property I, L.P. | Framework, method and apparatus for network function as a service for hosted network functions in a cloud environment |
-
2020
- 2020-07-17 CN CN202010690392.4A patent/CN114024976B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105915588A (zh) * | 2016-04-06 | 2016-08-31 | 易云捷讯科技（北京）股份有限公司 | 一种基于数据虚拟化的混合云计算管理系统 |
| CN110266744A (zh) * | 2019-02-27 | 2019-09-20 | 中国联合网络通信集团有限公司 | 基于位置的边缘云资源调度方法及系统 |
| CN110572448A (zh) * | 2019-08-30 | 2019-12-13 | 烽火通信科技股份有限公司 | 一种分布式边缘云系统架构 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114024976A (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106850788B (zh) | 面向多源异构地理信息资源的集成框架及集成方法 | |
| CN105335221B (zh) | 基于可重构的分布式软件总线 | |
| US7233999B2 (en) | System and method for delivering last mile computing over light from a plurality of network edge locations | |
| CN110262902B (zh) | 信息处理方法及系统、介质和计算设备 | |
| US11303526B2 (en) | Network slice deployment method and apparatus | |
| CN110311948B (zh) | 容器/容器组间的通信方法及基于此的容器云网络系统 | |
| WO2023284830A1 (zh) | 管理和调度方法、装置、节点及存储介质 | |
| CN116089036B (zh) | 多线程多模块的业务流编排处理方法、设备及存储介质 | |
| CN114024976B (zh) | 一种基于5g的大数据服务架构及构建大数据业务的方法 | |
| CN114826866B (zh) | 跨平台微服务体系结构、计算设备及存储介质 | |
| CN114840329A (zh) | 一种基于区块链的云原生混合集成方法 | |
| CN103002047A (zh) | 一种rpc式web服务架构方法 | |
| US11968274B2 (en) | Multi-access edge computing slicing | |
| CN115225482A (zh) | 一种基于Kubernetes进行Pod容器网络配置的方法及装置 | |
| CN115017743A (zh) | 分布式仿真运行支撑环境、仿真系统、开发方法及介质 | |
| CN114844988A (zh) | 虚拟化彩铃平台的业务处理方法、装置、系统及存储介质 | |
| CN114745377A (zh) | 边缘云集群服务系统及实现方法 | |
| CN102929605A (zh) | 一种基于云计算的数据挖掘系统开放接口 | |
| CN112073501A (zh) | 一种租户分离的纳管方法 | |
| CN116069481B (zh) | 一种共享gpu资源的容器调度系统及调度方法 | |
| An et al. | Design of message-oriented middleware of distance teaching platform based on distributed message control | |
| CN114500646B (zh) | 一种去中心化的esb云平台系统及其服务调用方法 | |
| CN116887357B (zh) | 基于人工智能的计算平台管理系统 | |
| CN114936098B (zh) | 一种数据流转方法、装置、后端设备及存储介质 | |
| Kumar et al. | IFLOW: Resource-aware overlays for composing and managing distributed information flows |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |