CN114968583A - 一种数据计算方法及边缘组网 - Google Patents
一种数据计算方法及边缘组网 Download PDFInfo
- Publication number
- CN114968583A CN114968583A CN202210593143.2A CN202210593143A CN114968583A CN 114968583 A CN114968583 A CN 114968583A CN 202210593143 A CN202210593143 A CN 202210593143A CN 114968583 A CN114968583 A CN 114968583A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- algorithm
- target
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 207
- 230000006855 networking Effects 0.000 title claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 222
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims description 67
- 238000004806 packaging method and process Methods 0.000 claims description 14
- 238000004140 cleaning Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 25
- 230000011664 signaling Effects 0.000 description 14
- 238000013500 data storage Methods 0.000 description 10
- 238000005538 encapsulation Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开实施例提供了一种数据计算方法及边缘组网。方案如下:本地数据引擎模块在接收到第一数据时,确定第一数据对应的目标计算算法,并将目标计算算法发送至资源调度模块;资源调度模块根据边缘节点中每一计算模块对应的计算算法,确定多个计算模块中与目标计算算法对应的目标计算模块,并向目标计算模块下发针对第一数据的第一计算任务;目标计算模块获取第一数据,并根据第一计算任务对第一数据进行计算处理,得到第二数据。采用本公开实施例提供的技术方案,通过对边缘层的模块化处理,实现了边缘层的模块化,提高了对边缘节点的综合管理和高效调度。
Description
技术领域
本公开涉及大数据技术领域,特别是涉及一种数据计算方法及边缘组网。
背景技术
相关技术中,边缘节点是承载边缘计算业务的核心。但是根据业务侧的重点和硬件特点的不同,边缘节点的边缘计算时的侧重点也有所不同。例如,边缘节点包括:以网络协议处理和转换为重点的边缘网关,以支持实时闭环控制业务为重点的边缘控制器,以大规模数据处理为重点的边缘云,以低功耗信息采集和处理为重点的边缘传感器等。
发明内容
本公开实施例的目的在于提供一种数据计算方法及边缘组网,以通过对边缘层的模块化处理,实现边缘层的模块化,提高对边缘节点的综合管理和高效调度。具体技术方案如下:
本公开实施例提供了一种数据计算方法,应用于边缘组网,所述边缘组网包括资源调度模块和边缘节点,所述边缘节点包括本地数据引擎模块和多个计算模块,所述方法包括:
所述本地数据引擎模块在接收到第一数据时,确定所述第一数据对应的目标计算算法,并将所述目标计算算法发送至所述资源调度模块;
所述资源调度模块根据所述边缘节点中每一计算模块对应的计算算法,确定所述多个计算模块中与所述目标计算算法对应的目标计算模块,并向所述目标计算模块下发针对所述第一数据的第一计算任务;
所述目标计算模块获取所述第一数据,并根据所述第一计算任务对所述第一数据进行计算处理,得到第二数据。
在一些实施例中,所述边缘节点还包括存储模块;
所述方法还包括:
所述本地数据引擎模块在接收到所述第一数据时,确定所述第一数据对应的目标数据类型,并将所述目标数据类型发送至所述资源调度模块;
所述资源调度模块根据所述目标数据类型,确定所述第一数据对应待存储数据的目标存储方式,并向所述存储模块发送所述目标存储方式;
所述存储模块获取所述第一数据对应的待存储数据,并按照所述目标存储方式,对所述待存储数据进行存储。
在一些实施例中,所述边缘节点还包括智能网关,所述边缘组网还包括中转缓存模块;
当所述边缘节点的数量为多个时,所述方法还包括:
所述智能网关监控该智能网关所在边缘节点的当前运行状态,并在所述当前运行状态高于第一运行状态时,向所述资源调度模块发送告警消息;
所述资源调度模块根据所述告警消息,将该边缘节点中的待计算数据缓存至所述中转缓存模块,并从所述多个边缘节点的智能网关中获取各边缘节点的当前运行状态,向目标边缘节点中的计算模块发送针对所述待计算数据的第二计算任务,以使所述目标边缘节点中的计算模块根据接收到的第二计算任务,从所述中转缓存模块中获取所述待计算数据,对所述待计算数据进行计算处理,得到第三数据,并将所述第三数据缓存至所述中转缓存模块;其中,所述目标边缘节点为所述多个边缘节点中当前运行状态低于第二运行状态的边缘节点;
所述资源调度模块向该边缘节点的智能网关发送针对所述第三数据的通知指令;
所述智能网关根据接收到的通知指令,从所述中转缓存模块获取所述第三数据。
在一些实施例中,所述方法还包括:
所述本地数据引擎模块在接收到所述第一数据后,向所述资源调度模块发送针对所述第一数据对应待加密数据的加密算法获取请求;
所述资源调度模块根据所述加密算法获取请求,向所述本地数据引擎模块发送针对所述待加密数据的第一算法黑箱,并将所述第一算法黑箱发送至所述本地数据引擎模块;所述第一算法黑箱是对所述待加密数据的加密算法进行黑盒封装得到的;
所述本地数据引擎模块获取所述第一数据对应的待加密数据,并利用接收到的第一算法黑箱对所述待加密数据进行加密,得到第四数据;
所述方法还包括:
所述本地数据引擎模块向所述资源调度模块发送针对所述第四数据的解密算法获取请求;
所述资源调度模块根据所述解密算法获取请求,向所述本地数据引擎模块发送针对所述第四数据的第二算法黑箱,并将所述第二算法黑箱发送至所述本地数据引擎模块;所述第二算法黑箱是对所述第四数据的解密算法进行黑盒封装得到的;
所述本地数据引擎模块利用接收到的第二算法黑箱对所述第四数据进行解密,得到待加密数据。
在一些实施例中,所述方法还包括:
所述本地数据引擎模块在接收到中心节点发送的针对所述第一数据的数据获取请求时,获取与所述数据获取请求匹配的第五数据,作为待发送数据,并向所述中心节点发送所述待发送数据。
在一些实施例中,所述方法还包括:
所述本地数据引擎模块在接收到所述第一数据时,对所述第一数据进行数据清洗,得到第六数据。
本公开实施例还提供了一种边缘组网,所述边缘组网包括资源调度模块和边缘节点,所述边缘节点包括本地数据引擎模块和多个计算模块;
所述本地数据引擎模块,用于在接收到第一数据时,确定所述第一数据对应的目标计算算法,并将所述目标计算算法发送至所述资源调度模块;
所述资源调度模块,用于根据所述边缘节点中每一计算模块对应的计算算法,确定所述多个计算模块中与所述目标计算算法对应的目标计算模块,并向所述目标计算模块下发针对所述第一数据的第一计算任务;
所述目标计算模块,用于获取所述第一数据,并根据所述第一计算任务对所述第一数据进行计算处理,得到第二数据。
在一些实施例中,所述边缘节点还包括存储模块;
所述本地数据引擎模块,还用于在接收到所述第一数据时,确定所述第一数据对应的目标数据类型,并将所述目标数据类型发送至所述资源调度模块;
所述资源调度模块,还用于根据所述目标数据类型,确定所述第一数据对应待存储数据的目标存储方式,并向所述存储模块发送所述目标存储方式;
所述存储模块,用于获取所述第一数据对应的待存储数据,并按照所述目标存储方式,对所述待存储数据进行存储。
在一些实施例中,所述边缘节点还包括智能网关,所述边缘组网还包括中转缓存模块;所述边缘节点的数量为多个;
所述智能网关,用于监控该智能网关所在边缘节点的当前运行状态,并在所述当前运行状态高于第一运行状态时,向所述资源调度模块发送告警消息;
所述资源调度模块,还用于根据所述告警消息,将该边缘节点中的待计算数据缓存至所述中转缓存模块,并从所述多个边缘节点的智能网关中获取各边缘节点的当前运行状态,向目标边缘节点中的计算模块发送针对所述待计算数据的第二计算任务,以使所述目标边缘节点中的计算模块根据接收到的第二计算任务,从所述中转缓存模块中获取所述待计算数据,对所述待计算数据进行计算处理,得到第三数据,并将所述第三数据缓存至所述中转缓存模块;其中,所述目标边缘节点为所述多个边缘节点中当前运行状态低于第二运行状态的边缘节点;
所述资源调度模块,还用于向该边缘节点的智能网关发送针对所述第三数据的通知指令;
所述智能网关,还用于根据接收到的通知指令,从所述中转缓存模块获取所述第三数据。
在一些实施例中,所述本地数据引擎模块,还用于在接收到所述第一数据后,向所述资源调度模块发送针对所述第一数据对应待加密数据的加密算法获取请求;
所述资源调度模块,还用于根据所述加密算法获取请求,向所述本地数据引擎模块发送针对所述待加密数据的第一算法黑箱,并将所述第一算法黑箱发送至所述本地数据引擎模块;所述第一算法黑箱是对所述待加密数据的加密算法进行黑盒封装得到的;
所述本地数据引擎模块,还用于获取所述第一数据对应的待加密数据,并利用接收到的第一算法黑箱对所述待加密数据进行加密,得到第四数据;
所述本地数据引擎模块,还用于向所述资源调度模块发送针对所述第四数据的解密算法获取请求;
所述资源调度模块,还用于根据所述解密算法获取请求,向所述本地数据引擎模块发送针对所述第四数据的第二算法黑箱,并将所述第二算法黑箱发送至所述本地数据引擎模块;所述第二算法黑箱是对所述第四数据的解密算法进行黑盒封装得到的;
所述本地数据引擎模块,还用于利用接收到的第二算法黑箱对所述第四数据进行解密,得到待加密数据。
在一些实施例中,所述本地数据引擎模块,还用于在接收到中心节点发送的针对所述第一数据的数据获取请求时,获取与所述数据获取请求匹配的第五数据,作为待发送数据,并向所述中心节点发送所述待发送数据。
在一些实施例中,所述本地数据引擎模块,还用于在接收到所述第一数据时,对所述第一数据进行数据清洗,得到第六数据。
本公开实施例有益效果:
本公开实施例提供的技术方案,可以在边缘节点包括的本地数据引擎模块接收到的第一数据时,确定该第一数据对应的目标计算算法,从而将该目标计算算法发送给资源调度模块,资源调度模块根据接收到的目标计算算法,确定边缘节点中与目标计算算法对应的目标计算模块,从而向目标计算模块下发针对第一数据的第一计算任务,目标计算模块根据该第一计算任务对第一数据进行处理,得到第二数据。
相比于相关技术中,在边缘层将边缘节点和资源调度模块构建为边缘组网,并对边缘节点进行模块化处理,也就是边缘节点包括本地数据引擎模块和多个计算模块,实现了边缘层的模块化。
另外,针对边缘节点接收到的每一数据,在进行数据计算时,由资源调度模块根据数据计算所需的计算算法进行计算模块的分配,在实现对边缘节点的综合管理的同时,实现了对边缘节点计算资源的统一调度,提高了对边缘节点的综合管理和高效调度。
当然,实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本公开实施例提供的数据计算方法的第一种信令图;
图2为本公开实施例提供的数据计算方法的第二种信令图;
图3为本公开实施例提供的数据计算方法的第三种信令图;
图4为本公开实施例提供的数据计算方法的第四种信令图;
图5为本公开实施例提供的边缘组网的第一种结构示意图;
图6为本公开实施例提供的数据计算方法的第五种信令图;
图7为本公开实施例提供的数据计算方法的第六种信令图;
图8为本公开实施例提供的数据计算方法的第七种信令图;
图9-a为本公开实施例提供的资源调度模块的一种结构示意图;
图9-b为本公开实施例提供的本地数据引擎模块的一种结构示意图;
图9-c为本公开实施例提供的存储模块的一种结构示意图;
图9-d为本公开实施例提供的计算模块的一种结构示意图;
图10-a为本公开实施例提供的边缘组网的第二种结构示意图;
图10-b为本公开实施例提供的边缘组网的第三种结构示意图;
图10-c为本公开实施例提供的边缘组网的第四种结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员基于本公开所获得的所有其他实施例,都属于本公开保护的范围。
相关技术中,边缘层中的各边缘节点根据各自业务侧重点的不同,进行不同的业务处理,缺乏统一的管理和资源调度。
为了解决相关技术中的问题,本公开实施例提供了一种数据计算方法。该方法应用于边缘组网,该边缘组网包括资源调度模块和边缘节点,边缘节点包括本地数据引擎模块和多个计算模块。如图1所示,图1为本公开实施例提供的数据计算方法的第一种信令图。该方法包括以下步骤。
步骤S101,本地数据引擎模块在接收到第一数据时,确定第一数据对应的目标计算算法,并将目标计算算法发送至资源调度模块。
步骤S102,资源调度模块根据边缘节点中每一计算模块对应的计算算法,确定多个计算模块中与目标计算算法对应的目标计算模块,并向目标计算模块下发针对第一数据的第一计算任务。
步骤S103,目标计算模块获取第一数据,并根据第一计算任务对第一数据进行计算处理,得到第二数据。
通过图1所示的方法,可以在边缘节点包括的本地数据引擎模块接收到的第一数据时,确定该第一数据对应的目标计算算法,从而将该目标计算算法发送给资源调度模块,资源调度模块根据接收到的目标计算算法,确定边缘节点中与目标计算算法对应的目标计算模块,从而向目标计算模块下发针对第一数据的第一计算任务,目标计算模块根据该第一计算任务对第一数据进行处理,得到第二数据。
相比于相关技术中,在边缘层将边缘节点和资源调度模块构建为边缘组网,并对边缘节点进行模块化处理,也就是边缘节点包括本地数据引擎模块和多个计算模块,实现了边缘层的模块化。
另外,针对边缘节点接收到的每一数据,在进行数据计算时,由资源调度模块根据数据计算所需的计算算法进行计算模块的分配,在实现对边缘节点的综合管理的同时,实现了对边缘节点计算资源的统一调度,提高了对边缘节点的综合管理和高效调度。
下面通过具体的实施例,对本公开实施例进行说明。
针对上述步骤S101,即本地数据引擎模块在接收到第一数据时,确定第一数据对应的目标计算算法,并将目标计算算法发送至资源调度模块。
在本步骤中,针对上述边缘组网中的每一边缘节点,该边缘节点可以分别用户设备以及中心节点通信连接。用户终端和中心节点均可以向与其通信连接的边缘节点发送数据。此时,边缘节点中的本地数据引擎模块将接收到该数据。针对边缘节点中本地数据引擎模块所接收到的每一数据(为便于区分,记为第一数据),本地数据引擎模块可以对该第一数据进行数据分析,确定该第一数据所对应的计算算法(记为目标计算算法)。本地数据引擎模块可以将确定的目标计算算法发送给边缘组网中的资源调度模块。
在本公开实施例中,根据本地数据引擎模块接收到的数据的不同,上述确定出的目标计算算法也有所不同。
例如,当上述第一数据为联邦学习的训练数据时,本地数据引擎模块可以确定需要利用该训练数据进行联邦学习,此时,本地数据引擎模块可以确定该第一数据的目标计算算法为联邦学习算法。
再例如,当上述第一数据为图像采集设备采集的图像数据时,本地数据引擎模块在接收到的该第一数据时,可以确定需要对第一数据进行图像增强处理,此时,本地数据引擎模块可以确定该第一数据的目标计算算法为预设的图像增强算法。
在此,对上述第一数据的目标计算算法不作具体限定。
在本公开实施例中,上述边缘组网中可以包括多个边缘节点,并且,每一边缘节点所接收到的数据可以为一个或多个。为便于理解,下面仅以一个边缘节点对接收到的一个数据(即上述第一数据)的处理为例进行说明,并不起任何限定作用。
针对上述步骤S102,即资源调度模块根据边缘节点中每一计算模块对应的计算算法,确定多个计算模块中与目标计算算法对应的目标计算模块,并向目标计算模块下发针对第一数据的第一计算任务。
在本公开实施例中,针对上述边缘节点中的计算资源,资源调度模块可以采用边缘算力微服务的模式,按照计算算法的不同,将边缘节点中的计算资源划分为不同的计算模块,每一计算模块所对应的计算算法不同。也就是上述边缘节点中包括的多个计算模块分别存在对应的计算算法。
当上述资源调度模块接收到的上述本地数据引擎模块发送的第一数据的目标计算算法时,资源调度模块可以根据预先划分的边缘节点中每一计算模块对应的计算算法,确定第一数据对应的目标计算模块。也就是在边缘节点包括的多个计算模块中,计算算法为目标计算算法所对应的计算模块确定为第一数据对应的目标计算模块,从而向目标计算模块下发针对上述第一数据的第一计算任务。
为便于理解,以上述联邦学习算法为例。资源调度模块在本地数据引擎模块发送目标计算算法时,可以确定需要对第一数据进行联邦学习。若上述边缘节点中的计算模块1所对应的计算算法为联邦学习算法,此时,资源调度模块可以向计算模块1下发针对第一数据的第一计算任务。
在本公开实施例中,上述目标计算模块可以为边缘节点包括的多个计算模块中的任一计算模块。根据上述目标计算算法的不同,资源调度模块所确定的目标计算模块也有所不同,在此,对上述目标计算模块不作具体限定。
在一些实施例中,上述采用边缘算力微服务的模式进行计算模块的划分,可以表示为:采用容器技术对边缘节点的计算资源进行划分,得到多个计算模块。
通过上述步骤S102,资源调度模块根据第一数据的目标计算算法,确定该第一数据所对应的目标计算模块,这使得资源调度模块可以对边缘节点中的计算模块的计算资源进行统一的调度,实现计算资源的调度。
针对上述步骤S103,即目标计算模块获取第一数据,并根据第一计算任务对第一数据进行计算处理,得到第二数据。
在本步骤中,目标计算模块在接收到上述第一计算任务后,可以获取上述第一数据,并利用该计算模块所对应的计算算法(即上述目标计算算法),对获取到的第一数据进行计算处理得到计算后的数据(为便于区分,记为第二数据)。
在本公开实施例中,根据上述目标计算算法的不同,目标计算模块对第一数据的计算过程也有所不同。在此,对上述第一数据在目标计算模块中的计算过程不作具体说明。
在一些实施例中,上述边缘组网的每一边缘节点中还可以包括存储模块。上述本地数据引擎模块在接收到上述第一数据后,该第一数据可以由该边缘节点中的存储模块进行存储。上述目标计算模块在获取第一数据时,可以获取存储模块所存储的第一数据。关于存储模块对数据的存储过程可参见下文描述,在此不作具体说明。
在一些实施例中,根据上述图1所示的方法,本公开实施例还提供了一种数据计算方法。如图2所示,图2为本公开实施例提供的数据计算方法的第二种信令图。在图2所示的方法中增加了以下步骤,即步骤S104。
步骤S104,本地数据引擎模块在接收到第一数据时,对第一数据进行数据清洗,得到第六数据。
在本步骤中,上述本地数据引擎模块在接收到上述第一数据时,可以对上述第一数据进行数据清洗,得到数据清洗后的数据(为便于区分,记为第六数据)。
上述数据清洗包括检测数据的一致性、处理无效值或缺失值、去重等。在此,对上述数据清洗的方式不作具体限定。
通过上述步骤S104,有效的保证了上述第六数据的准确性、有效性,从而便于后期的数据计算或数据存储。
在一些实施例中,上述步骤S104可以与上述步骤S101同时执行。此时,针对上述步骤S103,即目标计算模块获取第一数据,并根据第一计算任务对第一数据进行计算处理,得到第二数据可以表示为:
目标计算模块获取上述第六数据,并根据第一计算任务对第六数据进行计算处理,得到计算处理后的数据。
在本公开实施例中,对上述步骤S103中目标计算模块所处理的数据不作具体限定。
通过步骤S104,边缘节点可以对接收到的数据进行数据清洗,从而便于后期对接收到的数据的计算、存储等处理,提高数据处理的效果。
在一些实施例中,上述边缘节点还可以包括存储模块,此时,根据上述图1所示的方法,本公开实施例还提供了一种数据计算方法。如图3所示,图3为本公开实施例提供的数据计算方法的第三种信令图。该方法包括以下步骤。
步骤S301,本地数据引擎模块在接收到第一数据时,确定第一数据对应的目标计算算法,并将目标计算算法发送至资源调度模块。
步骤S302,资源调度模块根据边缘节点中每一计算模块对应的计算算法,确定多个计算模块中与目标计算算法对应的目标计算模块,并向目标计算模块下发针对第一数据的第一计算任务。
步骤S303,目标计算模块获取第一数据,并根据第一计算任务对第一数据进行计算处理,得到第二数据。
上述步骤S301-步骤S303与上述步骤S101-步骤S103相同。
步骤S304,本地数据引擎模块在接收到第一数据时,确定第一数据对应的目标数据类型,并将目标数据类型发送至资源调度模块。
在本步骤中,本地数据引擎模块在接收到上述第一数据时,还可以确定该第一数据所对应的数据类型(记为目标数据类型),从而将该目标数据类型发送至资源调度模块。
在一些实施例中,上述目标数据类型可以包括关系型、非关系型、视频格式。在此,对上述目标数据类型不作具体限定。
为便于理解,以关系型为例进行说明。现假设本地数据引擎模块所接收到的数据为用户设备A所上传的一份文档,如文档1。也就是上述第一数据中包括用户设备A的设备信息,如设备的标识、地址信息等,以及文档1。此时,本地数据引擎模块可以确定第一数据中的设备信息与文档1为关系型。
在本公开实施例中,上述步骤S304可以与上述步骤S301同时执行,也可以在上述步骤S301之前/之后执行,在此,对上述步骤S301和步骤S304的执行顺序不作具体限定。
步骤S305,资源调度模块根据目标数据类型,确定第一数据对应待存储数据的目标存储方式,并向存储模块发送目标存储方式。
在本步骤中,资源调度模块在接收到上述第一数据的目标数据类型后,可以按照目标数据类型,确定上述第一数据的存储方式(记为目标存储方式),从而将该目标存储方式下发至存储模块。
在本公开实施例中,针对不同的数据类型,资源调度模块所确定出的存储方式也有所不同。例如,当某一数据的目标数据类型为上述关系型时,资源调度模块可以确定需要对该数据进行关联存储,此时,资源调度模块可以确定该数据的存储方式为存储至关系型数据库。再例如,当某一数据的目标数据类型为上述非关系型时,资源调度模块可以确定不需要对该数据关联存储,此时,资源调度模块可以确定该数据的存储方式为存储至非关系型数据库。在此,对上述资源调度模块所确定出的目标存储方式不作具体限定。
上述数据的存储方式除了用于指示数据的存储位置以外,还可以用于指示其他信息,例如,数据存储关联存储时对应的关联数据等。在此,对上述数据的存储方式不作具体限定。
步骤S306,存储模块获取第一数据对应的待存储数据,并按照目标存储方式,对待存储数据进行存储。
在本步骤中,存储模块在接收到上述第一数据的目标存储方式时,可以获取该第一数据所对应的待存储数据。该待存储数据是与第一数据相关的数据。存储模块可以按照接收到的目标存储方式,对获取到的第一数据进行存储。
在本公开实施例中,上述待存储数据可以包括上述第一数据、第一数据进行计算处理后的数据(即上述第二数据)以及数据清洗后的数据(即上述第四数据)中的一种或多种。在此,对上述待存储数据不作具体限定。
根据上述第一数据的目标存储方式的不同,上述存储模块中可以包括多种数据库。例如,用于存储关系型数据的关系型数据库、用于存储非关系型数据的非关系型数据库,以及用于存储视频格式的视频数据的视频结构性数据库。在此,对上述存储设备中包括的数据库不作具体限定。
通过上述步骤S304-步骤S306,资源调度模块可以根据每一数据的数据类型,确定该数据对应的数据存储方式,从而使得边缘节点中的存储模块可以按照该存储方式对该数据进行存储。相比于相关技术中由中心节点进行数据存储,在实现边缘节点中的数据存储的同时,可以使得数据可以存储在边缘节点中,边缘后期数据的调用和计算,减轻中心化大数据存储的负荷。
在一些实施例中,上述边缘节点还可以包括智能网关,上述边缘组网还可以包括中转缓存模块。当上述边缘节点的数量为多个时,根据上述图1所示的方法,本公开实施例还提供了一种数据计算方法。如图4所示,图4为本公开实施例提供的数据计算方法的第四种信令图。该方法包括以下步骤。
步骤S401,本地数据引擎模块在接收到第一数据时,确定第一数据对应的目标计算算法,并将目标计算算法发送至资源调度模块。
步骤S402,资源调度模块根据边缘节点中每一计算模块对应的计算算法,确定多个计算模块中与目标计算算法对应的目标计算模块,并向目标计算模块下发针对第一数据的第一计算任务。
步骤S403,目标计算模块获取第一数据,并根据第一计算任务对第一数据进行计算处理,得到第二数据。
上述步骤S401-步骤S403与上述步骤S101-步骤S103相同。
步骤S404,智能网关监控该智能网关所在边缘节点的当前运行状态,并在当前运行状态高于第一运行状态时,向资源调度模块发送告警消息。
针对每一边缘节点,该边缘节点中设置有智能网关,该智能网关可以实时监测边缘节点在当前时刻的运行状态(记为当前运行状态)。
上述边缘节点的运行状态可以表示为某一数值。如资源占用率、内存占用率等。为便于理解,下面以边缘节点的运行状态为资源占用率为例进行说明,并不起任何限定作用。
针对边缘组网中的每一边缘节点,在某一时刻时,若该边缘节点的当前运行状态大于预设的第一运行状态时,智能网关可以向上述资源调度模块发送针对该边缘节点的告警消息。
例如,某一时刻时,边缘节点A中智能网关所监测到的当前运行状态为85%,而上述第一运行状态为80%,85%>80%,此时,智能网关A可以向资源调度模块发送针对边缘节点A的告警消息。
在本公开实施例中,上述第一运行状态可以根据具体应用场景、边缘节点的性能、用户需求等进行设置,在此,对上述第一运行状态不作具体限定。
上述步骤S404可以在上述步骤S401-步骤S403中的任一步骤之前/之后执行,在此,对上述步骤S404的执行时间不作具体限定。
步骤S405,资源调度模块根据告警消息,将该边缘节点中的待计算数据缓存至中转缓存模块,并从多个边缘节点的智能网关中获取各边缘节点的当前运行状态,向目标边缘节点中的计算模块发送针对待计算数据的第二计算任务,以使目标边缘节点中的计算模块根据接收到的第二计算任务,从中转缓存模块中获取待计算数据,对待计算数据进行计算处理,得到第三数据,并将第三数据缓存至中转缓存模块;其中,目标边缘节点为多个边缘节点中当前运行状态低于第二运行状态的边缘节点。
在本步骤中,资源调度模块在接收到上述告警消息后,可以确定发送该告警消息的智能网关所在的边缘节点的当前运行状态超出负荷。此时,资源调度模块可以将超出负荷的边缘节点中的待处理数据缓存至中转缓存模块,并调度边缘组网中的其他边缘节点对该边缘节点中的待计算数据进行处理,从而减轻该边缘节点的负荷。具体的,资源调度模块可以从边缘组网所包括的各边缘节点的智能网关中获取各边缘节点的当前运行状态,从而确定出当前运行状态低于第二运行状态的目标边缘节点。并且,资源调度模块可以将该边缘节点中的待计算数据缓存至中转缓存模块。该计算模块所对应的计算算法与待计算数据对应的计算算法匹配。
在一些实施例中,上述待处理数据和第三数据的缓存均可以有各边缘节点中的存储模块完成。也就是资源模块可以向边缘节点中的存储模块下发缓存任务,存储模块根据该缓存任务获取相应的数据缓存至中转缓存模块。在此,对上述数据缓存至中转缓存模块的方式不作具体限定。
目标边缘节点中的计算模块在接收到资源调度模块发送的第二计算任务时,可以根据该第二计算任务,对待计算数据进行计算处理,得到计算处理后的数据(为便于区分,记为第三数据)。此时,目标边缘节点可以将计算得到的第三数据存储至中转缓存模块。其中,第三数据的存储可以由目标边缘节点中的存储模块完成。关于第三数据的计算过程可参照上述第一数据的计算过程,在此不作具体说明。
在一些实施例中,在将上述待计算数据缓存至上述中转缓存模块时,资源调度模块可以向上述存储模块下发针对待计算数据的存储任务。存储模块在接收到该存储任务时,可以将该待计算数据缓存至中转缓存模块。
在另一些实施例中,针对缓存节点接收到的第一数据,上述资源调度模块在确定该第一数据对应待存储数据的目标存储方式后,存储模块在根据目标存储方式对待存储数据进行存储时,除了将待存储数据存储在本地,还可以将待存储数据缓存至上述中转缓存模块。
在一些实施例中,上述第二运行状态小于上述第一运行状态。例如,上述第二运行状态可以为20%、10%、0%(即空闲状态)等数值。在此,对上述第二运行状态不作具体限定。
在一些实施例中,当上述边缘组网中存在多个当前运行状态低于上述第二运行状态的边缘节点时,资源调度模块可以将当前运行状态最低的边缘节点确定为目标边缘节点。
步骤S406,资源调度模块向该边缘节点的智能网关发送针对第三数据的通知指令。
在一些实施例中,资源调度模块可以实时监测目标边缘节点是否在中转缓存模块中缓存上述第三数据。当监测到目标边缘节点在中转缓存模块中缓存上述第三数据时,资源调度模块可以向上述边缘节点(即当前运行状态大于第一运行状态的边缘节点)发送针对第三数据的通知指令。
在另一些实施例中,当目标边缘节点将上述第三数据缓存至中转缓存模块后,可以通过本地数据引擎模块向资源调度模块发送针对第三数据的通知消息。资源调度模块在接收到该通知消息后,可以向上述边缘节点(即当前运行状态大于第一运行状态的边缘节点)发送针对第三数据的通知指令。
在一些实施例中,上述通知消息或通知指令中可以包括上述第三数据在中转缓存模块中的缓存地址。
步骤S407,智能网关根据接收到的通知指令,从中转缓存模块获取第三数据。
在本步骤中,上述边缘节点中的智能网关在接收到资源调度模块下发的通知指令时,可以从上述中转缓存模块中获取上述目标边缘节点缓存的第三数据。也就是从中转缓存模块中获取对上述待计算数据进行计算处理的计算结果。
为便于理解,结合图5为例进行说明。图5为本公开实施例提供的边缘组网的第一种结构示意图。
在图5所示的边缘组网中把控中转缓存模块、资源调度模块和N个边缘节点,即边缘节点1-边缘节点N。每一边缘节点中均设置有智能网关。
某一时刻,当某一边缘节点的当前运行状态高于上述第一运行状态时,例如,边缘节点2的当前运行状态高于上述第一运行状态。此时,资源调度模块可以获取每一边缘节点的当前运行状态,并将边缘节点2中的待处理数据缓存至中转缓存模块。资源调度模块可以选取当前运行状态最低的边缘节点作为目标边缘节点,如边缘节点1当前运行状态为0%,则将边缘节点1确定为目标边缘节点。此时,资源调度模块可以向边缘节点1发送计算任务。
边缘节点1中的计算模块在接收到该计算任务时可以从中转缓存模块获取边缘节点2的待计算数据,并对该待计算数据进行计算处理,得到处理后的数据,并将该处理后的数据缓存至中转缓存模块。
资源调度模块在边缘节点1将处理后的数据缓存至中转缓存模块后,向边缘节点2的智能网关2发送通知指令。
智能网关2根据接收到的通知指令,从中转缓存模块获取待处理数据对应处理后的数据。
通过上述步骤S405-步骤S407,当边缘节点的运行状态负荷较高时,资源调度模块通过调用目标边缘节点,对该边缘节点中的数据进行处理,可以有效缓解该边缘节点的负荷,在提高数据计算效率的同时,可以充分利用边缘组网中各边缘节点的计算资源。
在一些实施例中,根据上述图1所示的方法,本公开实施例还提供了一种数据计算方法。如图6所示,图6为本公开实施例提供的数据计算方法的第五种信令图。该方法包括以下步骤。
步骤S601,本地数据引擎模块在接收到第一数据时,确定第一数据对应的目标计算算法,并将目标计算算法发送至资源调度模块。
步骤S602,资源调度模块根据边缘节点中每一计算模块对应的计算算法,确定多个计算模块中与目标计算算法对应的目标计算模块,并向目标计算模块下发针对第一数据的第一计算任务。
步骤S603,目标计算模块获取第一数据,并根据第一计算任务对第一数据进行计算处理,得到第二数据。
上述步骤S601-步骤S603与上述步骤S101-步骤S103相同。
步骤S604,本地数据引擎模块在接收到第一数据后,向资源调度模块发送针对第一数据对应待加密数据的加密算法获取请求。
在本步骤中,上述本地数据引擎模块在接收到上述第一数据时,为保证第一数据对应待加密数据的安全性,本地数据引擎模块可以对接收到的待加密数据进行加密处理。此时,本地数据引擎模块可以向上述资源调度模块发送针对待加密数据的加密算法获取请求。
上述第一数据对应的待加密数据包括但不限于上述第一数据,上述计算处理过程中的中间数据、第二数据等。在此,对上述第一数据对应的待加密数据不作具体限定。
上述步骤S604可以与上述步骤S601同时执行,也可以在上述步骤S601之前/之后执行。在此,对上述步骤S601和步骤S604的执行顺序不作具体限定。
步骤S605,资源调度模块根据加密算法获取请求,向本地数据引擎模块发送针对待加密数据的第一算法黑箱,并将第一算法黑箱发送至本地数据引擎模块;第一算法黑箱是对待加密数据的加密算法进行黑盒封装得到的。
在本步骤中,资源调度模块可以对不同的加解密算法进行黑盒封装,得到对应的算法黑箱。当上述资源调度模块接收到上述加密算法获取请求时,资源调度模块可以确定针对该待加密数据进行加密的加密算法,并对该加密算法进行黑盒封装,得到第一算法黑箱。资源调度模块向上述本地数据引擎模块发送该第一算法黑箱。
根据待加密数据的不同,资源调度模块可以采用不同的加密算法进行加密。在此,对上述待加密数据的加密算法不作具体限定。
在本公开实施例中,针对每一算法,当该算法经过黑盒封装处理得到算法黑箱后,该算法黑箱将无法被获知,有效提高了该算法的安全性。
步骤S606,本地数据引擎模块获取第一数据对应的待加密数据,并利用接收到的第一算法黑箱对待加密数据进行加密,得到第四数据。
在本步骤中,本地数据引擎模块在接收到上述第一算法黑箱后,可以获取第一数据所对应的待加密数据,并利用第一算法黑箱对待加密数据进行加密处理,得到加密后的数据(记为第四数据)。也就是将待加密数据输入第一算法黑箱,并获取该第一算法黑箱输出的数据,得到第四数据。
通过上述步骤S604-步骤S606,在待加密数据的加密过程中,仅有资源调度模块可以确定待加密数据所对应的加密算法,边缘节点所接收到的加密算法为黑盒封装得到的算法黑箱,因此,边缘节点并不清楚待加密数据所对应的加密算法,有效降低了加密算法泄露的风险,降低第四数据被破解的可能性。
另外,通过本地数据引擎模块和资源调度模块的数据交互过程,可以有效规避数据加密过程中的数据孤岛现象,确保数据的安全隐私保护,实现便于后期边缘节点与中心节点间数据的可信执行环境(Trusted Execution Environment,TEE)隐私传输。
在一些实施例中,根据上述图6所示的方法,本公开实施例还提供了一种数据计算方法。如图7所示,图7为本公开实施例提供的数据计算方法的第六种信令图。在图7所示的方法中增加了以下步骤,即步骤S607-步骤S609。
步骤S607,本地数据引擎模块向资源调度模块发送针对第四数据的解密算法获取请求。
步骤S608,资源调度模块根据解密算法获取请求,向本地数据引擎模块发送针对第四数据的第二算法黑箱,并将第二算法黑箱发送至本地数据引擎模块;第二算法黑箱是对第四数据的解密算法进行黑盒封装得到的。
在本公开实施例中,上述资源调度模块在确定待加密数据对应的加密算法后,可以确定相应的解密算法,当资源调度模块接收到上述解密算法获取请求时,可以对该解密算法进行黑盒封装得到第二算法黑箱。
步骤S609,本地数据引擎模块利用接收到的第二算法黑箱对第四数据进行解密,得到待加密数据。
上述步骤S607-步骤S609与上述步骤S604-步骤S606相似,在此不作具体说明。
通过上述步骤S607-步骤S609,在第四数据的解密过程中,仅有资源调度模块可以确定第四数据所对应的解密算法,边缘节点所接收到的解密算法为黑盒封装得到的算法黑箱,因此,边缘节点并不清楚第四数据所对应的解密算法,有效降低了解密算法泄露的风险,降低第四数据被破解的可能性。
在上述实施例中,仅以边缘节点中的数据加解密过程为例进行说明。当边缘节点与中心节点进行TEE隐私传输时,上述边缘节点在进行数据加密处理后,数据解密处理将在中心节点中进行。在此过程中,数据加密算法和解密算法可以预先协商好的、且经过黑盒封装得到的。
在上述实施例中,上述数据加密过程和数据解密过程均是在上述本地数据引擎中进行的。除此以外,针对边缘节点中的数据加解密过程,也就是不需要与中心节点进行交互的数据,可以有上述计算模块对数据进行加解密处理。具体过程上述加密过程和解密过程相似,在此不作具体说明。
在一些实施例中,根据上述图6所示的方法,本公开实施例还提供了一种数据计算方法。如图8所示,图8为本公开实施例提供的数据计算方法的第七种信令图。在图8所示的方法中增加了以下步骤,即步骤S610。
步骤S610,本地数据引擎模块在接收到中心节点发送的针对第一数据的数据获取请求时,获取与数据获取请求匹配的第五数据,作为待发送数据,并向中心节点发送待发送数据。
在本步骤中,边缘节点可以与中心节点通信连接,中心节点可以向边缘节点发送针对某一数据的数据获取请求。当中心节点向边缘节点发送针对上述第一数据的数据获取请求时,边缘节点将接收到的该数据获取请求。此时,边缘节点中的本地数据引擎模块可以根据该数据获取请求,获取与之匹配的第五数据,作为待发送数据。边缘节点中的本地数据引擎模块向中心节点发送该带发送数据。
在一些实施例中,上述第五数据为与第一数据相关的数据,如上述第一数据、第二数据等。
在一些实施例中,上述第五数据为加密后的数据。如上述对待加密数据进行加密得到的第四数据。
在本公开实施例中,对上述待发送数据不作具体限定。
通过上述步骤S610,边缘节点可以与中心节点进行数据交互。
为便于理解,结合图9-a、图9-b、图9-c和图9-d对上述边缘组网进行说明。
图9-a为本公开实施例提供的资源调度模块的一种结构示意图。在图9-a所示的资源调度模块中包括存储调度单元、计算调度单元、隐私计算调度单元。
在图9-a中,存储调度单元用于根据边缘节点中不同数据类型的数据,确定数据所对应的存储方式,从而使得边缘节点根据每一数据对应的存储方式,将数据存储到相应的数据存储库中。
为便于理解,结合图9-c所示的存储模块为例进行说明。针对边缘节点中进行联邦学习所产生的中间数据,存储调度单元在生成指示存储模块进行数据存储的存储任务时,可以指示存储模块将中间数据存储至图9-c所示的联邦学习中间数据存储单元中。针对边缘节点中的其他数据,如加密处理得到加密数据、边缘节点接收到的数据等,存储调度单元在生成指示存储模块进行数据存储的存储任务时,可以指示存储模块将这些数据存储至图9-c所示的数据存储单元中。针对边缘节点中各计算模块所对应的计算算法,存储调度单元向存储模块下指示计算算法存储至算法模型仓库的存储任务。
在本公开实施例中,上述存储调度单元在指示存储模块对联邦学习的中间数据以及其他数据进行存储时,还可以指示存储模块将该中间数据和其他数据缓存至边缘组网中的中转缓存模块。
上述图9-c仅示出存储模块的一种结构示意图。除此以外,存储模块还可以采用其他结构,如存储模块可以包括上述关系型数据库、非关系型数据库和视频格式结构性数据库。在此,对上述存储模块的结构不作具体限定。
通过上述存储调度单元可以实现对边缘节点中有限的存储资源的动态规划,使得边缘节点的存储资源可以得到充分的利用。
在图9-a中,计算调度单元用于根据边缘节点中不同数据的计算算法,确定数据计算过程所用的计算模型,从而使得与数据对应计算算法匹配的计算模块对数据进行计算处理。
为便于理解,结合图9-d所示的计算模块进行说明。在图9-d中计算模块包括计算单元和隐私计算单元。其中,计算单元的数量可以为多个,每一计算单元存在对应的计算算法。
计算调度单元针对需要进行不同计算的数据,确定对应的计算单元下发计算任务。以图9-d中的计算单元所对应的算法为图像校正算法为例。针对需要进行特征校正的数据,计算调度单元可以向图9-d中的计算单元下发计算任务。针对需要进行加密处理的数据,计算调度单元可以向图9-d中的隐私计算单元下发计算任务。
在本公开实施例中,上述计算模块中的各计算单元所对应的计算算法可以存储在图9-c所示的算法模型仓库中。计算单元在对数据进行计算处理时,可以调用算法模型仓库中相应的计算算法对数据进行计算处理。
在图9-a中,隐私计算调度单元用于对数据加密时的加密算法进行黑盒封装处理,得到算法黑箱,从而将算法黑箱下发至边缘节点。边缘节点中的计算模块,即图9-d所示计算模块中的计算单元根据该算法黑箱对数据进行加密处理。
在上述实施例中,资源调度模块与边缘节点的交互过程均是通过图9-b所示的本地数据引擎模块中的数据交互单元进行的。除此以外,在图9-b所示的本地数据引擎模块中还包括数据清洗单元,数据加解密单元和数据分析单元。其中,数据清洗单元用于数据清洗。数据加解密单元用于对数据进行加密或解密处理。数据分析单元用于对数据进行分析,如确定数据所对应的数据类型等。
基于同一种发明构思,根据上述本公开实施例提供的数据计算方法,本公开实施例还提供了一种边缘组网。如图10-a所示,图10-a为本公开实施例提供的边缘组网的第二种结构示意图。在图10-a所示的边缘组网中包括资源调度模块1001和边缘节点1002,边缘节点1002包括本地数据引擎模块1003和多个计算模块;
上述本地数据引擎模块1003,用于在接收到第一数据时,确定第一数据对应的目标计算算法,并将目标计算算法发送至资源调度模块1001;
上述资源调度模块1001,用于根据边缘节点1002中每一计算模块对应的计算算法,确定多个计算模块中与目标计算算法对应的目标计算模块1004,并向目标计算模块1004下发针对第一数据的第一计算任务;
上述目标计算模块1004,用于获取第一数据,并根据第一计算任务对第一数据进行计算处理,得到第二数据。
在一些实施例中,如图10-b所示,上述边缘节点1002还可以包括存储模块1005;
上述本地数据引擎模块1003,还用于在接收到第一数据时,确定第一数据对应的目标数据类型,并将目标数据类型发送至资源调度模块1001;
上述资源调度模块1001,还用于根据目标数据类型,确定第一数据对应待存储数据的目标存储方式,并向存储模块1005发送目标存储方式;
上述存储模块1005,用于获取第一数据对应的待存储数据,并按照目标存储方式,对待存储数据进行存储。
在一些实施例中,如图10-c所示,上述边缘节点1002还包括智能网关1006,边缘组网还包括中转缓存模块1007;边缘节点的数量为多个;
上述智能网关1006,用于监控该智能网关1006所在边缘节点1002的当前运行状态,并在当前运行状态高于第一运行状态时,向资源调度模块1001发送告警消息;
上述资源调度模块1001,还用于根据告警消息,将该边缘节点1002中的待计算数据缓存至中转缓存模块1007,并从多个边缘节点的智能网关中获取各边缘节点的当前运行状态,向目标边缘节点中的计算模块发送针对待计算数据的第二计算任务,以使目标边缘节点中的计算模块根据接收到的第二计算任务,从中转缓存模块1007中获取待计算数据,对待计算数据进行计算处理,得到第三数据,并将第三数据缓存至中转缓存模块1007;其中,目标边缘节点为多个边缘节点中当前运行状态低于第二运行状态的边缘节点;
上述资源调度模块1001,还用于向该边缘节点1002的智能网关1006发送针对第三数据的通知指令;
上述智能网关1006,还用于根据接收到的通知指令,从中转缓存模块1007获取第三数据。
在一些实施例中,上述本地数据引擎模块1003,还可以用于在接收到第一数据后,向资源调度模块1001发送针对第一数据对应待加密数据的加密算法获取请求;
上述资源调度模块1001,还用于根据加密算法获取请求,向本地数据引擎模块1003发送针对待加密数据的第一算法黑箱,并将第一算法黑箱发送至本地数据引擎模块1003;第一算法黑箱是对待加密数据的加密算法进行黑盒封装得到的;
上述本地数据引擎模块1003,还用于获取第一数据对应的待加密数据,并利用接收到的第一算法黑箱对待加密数据进行加密,得到第四数据;
上述本地数据引擎模块1003,还用于向资源调度模块1001发送针对第四数据的解密算法获取请求;
上述资源调度模块1001,还用于根据解密算法获取请求,向本地数据引擎模块1003发送针对第四数据的第二算法黑箱,并将第二算法黑箱发送至本地数据引擎模块1003;第二算法黑箱是对第四数据的解密算法进行黑盒封装得到的;
上述本地数据引擎模块1003,还用于利用接收到的第二算法黑箱对第四数据进行解密,得到待加密数据。
在一些实施例中,上述本地数据引擎模块1003,还可以用于在接收到中心节点发送的针对第一数据的数据获取请求时,获取与数据获取请求匹配的第五数据,作为待发送数据,并向中心节点发送待发送数据。
在一些实施例中,上述本地数据引擎模块1003,还可以用于在接收到第一数据时,对第一数据进行数据清洗,得到第六数据。
通过本公开实施例提供的边缘组网,可以在边缘节点包括的本地数据引擎模块接收到的第一数据时,确定该第一数据对应的目标计算算法,从而将该目标计算算法发送给资源调度模块,资源调度模块根据接收到的目标计算算法,确定边缘节点中与目标计算算法对应的目标计算模块,从而向目标计算模块下发针对第一数据的第一计算任务,目标计算模块根据该第一计算任务对第一数据进行处理,得到第二数据。
相比于相关技术中,在边缘层将边缘节点和资源调度模块构建为边缘组网,并对边缘节点进行模块化处理,也就是边缘节点包括本地数据引擎模块和多个计算模块,实现了边缘层的模块化。
另外,针对边缘节点接收到的每一数据,在进行数据计算时,由资源调度模块根据数据计算所需的计算算法进行计算模块的分配,在实现对边缘节点的综合管理的同时,实现了对边缘节点计算资源的统一调度,提高了对边缘节点的综合管理和高效调度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于边缘组网等实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本公开的较佳实施例,并非用于限定本公开的保护范围。凡在本公开的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本公开的保护范围内。
Claims (12)
1.一种数据计算方法,其特征在于,应用于边缘组网,所述边缘组网包括资源调度模块和边缘节点,所述边缘节点包括本地数据引擎模块和多个计算模块,所述方法包括:
所述本地数据引擎模块在接收到第一数据时,确定所述第一数据对应的目标计算算法,并将所述目标计算算法发送至所述资源调度模块;
所述资源调度模块根据所述边缘节点中每一计算模块对应的计算算法,确定所述多个计算模块中与所述目标计算算法对应的目标计算模块,并向所述目标计算模块下发针对所述第一数据的第一计算任务;
所述目标计算模块获取所述第一数据,并根据所述第一计算任务对所述第一数据进行计算处理,得到第二数据。
2.根据权利要求1所述的方法,其特征在于,所述边缘节点还包括存储模块;
所述方法还包括:
所述本地数据引擎模块在接收到所述第一数据时,确定所述第一数据对应的目标数据类型,并将所述目标数据类型发送至所述资源调度模块;
所述资源调度模块根据所述目标数据类型,确定所述第一数据对应待存储数据的目标存储方式,并向所述存储模块发送所述目标存储方式;
所述存储模块获取所述第一数据对应的待存储数据,并按照所述目标存储方式,对所述待存储数据进行存储。
3.根据权利要求1所述的方法,其特征在于,所述边缘节点还包括智能网关,所述边缘组网还包括中转缓存模块;
当所述边缘节点的数量为多个时,所述方法还包括:
所述智能网关监控该智能网关所在边缘节点的当前运行状态,并在所述当前运行状态高于第一运行状态时,向所述资源调度模块发送告警消息;
所述资源调度模块根据所述告警消息,将该边缘节点中的待计算数据缓存至所述中转缓存模块,并从所述多个边缘节点的智能网关中获取各边缘节点的当前运行状态,向目标边缘节点中的计算模块发送针对所述待计算数据的第二计算任务,以使所述目标边缘节点中的计算模块根据接收到的第二计算任务,从所述中转缓存模块中获取所述待计算数据,对所述待计算数据进行计算处理,得到第三数据,并将所述第三数据缓存至所述中转缓存模块;其中,所述目标边缘节点为所述多个边缘节点中当前运行状态低于第二运行状态的边缘节点;
所述资源调度模块向该边缘节点的智能网关发送针对所述第三数据的通知指令;
所述智能网关根据接收到的通知指令,从所述中转缓存模块获取所述第三数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述本地数据引擎模块在接收到所述第一数据后,向所述资源调度模块发送针对所述第一数据对应待加密数据的加密算法获取请求;
所述资源调度模块根据所述加密算法获取请求,向所述本地数据引擎模块发送针对所述待加密数据的第一算法黑箱,并将所述第一算法黑箱发送至所述本地数据引擎模块;所述第一算法黑箱是对所述待加密数据的加密算法进行黑盒封装得到的;
所述本地数据引擎模块获取所述第一数据对应的待加密数据,并利用接收到的第一算法黑箱对所述待加密数据进行加密,得到第四数据;
所述方法还包括:
所述本地数据引擎模块向所述资源调度模块发送针对所述第四数据的解密算法获取请求;
所述资源调度模块根据所述解密算法获取请求,向所述本地数据引擎模块发送针对所述第四数据的第二算法黑箱,并将所述第二算法黑箱发送至所述本地数据引擎模块;所述第二算法黑箱是对所述第四数据的解密算法进行黑盒封装得到的;
所述本地数据引擎模块利用接收到的第二算法黑箱对所述第四数据进行解密,得到待加密数据。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
所述本地数据引擎模块在接收到中心节点发送的针对所述第一数据的数据获取请求时,获取与所述数据获取请求匹配的第五数据,作为待发送数据,并向所述中心节点发送所述待发送数据。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述本地数据引擎模块在接收到所述第一数据时,对所述第一数据进行数据清洗,得到第六数据。
7.一种边缘组网,其特征在于,所述边缘组网包括资源调度模块和边缘节点,所述边缘节点包括本地数据引擎模块和多个计算模块;
所述本地数据引擎模块,用于在接收到第一数据时,确定所述第一数据对应的目标计算算法,并将所述目标计算算法发送至所述资源调度模块;
所述资源调度模块,用于根据所述边缘节点中每一计算模块对应的计算算法,确定所述多个计算模块中与所述目标计算算法对应的目标计算模块,并向所述目标计算模块下发针对所述第一数据的第一计算任务;
所述目标计算模块,用于获取所述第一数据,并根据所述第一计算任务对所述第一数据进行计算处理,得到第二数据。
8.根据权利要求7所述的边缘组网,其特征在于,所述边缘节点还包括存储模块;
所述本地数据引擎模块,还用于在接收到所述第一数据时,确定所述第一数据对应的目标数据类型,并将所述目标数据类型发送至所述资源调度模块;
所述资源调度模块,还用于根据所述目标数据类型,确定所述第一数据对应待存储数据的目标存储方式,并向所述存储模块发送所述目标存储方式;
所述存储模块,用于获取所述第一数据对应的待存储数据,并按照所述目标存储方式,对所述待存储数据进行存储。
9.根据权利要求7所述的边缘组网,其特征在于,所述边缘节点还包括智能网关,所述边缘组网还包括中转缓存模块;所述边缘节点的数量为多个;
所述智能网关,用于监控该智能网关所在边缘节点的当前运行状态,并在所述当前运行状态高于第一运行状态时,向所述资源调度模块发送告警消息;
所述资源调度模块,还用于根据所述告警消息,将该边缘节点中的待计算数据缓存至所述中转缓存模块,并从所述多个边缘节点的智能网关中获取各边缘节点的当前运行状态,向目标边缘节点中的计算模块发送针对所述待计算数据的第二计算任务,以使所述目标边缘节点中的计算模块根据接收到的第二计算任务,从所述中转缓存模块中获取所述待计算数据,对所述待计算数据进行计算处理,得到第三数据,并将所述第三数据缓存至所述中转缓存模块;其中,所述目标边缘节点为所述多个边缘节点中当前运行状态低于第二运行状态的边缘节点;
所述资源调度模块,还用于向该边缘节点的智能网关发送针对所述第三数据的通知指令;
所述智能网关,还用于根据接收到的通知指令,从所述中转缓存模块获取所述第三数据。
10.根据权利要求7所述的边缘组网,其特征在于,所述本地数据引擎模块,还用于在接收到所述第一数据后,向所述资源调度模块发送针对所述第一数据对应待加密数据的加密算法获取请求;
所述资源调度模块,还用于根据所述加密算法获取请求,向所述本地数据引擎模块发送针对所述待加密数据的第一算法黑箱,并将所述第一算法黑箱发送至所述本地数据引擎模块;所述第一算法黑箱是对所述待加密数据的加密算法进行黑盒封装得到的;
所述本地数据引擎模块,还用于获取所述第一数据对应的待加密数据,并利用接收到的第一算法黑箱对所述待加密数据进行加密,得到第四数据;
所述本地数据引擎模块,还用于向所述资源调度模块发送针对所述第四数据的解密算法获取请求;
所述资源调度模块,还用于根据所述解密算法获取请求,向所述本地数据引擎模块发送针对所述第四数据的第二算法黑箱,并将所述第二算法黑箱发送至所述本地数据引擎模块;所述第二算法黑箱是对所述第四数据的解密算法进行黑盒封装得到的;
所述本地数据引擎模块,还用于利用接收到的第二算法黑箱对所述第四数据进行解密,得到待加密数据。
11.根据权利要求10所述的边缘组网,其特征在于,所述本地数据引擎模块,还用于在接收到中心节点发送的针对所述第一数据的数据获取请求时,获取与所述数据获取请求匹配的第五数据,作为待发送数据,并向所述中心节点发送所述待发送数据。
12.根据权利要求7所述的边缘组网,其特征在于,所述本地数据引擎模块,还用于在接收到所述第一数据时,对所述第一数据进行数据清洗,得到第六数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210593143.2A CN114968583A (zh) | 2022-05-27 | 2022-05-27 | 一种数据计算方法及边缘组网 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210593143.2A CN114968583A (zh) | 2022-05-27 | 2022-05-27 | 一种数据计算方法及边缘组网 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114968583A true CN114968583A (zh) | 2022-08-30 |
Family
ID=82957148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210593143.2A Pending CN114968583A (zh) | 2022-05-27 | 2022-05-27 | 一种数据计算方法及边缘组网 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114968583A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115525425A (zh) * | 2022-09-16 | 2022-12-27 | 中国电信股份有限公司 | 基于云原生技术的联邦学习计算引擎编排方法及其设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109274745A (zh) * | 2018-09-28 | 2019-01-25 | 北京北斗方圆电子科技有限公司 | 一种边缘节点优化计算的物联网系统和方法 |
CN112953993A (zh) * | 2019-12-11 | 2021-06-11 | 阿里巴巴集团控股有限公司 | 资源调度方法、设备、网络系统及存储介质 |
CN113032135A (zh) * | 2019-12-24 | 2021-06-25 | 北京初速度科技有限公司 | 一种地图生产系统及其方法 |
CN113806066A (zh) * | 2021-04-06 | 2021-12-17 | 京东科技控股股份有限公司 | 大数据资源调度方法、系统和存储介质 |
CN113934545A (zh) * | 2021-12-17 | 2022-01-14 | 飞诺门阵(北京)科技有限公司 | 一种视频数据调度方法、系统、电子设备及可读介质 |
WO2022067557A1 (zh) * | 2020-09-29 | 2022-04-07 | 西门子股份公司 | 边缘计算方案设计方法、装置和计算机可读介质 |
-
2022
- 2022-05-27 CN CN202210593143.2A patent/CN114968583A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109274745A (zh) * | 2018-09-28 | 2019-01-25 | 北京北斗方圆电子科技有限公司 | 一种边缘节点优化计算的物联网系统和方法 |
CN112953993A (zh) * | 2019-12-11 | 2021-06-11 | 阿里巴巴集团控股有限公司 | 资源调度方法、设备、网络系统及存储介质 |
CN113032135A (zh) * | 2019-12-24 | 2021-06-25 | 北京初速度科技有限公司 | 一种地图生产系统及其方法 |
WO2022067557A1 (zh) * | 2020-09-29 | 2022-04-07 | 西门子股份公司 | 边缘计算方案设计方法、装置和计算机可读介质 |
CN113806066A (zh) * | 2021-04-06 | 2021-12-17 | 京东科技控股股份有限公司 | 大数据资源调度方法、系统和存储介质 |
CN113934545A (zh) * | 2021-12-17 | 2022-01-14 | 飞诺门阵(北京)科技有限公司 | 一种视频数据调度方法、系统、电子设备及可读介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115525425A (zh) * | 2022-09-16 | 2022-12-27 | 中国电信股份有限公司 | 基于云原生技术的联邦学习计算引擎编排方法及其设备 |
CN115525425B (zh) * | 2022-09-16 | 2024-05-14 | 中国电信股份有限公司 | 基于云原生技术的联邦学习计算引擎编排方法及其设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9967168B2 (en) | Remote real-time monitoring system based on cloud computing | |
CN111752795A (zh) | 一种全流程监控报警平台及其方法 | |
CN113112086A (zh) | 一种基于边缘计算和标识解析的智能生产系统 | |
CN106910146B (zh) | 一种基于流式处理技术的异构教育数据交换平台及方法 | |
CN104468648A (zh) | 数据处理系统及方法 | |
KR102167005B1 (ko) | 다중 kafka를 이용한 실시간 데이터 전송 시스템 및 방법 | |
CN114968583A (zh) | 一种数据计算方法及边缘组网 | |
CN115442029A (zh) | 一种用于智能工厂的云平台 | |
CN111953771A (zh) | 一种配电物联网管理系统 | |
CN208046653U (zh) | 一种电力监控系统网络安全监测主站平台系统 | |
CN110086878A (zh) | 一种5g私有网络及构建方法 | |
CN113873033B (zh) | 一种具有容错功能的智能边缘计算网关平台 | |
CN112230626B (zh) | 一种车辆诊断数据上报方法、装置、设备及存储介质 | |
CN109788249B (zh) | 基于工业互联网操作系统的视频监控控制方法 | |
CN115118449B (zh) | 一种面向能源互联网安全高效交互的边缘代理服务器 | |
CN106919828B (zh) | 一种idc机房智能化管理系统 | |
CN1453700A (zh) | 一种通过网络对防火墙设备进行安全管理的方法 | |
Wang et al. | Secure and Scalable Blockchain for IIoT with Dual Compression Scheme | |
CN109597738A (zh) | 一种面向企业的运维管理系统 | |
CN114978619B (zh) | 用于多元负荷调控系统跨安全区数据集成监视方法和系统、介质 | |
CN112422510B (zh) | 基于dmz区的数据传输方法和系统 | |
CN115395661B (zh) | 基于电力专网构建的新能源远程集控中心通信系统 | |
CN208241698U (zh) | 一种互联网数据中心机房智能化管理设备 | |
CN112751709B (zh) | 一种存储集群的管理方法、装置和系统 | |
CN118714114A (zh) | Ip地址管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |