CN111464627A - 数据处理方法、边缘服务器、中心服务器及处理系统 - Google Patents
数据处理方法、边缘服务器、中心服务器及处理系统 Download PDFInfo
- Publication number
- CN111464627A CN111464627A CN202010240844.9A CN202010240844A CN111464627A CN 111464627 A CN111464627 A CN 111464627A CN 202010240844 A CN202010240844 A CN 202010240844A CN 111464627 A CN111464627 A CN 111464627A
- Authority
- CN
- China
- Prior art keywords
- data
- frame
- identity
- edge
- calling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 113
- 238000004458 analytical method Methods 0.000 claims description 65
- 230000004044 response Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种基于云边协同的数据处理方法、边缘服务器、中心服务器及数据处理系统;所述数据处理方法包括:接收终端设备的数据请求;解析所述数据请求确定所述终端设备的身份标识及数据类型;根据所述数据类型调取数据计算框架;根据身份标识向对应的终端设备发送数据处理请求;接收终端设备发送的数据计算任务;根据所述数据计算框架,加载数据计算任务,得到计算结果;根据所述身份标识,将所述计算结果发送至所述终端设备。本发明边缘服务器分别连接多个终端设备及中心服务器,可根据终端设备的数据请求,直接在边缘服务器实时计算处理,不需上传到中心服务器,从而降低中心服务器的存储与计算负载压力,减少数据传输的带宽占用。
Description
技术领域
本发明涉及边缘计算机通信技术领域,特别涉及一种基于云边协同的数据处理方法、边缘服务器、中心服务器及数据处理系统。
背景技术
云计算是传统的物联网系统数据处理的典型方式。具体来说,用户或终端利用物联网技术将数据资源上传到云端,即是中心服务器,利用中心服务器强大的存储能力和计算能力对数据资源进行集中的存储、计算和处理。继而,中心服务器将计算结果反馈给用户,完成云计算处理。
随着智能终端增长,其产生的数据亦是爆发式增长,传统的基于云计算的集中式数据处理方式势必会大大增加数据传输的带宽占用,同时会增加中心服务器的存储和计算负载压力。另外,对于时延性要求高的应用场景,如车联网、AR等,云计算的数据处理方式很难满足其应用的要求,这样需要更适合的数据处理架构方式去解决现有云计算集中式数据处理存在的问题。但是云计算具有算力强、存储空间大等优点,对于数据处理中智能算法模型训练仍然具有极大的优势。
同时日益发展的边缘计算成为新的数据处理范式,可以有效减少物联网场景中数据传输对带宽的占用,同时减少对中心服务器的存储和计算压力。现阶段边缘侧硬件的计算和存储资源有限,虽然不适合数据处理中智能算法模型的训练,但是仍可进行算法模型的部署以实现推理执行功能。同时,冗余的算法模型在边缘侧硬件的部署势必会占用计算与存储资源,造成一定的浪费。
发明内容
为了解决现有技术中的上述问题,即为了减少数据传输对带宽的占用,减少中心服务器的计算与存储的负载压力。同时,进一步降低冗余算法模型在边缘服务器部署对其计算与存储资源的占用,本发明提供一种基于云边协同的数据处理方法、边缘服务器、中心服务器及数据处理系统,实现边缘服务器计算框架按需加载。同时,由于中心服务器的计算框架可编程,可更新,最大限度发挥云端和边缘侧的优势,提高数据处理的效率。
为解决上述技术问题,本发明提供了如下方案:
一种基于云边协同的数据处理方法,所述边缘服务器分别连接多个终端设备及中心服务器,所述数据处理方法包括:
接收终端设备的数据请求;
解析所述数据请求确定所述终端设备的身份标识及数据类型;
根据所述数据类型调取数据计算框架,以实现按需加载所述数据计算框架;
根据所述身份标识向对应的终端设备发送数据处理请求,以获取数据计算任务;
接收所述终端设备发送的数据计算任务;
根据所述数据计算框架,加载所述数据计算任务,得到计算结果;
根据所述身份标识,将所述计算结果发送至所述终端设备。
可选地,所述边缘服务器的第一分析组件中存储有本边缘侧网络内所有终端设备的身份标识;
所述解析所述数据请求确定所述终端设备的身份标识及数据类型,具体包括:
对所述数据请求进行解析,获得所述终端设备的身份标识;
将所述终端设备的身份标识与已存储的身份标识进行匹配,如果匹配不成功,则结束;
如果匹配成功,则对所述终端设备的身份标识进行索引,确定数据类型。
可选地,所述边缘服务器的第一分析组件中存储有多对数据计算框架及框架类型;
所述根据所述数据类型调取数据计算框架,以实现按需加载所述数据计算框架,具体包括:
将所述数据类型与已存储的框架类型进行匹配,如果匹配成功,则根据匹配的框架类型调取对应的数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架;
如果匹配不成功,则向所述中心服务器发送调取框架请求,所述调取框架请求中携带有所述边缘服务器的身份标识及框架类型;
接收所述中心服务器发送的调取框架响应;
解析所述调取框架响应,得到与所述数据类型匹配的框架类型对应数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架。
可选地,所述根据所述数据类型调取数据计算框架,还包括:
将解析得到的框架类型及数据计算框架更新到所述第一分析组件中。
可选地,所述数据类型为以下两类中任意一者:
按照数据格式分类,所述数据类型为视频流数据、图像数据、文本数据中任意一者;
按照结构化分类,所述数据类型为结构化数据或非结构化数据。
为解决上述技术问题,本发明还提供了如下方案:
一种基于云边协同的边缘服务器,所述边缘服务器分别连接多个终端设备及中心服务器,所述边缘服务器包括:
第一接收单元,与终端设备连接,用于接收终端设备的数据请求;
第一解析单元,用于解析所述数据请求确定所述终端设备的身份标识及数据类型;
第一调取单元,用于根据所述数据类型调取数据计算框架,以实现按需加载所述数据计算框架;
第一发送单元,与终端设备连接,用于根据所述身份标识向对应的终端设备发送数据处理请求,以获取数据计算任务;
第二接收单元,用于接收所述终端设备发送的数据计算任务;
加载单元,用于根据所述数据计算框架,加载所述数据计算任务,得到计算结果;
第二发送单元,与终端设备连接,用于根据所述身份标识,将所述计算结果发送至所述终端设备。
可选地,所述边缘服务器还包括第一分析组件,所述第一分析组件中存储有本边缘侧网络内所有终端设备的身份标识,以及有多对数据计算框架及框架类型,且所述边缘服务器与所述中心服务器实时交互使得所述边缘服务器内的第一分析组件中的已有数据计算框架会实时更新;
所述第一解析单元包括:
第一解析模块,与所述第一接收单元连接,用于对所述数据请求进行解析,获得所述终端设备的身份标识;
第一匹配模块,分别与所述第一解析模块及第一分析组件连接,用于将所述终端设备的身份标识与已存储的身份标识进行匹配,如果匹配不成功,则结束;
索引模块,分别与所述第一匹配模块及第一分析组件连接,用于在所述第一匹配模块将所述终端设备的身份标识与已存储的身份标识匹配成功时,对所述终端设备的身份标识进行索引,确定数据类型;
第二匹配模块,用于将所述数据类型与已存储的框架类型进行匹配;
调取模块,用于当所述第二匹配模块的匹配结果为成功时,根据匹配的框架类型调取对应的数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架;
发送模块,用于当所述第二匹配模块的匹配结果为匹配不成功时,向所述中心服务器发送调取框架请求,所述调取框架请求中携带有所述边缘服务器的身份标识及框架类型;
接收模块,用于接收所述中心服务器发送的调取框架响应;
第二解析模块,用于解析所述调取框架响应,得到与所述数据类型匹配的框架类型对应数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架。
为解决上述技术问题,本发明还提供了如下方案:
一种基于云边协同的中心服务器,所述中心服务器与多个边缘服务器连接,所述中心服务器包括:
第三接收单元,用于边缘服务器发送的调取框架请求,所述调取框架请求中携带有所述终端设备的身份标识及框架类型;
第二分析组件,用于存储有多个边缘服务器的身份标识、多对数据计算框架及对应的框架类型;
第二解析单元,用于对所述调取框架请求进行解析,得到所述边缘服务器的身份标识,并与所述第二分析组件中的身份标识匹配,如果匹配不成功,则结束,如果匹配成功,则继续解析所述调取框架请求得到框架类型;
第二调取单元,用于根据所述框架类型,从所述第二分析组件中调取对应的数据计算框架;
第三发送单元,分别与所述第二解析单元、第二调取单元及边缘服务器连接,用于根据解析得到的边缘服务器的身份标识,向对应的边缘服务器发送调取框架响应,所述调取框架响应中携带有数据计算框架。
可选地,所述中心服务器的数据计算框架集合C={C1,C2,…CN},数据计算框架Cn具有不同的核心功能,n=1,2,…,N;
其中,所述中心服务器的计算框架集合实时更新;
数据计算框架Cn包括核心算法组件、预处理组件、反馈组件、版本控制组件。
为解决上述技术问题,本发明还提供了如下方案:
一种基于云边协同的数据处理系统,所述数据处理系统包括:
多个终端设备、上述基于云边协同的边缘服务器,及上述基于云边协同的中心服务器;
各所述终端设备分别连接所述边缘服务器;所述边缘服务器与所述中心服务器连接。
根据本发明的实施例,本发明公开了以下技术效果:
本发明边缘服务器分别连接多个终端设备及中心服务器,可根据终端设备的数据请求,直接在边缘服务器实时计算处理,不需上传到中心服务器,从而降低中心服务器的存储与计算负载压力,减少数据传输的带宽占用。
同时,边缘服务器计算框架可按需加载,在保证边缘侧数据处理智能性的同时最大限度的节省边缘服务器的有限计算和存储资源。而且通过利用中心服务器的计算和存储能力,对计算框架实时更新,保证计算框架的智能性,且容器化的部署与更新方式保证了边缘服务器计算框架与云边计算框架版本的实时同步。总之,基于云边协同的数据处理方法可以实现数据资源的边缘侧实时的、智能的处理,提高数据处理效率,更好的保证数据隐私和安全。
附图说明
图1是本发明基于云边协同的数据处理方法的流程图;
图2是本发明基于云边协同的数据处理方法的具体实施例示意图;
图3是本发明基于云边协同的数据处理系统的模块结构示意图;
图4是本发明基于云边协同的边缘服务器的模块结构示意图;
图5是基于云边协同的数据处理计算框架交互逻辑示意图。
符号说明:
第一接收单元—1,第一解析单元—2,第一调取单元—3,第一发送单元—4,第二接收单元—5,加载单元—6,第二发送单元—7。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明的目的是提供一种基于云边协同的数据处理方法,其中边缘服务器分别连接多个终端设备及中心服务器,可根据终端设备的数据请求,直接在边缘服务器实时计算处理,不需上传到中心服务器,从而降低中心服务器的存储与计算负载压力,减少数据传输的带宽占用。
其中,中心服务器,指云端分布式部署的包含软硬件系统的服务器,其包含计算框架集合C,中心服务器的计算框架集合实时更新;
边缘服务器,指相对于中心服务器靠近边缘侧部署的边缘服务器,所述边缘服务器连接所述中心服务器,且所述边缘服务器中也存储有计算框架集合C,边缘服务器与中心服务器交互,实时更新其计算框架集合中已有计算框架;
终端设备,可将计算任务卸载到边缘服务器,所述终端设备连接边缘服务器。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和图2所示,本发明基于云边协同的数据处理方法包括:
步骤100:接收终端设备的数据请求;
步骤200:解析所述数据请求确定所述终端设备的身份标识及数据类型;
步骤300:根据所述数据类型调取数据计算框架,以实现按需加载所述数据计算框架;
步骤400:根据所述身份标识向对应的终端设备发送数据处理请求,以获取数据计算任务;
步骤500:接收所述终端设备发送的数据计算任务;
步骤600:根据所述数据计算框架,加载所述数据计算任务,得到计算结果;
步骤700:根据所述身份标识,将所述计算结果发送至所述终端设备。
在本实施例中,所述终端设备可为智能手机、传感器、平板电脑、存储器中至少一者。
其中,所述边缘服务器的第一分析组件中存储有本边缘侧网络内所有终端设备的身份标识。
在步骤200中,所述解析所述数据请求确定所述终端设备的身份标识及数据类型,具体包括:
步骤201:对所述数据请求进行解析,获得所述终端设备的身份标识。
步骤202:将所述终端设备的身份标识与已存储的身份标识进行匹配,如果匹配不成功,则结束。
步骤203:如果匹配成功,则对所述终端设备的身份标识进行索引,确定数据类型。
在本实施例中,所述边缘服务器通过加载内置的分析组件,对终端设备的身份进行认证并对数据请求进行解析,确定所述终端设备的身份和所述数据请求的数据类型。
具体来讲,边缘服务器收到的数据请求可以是一串JSON格式的协议代码,边缘服务器内置的分析组件对其进行协议分析,获取终端设备的身份标识,进行身份认证,同时也获取待处理的数据类型。具体地,所述数据类型为以下两类中任意一者:
按照数据格式分类,所述数据类型为视频流数据、图像数据、文本数据中任意一者;
按照结构化分类,所述数据类型为结构化数据或非结构化数据。
进一步地,所述边缘服务器的第一分析组件中存储有多对数据计算框架及框架类型。
在步骤300中,所述根据所述数据类型调取数据计算框架,以实现按需加载所述数据计算框架,具体包括:
步骤301:将所述数据类型与已存储的框架类型进行匹配。
步骤302:如果匹配成功,则根据匹配的框架类型调取对应的数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架。
步骤303:如果匹配不成功,则向所述中心服务器发送调取框架请求,所述调取框架请求中携带有所述终端设备的身份标识及框架类型。
所述中心服务器的分析组件对边缘服务器身份认证并对调取框架请求进行分析,确定所述边缘服务器身份标识和所述调取框架请求的框架类型。
进一步地,所述中心服务器根据所述边缘服务器下发的调取框架请求从计算框架集合C中提取对应的计算框架Cn。优选地,所述中心服务器下发相应的计算框架可以运用容器技术,实现计算框架的快速部署。
具体来讲,边缘服务器与中心服务器可以通过MQTT协议通讯,调取框架请求可以采用JSON格式,所述调取框架请求携带有边缘服务器身份标识和计算框架类型。所述中心服务器的分析组件对调取框架请求中的信息进行解析,获取边缘服务器的身份标识,进行身份认证,同时获取计算框架类型信息。
步骤304:接收所述中心服务器发送的调取框架响应。
步骤305:解析所述调取框架响应,得到与所述数据类型匹配的框架类型对应数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架。
优选地,本发明基于云边协同的数据处理方法包括:将解析得到的框架类型及数据计算框架更新到所述第一分析组件中。
在本发明中,边缘服务器与中心服务器实时交互,实时将所述边缘服务器的计算框架更新。
在本发明中,数据处理可以直接在边缘服务器实时计算处理,不需上传到中心服务器,从而降低中心服务器的存储与计算负载,减少数据传输的带宽占用。另外,边缘服务器计算框架按需从云端加载,大大减少边缘服务器的资源消耗。同时,在云端的计算框架可编程,可更新,最大限度发挥云端和边缘侧的优势,提高数据处理的效率。
此外,本发明还提供一种基于云边协同的边缘服务器,所述边缘服务器分别连接多个终端设备及中心服务器(如图3所示)。如图4所示,本基于云边协同的边缘服务器包括第一接收单元1、第一解析单元2、第一调取单元3、第一发送单元4、第二接收单元5、加载单元6及第二发送单元7。
其中,所述第一接收单元1与终端设备连接,所述第一接收单元1用于接收终端设备的数据请求;
所述第一解析单元2用于解析所述数据请求确定所述终端设备的身份标识及数据类型;
所述第一调取单元3用于根据所述数据类型调取数据计算框架;
所述第一发送单元4与终端设备连接,所述第一发送单元3用于根据所述身份标识向对应的终端设备发送数据处理请求,以获取数据计算任务;
所述第二接收单元5用于接收所述终端设备发送的数据计算任务;
所述加载单元6用于根据所述数据计算框架,加载所述数据计算任务,得到计算结果;
所述第二发送单元7与终端设备连接,所述第二发送单元7用于根据所述身份标识,将所述计算结果发送至所述终端设备。
优选地,所述边缘服务器还包括第一分析组件,所述第一分析组件中存储有本边缘侧网络内所有终端设备的身份标识,以及有多对数据计算框架及框架类型,且所述边缘服务器与所述中心服务器实时交互使得所述边缘服务器内的第一分析组件中的已有数据计算框架会实时更新。
进一步地,所述第一解析单元2包括:
第一解析模块,与所述第一接收单元连接,用于对所述数据请求进行解析,获得所述终端设备的身份标识;
第一匹配模块,分别与所述第一解析模块及第一分析组件连接,用于将所述终端设备的身份标识与已存储的身份标识进行匹配,如果匹配不成功,则结束;
索引模块,分别与所述第一匹配模块及第一分析组件连接,用于在所述第一匹配模块将所述终端设备的身份标识与已存储的身份标识匹配成功时,对所述终端设备的身份标识进行索引,确定数据类型;
第二匹配模块,用于将所述数据类型与已存储的框架类型进行匹配;
调取模块,用于当所述第二匹配模块的匹配结果为成功时,根据匹配的框架类型调取对应的数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架;
发送模块,用于当所述第二匹配模块的匹配结果为匹配不成功时,向所述中心服务器发送调取框架请求,所述调取框架请求中携带有所述边缘服务器的身份标识及框架类型;
接收模块,用于接收所述中心服务器发送的调取框架响应;
第二解析模块,用于解析所述调取框架响应,得到与所述数据类型匹配的框架类型对应数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架。
此外,本发明还提供一种基于云边协同的中心服务器,所述中心服务器与多个边缘服务器连接。优选地,本发明基于云边协同的中心服务器包括:
第三接收单元,用于边缘服务器发送的调取框架请求,所述调取框架请求中携带有所述终端设备的身份标识及框架类型;
第二分析组件,用于存储有多个边缘服务器的身份标识、多对数据计算框架及对应的框架类型;
第二解析单元,用于对所述调取框架请求进行解析,得到所述边缘服务器的身份标识,并与所述第二分析组件中的身份标识匹配,如果匹配不成功,则结束,如果匹配成功,则继续解析所述调取框架请求得到框架类型;
第二调取单元,用于根据所述框架类型,从所述第二分析组件中调取对应的数据计算框架;
第三发送单元,分别与所述第二解析单元、第二调取单元及边缘服务器连接,用于根据解析得到的边缘服务器的身份标识,向对应的边缘服务器发送调取框架响应,所述调取框架响应中携带有数据计算框架。
可选地,所述中心服务器的数据计算框架集合C={C1,C2,…CN},数据计算框架Cn具有不同的核心功能,N=1,2,…,N;
其中,数据计算框架Cn包括核心算法组件、预处理组件、反馈组件、版本控制组件。
所述中心服务器通过所述版本控制组件将更新的代码一键生成可部署的镜像文件;
所述中心服务器中已有或新加入的计算框架可根据所述版本控制组件进行更新,更新后的计算框架存储在计算框架集合C中。
此外,如图3所示,本发明还提供一种基于云边协同的数据处理系统,所述数据处理系统包括:
多个终端设备、上述基于云边协同的边缘服务器,及上述基于云边协同的中心服务器;
各所述终端设备分别连接所述边缘服务器;所述边缘服务器与所述中心服务器连接。
相对于现有技术,本发明基于云边协同的数据处理系统、基于云边协同的中心服务器、基于云边协同的边缘服务器与上述数据处理方法的有益效果相同,在此不再赘述。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于云边协同的数据处理方法,其特征在于,所述数据处理方法包括:
接收终端设备的数据请求;
解析所述数据请求确定所述终端设备的身份标识及数据类型;
根据所述数据类型调取数据计算框架,以实现按需加载所述数据计算框架;
根据所述身份标识向对应的终端设备发送数据处理请求,以获取数据计算任务;
接收所述终端设备发送的数据计算任务;
根据所述数据计算框架,加载所述数据计算任务,得到计算结果;
根据所述身份标识,将所述计算结果发送至所述终端设备。
2.根据权利要求1所述的基于云边协同的数据处理方法,其特征在于,所述边缘服务器的第一分析组件中存储有本边缘侧网络内所有终端设备的身份标识;
所述解析所述数据请求确定所述终端设备的身份标识及数据类型,具体包括:
对所述数据请求进行解析,获得所述终端设备的身份标识;
将所述终端设备的身份标识与已存储的身份标识进行匹配,如果匹配不成功,则结束;
如果匹配成功,则对所述终端设备的身份标识进行索引,确定数据类型。
3.根据权利要求1所述的基于云边协同的数据处理方法,其特征在于,所述边缘服务器的第一分析组件中存储有多对数据计算框架及框架类型;
所述根据所述数据类型调取数据计算框架,以实现按需加载所述数据计算框架,具体包括:
将所述数据类型与已存储的框架类型进行匹配,如果匹配成功,则根据匹配的框架类型调取对应的数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架;
如果匹配不成功,则向所述中心服务器发送调取框架请求,所述调取框架请求中携带有所述边缘服务器的身份标识及框架类型;
接收所述中心服务器发送的调取框架响应;
解析所述调取框架响应,得到与所述数据类型匹配的框架类型对应数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架。
4.根据权利要求3所述的基于云边协同的数据处理方法,其特征在于,所述根据所述数据类型调取数据计算框架,还包括:
将解析得到的框架类型及数据计算框架更新到所述第一分析组件中。
5.根据权利要求1-4中任一项所述的基于云边协同的数据处理方法,其特征在于,所述数据类型为以下两类中任意一者:
按照数据格式分类,所述数据类型为视频流数据、图像数据、文本数据中任意一者;
按照结构化分类,所述数据类型为结构化数据或非结构化数据。
6.一种基于云边协同的边缘服务器,所述边缘服务器分别连接多个终端设备及中心服务器,其特征在于,所述边缘服务器包括:
第一接收单元,与终端设备连接,用于接收终端设备的数据请求;
第一解析单元,用于解析所述数据请求确定所述终端设备的身份标识及数据类型;
第一调取单元,用于根据所述数据类型调取数据计算框架,以实现按需加载所述数据计算框架;
第一发送单元,与终端设备连接,用于根据所述身份标识向对应的终端设备发送数据处理请求,以获取数据计算任务;
第二接收单元,用于接收所述终端设备发送的数据计算任务;
加载单元,用于根据所述数据计算框架,加载所述数据计算任务,得到计算结果;
第二发送单元,与终端设备连接,用于根据所述身份标识,将所述计算结果发送至所述终端设备。
7.根据权利要求6所述的基于云边协同的边缘服务器,其特征在于,所述边缘服务器还包括第一分析组件,所述第一分析组件中存储有本边缘侧网络内所有终端设备的身份标识,以及有多对数据计算框架及框架类型,且所述边缘服务器与所述中心服务器实时交互使得所述边缘服务器内的第一分析组件中的已有数据计算框架会实时更新;
所述第一解析单元包括:
第一解析模块,与所述第一接收单元连接,用于对所述数据请求进行解析,获得所述终端设备的身份标识;
第一匹配模块,分别与所述第一解析模块及第一分析组件连接,用于将所述终端设备的身份标识与已存储的身份标识进行匹配,如果匹配不成功,则结束;
索引模块,分别与所述第一匹配模块及第一分析组件连接,用于在所述第一匹配模块将所述终端设备的身份标识与已存储的身份标识匹配成功时,对所述终端设备的身份标识进行索引,确定数据类型;
第二匹配模块,用于将所述数据类型与已存储的框架类型进行匹配;
调取模块,用于当所述第二匹配模块的匹配结果为成功时,根据匹配的框架类型调取对应的数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架;
发送模块,用于当所述第二匹配模块的匹配结果为匹配不成功时,向所述中心服务器发送调取框架请求,所述调取框架请求中携带有所述边缘服务器的身份标识及框架类型;
接收模块,用于接收所述中心服务器发送的调取框架响应;
第二解析模块,用于解析所述调取框架响应,得到与所述数据类型匹配的框架类型对应数据计算框架,以实现与所述数据请求匹配的需求加载所述数据计算框架。
8.一种基于云边协同的中心服务器,所述中心服务器与多个边缘服务器连接,其特征在于,所述中心服务器包括:
第三接收单元,用于边缘服务器发送的调取框架请求,所述调取框架请求中携带有所述边缘服务器身份标识及框架类型;
第二分析组件,用于存储有多个边缘服务器的身份标识、多对数据计算框架及对应的框架类型;
第二解析单元,用于对所述调取框架请求进行解析,得到所述边缘服务器的身份标识,并与所述第二分析组件中的身份标识匹配,如果匹配不成功,则结束,如果匹配成功,则继续解析所述调取框架请求得到框架类型;
第二调取单元,用于根据所述框架类型,从所述第二分析组件中调取对应的数据计算框架;
第三发送单元,分别与所述第二解析单元、第二调取单元及边缘服务器连接,用于根据解析得到的边缘服务器的身份标识,向对应的边缘服务器发送调取框架响应,所述调取框架响应中携带有数据计算框架。
9.根据权利要求8所述的基于云边协同的中心服务器,其特征在于,所述中心服务器的数据计算框架集合C={C1,C2,…CN},数据计算框架Cn具有不同的核心功能,N=1,2,…,N;
其中,所述中心服务器的计算框架集合实时更新;
数据计算框架Cn包括核心算法组件、预处理组件、反馈组件、版本控制组件。
10.一种基于云边协同的数据处理系统,其特征在于,所述数据处理系统包括:
多个终端设备、权利要求6或7所述的基于云边协同的边缘服务器,及权利要求8或9所述的基于云边协同的中心服务器;
各所述终端设备分别连接所述边缘服务器;所述边缘服务器与所述中心服务器连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010240844.9A CN111464627B (zh) | 2020-03-31 | 2020-03-31 | 数据处理方法、边缘服务器、中心服务器及处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010240844.9A CN111464627B (zh) | 2020-03-31 | 2020-03-31 | 数据处理方法、边缘服务器、中心服务器及处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111464627A true CN111464627A (zh) | 2020-07-28 |
CN111464627B CN111464627B (zh) | 2021-05-25 |
Family
ID=71680904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010240844.9A Active CN111464627B (zh) | 2020-03-31 | 2020-03-31 | 数据处理方法、边缘服务器、中心服务器及处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111464627B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016428A (zh) * | 2020-08-21 | 2020-12-01 | 深圳微品致远信息科技有限公司 | 一种用于视频监控业务的移动边缘计算系统及装置 |
CN112242997A (zh) * | 2020-09-28 | 2021-01-19 | 成都长虹网络科技有限责任公司 | 数据通信方法、装置和可读存储介质 |
CN112565404A (zh) * | 2020-12-02 | 2021-03-26 | 中国联合网络通信集团有限公司 | 数据处理方法、边缘服务器、中心服务器和介质 |
CN112835691A (zh) * | 2021-01-05 | 2021-05-25 | 华翔翔能科技股份有限公司 | 一种物联网通讯的边缘数据处理方法及系统 |
CN113406907A (zh) * | 2021-05-26 | 2021-09-17 | 中国联合网络通信集团有限公司 | 养殖数据处理方法、服务器、中心计算集群和介质 |
CN113655764A (zh) * | 2021-08-16 | 2021-11-16 | 珠海格力电器股份有限公司 | 云边协同控制系统及控制方法 |
CN114697302A (zh) * | 2020-12-31 | 2022-07-01 | 伊姆西Ip控股有限责任公司 | 用于分发虚拟视觉内容的方法 |
CN115248809A (zh) * | 2022-09-22 | 2022-10-28 | 山东康健因特智能控制科技有限公司 | 基于边缘计算的用户通讯数据管理方法 |
CN115514712A (zh) * | 2021-06-22 | 2022-12-23 | 中移物联网有限公司 | 一种数据处理方法、装置、终端和网络侧设备 |
CN117650943A (zh) * | 2024-01-24 | 2024-03-05 | 中国信息通信研究院 | 基于分布式网络的用户核验方法和装置、设备和介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297507A (zh) * | 2013-05-13 | 2013-09-11 | 西安电子科技大学 | 云计算运营系统及向用户提供服务的方法 |
CN104134079A (zh) * | 2014-07-31 | 2014-11-05 | 中国科学院自动化研究所 | 一种基于极值区域和极限学习机的车牌识别方法 |
CN104394182A (zh) * | 2014-03-21 | 2015-03-04 | 贵阳朗玛信息技术股份有限公司 | 一种实现内容分发网络加速的方法及源服务器 |
CA2944346A1 (en) * | 2014-04-01 | 2015-10-08 | Ict Global Systems Pty Limited | Internet protocol based audio alert system |
CN105373746A (zh) * | 2015-11-26 | 2016-03-02 | 深圳市金证科技股份有限公司 | 一种分布式数据处理方法和装置 |
CN109639840A (zh) * | 2019-02-25 | 2019-04-16 | 网宿科技股份有限公司 | 一种基于边缘计算的数据处理方法和边缘计算系统 |
CN109714439A (zh) * | 2019-02-25 | 2019-05-03 | 网宿科技股份有限公司 | 基于边缘计算的数据处理方法及系统 |
CN109889575A (zh) * | 2019-01-15 | 2019-06-14 | 北京航空航天大学 | 一种边缘环境下的协同计算平台系统及方法 |
CN109936593A (zh) * | 2017-12-15 | 2019-06-25 | 网宿科技股份有限公司 | 一种消息分发的方法和系统 |
CN110336879A (zh) * | 2019-07-09 | 2019-10-15 | 深圳市华腾物联科技有限公司 | 一种基于边缘计算的数据处理的方法和设备 |
-
2020
- 2020-03-31 CN CN202010240844.9A patent/CN111464627B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297507A (zh) * | 2013-05-13 | 2013-09-11 | 西安电子科技大学 | 云计算运营系统及向用户提供服务的方法 |
CN104394182A (zh) * | 2014-03-21 | 2015-03-04 | 贵阳朗玛信息技术股份有限公司 | 一种实现内容分发网络加速的方法及源服务器 |
CA2944346A1 (en) * | 2014-04-01 | 2015-10-08 | Ict Global Systems Pty Limited | Internet protocol based audio alert system |
CN104134079A (zh) * | 2014-07-31 | 2014-11-05 | 中国科学院自动化研究所 | 一种基于极值区域和极限学习机的车牌识别方法 |
CN105373746A (zh) * | 2015-11-26 | 2016-03-02 | 深圳市金证科技股份有限公司 | 一种分布式数据处理方法和装置 |
CN109936593A (zh) * | 2017-12-15 | 2019-06-25 | 网宿科技股份有限公司 | 一种消息分发的方法和系统 |
CN109889575A (zh) * | 2019-01-15 | 2019-06-14 | 北京航空航天大学 | 一种边缘环境下的协同计算平台系统及方法 |
CN109639840A (zh) * | 2019-02-25 | 2019-04-16 | 网宿科技股份有限公司 | 一种基于边缘计算的数据处理方法和边缘计算系统 |
CN109714439A (zh) * | 2019-02-25 | 2019-05-03 | 网宿科技股份有限公司 | 基于边缘计算的数据处理方法及系统 |
CN110336879A (zh) * | 2019-07-09 | 2019-10-15 | 深圳市华腾物联科技有限公司 | 一种基于边缘计算的数据处理的方法和设备 |
Non-Patent Citations (2)
Title |
---|
LI LIU, SAMMY CHAN, GUANGJIE HAN,: "Performance Modeling of Representative Load Sharing Schemes for Clustered Servers in Multiaccess Edge Computing", 《 IEEE INTERNET OF THINGS JOURNAL》 * |
孙毓聪,豆龙龙,杨勤胜,许杰雄: "一种边缘云协同的任务调度方法研究", 《无线互联科技》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016428A (zh) * | 2020-08-21 | 2020-12-01 | 深圳微品致远信息科技有限公司 | 一种用于视频监控业务的移动边缘计算系统及装置 |
CN112242997A (zh) * | 2020-09-28 | 2021-01-19 | 成都长虹网络科技有限责任公司 | 数据通信方法、装置和可读存储介质 |
CN112242997B (zh) * | 2020-09-28 | 2022-10-11 | 成都长虹网络科技有限责任公司 | 数据通信方法、装置和可读存储介质 |
CN112565404A (zh) * | 2020-12-02 | 2021-03-26 | 中国联合网络通信集团有限公司 | 数据处理方法、边缘服务器、中心服务器和介质 |
CN114697302A (zh) * | 2020-12-31 | 2022-07-01 | 伊姆西Ip控股有限责任公司 | 用于分发虚拟视觉内容的方法 |
CN112835691A (zh) * | 2021-01-05 | 2021-05-25 | 华翔翔能科技股份有限公司 | 一种物联网通讯的边缘数据处理方法及系统 |
CN113406907A (zh) * | 2021-05-26 | 2021-09-17 | 中国联合网络通信集团有限公司 | 养殖数据处理方法、服务器、中心计算集群和介质 |
CN115514712A (zh) * | 2021-06-22 | 2022-12-23 | 中移物联网有限公司 | 一种数据处理方法、装置、终端和网络侧设备 |
CN115514712B (zh) * | 2021-06-22 | 2023-09-05 | 中移物联网有限公司 | 一种数据处理方法、装置、终端和网络侧设备 |
CN113655764A (zh) * | 2021-08-16 | 2021-11-16 | 珠海格力电器股份有限公司 | 云边协同控制系统及控制方法 |
CN115248809A (zh) * | 2022-09-22 | 2022-10-28 | 山东康健因特智能控制科技有限公司 | 基于边缘计算的用户通讯数据管理方法 |
CN115248809B (zh) * | 2022-09-22 | 2022-12-30 | 山东康健因特智能控制科技有限公司 | 基于边缘计算的用户通讯数据管理方法 |
CN117650943A (zh) * | 2024-01-24 | 2024-03-05 | 中国信息通信研究院 | 基于分布式网络的用户核验方法和装置、设备和介质 |
CN117650943B (zh) * | 2024-01-24 | 2024-05-31 | 中国信息通信研究院 | 基于分布式网络的用户核验方法和装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111464627B (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111464627B (zh) | 数据处理方法、边缘服务器、中心服务器及处理系统 | |
US20170163479A1 (en) | Method, Device and System of Renewing Terminal Configuration In a Memcached System | |
US20170163478A1 (en) | Method,electronic device and system for updating client configuration in key-value pair database | |
US20150289301A1 (en) | Terminal matching method, terminal and system | |
CN113079216B (zh) | 一种云应用的实现方法、装置、电子设备及可读存储介质 | |
CN114970899A (zh) | 一种智慧园区运维系统、方法、介质和电子设备 | |
CN113300854A (zh) | 一种边缘节点能力扩展方法、系统及扩展盒子 | |
CN115563600A (zh) | 数据审核方法和装置、电子设备及存储介质 | |
CN109889521B (zh) | 存储器、通信通道复用实现方法、装置和设备 | |
CN109788251B (zh) | 视频处理方法、装置及存储介质 | |
CN111813529B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN116723058B (zh) | 网络攻击检测和防护方法和装置 | |
CN110719245A (zh) | 一种物联网数据传输方法及系统 | |
CN116456496A (zh) | 资源调度的方法、存储介质及电子设备 | |
CN107181929A (zh) | 用于视频监控的方法和装置 | |
CN112738225B (zh) | 基于人工智能的边缘计算方法 | |
CN115209179A (zh) | 视频数据处理方法及装置 | |
KR20230097364A (ko) | 클라우드 서버와 연동하는 복수의 클라이언트 서버의 통합 학습 시스템 및 방법 | |
CN113342811A (zh) | HBase表格数据处理方法及装置 | |
CN108984614B (zh) | 一种基于大数据环境下的视图像快速识别方法 | |
CN113326060A (zh) | 业务请求处理方法、装置和系统以及业务配置方法和装置 | |
CN111527747A (zh) | 采用fpga硬件实现ai的方法及相关产品 | |
CN116489248A (zh) | 基于边缘节点的数据接入方法以及接入系统 | |
CN112311833B (zh) | 数据更新方法和装置 | |
EP4170974A1 (en) | Slice service processing method and apparatus, network device, and readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |