CN110505228B - 基于边缘云架构的大数据处理方法、系统、介质及装置 - Google Patents

Abstract

本发明提供一种基于边缘云架构的大数据处理方法、系统、介质及装置，所述方法包括以下步骤：接收数据采集器发送的大数据；将所述大数据分割成N份子数据，在所述N份子数据中各自插入相应的校验数据后分别发送至N个边缘云服务器；接收所述N个边缘云服务器分别处理后的N份处理数据；验证各个处理数据中被处理后的校验数据的可信性；将不可信的被处理后的校验数据对应的边缘云服务器标记为不可信，并将所述不可信的边缘云服务器对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器重新处理。本发明基于边缘云架构的大数据处理方法、系统、介质及装置，用于增加大数据处理的安全性、可靠性。

Description

基于边缘云架构的大数据处理方法、系统、介质及装置

技术领域

本发明涉及边缘云技术领域，特别是涉及一种基于边缘云架构的大数据处理方法、系统、介质及装置。

背景技术

目前，边缘计算指的是在靠近终端用户或数据源的网络边缘侧，使用一个集网络、计算、存储为一体的分布式开放平台。作为云计算和移动边缘计算的补充，欧洲电信标准化协会于2018年提出了多接入边缘计算(MEC：multi-access edge computing)。MEC扩展了边缘计算的定义和应用，在网络边缘节点提供各种类型的IT业务，能够同时为固定和移动用户提供边缘计算服务，将部分数据和计算任务迁移至MEC节点进行处理，能够大幅降低回传至远程数据中心的带宽占用。同时，由于通信路径的缩短，端对端的时延和安全问题都能有效地获得解决。MEC作为5G大数据时代核心技术之一，近几年在国内外学术界与产业界均广受关注，但对于MEC的研究仍处于起步阶段，相关研究主要侧重于边缘节点资源建模、资源优化管理与业务编排、边缘网络安全等几个方面。

相较于云计算中心，边缘云计算的计算、缓存、传输等网络资源有限，在业务处理过程中，需要应用到边缘与云、边缘与边缘间的协作，根据业务数据量、时延要求等特征，分配至本地边缘云、临近边缘云或远程云数据中心进行处理。在任务迁移过程中，因传输链路和各节点安全性能的不同，数据存在不同程度的安全风险。目前的边缘云服务器在安全性能上具有以下的缺点：1)应用的软硬件多种多样，其中有很大部分具有无法预知安全缺陷和漏洞后门；2)网络结构、端口等主要应用采用独立静态配置，攻击者持续的探测攻击使得系统安全性随时间下降；3)服务器应用的防御技术多为被动防御，如防火墙等，无法对未知的漏洞和威胁进行有效的防御。

在国外，研究者提出移动目标防御，为系统的各项配置引入动态随机性，使得系统在多方面呈现不可预知的特点，从而有效阻止攻击者对于目标系统的分析和攻击，从而大幅提高攻击难度和成本；我国提出的拟态防御策略不仅考虑到动态与随机性，并在此基础上引入了动态异构冗余(DHR：dynamic heterogeneous redundancy)的理念，为目标系统创建同功能异构的执行空间，在运行期间，动态调用多个异构执行体，于输出端进行一致性判决，并使用反馈控制模块对异构执行体进行重新调度和清洗等处理。

传统的边缘计算体系仅考虑了端——边——云三者之间的协同，被称之为边云协同。而在边缘云架构中，多个边缘云服务器通过有线——电缆、光缆或无线——Wi-Fi、4G/5G等多种通信方式互相连接，并且可以互相协同处理业务。然而，在所述多个边缘云服务器互相协同处理数据时，会出现所述边缘云服务器被攻击，造成数据安全问题。

因此，希望能够解决边缘云服务器在计算任务迁移过程中的数据安全的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于边缘云架构的大数据处理方法、系统、介质及装置，用于解决现有技术中边缘云服务器在计算任务迁移过程中的数据安全的问题。

为实现上述目的及其他相关目的，本发明提供一种基于边缘云架构的大数据处理方法，包括以下步骤：接收数据采集器发送的大数据；将所述大数据分割成N份子数据，在所述N份子数据中各自插入相应的校验数据后分别发送至N个边缘云服务器；接收所述N个边缘云服务器分别处理后的N份处理数据；验证各个处理数据中被处理后的校验数据的可信性；将不可信的被处理后的校验数据对应的边缘云服务器标记为不可信，并将所述不可信的边缘云服务器对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器重新处理。

于本发明的一实施例中，还包括以下步骤：将重启和/或清洗命令发送至所述标记为不可信的边缘云服务器，以使所述标记为不可信的边缘云服务器能够重新使用。

于本发明的一实施例中，还包括以下步骤：根据所述边缘云服务器被标记为不可信的次数多少，对所述边缘云服务器进行排名。

于本发明的一实施例中，所述大数据为视频数据，所述N份子数据为将所述视频数据分割而成的N份待处理图片数据，所述校验数据为校验图片数据。

为实现上述目的，本发明还提供一种基于边缘云架构的大数据处理系统，包括：第一接收模块、分割模块、第二接收模块、验证模块和重新处理模块；所述第一接收模块用于接收数据采集器发送的大数据；所述分割模块用于将所述大数据分割成N份子数据，在所述N份子数据中各自插入相应的校验数据后分别发送至N个边缘云服务器；所述第二接收模块用于接收所述N个边缘云服务器分别处理后的N份处理数据；所述验证模块用于验证各个处理数据中被处理后的校验数据的可信性；所述重新处理模块用于将不可信的被处理后的校验数据对应的边缘云服务器标记为不可信，并将所述不可信的边缘云服务器对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器重新处理。

于本发明的一实施例中，还包括命令发送模块：所述命令发送模块用于将重启和/或清洗命令发送至所述标记为不可信的边缘云服务器，以使所述标记为不可信的边缘云服务器能够重新使用。

于本发明的一实施例中，还包括排名模块：所述排名模块用于根据所述边缘云服务器被标记为不可信的次数多少，对所述边缘云服务器进行排名。

为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一上述基于边缘云架构的大数据处理方法。

为实现上述目的，本发明还提供一种基于边缘云架构的大数据处理装置，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于边缘云架构的大数据处理装置执行任一上述的基于边缘云架构的大数据处理方法。

最后，本发明还提供一种基于边缘云架构的大数据处理系统，包括：包括上述的基于边缘云架构的大数据处理装置、数据采集器和N个边缘云服务器；所述数据采集器用于采集大数据，并发送所述大数据至所述基于边缘云架构的大数据处理装置；所述N个边缘云服务器用于分别接收所述大数据处理装置发送的N份插入校验数据的子数据并各自进行处理；所述N个边缘云服务器还用于分别发送N份处理数据至所述基于边缘云架构的大数据处理装置。

如上所述，本发明的一种基于边缘云架构的大数据处理方法、系统、介质及装置，具有以下有益效果：增加大数据处理的安全性、可靠性。

附图说明

图1显示为本发明的基于边缘云架构的大数据处理方法于一实施例中的流程图；

图2显示为本发明的基于边缘云架构的大数据处理系统于一实施例中的结构示意图；

图3显示为本发明的基于边缘云架构的大数据处理装置于一实施例中的结构示意图；

图4显示为本发明的基于边缘云架构的大数据处理系统于又一实施例中的结构示意图；

图5显示为本发明的基于边缘云架构的大数据处理系统于再一实施例中的结构示意图。

元件标号说明

21 第一接收模块

22 分割模块

23 第二接收模块

24 验证模块

25 重新处理模块

31 处理器

32 存储器

41 数据采集器

42 基于边缘云架构的大数据处理装置

43 边缘云服务器

44 显示装置

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，故图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的基于边缘云架构的大数据处理方法、系统、介质及装置，增加大数据处理的安全性、可靠性。

本发明中各个边缘云服务器的物理连接方式如下：将多个临近且互联的边缘云服务器划分为一个合作域，称之为边缘云合作域。任一固定或移动用户不仅可以访问最近的边缘云服务器(在后文中称之为主边缘云服务器)，并且可以经由主边缘云服务器调用整个边缘云合作域中多个边缘云服务器的计算资源。而这些边缘云服务器是在网络节点上，例如移动用户与主边缘云服务器物理连接，所述主边缘云服务器与第一边缘云服务器物理连接。移动用户想发送数据至所述第一边缘云服务器，在物理上是将所述数据发送至所述主边缘云服务器再发送至所述第一边缘云服务器。但是所述主边缘云服务器并不对所述数据做任何处理，所述数据只是经过了所述主边缘云服务器所在的网络节点。即在通信连接关系上，所述各个边缘云服务器与所述移动用户通信连接，所述移动用户想发送数据至所述第一边缘云服务器，在通信连接关系上，就是所述移动用户发送所述数据至所述第一边缘云服务器。而所述各个边缘云服务器组成的架构也称为边缘云架构。

如图1所示，于一实施例中，本发明的基于边缘云架构的大数据处理方法，包括以下步骤：

步骤S11、接收数据采集器发送的大数据。

具体地，所述数据采集器包括但不限于摄像终端，所述大数据为所述摄像终端采集的视频。大数据(big data,mega data)或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。例如在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。

步骤S12、将所述大数据分割成N份子数据，在所述N份子数据中各自插入相应的校验数据后分别发送至N个边缘云服务器。

具体地，所述N份插入校验数据的子数据在分别发送至N个边缘云服务器时，对所述N份插入校验数据的子数据中的子数据和校验数据并不做区分，即对于所述N个边缘云服务器来说是分不清子数据和校验数据的。

具体地，所述N为至少两个或两个以上。

具体地，所述大数据为视频数据，所述N份子数据为将所述视频数据分割而成的N份待处理图片数据，所述校验数据为校验图片数据。所述校验图片数据可以为一张、两张或多张图片。所述边缘云服务器并没有所述校验图片的索引目录。因此，所述边缘云服务器并并不能识别所述校验图片数据和待处理图片数据。例如在执行图像识别处理的过程中，可能遭受到的网络攻击为攻击者窃取某个边缘云服务器中缓存的图片集合片段，对于这种攻击方式，由于图片数据被转发至多个边缘云服务器处理，因此针对某个边缘云服务器的数据的窃取缺乏连贯性，从而能够有效地提高图像数据安全。

具体地，所述N份子数据各自插入的所述校验数据可以为同一校验数据，也可以为不同的校验数据。可以基于所述边缘云服务器而设定。即将一份插入校验数据的子数据发送至一个边缘云服务器。

步骤S13、接收所述N个边缘云服务器分别处理后的N份处理数据。

具体地，所述一个边缘云服务器处理一份插入校验数据的子数据。即接收每一个边缘云服务器处理后的一份处理数据。对于所述每一个边缘云服务器来说是不能区分自己处理的那一份插入校验数据的子数据中的子数据和校验数据的，所述边缘云服务器会对自己接收的插入校验数据的子数据中的子数据和校验数据进行无差别处理。

具体地，所述N份子数据为N份待处理图片数据，所述校验数据为校验图片数据时，所述边缘云服务器会对插入校验图片数据的待处理图片数据中的待处理图片数据和校验图片数据同时进行处理。例如所述边缘云服务器会对所述待处理图片数据和校验图片数据同时进行人脸识别处理，即对大数据为视频的所述视频数据进行人脸识别。而所述校验图片数据在被所述边缘云服务器进行处理后得到的结果为确定值。而所述边缘云服务器并不知晓哪个部分是所述校验图片数据。

步骤S14、验证各个处理数据中被处理后的校验数据的可信性。

具体地，一个边缘云服务器对应一份处理数据。对所述处理数据从中提取被处理后的校验数据，所述被处理后的校验数据为已知的固定数据，若所述被处理后的校验数据不再是所述已知的固定数据，则判定相应处理所述被处理后的校验数据所在的处理数据的对应边缘云服务器是不可信的。

具体地，基于所述N份处理数据的校验数据进行离群异常值检测和裁决，如果某个边缘云服务器在执行过程中被篡改了数据，由于校验数据同样被篡改而在检测中呈现离群异常特征，则处理所述校验数据所在的处理数据的对应边缘云服务器被裁决为不可信的边缘云服务器，即成为标记为不可信的边缘云服务器。从而有效检测出被攻击并被篡改了数据的边缘云服务器。

具体地，所述N份子数据为N份待处理图片数据，所述校验数据为校验图片数据时，所述边缘云服务器会对插入校验图片数据的待处理图片数据中的待处理图片数据和校验图片数据同时进行处理。例如所述边缘云服务器会对所述待处理图片数据和校验图片数据同时进行人脸识别处理，即对大数据为视频的所述视频数据进行人脸识别。而所述校验图片数据在被所述边缘云服务器进行处理后得到的结果为确定值。而所述边缘云服务器并不知晓哪个部分是所述校验图片数据。即所述校验图片数据被所述边缘云服务器进行人脸识别后得出的人脸识别结果是固定的，例如固定为某歌手图片数据。而对插入校验图片数据的处理后图片数据的所述处理后的校验图片数据进行人脸识别结果校验，得到的识别结果应该为固定结果该歌手图片数据。但是如果处理所述插入校验图片数据的待处理图片数据的边缘云服务器由于遭受攻击导致所述插入校验图片数据的待处理图片数据全部遭受攻击更改，从而导致所述校验图片数据的处理结果出错，不再是原来应该的人脸识别结果，则说明相应处理所述插入校验图片数据的待处理图片的边缘云服务器遭受攻击，所述边缘云服务器的处理结果不可信，且所述边缘云服务器是不可信的。

具体地，攻击边缘云服务器的攻击者为了抹去所述插入校验图片数据的待处理图片数据中可能被识别的可疑人员，为所有插入校验图片数据的待处理图片数据附加噪声以影响机器识别算法。对于这种攻击模式，由于所述攻击者无法确定校验图片数据的位置，攻击影响将同时作用于待处理图片数据与校验图片数据，使得校验图片数据的处理结果出错，这一点则会在基于所述处理数据的校验数据验证所述边缘云服务器处理所述插入校验数据的子数据的可信性时被检测发现。因此，基于边缘云架构的大数据处理方法在监控视频图像数据处理应用中能够有效地提高视频图像数据安全。

步骤S15、将不可信的被处理后的校验数据对应的边缘云服务器标记为不可信，并将所述不可信的边缘云服务器对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器重新处理。

具体地，被处理后的校验数据不是已知的固定数据的对应边缘云服务器是不可信的，并将所述边缘云服务器标记为不可信的边缘云服务器，即所述标记为不可信的边缘云服务器成为了不可信的边缘云服务器。且将原本由所述不可信的边缘云服务器原先处理的对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器进行重新处理。接收经所述未标记为不可信的边缘云服务器对所述插入校验数据的子数据重新处理后得到的处理数据。对所述处理数据的校验数据进行验证，所述处理数据的校验数据即为被处理后的校验数据，验证所述未标记为不可信的边缘云服务器重新处理所述插入校验数据的子数据的可信性，即验证所述重新处理的处理数据中被处理后的校验数据的可信性，直到验证所述未标记为不可信的边缘云服务器可信为止。

具体的，还包括以下步骤：将重启和/或清洗命令发送至所述标记为不可信的边缘云服务器，以使所述标记为不可信的边缘云服务器能够重新使用。具体的，所述标记为不可信的边缘云服务器接收到所述重启和/或清洗命令后，就进行相应的重启和/或清洗，从而使所述标记为不可信的边缘云服务器能够重新使用。所述重启就是重新启动所述边缘云服务器，所述清洗就是清洗所述边缘云服务器的数据，将可疑数据清理掉。

具体的，还包括以下步骤：根据所述边缘云服务器被标记为不可信的次数多少，对所述边缘云服务器进行排名。在对所述标记为不可信的边缘云服务器执行第一次重启和/或清洗命令后，对所述不可信的边缘云服务器标记为一次不可信。如果在后续的使用过程中被标记为一次不可信的边缘云服务再次被标记不可信，则被标记为两次不可信，以此类推，并按照所述边缘云服务器被标记为不可信的次数多少进行排名。基于所述排名在后续的对边缘云服务器的插入校验数据的子数据发送上，优先选择被标记不可信次数少的边缘云服务器。或在对被标记为不可信的次数多的边缘云服务器的子数据中插入与所述不可信的次数相应预设量的校验数据。即被标记为不可信的次数越多的边缘云服务器接收到的插入校验数据的子数据中的校验数据越多。从而基于所述不可信的次数对所述插入校验数据的子数据进行实时调整，以适应不同不可信次数标记的边缘云服务器。

如图2所示，于一实施例中，本发明的基于边缘云架构的大数据处理系统，包括：第一接收模块21、分割模块22、第二接收模块23、验证模块24和重新处理模块25。

所述第一接收模块21用于接收数据采集器发送的大数据。

具体地，所述数据采集器包括但不限于摄像终端，所述大数据为所述摄像终端采集的视频。大数据(big data,mega data)或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。例如在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。

所述分割模块22用于将所述大数据分割成N份子数据，在所述N份子数据中各自插入相应的校验数据后分别发送至N个边缘云服务器。

具体地，所述N份插入校验数据的子数据在分别发送至N个边缘云服务器时，对所述N份插入校验数据的子数据中的子数据和校验数据并不做区分，即对于所述N个边缘云服务器来说是分不清子数据和校验数据的。

具体地，所述N为至少两个或两个以上。

具体地，所述大数据为视频数据，所述N份子数据为将所述视频数据分割而成的N份待处理图片数据，所述校验数据数据为校验图片数据。所述校验图片数据可以为一张、两张或多张图片。所述边缘云服务器并没有所述校验图片的索引目录。因此，所述边缘云服务器并并不能识别所述校验图片数据和待处理图片数据。例如在执行图像识别处理的过程中，可能遭受到的网络攻击为攻击者窃取某个边缘云服务器中缓存的图片集合片段，对于这种攻击方式，由于图片数据被转发至多个边缘云服务器处理，因此针对某个边缘云服务器的数据的窃取缺乏连贯性，从而能够有效地提高图像数据安全。

具体地，所述N份子数据各自插入的所述校验数据可以为同一校验数据，也可以为不同的校验数据。可以基于所述边缘云服务器而设定。即将一份插入校验数据的子数据发送至一个边缘云服务器。

所述第二接收模块23用于接收所述N个边缘云服务器分别处理后的N份处理数据。

具体地，所述一个边缘云服务器处理一份插入校验数据的子数据。即接收每一个边缘云服务器处理后的一份处理数据。对于所述每一个边缘云服务器来说是不能区分自己处理的那一份插入校验数据的子数据中的子数据和校验数据的，所述边缘云服务器会对自己接收的插入校验数据的子数据中的子数据和校验数据进行无差别处理。

具体地，所述N份子数据为N份待处理图片数据，所述校验数据为校验图片数据时，所述边缘云服务器会对插入校验图片数据的待处理图片数据中的待处理图片数据和校验图片数据同时进行处理。例如所述边缘云服务器会对所述待处理图片数据和校验图片数据同时进行人脸识别处理，即对大数据为视频的所述视频数据进行人脸识别。而所述校验图片数据在被所述边缘云服务器进行处理后得到的结果为确定值。而所述边缘云服务器并不知晓哪个部分是所述校验图片数据。

所述验证模块24用于验证各个处理数据中被处理后的校验数据的可信性。

具体地，一个边缘云服务器对应一份处理数据。对所述处理数据从中提取被处理后的校验数据，所述被处理后的校验数据为已知的固定数据，若所述被处理后的校验数据不再是所述已知的固定数据，则判定相应处理所述被处理后的校验数据所在的处理数据的对应边缘云服务器是不可信的。

具体地，基于所述N份处理数据的校验数据进行离群异常值检测和裁决，如果某个边缘云服务器在执行过程中被篡改了数据，由于校验数据同样被篡改而在检测中呈现离群异常特征，则处理所述校验数据所在的处理数据的对应边缘云服务器被裁决为不可信的边缘云服务器，即成为标记为不可信的边缘云服务器。从而有效检测出被攻击并被篡改了数据的边缘云服务器。

具体地，所述N份子数据为N份待处理图片数据，所述校验数据为校验图片数据时，所述边缘云服务器会对插入校验图片数据的待处理图片数据中的待处理图片数据和校验图片数据同时进行处理。例如所述边缘云服务器会对所述待处理图片数据和校验图片数据同时进行人脸识别处理，即对大数据为视频的所述视频数据进行人脸识别。而所述校验图片数据在被所述边缘云服务器进行处理后得到的结果为确定值。而所述边缘云服务器并不知晓哪个部分是所述校验图片数据。即所述校验图片数据被所述边缘云服务器进行人脸识别后得出的人脸识别结果是固定的，例如固定为某歌手图片数据。而对插入校验图片数据的处理后图片数据的所述处理后的校验图片数据进行人脸识别结果校验，得到的识别结果应该为固定结果该歌手图片数据。但是如果处理所述插入校验图片数据的待处理图片数据的边缘云服务器由于遭受攻击导致所述插入校验图片数据的待处理图片数据全部遭受攻击更改，从而导致所述校验图片数据的处理结果出错，不再是原来应该的人脸识别结果，则说明相应处理所述插入校验图片数据的待处理图片的边缘云服务器遭受攻击，所述边缘云服务器的处理结果不可信，且所述边缘云服务器是不可信的。

具体地，攻击边缘云服务器的攻击者为了抹去所述插入校验图片数据的待处理图片数据中可能被识别的可疑人员，为所有插入校验图片数据的待处理图片数据附加噪声以影响机器识别算法。对于这种攻击模式，由于所述攻击者无法确定校验图片数据的位置，攻击影响将同时作用于待处理图片数据与校验图片数据，使得校验图片数据的处理结果出错，这一点则会在基于所述处理数据的校验数据验证所述边缘云服务器处理所述插入校验数据的子数据的可信性时被检测发现。因此，基于边缘云架构的大数据处理方法在监控视频图像数据处理应用中能够有效地提高视频图像数据安全。

所述重新处理模块25用于将不可信的被处理后的校验数据对应的边缘云服务器标记为不可信，并将所述不可信的边缘云服务器对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器重新处理。

具体地，被处理后的校验数据不是已知的固定数据的对应边缘云服务器是不可信的，并将所述边缘云服务器标记为不可信的边缘云服务器，即所述标记为不可信的边缘云服务器成为了不可信的边缘云服务器。且将原本由所述不可信的边缘云服务器原先处理的对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器进行重新处理。接收经所述未标记为不可信的边缘云服务器对所述插入校验数据的子数据重新处理后得到的处理数据。对所述处理数据的校验数据进行验证，所述处理数据的校验数据即为被处理后的校验数据，验证所述未标记为不可信的边缘云服务器重新处理所述插入校验数据的子数据的可信性，即验证所述重新处理的处理数据中被处理后的校验数据的可信性，直到验证所述未标记为不可信的边缘云服务器可信为止。

具体的，还包括命令发送模块：所述命令发送模块用于将重启和/或清洗命令发送至所述标记为不可信的边缘云服务器，以使所述标记为不可信的边缘云服务器能够重新使用。具体的，所述标记为不可信的边缘云服务器接收到所述重启和/或清洗命令后，就进行相应的重启和/或清洗，从而使所述标记为不可信的边缘云服务器能够重新使用。所述重启就是重新启动所述边缘云服务器，所述清洗就是清洗所述边缘云服务器的数据，将可疑数据清理掉。

具体的，还包括排名模块：所述排名模块用于根据所述边缘云服务器被标记为不可信的次数多少，对所述边缘云服务器进行排名。在对所述标记为不可信的边缘云服务器执行第一次重启和/或清洗命令后，对所述不可信的边缘云服务器标记为一次不可信。如果在后续的使用过程中被标记为一次不可信的边缘云服务再次被标记不可信，则被标记为两次不可信，以此类推，并按照所述边缘云服务器被标记为不可信的次数多少进行排名。基于所述排名在后续的对边缘云服务器的插入校验数据的子数据发送上，优先选择被标记不可信次数少的边缘云服务器。或在对被标记为不可信的次数多的边缘云服务器的子数据中插入与所述不可信的次数相应预设量的校验数据。即被标记为不可信的次数越多的边缘云服务器接收到的插入校验数据的子数据中的校验数据越多。从而基于所述不可信的次数对所述插入校验数据的子数据进行实时调整，以适应不同不可信次数标记的边缘云服务器。

需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述基于边缘云架构的大数据处理方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

如图3所示，于一实施例中，本发明的基于边缘云架构的大数据处理装置包括：处理器31和存储器32；所述存储器32用于存储计算机程序；所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述基于边缘云架构的大数据处理装置执行任一所述的基于边缘云架构的大数据处理方法。

具体地，所述存储器32包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

优选地，所述处理器31可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图4所示，于一实施例中，本发明的基于边缘云架构的大数据处理系统，包括上述的基于边缘云架构的大数据处理装置42、数据采集器41和N个边缘云服务器43。

具体地，所述基于边缘云架构的大数据处理装置42与所述N个边缘云服务器43通信连接，所述基于边缘云架构的大数据处理装置42与所述数据采集器41通信连接。

具体地，所述数据采集器41用于采集大数据，并发送所述大数据至所述基于边缘云架构的大数据处理装置42，所述数据采集器41包括但不限于摄像装置；所述N个边缘云服务器43用于分别接收所述大数据处理装置42发送的N份插入校验数据的子数据并各自进行处理；所述N个边缘云服务器43还用于分别发送N份处理数据至所述基于边缘云架构的大数据处理装置42。

具体地，所述基于边缘云架构的大数据处理装置42用于将大数据分割成N份子数据、N份子数据中各自插入相应的校验数据、将N份插入校验数据的子数据分别发送至N个边缘云服务器43，即将数据处理业务交由N个边缘云服务器43处理。所述N个边缘云服务器43的通信模式、硬件架构、软件系统分别由各自的供应商独立构建，呈现天然的高度异构性，因此交由N个边缘云服务器43各自进行的分布式数据处理可被视作为异构执行体。在接收时，所述基于边缘云架构的大数据处理装置42通过被处理后的校验数据分别验证所述N个边缘云服务器各自处理所述N份插入校验数据的子数据的可信性，对不可信的边缘云服务器进行不可信标记，并将所述不可信的边缘云服务器对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器重新处理，获取N个边缘云服务器43各自受网络攻击情况，并且基于N个边缘云服务器43各自的不可信标记实现拟态防御的多模裁决与动态调度等机制。

具体地，所述基于边缘云架构的大数据处理装置42可以为内置于传感器的单元模块，也可以为一个独立设备，且在本发明中，所述基于边缘云架构的大数据处理装置42须处于用户控制范围内，其安全性能可以由用户掌控决定。

具体地，各个边缘云服务器的物理连接方式如下：将多个临近且互联的边缘云服务器划分为一个合作域，称之为边缘云合作域。任一固定或移动用户不仅可以访问最近的边缘云服务器(在后文中称之为主边缘云服务器)，并且可以经由主边缘云服务器调用整个边缘云合作域中多个边缘云服务器的计算资源。而这些边缘云服务器是在网络节点上，例如所述基于边缘云架构的大数据处理装置42与主边缘云服务器物理连接，所述主边缘云服务器与第一边缘云服务器物理连接。将数据发送至所述第一边缘云服务器时，所述主边缘云服务器并不对所述数据做任何处理，所述数据只是经过了所述主边缘云服务器所在的网络节点。其中主边缘云服务器与所述基于边缘云架构的大数据处理装置42为物理直连，其余多个边缘云服务器则经由主边缘云服务器以及边缘云互联的旁路进行物理连接，路径中的边缘云服务器仅做数据转发而不会对数据进行解包与计算。例如：所述基于边缘云架构的大数据处理装置42想发送数据至所述第一边缘云服务器，在物理连接上是将所述数据发送至所述主边缘云服务器再发送至所述第一边缘云服务器，但是所述主边缘云服务器并不对所述数据做任何处理。在通信连接上，所述各个边缘云服务器与所述基于边缘云架构的大数据处理装置42通信连接，所述基于边缘云架构的大数据处理装置42想发送数据至所述第一边缘云服务器，在通信连接关系上，就是所述基于边缘云架构的大数据处理装置42发送所述数据至所述第一边缘云服务器。而所述各个边缘云服务器组成的架构也称为边缘云架构。本发明能够有效解决N个边缘云服务器协同处理大数据业务的应用场景中的数据安全问题。随着被选择的边缘云服务器数量的增加，系统的逃逸概率大幅下降，而数据的泄露比率也稳步下降，并且该安全性能的提升所增加的时延成本在可接受的范围内。在增加一定时延成本下，有效地提升安全性能，从而保障在多接入多个边缘云服务器进行大数据处理业务的安全与可靠性。且整个边缘云合作域内可协同的边缘云服务器的数量对系统性能没有显著影响，业务的处理主要取决于每次传输中选择协同的边缘云服务器的数量。通过将来自同一个数据源的数据处理任务交由多个异构的边缘云服务器分别独立处理，即使在数据处理过程中受到网络攻击且被攻击方成功篡改或窃取，也不会出现因单一边缘云服务器被成功入侵，导致其余边缘云服务器被连锁攻破，有效地提高安全防御能力。

如图5所示，于一实施例中，本发明的基于边缘云架构的大数据处理系统，包括上述的基于边缘云架构的大数据处理装置42、数据采集器41和N个边缘云服务器43。还包括显示装置44，所述显示装置44与基于边缘云架构的大数据处理装置42通信连接，用于显示处理数据。

综上所述，本发明基于边缘云架构的大数据处理方法、系统、介质及装置，增加大数据处理的安全性、可靠性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种基于边缘云架构的大数据处理方法，其特征在于，包括以下步骤：

接收数据采集器发送的大数据；

将所述大数据分割成N份子数据，在所述N份子数据中各自插入相应的校验数据后分别发送至N个边缘云服务器；其中，所述大数据为视频数据，所述N份子数据为将所述视频数据分割而成的N份待处理图片数据，所述校验数据为校验图片数据；且，所述N份插入所述校验数据的子数据在分别发送至N个所述边缘云服务器时，对所述N份插入校验数据的子数据中的子数据和校验数据不做区分；

接收所述N个边缘云服务器分别处理后的N份处理数据；

验证各个处理数据中被处理后的校验数据的可信性；

将不可信的被处理后的校验数据对应的边缘云服务器标记为不可信，并将所述不可信的边缘云服务器对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器重新处理；

将重启和/或清洗命令发送至所述标记为不可信的边缘云服务器，以使所述标记为不可信的边缘云服务器能够重新使用。

2.根据权利要求1所述的基于边缘云架构的大数据处理方法，其特征在于，还包括以下步骤：根据所述边缘云服务器被标记为不可信的次数多少，对所述边缘云服务器进行排名。

3.一种基于边缘云架构的大数据处理系统，其特征在于，包括：第一接收模块、分割模块、第二接收模块、验证模块和重新处理模块；

所述第一接收模块用于接收数据采集器发送的大数据；

所述分割模块用于将所述大数据分割成N份子数据，在所述N份子数据中各自插入相应的校验数据后分别发送至N个边缘云服务器；其中，所述大数据为视频数据，所述N份子数据为将所述视频数据分割而成的N份待处理图片数据，所述校验数据为校验图片数据；且，所述N份插入所述校验数据的子数据在分别发送至N个所述边缘云服务器时，对所述N份插入校验数据的子数据中的子数据和校验数据不做区分；

所述第二接收模块用于接收所述N个边缘云服务器分别处理后的N份处理数据；

所述验证模块用于验证各个处理数据中被处理后的校验数据的可信性；

所述重新处理模块用于将不可信的被处理后的校验数据对应的边缘云服务器标记为不可信，并将所述不可信的边缘云服务器对应的插入校验数据的子数据发送至未标记为不可信的边缘云服务器重新处理；

还包括命令发送模块：所述命令发送模块用于将重启和/或清洗命令发送至所述标记为不可信的边缘云服务器，以使所述标记为不可信的边缘云服务器能够重新使用。

4.根据权利要求3所述的基于边缘云架构的大数据处理系统，其特征在于，还包括排名模块：所述排名模块用于根据所述边缘云服务器被标记为不可信的次数多少，对所述边缘云服务器进行排名。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至2中任一项所述基于边缘云架构的大数据处理方法。

6.一种基于边缘云架构的大数据处理装置，其特征在于，包括：处理器和存储器；

所述存储器用于存储计算机程序；

所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于边缘云架构的大数据处理装置执行权利要求1至2中任一项所述的基于边缘云架构的大数据处理方法。

7.一种基于边缘云架构的大数据处理系统，其特征在于，包括权利要求6所述的基于边缘云架构的大数据处理装置、数据采集器和N个边缘云服务器；

所述数据采集器用于采集大数据，并发送所述大数据至所述基于边缘云架构的大数据处理装置；

所述N个边缘云服务器用于分别接收所述大数据处理装置发送的N份插入校验数据的子数据并各自进行处理；

所述N个边缘云服务器还用于分别发送N份处理数据至所述基于边缘云架构的大数据处理装置。

Images