CN112804348B - 云监测中心对边缘计算节点上报数据的重复性判定方法 - Google Patents

Abstract

云监测中心对边缘计算节点上报数据的重复性判定方法，属于网络安全技术领域，包括以下步骤：S1，每个边缘计算节点均信号连接有中心云平台；所述中心云平台部署有监测中心；所述监测中心接收来自边缘计算节点的上报信息；S2，监测中心对上报信息与最近接收的数据进行对比，对上报信息的重复性进行判定；S3，根据步骤S2的比对结果，如果重复表示该上报信息已经被其他的边缘计算节点上报，将进入步骤S4；否则进入步骤S5；S4，对重复的上报信息直接丢弃不用处置；S5，将该上报数据更新进入中心云平台。本方法，对多个边缘计算节点上报重复数据进行过滤，在提高去重效率的同时，大大降低了云平台的数据计算量，间接提升了中心云平台的资源利用率。

Description

云监测中心对边缘计算节点上报数据的重复性判定方法

技术领域

本发明属于网络安全技术领域，具体涉及云监测中心对边缘计算节点上报数据的重复性判定方法。

背景技术

随着5G网络的发展，针对高带宽(eMBB)、低时延(URLLC)、广连接(mMTC)的三大特特性需求，需要在边缘侧部署大量的边缘计算服务器(节点)计算存储资源，用于协助实现5G网络的以上三大特性要求。

边缘节点可以实现与中心云平台的云边协同，也可以实现相邻边缘节点的相连互通。特别是针对低时延和广连接相关的场景，由于边缘节点数量巨大，中心云平台无法支撑大量边缘节点的频繁交互。

因此，当不同的边缘节点，在短时间内，向中心云平台发送相同的信息，中心云平台有必要先对上报信息进行一个初步的删选，剔除相同的上报信息，从而减少中心云平台的处理量。

发明内容

本发明主要是解决上述现有技术所存在的技术问题，提供测中心对上报数据的重复性判定方法。

为了实现上述目的，本发明采用了如下技术方案。

云监测中心对边缘计算节点上报数据的重复性判定方法，包括以下步骤：

S1，每个边缘计算节点均信号连接有中心云平台；所述中心云平台部署有监测中心；所述监测中心接收来自边缘计算节点的上报信息；

S2，监测中心对上报信息与最近接收的数据进行对比，对上报信息的重复性进行判定；

S3，根据步骤S2的比对结果，如果重复表示该上报信息已经被其他的边缘计算节点上报，将进入步骤S4；否则进入步骤S5；

S4，对重复的上报信息直接丢弃不用处置；

S5，将该上报数据更新进入中心云平台。

进一步，步骤S1中，上报信息包括唯一指纹信息码；唯一指纹信息码包括边缘计算节点的唯一识别码、信息获取时间及信息具体内容，输出编码格式为：唯一识别码-信息获取时间-信息具体内容；

所述唯一识别码，用于识别上报信息的边缘计算节点，可以自行定义；

所述信息获取时间，以该边缘计算节点收集到协同节点的信息数据并处理完毕的当前日期时间为记录；

所述信息具体内容，用于表示具体的监测发现的信息。

再进一步，步骤S2中，对上报信息的重复性进行判定的过程如下：

（1）依据边缘计算节点上报的唯一指纹信息码，提炼唯一指纹信息码的信息数据，将信息数据统一转化为带唯一标识符编号的数据格式，创建对应的特征库和特征值表，定义对应特征库记录一共有n个特征；每个特征都有一定的可能性权重W；第s个特征的权重为W_S，1≤s≤n，则对应的权重向量为：W={W₁，W₂，...，W_n}，

；

（2）根据信息数据的一个特征的值集合V，找出与该特征具有相同特征值的其他信息数据，把这些其他信息数据称为同步信息数据；定义为H_sp={ID₁，ID₂，...，ID_m}，H_sp表示p特征的第s个值，m表示该特征下同步信息数据的总数；ID_i表示第i个同步信息数据的身份，其中，1≤i≤m；

（3）设置定义信息数据集H={H₁，H₂，...，H_L}，L是信息数据的总数，H_s表示信息数据集H的第s个数据，1≤s≤L；

（4）设置定义JSimA(H_sp，H_tp)表示信息数据集H中的数据H_s和H_t的第p个特征的特征值是否相同，即判断数据H_s和H_t的第p个特征是否是同步信息数据，1≤s≤L，1≤t≤L，1≤p≤n，JSimA(H_sp，H_tp)={0,1}，如果是同步信息数据，则JSimA(H_sp，H_tp)=1，否则JSimA(H_sp，H_tp)=0；

（5）设置定义JSimp(H_s，H_t)表示该信息数据H_s和H_t的第p个特征下的相对相似度，1≤s≤L，1≤t≤L，p指的是信息数据H的第p个特征，1≤p≤n；相对相似度是指两个信息数据在某一个特征是否重复占所有特征的比例；JSimp(H_s，H_t)=JSimA(H_sp，H_tp)*W_p；对于一个信息数据的第p个特征的同步信息数据来说，JSimp(H_s，H_t)=W_p；

（6）设置定义JSimR(H_s，H_t)表示信息数据H_s相对H_t的相似度，1≤s≤L，1≤t≤L；信息数据H_s相对H_t完全一致，则相似度为1；信息数据H_s和H_t的每个特征的相对相似度之和即为二者的相似度：

；

（7）设置定义阈值U，如果JSimR(H_s，H_t)≥U，则说明信息数据H_s和H_t相似重复；

（8）按照信息数据创建特征关系表，把所有特征划分为不同的特征库，每个特征库记录该特征所有的特征值并成表，每个特征值表里存放具有该特征值的所有信息数据的编号。

本方法，利用事件指纹对上报信息的重复性进行快速判定，对多个边缘计算节点上报的重复数据进行过滤，通过边缘计算节点唯一识别码、信息获取的时间、信息的具体内容进行编码形成唯一指纹信息；对上报的信息通过指纹信息进行重复信息的识别与过滤，保障多个计算节点协同上报的相同数据仅有一份被收取保存。对上报信息记录进行分类存储，建立相应的数据特征关系库，调取在同一分类下的数据记录进行比对，保证算法本身不对已进行丢弃处理的数据记录进行重复比对，在提高去重效率的同时，大大降低了云平台的数据计算量，间接提升了中心云平台的资源利用率。

附图说明

图1为实施例一的监测系统的星型拓扑结构图；

图2为实施例一的监测系统的系统架构图；

图3为实施例一的监测方法的流程图；

图中，中心云平台1、监测中心1a、边缘计算节点2、监测单元2a、系统故障监测功能模块2b、网络安全威胁监测功能模块2c、边缘用户终端3。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

云监测中心对边缘计算节点上报数据的重复性判定方法，包括以下步骤：

S1，每个边缘计算节点2均信号连接有中心云平台1；所述中心云平台1部署有监测中心1a；所述监测中心1a接收来自边缘计算节点2的上报信息；

步骤S1中，上报信息包括唯一指纹信息码；唯一指纹信息码包括边缘计算节点的唯一识别码、信息获取时间及信息具体内容，输出编码格式为：唯一识别码-信息获取时间-信息具体内容；

所述唯一识别码，用于识别上报信息的边缘计算节点，可以自行定义；

所述信息获取时间，以该边缘计算节点收集到协同节点的信息数据并处理完毕的当前日期时间为记录；

所述信息具体内容，用于表示具体的监测发现的信息。

S2，监测中心1a对上报信息与最近接收的数据进行对比，对上报信息的重复性进行判定；

步骤S2中，对上报信息的重复性进行判定的过程如下：

（1）依据边缘计算节点上报的唯一指纹信息码，提炼唯一指纹信息码的信息数据，将信息数据统一转化为带唯一标识符编号的数据格式，创建对应的特征库和特征值表，定义对应特征库记录一共有n个特征；每个特征都有一定的可能性权重W；第s个特征的权重为W_S，1≤s≤n，则对应的权重向量为：W={W₁，W₂，...，W_n}，

；

（2）根据信息数据的一个特征的值集合V，找出与该特征具有相同特征值的其他信息数据，把这些其他信息数据称为同步信息数据；定义为H_sp={ID₁，ID₂，...，ID_m}，H_sp表示p特征的第s个值，m表示该特征下同步信息数据的总数；ID_i表示第i个同步信息数据的身份，其中，1≤i≤m；

（3）设置定义信息数据集H={H₁，H₂，...，H_L}，L是信息数据的总数，H_s表示信息数据集H的第s个数据，1≤s≤L；

（4）设置定义JSimA(H_sp，H_tp)表示信息数据集H中的数据H_s和H_t的第p个特征的特征值是否相同，即判断数据H_s和H_t的第p个特征是否是同步信息数据，1≤s≤L，1≤t≤L，1≤p≤n，JSimA(H_sp，H_tp)={0,1}，如果是同步信息数据，则JSimA(H_sp，H_tp)=1，否则JSimA(H_sp，H_tp)=0；

（5）设置定义JSimp(H_s，H_t)表示该信息数据H_s和H_t的第p个特征下的相对相似度，1≤s≤L，1≤t≤L，p指的是信息数据H的第p个特征，1≤p≤n；相对相似度是指两个信息数据在某一个特征是否重复占所有特征的比例；JSimp(H_s，H_t)=JSimA(H_sp，H_tp)*W_p；对于一个信息数据的第p个特征的同步信息数据来说，JSimp(H_s，H_t)=W_p；

（6）设置定义JSimR(H_s，H_t)表示信息数据H_s相对H_t的相似度，1≤s≤L，1≤t≤L；信息数据H_s相对H_t完全一致，则相似度为1；信息数据H_s和H_t的每个特征的相对相似度之和即为二者的相似度：

；

（7）设置定义阈值U，如果JSimR(H_s，H_t)≥U，则说明信息数据H_s和H_t相似重复；

（8）按照信息数据创建特征关系表，把所有特征划分为不同的特征库，每个特征库记录该特征所有的特征值并成表，每个特征值表里存放具有该特征值的所有信息数据的编号。

S3，根据步骤S2的比对结果，如果重复表示该上报信息已经被其他的边缘计算节点2上报，将进入步骤S4；否则进入步骤S5。

S4，对重复的上报信息直接丢弃不用处置。

S5，将该上报数据更新进入中心云平台1。

下面以实施例一为例，进一步说明本方法。

实施例一为云监测中心对边缘计算节点上报数据的重复性判定方法的一种应用场景，应用于边缘多点协同的故障或安全威胁的监测。多个边缘计算节点，共享彼此的信息，并同时将该信息上报至中心云平台，使得中心云平台接收到了相同的上报信息，有必要对上报信息的重复性进行判定。

实施例一的所采用的监测系统，包括应用层、边缘层和平台层；所述平台层、边缘层构成星型拓扑结构。

所述应用层，包括边缘用户终端3，边缘用户终端3为智慧终端设备，包括但不限于手机、电脑、交通信号灯。

所述边缘层，包括边缘计算节点2；所述边缘计算节点2信号连接边缘用户终端3且采集分析边缘用户终端3上传的数据。

所述边缘计算节点2部署有监测单元2a；所述监测单元2a，获取本边缘计算节点的系统故障信息与安全威胁信息，包括系统故障监测功能模块2b和网络安全威胁监测功能模块2c。

所述系统故障监测功能模块2b，采集与分析节点的系统日志，即：实现对windows和Linux操作系统层级的故障日志进行获取分析（日志类型主要包括内核及系统日志、用户日志和程序使用日志），以确认该边缘计算节点2出现的故障信息。

所述网络安全威胁监测功能模块2c，采集与分析节点流量、分析与还原节点数据、溯源分析威胁事件，即：对进出该边缘计算节点2的流量进行分析和数据还原，对还原得到的文件进行动态分析从而识别出恶意的文件，对还原的请求事件进行安全威胁行为的分析，从而识别出安全威胁事件。

每个边缘计算节点2均信号连接有至少1个边缘计算节点2；每个边缘计算节点2为与其信号连接的边缘计算节点2的协同节点；每个边缘计算节点2的监测单元2a与协同节点的监测单元2a信号连接。

作为一种优选，当边缘计算节点2的数量为双数时，每两个边缘计算节点2构成一组，组内节点相互通信。当边缘计算节点2的数量为单数时，每两个边缘计算节点2构成一组，落单的边缘计算节点2与其近邻的边缘计算节点2通信连接，使得最后一组有三个边缘计算节点2。

作为另一种优选，如图2所示，每个边缘计算节点2均信号连接有2个边缘计算节点2。

当然，每个边缘计算节点2信号连接的边缘计算节点2的数量，也可以不固定。但是需要保证，每个边缘计算节点2均连接有协同节点。

协同节点的确认，可以有多种方式，只要能实现每个边缘计算节点2均信号连接有至少1个边缘计算节点2，使得信号连接的2个边缘计算节点2互为彼此的协同节点。

所述监测单元2a监测发现本节点的系统故障信息与网络安全威胁信息，也与协同节点的监测单元2a进行通信并获取协同节点的监测单元2a监测到的系统故障信息与网络安全威胁信息。具体的，边缘计算节点2内的系统故障监测功能模块2b和网络安全威胁监测功能模块2c，与协同节点的系统故障监测功能模块2b和网络安全威胁监测功能模块2c进行通信，发送获取协同节点的系统故障信息与网络安全威胁信息的请求；协同节点的监测单元2a获取到该请求之后，将会把其获取的其所在节点的系统故障信息与网络安全威胁信息回复给请求节点。

所述平台层，包括中心云平台1；所述中心云平台1部署有监测中心1a；所述中心云平台1与所有边缘计算节点2信号连接；所述监测中心1a与监测单元2a信号连接。

所述监测单元2a获取到任何边缘计算节点2的系统故障信息或网络安全威胁信息之后，都会触发上报机制将系统故障信息或网络安全威胁信息上报中心云平台1的监测中心1a，从而实现多边缘节点的系统故障与网络安全威胁的协同监测与上报。具体的，边缘计算节点2的系统故障监测功能模块2b和网络安全威胁监测功能模块2c具有事件触发上报机制，只要当监测单元2a监测到本边缘计算节点2或获取到协同节点出现的系统故障信息及网络安全威胁信息时，上报机制就被触发，将相关的监测结果上报中心云平台1的监测中心1a，否则没有任何数据上报。此方案，及时有效上报获取的系统故障信息与网络安全威胁信息，且减少了边缘计算节点2与中心云平台1的交互，防止因边缘计算节点2过多时导致中心云平台1监测中心1a数据接收处理的负载过高。

中心云平台1的监测中心1a,主要接收并处理分析由这些边缘计算节点上报的监测结果数据，研判相关问题并向用户发送监测结果告警信息。

基于边缘多点协同的故障或安全威胁的监测系统，基于边云自身架构与多节点协同的技术，从而保证在边云交互低频的业务场景中，针对边缘节点的故障与安全威胁信息能及时有效的得到监测上报处置。

实施例一的所采用的监测方法，如图3所示，步骤如下：

步骤101，每个边缘计算节点2均信号连接有至少1个边缘计算节点2；每个边缘计算节点2为与其信号连接的边缘计算节点2的协同节点；

作为优选，根据边缘计算节点之间的连接情况，通过网络测速确定每个边缘计算节点的协同节点；如图2所示，边缘计算节点B的协同节点为A和C，边缘计算节点C的协同节点为B和D；

作为更优选，为了保证边缘计算节点2与其协同节点的通信质量和通信效率，协同节点的确认方式如下：选定每个边缘计算节点2的物理相邻近的多个边缘计算节点2，并保证每个边缘计算节点2至少有两个或两个以上相邻的边缘计算节点2；然后，通过数据轮询检测的方式，边缘计算节点2向每个物理相邻的边缘计算节点2发送网络测速数据请求，一般进行10次左右的网络测速并将测速结果进行平均计算，将其中两个平均测速结果最快的相邻的边缘计算节点2作为该边缘计算节点2协同监测的协同节点。

例如，边缘计算节点A通过平均计算发现与边缘计算节点B和边缘计算节点D的数据交互时间相较于边缘计算节点C都较短，故边缘计算节点A选择边缘计算节点B和D作为协同节点。同理通过两两配对，边缘计算节点B选择边缘计算节点A和C作为协同节点，边缘计算节点C选择边缘计算节点B和D作为协同节点，边缘计算节点D选择边缘计算节点A和C作为协同节点，最终形成本方案设计的基于边缘多点协同的故障或安全威胁的监测系统的架构。

步骤102，边缘计算节点2的监测单元2a，对本边缘计算节点进行实时监测与数据分析，并对检测和诊断出的安全威胁和故障信息进行记录。如图2所示，边缘计算节点节点A、B、C、D部署的监测单元对其自身的系统故障信息和网络安全威胁信息进行监测；

步骤103，边缘计算节点2的监测单元2a，与协同节点的监测单元2a进行通信，发送获取协同节点的系统故障信息和网络安全威胁信息的请求；协同节点的监测单元获取到该请求之后，将会把其获取的其所在节点的系统故障信息和网络安全威胁信息回复给请求单元。另外，边缘计算节点的监测单元请求获取其协同节点的系统故障信息和网络安全威胁信息，若发现请求网络中断，将网络中断结果作为协同节点的故障信息。如图2所示，边缘计算节点A获取其协同节点B、D的系统故障信息和网络安全威胁信息、边缘计算节点B会获取其协同节点A和C的系统故障信息和网络安全威胁信息、边缘计算节点C会获取其协同节点B和D的系统故障信息和网络安全威胁信息、边缘计算节点D会获取其协同节点A和C的系统故障信息和网络安全威胁信息。

步骤104，判断步骤102和步骤103监测的情况，确定本边缘计算节点的监测单元是否获取有故障与安全威胁的信息，有则进入步骤105，无则转到步骤110；

步骤105，边缘计算节点中的监测单元将获取到的系统故障信息和网络安全威胁信息上报的中心云平台1的监测中心1a；

为防止多节点协同上报数据时对某一节点的系统故障信息与网络安全威胁信息重复多次上报，针对监测发现的每个系统故障信息和网络安全威胁信息，通过边缘计算节点的唯一识别码、信息获取的时间、信息具体内容进行编码形成唯一指纹信息码；中心云平台1监测中心1a收到各监测单元上报的信息时，根据上报的信息的指纹信息码进行重复信息的识别与过滤，保障多边缘计算节点协同上报的相同数据仅有一份被收取保存。

边缘计算节点的唯一指纹信息码，参考国际标准唯一识别码(UUID)形成原理进行改进优化，唯一指纹信息码包括边缘计算节点的唯一识别码、信息获取时间及信息具体内容，输出编码格式为：唯一识别码-信息获取时间-信息具体内容。对唯一指纹信息码的编码内容分别进行说明：

（1）唯一识别码，用于识别上报信息的边缘计算节点，可以自行定义（如使用节点网关信息、节点设备名称等），例如边缘计算节点A设置为mec-a。

（2）信息获取时间，以该边缘计算节点收集到协同节点的信息数据并处理完毕的当前日期时间为记录，如2020-12-30-10-30，表示为2020年12月30日10点30分该边缘计算节点的监测单元完成对协同节点的检测与数据处理。

（3）信息具体内容，用于表示具体的监测发现的每个系统故障信息和网络安全威胁信息，主要包含问题节点识别码，问题信息等（定义方式可以依据使用的服务器情况自行定义），例如，监测到边缘计算节点B存在系统故障问题，输出信息内容编码为mec-b-sysf。

由唯一识别码-信息获取时间-信息具体内容构成的编码内容，进行封装格式化，去掉“-”以减少数据存储量，简化后的编码内容再通过MD5算法进行加密，输出最终的唯一指纹信息码。如边缘计算节点A监测单元在2020年12月30日10点30分监测到边缘计算节点B存在系统故障问题，输出指纹信息码简化为：meca202012301030mecbsysf。通过MD5加密后的信息码为48fbff35ed30971e(16位)或fe77f2ef48fbff35ed30971e867b2068(32位)。

唯一指纹信息码的编码方式，在保证了传递信息完整性的前提下，将明文进行了加密，确保了数据的安全性，所使用的MD5加密工具内置于在边缘计算节点中，输出的加密信息码也可以依据实际需求进行格式的选择，若考虑节省存储资源，可以输出16位的加密信息码，若考虑加密性与安全性，可以输出32位的加密信息码，同时，加密信息码中的英文字母也可以进行大小写的选择。

步骤106，监测中心1a对上报信息与最近接收的数据进行对比，对比时根据上报信息中的边缘计算节点唯一识别码、信息获取的时间、信息的具体内容进行编码形成唯一指纹信息码与中心云平台存储的指纹信息码进行比对；

为了保障多个边缘计算节点协同上报的相同数据仅有一份被收取保存，中心云平台1对上报的信息的唯一指纹信息码进行重复信息的识别与过滤，对上报信息记录进行分类存储，调取在同一分类下的唯一指纹信息码的数据记录进行重复比对并识别，将重复的唯一指纹信息码的信息进行丢弃处理的数据。

作为优选，监测中心1a对上报信息与最近接收的数据进行对比，对上报信息的重复性进行判定，采用以下具体的方案：

（1）依据边缘计算节点上报的唯一指纹信息码，提炼唯一指纹信息码的信息数据，将信息数据统一转化为带唯一标识符编号的数据格式，创建对应的特征库和特征值表，定义对应特征库记录一共有n个特征；每个特征都有一定的可能性权重W；第s个特征的权重为W_S，1≤s≤n，则对应的权重向量为：W={W₁，W₂，...，W_n}，

。

（2）根据信息数据的一个特征的值集合V，找出与该特征具有相同特征值的其他信息数据，把这些其他信息数据称为同步信息数据；定义为H_sp={ID₁，ID₂，...，ID_m}，H_sp表示p特征的第s个值，m表示该特征下同步信息数据的总数；ID_i表示第i个同步信息数据的身份，其中，1≤i≤m。

（3）设置定义信息数据集H={H₁，H₂，...，H_L}，L是信息数据的总数，H_s表示信息数据集H的第s个数据，1≤s≤L。

（4）设置定义JSimA(H_sp，H_tp)表示信息数据集H中的数据H_s和H_t的第p个特征的特征值是否相同，即判断数据H_s和H_t的第p个特征是否是同步信息数据，1≤s≤L，1≤t≤L，1≤p≤n，JSimA(H_sp，H_tp)={0,1}，如果是同步信息数据，则JSimA(H_sp，H_tp)=1，否则JSimA(H_sp，H_tp)=0。

（5）设置定义JSimp(H_s，H_t)表示该信息数据H_s和H_t的第p个特征下的相对相似度，1≤s≤L，1≤t≤L，p指的是信息数据H的第p个特征，1≤p≤n；相对相似度是指两个信息数据在某一个特征是否重复占所有特征的比例；JSimp(H_s，H_t)=JSimA(H_sp，H_tp)*W_p；对于一个信息数据的第p个特征的同步信息数据来说，JSimp(H_s，H_t)=W_p。

（6）设置定义JSimR(H_s，H_t)表示信息数据H_s相对H_t的相似度，1≤s≤L，1≤t≤L；信息数据H_s相对H_t完全一致，则相似度为1；信息数据H_s和H_t的每个特征的相对相似度之和即为二者的相似度：

。

（7）设置定义阈值U，如果JSimR(H_s，H_t)≥U，则说明信息数据H_s和H_t相似重复。

（8）按照信息数据创建特征关系表，把所有特征划分为不同的特征库，每个特征库记录该特征所有的特征值并成表，每个特征值表里存放具有该特征值的所有信息数据的编号（编号权重为0，不影响算法中的数据对比）。

依据以上步骤，本方法来判断两个上报的信息数据是否重复，就是判断相似度是否大于设定的阈值U，即所有相对相似度之和大于阈值U。相似度可以看成两个信息数据在每个特征研判是否为同步信息数据，如果是就加上权重，不是就加上0的最终结果。

本判断方法，就是对于新信息数据和所有旧信息数据的对比，如果一一比对计算量较大。而两个信息数据在某特征是非同步信息数据，则它们的相对相似度为0，只要找出相对相似度不为0的并求其和就是两个信息数据的相似度。同时，相对相似度不为0的只有同步信息数据，可通过建立的特征关系库，找到相应的同步信息数据，利用同步信息数据求相似度。因为同步信息数据相对所有信息数据来说非常少，利用该特性可以大量减少计算量。

依据本方法的基本思路，说明本判断方法实现步骤如下：

（1）将信息数据统一转化为带唯一标识符编号的数据格式，转化是通过部署在中心云平台1的MD5解密工具，将由边缘计算节点上传的密文数据解密为原有的唯一指纹信息码，以便进行之后步骤的数据对比，举例原密文48fbff35ed30971e解密为明文meca202012301030mecbsysf，表示边缘计算节点A上报其监测单元在2020年12月30日10点30分监测到边缘计算节点B存在系统故障问题；

（2）通过中心云平台1把信息数据输入到特征关系表，创建对应的特征库和特征值 表，所建立的特征值依据解密后的唯一指纹信息码划分为上报节点识别码、上报信息时间 （时间细分为年月日点分五项）、信息内容（内容细分为问题节点识别码、问题内容两项），举 例明文meca202012301030mecbsysf划分特征为meca/2020/12/30/10/30/mecb/sysf，所形 成的特征关系表规整如下：

编号	上报节点识别码	年	月	日	点	分	问题节点识别码	问题内容
									1	meca	2020	12	30	10	30	mecb	sysf
...	...	...	...	...	...	...	...	...

该表 为特征关系表。

依据形成的特征关系表，定义各项特征权重为：上报节点识别码0.2，年0.05，月0.05，日0.05，点0.05，分0.05，问题节点识别码0.2，问题内容0.35（各项权重也可依据实际使用需求进行修改）；

（3）对当前信息数据与其他信息数据的相似度初始化为0，此步即为算法整体进行的初始化，初始假设每一条数据都不重复，之后步骤对（2）中定义的各项特征进行逐个比对；

（4）从当前信息数据开始访问首个特征库，并读取该特征库的特征值表的首条同步信息数据H_t，并给当前信息数据与H_t的相似度加上对应的权重W_p，p是指当前特征在所有特征里的第p个；

（5）读取当前信息数据在特征值表的下一条同步信息数据，并在对应的相似度上加上权重；

（6）重复（5）步骤直到当前信息数据在特征值表的所有同步信息数据运行完毕；

（7）从当前信息数据再次访问特征关系库，读取下一个特征库，重复步骤（4）-（6），直到运行完所有特征库，举例此时云端收到了1个新的明文为meca202012301400mecbsysf（该明文说明边缘计算节点A的监测单元在2020年12月30日14点00分发现了边缘计算节点B存在系统故障问题并上报），与特征库中的各项特征逐项比对，计算得到这条明文数据与已有meca202012301030mecbsysf的数据相似度为1*0.2+1*0.05+1*0.05+1*0.05+0*0.05+0*0.05+1*0.2+1*0.35=0.9，即说明两条数据在上报节点识别码、年、月、日、问题节点识别码、问题内容等特征上均属于同步信息数据，在点、分特征上不属于同步信息数据，最终两条信息数据的相似度为0.9（依据自定义的各项特征权重计算所得）；

（8）把当前信息数据与其他所有信息数据的相似度与阈值U进行比较，高于U的即为重复的信息数据，举例若设定阈值U=0.65，由于0.9＞0.65，则说明meca202012301400mecbsysf和meca202012301030mecbsysf为重复的信息数据，故meca202012301400mecbsysf这一条数据可以弃置；

（9）访问下一条信息数据，重复（3）-（8）的步骤，直到运行完所有要检测的信息数据为止。

根据以上步骤对上报的信息的唯一指纹信息码进行重复信息的识别与过滤，保障多边缘计算节点协同上报的相同数据仅有一份被收取保存的同时减少相关云端计算量。

步骤107，根据步骤106的比对结果，如果重复表示该信息已经被其他的协同节点上报，将进入步骤108；否则进入步骤109；

步骤108，对重复的信息直接丢弃不用处置；

步骤109，将该监测信息更新进入中心云平台，并向用户发送监测结果告警信息；

步骤110，边缘计算节点的一次系统故障与网络安全监测执行过程完成，进入接着进入下一个监测周期。

本技术方案的优点在于：

1，通过边缘网络部署架构识别每个边缘计算节点的相邻最近的两个节点。所述通过边缘网络部署架构识别每个边缘计算节点的相邻最近的两个节点，包括：在边缘计算节点部署中物理网络接近的，且边缘计算节点间网络连通的，保证每个节点由包括他自身在内的三个边缘计算节点来参与协同监测。

2，通过边缘计算内置监测单元识别自身节点的系统故障与网络安全威胁信息，并获取其相邻边缘计算节点发生的系统故障或网络安全威胁信息，包括周期性的对本边缘计算系统出现的故障信息进行收集；对本边缘计算节点网络请求流量数据进行实时检测，发现流量中的恶意文件及网络安全恶意请求事件；根据相邻边缘计算节点的请求，将监测到的系统故障信息和网络安全威胁信息返回给请求的节点；向相邻边缘计算节点发送监测信息获取请求，获取该相邻的边缘计算节点监测到的其自身的系统故障信息和网络安全威胁信息。

3，利用故障与安全事件驱动的方式，完成数据上报中心云平台，减少边缘节点与云平台的频繁交互。

4，利用事件指纹对上报信息的重复性进行快速判定，对多个协同边缘计算节点上报重复数据进行过滤，包括：针对监测发现的每个系统故障信息和网络安全威胁信息，通过边缘计算节点唯一识别码、信息获取的时间、信息的具体内容进行编码形成唯一指纹信息；对监测发现的每个系统故障信息和网络安全威胁信息连同其指纹信息一起上报；对上报的信息通过指纹信息进行重复信息的识别与过滤，保障多个边缘计算节点协同上报的相同数据仅有一份被收取保存。对上报信息记录进行分类存储，建立相应的数据特征关系库，调取在同一分类下的数据记录进行比对，保证算法本身不对已进行丢弃处理的数据记录进行重复比对，在提高去重效率的同时，大大降低了云平台的数据计算量，间接提升了中心云平台的资源利用率。

5，所述唯一指纹信息由边缘计算节点唯一识别码、信息获取的时间和信息的具体内容结合编码形成，编码所述方法参考国际通用唯一识别码（UUID）标准并进行优化改进，自行定义边缘计算节点识别码，采集边缘节点信息获取时间，简化信息内容（主要包含相邻侧边缘节点识别码及系统故障/网络安全威胁信息），在数据传输前通过MD5进行加密，保证该边缘节点上报指纹信息的唯一性。

6，本方案中的唯一指纹信息码，充分保证了节点上传信息的唯一性与信息内容的准确性，并通过加密手段将明文转化为密文使一般人员无法识别，保证了传输数据的机密性。同时考虑了存储量与加密性的权衡，提供了16位(英文小写)、16位(英文大写)、32位(英文小写)、32位(英文大写)四种输出密文形式，部署时可以依据实际使用情况进行切换。

作为优选，上述提到的所有的信号连接，可以采用协议转换模式和透传网关模式。其中协议转换模式通过行业协议Modbus实现连接，透传网关模式通过MQTT-S协议实现连接。作为更优选，上述提到的所有的信号连接，均采用MQTT传输协议，使用TCP/IP提供网络连接，切实符合边缘计算的低时延、小资源的特性。

实施例一，仅为多个边缘计算节点向中心云平台上报重复信息的一种具体情形。多个边缘计算节点向中心云平台上报重复信息，还可以有其它情形，例如，短时间内，不同的边缘用户终端，分别向对应的边缘计算节点发送相同的信息，不同的边缘计算节点将该相同的信息，发送至中心云平台。例如，某一河流的晴雨检测系统，边缘用户终端的检测模块，分布于河流的不同流段，均在短时间内检测到涨潮的信号，该信号通过对应的边缘计算节点传输至中心云平台。中心云平台，可采用本申请的方法，对上报信号进行重复性判定，从而减少计算量，提升系统的反馈时间。

本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (1)

1.云监测中心对边缘计算节点上报数据的重复性判定方法，其特征在于，包括以下步骤：

S1，每个边缘计算节点（2）均信号连接有中心云平台（1）；所述中心云平台（1）部署有监测中心（1a）；所述监测中心（1a）接收来自边缘计算节点（2）的上报信息；

S2，监测中心（1a）对上报信息与最近接收的数据进行对比，对上报信息的重复性进行判定；

S3，根据步骤S2的比对结果，如果重复表示该上报信息已经被其他的边缘计算节点（2）上报，将进入步骤S4；否则进入步骤S5；

S4，对重复的上报信息直接丢弃不用处置；

S5，将该上报数据更新进入中心云平台（1）；

步骤S1中，上报信息包括唯一指纹信息码；唯一指纹信息码包括边缘计算节点的唯一识别码、信息获取时间及信息具体内容，输出编码格式为：唯一识别码-信息获取时间-信息具体内容；

所述唯一识别码，用于识别上报信息的边缘计算节点，自行定义；

所述信息获取时间，以该边缘计算节点收集到协同节点的信息数据并处理完毕的当前日期时间为记录；

所述信息具体内容，用于表示具体的监测发现的信息；

步骤S2中，对上报信息的重复性进行判定的过程如下：

（1）依据边缘计算节点上报的唯一指纹信息码，提炼唯一指纹信息码的信息数据，将信息数据统一转化为带唯一标识符编号的数据格式，创建对应的特征库和特征值表，定义对应特征库记录一共有n个特征；每个特征都有一定的可能性权重W；第s个特征的权重为W_S，1≤s≤n，则对应的权重向量为：W={W₁，W₂，...，W_n}，

；

（2）根据信息数据的一个特征的值集合V，找出与该特征具有相同特征值的其他信息数据，把这些其他信息数据称为同步信息数据；定义为H_sp={ID₁，ID₂，...，ID_m}，H_sp表示p特征的第s个值，m表示该特征下同步信息数据的总数；ID_i表示第i个同步信息数据的身份，其中，1≤i≤m；

（3）设置定义信息数据集H={H₁，H₂，...，H_L}，L是信息数据的总数，H_s表示信息数据集H的第s个数据，1≤s≤L；

（4）设置定义JSimA(H_sp，H_tp)表示信息数据集H中的数据H_s和H_t的第p个特征的特征值是否相同，即判断数据H_s和H_t的第p个特征是否是同步信息数据，1≤s≤L，1≤t≤L，1≤p≤n，JSimA(H_sp，H_tp)={0,1}，如果是同步信息数据，则JSimA(H_sp，H_tp)=1，否则JSimA(H_sp，H_tp)=0；

（5）设置定义JSimp(H_s，H_t)表示该信息数据H_s和H_t的第p个特征下的相对相似度，1≤s≤L，1≤t≤L，p指的是信息数据H的第p个特征，1≤p≤n；相对相似度是指两个信息数据在某一个特征是否重复占所有特征的比例；JSimp(H_s，H_t)=JSimA(H_sp，H_tp)*W_p；对于一个信息数据的第p个特征的同步信息数据来说，JSimp(H_s，H_t)=W_p；

（6）设置定义JSimR(H_s，H_t)表示信息数据H_s相对H_t的相似度，1≤s≤L，1≤t≤L；信息数据H_s相对H_t完全一致，则相似度为1；信息数据H_s和H_t的每个特征的相对相似度之和即为二者的相似度：

；

（7）设置定义阈值U，如果JSimR(H_s，H_t)≥U，则说明信息数据H_s和H_t相似重复；

（8）按照信息数据创建特征关系表，把所有特征划分为不同的特征库，每个特征库记录该特征所有的特征值并成表，每个特征值表里存放具有该特征值的所有信息数据的编号。

Images