网络服务质量的分析方法、边缘设备及中心服务器
技术领域
本发明涉及互联网通信技术领域,更具体地,涉及网络服务质量的分析方法、边缘设备及中心服务器。
背景技术
随着互联网的不断发展和5G时代的到来,网络的规模越来越大、拓扑结构越来越复杂,网络业务和应用也变得越来越复杂多样,网络服务质量的优化维护变得更严峻,同时网络安全问题也更严峻。网络服务质量的保障和检测优化成为网络管理和网络安全运行的重点,提高网络的检测与预测效率对网络服务质量具有巨大作用。
在网络服务质量检测方面,有许多的检测软件和统计技术得以应用。但是这类方法有很大的局限性,不能满足现在复杂多样的网络环境,难以满足高速网络环境下检测预防的精度和效率要求。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的网络服务质量的分析方法、边缘设备及中心服务器。
第一个方面,本发明实施例提供一种网络服务质量的分析方法,包括:
边缘设备采集网络流量,分析出网络流量中的非隐私信息和隐私信息;
边缘设备将所述非隐私信息上传至中心服务器,所述中心服务器根据所述非隐私信息训练并发送第一类预测模型,边缘设备根据训练好的第一类预测模型进行第一类网络服务质量的预测;
边缘设备向中心服务器请求第二类预测模型,根据所述隐私信息训练接收到的第二类预测模型,并根据训练后的第二类预测模型进行第二类网络服务质量的预测。
所述根据训练后的第二类预测模型进行第二类网络服务质量的预测,包括:
边缘设备将训练前后的第二类预测模型的差异部分上传至中心服务器;
所述中心服务器根据多个边缘设备上传的差异部分更新存储的第二类预测模型,获得联合预测模型,将所述联合模型回传发送至边缘设备;
边缘设备将所述联合模型替换训练后的第二类预测模型,并根据隐私信息对所述联合模型进行训练,利用训练后的联合模型进行第二类网络服务质量的预测。
进一步地,所述非隐私信息包括网络基本特征数据的规模;所述第一类预测模型用于根据各个边缘设备采集的网络基本特征数据的规模预测出网络中的资源状态;
相应地,所述边缘设备根据训练好的第一类预测模型进行第一类网络服务质量的预测,之后还包括:
边缘设备将预测得到的子网络中的资源状态上传至所述中心服务器,所述中心服务器根据各边缘设备预测得到的子网络中的资源状态,调整资源下发时间以及资源分布。
进一步地,所述第一类预测模型还包括:
网络规模预测模型,所述网络规模预测模型用于根据各子网络上的下行流量大小,网络数据包大小,连接数,设备数量,网页应用数量预测网络规模。
进一步地,所述隐私信息为包含用户隐私的网络基本特征数据,所述网络基本特征数据包括流量信息、用户画像信息、会话信息、设备信息、网页信息和应用信息。
进一步地,所述第二类预测模型包括网络流量预测模型,所述网络流量预测模型用于根据历史时段的流量大小预测后一时刻或未来一段时间的流量大小。
进一步地,所述第二类预测模型包括设备应用网页预测模型,所述设备应用网页预测模型根据包含用户隐私的设备信息、网页信息和应用信息,预测和识别设备、网页和应用的使用趋势。
进一步地,所述第二类预测模型包括用户行为预测模型,所述用户行为预测模型用于根据用户画像信息,预测用户行为是否异常以及信息推荐。
第二个方面,本发明实施例提供一种边缘设备,包括:
流量采集模块,用于采集网络流量,分析出网络流量中的非隐私信息和隐私信息;
第一预测模块,用于将所述非隐私信息上传至中心服务器,并接收由中心服务器根据所述非隐私信息训练的第一类预测模型,根据训练好的第一类预测模型进行第一类网络服务质量的预测;
第二预测模块,用于向中心服务器请求第二类预测模型,根据所述隐私信息训练接收到的第二类预测模型,并根据训练后的第二类预测模型进行第二类网络服务质量的预测。
第三个方面,本发明实施例提供一种中心服务器,包括:
模型存储模块,用于存储第一类预测模型和第二类预测模型;
第一发送模块,用于接收由边缘设备上传的非隐私信息,根据所述非隐私信息训练的第一类预测模型,将训练好的第一类预测模型下发至边缘设备;
第二发送模块,用于根据边缘设备发送的请求下发对应的第二类预测模型。
本发明实施例提供的网络服务质量的分析方法、边缘设备及中心服务器,采用边缘计算的思想,在网络环境中可以高速实时的实现计算,减少数据传输的延迟,将网络服务质量的预测直接在边缘设备上完成,加快了网络服务质量的检测和优化维护等。在实现预测方面,基于机器学习的特性实现了智能化、自演化、自学习的预测模型,进而实现网络环境中对未知异常行为、异常攻击和用户行为等进行检测和预防。边缘设备将网络流量中的信息分为非隐私信息和隐私信息,将隐私信息保留在边缘设备中,对中心服务器的待训练的预测模型进行训练,即保证了安全性,同时获得的预测模型也是针对边缘设备自身所处局部网络的预测模型,而对于非隐私信息,边缘设备将非隐私信息发送至中心服务器,由中心服务器根据非隐私信息训练预测模型,训练完成后回传发送至边缘设备,提高了边缘设备的预测效率,节省了边缘设备的运算能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的网络服务质量的分析方法的流程示意图;
图2为本发明实施例的第二类预测模型的更新方法的流程示意图;
图3为本发明实施例提供的边缘设备的结构示意图;
图4为本发明实施例的提供的中心服务器的结构示意图;
图5为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例的网络服务质量的分析方法的流程示意图,如图1所示,该方法包括:
S101、边缘设备采集网络流量,分析出网络流量中的非隐私信息和隐私信息。
需要说明的是,边缘设备是指部署在边缘网络中设备,边缘网络是给定的一个非技术性描述的网络——公共电信网络的边缘。边缘网络包括汇聚层网络和接入层网络的一部分或全部,是接入用户的最后一段网络,在本发明实施例中,边缘设备可以是计算机、笔记本电脑、平板电脑、手机以及主机等等,是由用户直接接触的设备。可以理解的是,本发明实施例中的边缘设备采集的网络流量都是局部网络的网络流量
本发明实施例引入了边缘计算技术,边缘计算是指靠近物或者数据源头的网络边缘侧,融合了网络、计算、存储、应用等核心能力的开放平台,就近提供边缘智能服务,满足行业数字在敏捷联接、实时业务、数据优化、应用智能、安全隐私等方面的关键需求。边缘计算就是将云端的计算存储能力下沉到网络边缘,用分布式的计算与存储在本地直接处理或解决特定的业务需求,从而满足不断出现的新业态对于网络高带宽、低延迟的硬性要求。通过向边缘设备增加数据的计算、转发和存储能力,将一部份数据在边缘设备上进行传输和处理,减少数据传输的压力,提高用户体验感和网络性能。本发明实施例的边缘设备采集网络流量,并将网络流量中的数据分为非隐私信息和隐私信息。隐私信息是指与用户隐私相关的数据,例如用户画像、用户登录的应用程序和网页、使用的程序等等。
S102、边缘设备将所述非隐私信息上传至中心服务器,所述中心服务器根据所述非隐私信息训练并发送第一类预测模型,边缘设备根据训练好的第一类预测模型进行第一类网络服务质量的预测。
需要说明的是,本发明实施例的边缘设备将非隐私信息上传至中心服务器,由中心服务器根据非隐私信息训练第一类预测神经网络,之后将训练好的第一类预测神经网络发送至边缘设备,边缘设备根据训练好的第一类预测模型进行第一类网络服务质量的预测。第一类网络服务质量显然都是与非隐私信息相关,一方面本发明实施例利用机器学习的方式预测网络服务质量,能够提高网络服务质量分析的普适性,另一方面考虑到非隐私信息对于信息安全影响较小,将利用对非隐私信息训练神经网络的过程转移到中心服务器完成,能够降低边缘设备的运算规模。
S103、边缘设备向中心服务器请求第二类预测模型,根据所述隐私信息训练接收到的第二类预测模型,并根据训练后的第二类预测模型进行第二类网络服务质量的预测。
本发明实施例的边缘设备采用向中心服务器请求第二类预测模型,然后由边缘设备利用隐私信息对第二类预测模型进行训练,训练完成后进行第二类网络服务质量的预测。可以理解的是,步骤S102和S103的顺序可以是先后执行,也可以是同时进行,本发明实施例不做具体的限定。本发明实施例在边缘设备存储训练数据,将机器学习的模型训练和云端存储解耦,使得边缘设备进行模型训练和进化成为可能,解决了以前模型只能云端下发训练好的模型,而无法在本地训练的问题。
需要说明的是,本发明实施例采用边缘计算的思想,在网络环境中可以高速实时的实现计算,减少数据传输的延迟,将网络服务质量的预测直接在边缘设备上完成,加快了网络服务质量的检测和优化维护等。在实现预测方面,基于机器学习的特性实现了智能化、自演化、自学习的预测模型,进而实现网络环境中对未知异常行为、异常攻击和用户行为等进行检测和预防。边缘设备将网络流量中的信息分为非隐私信息和隐私信息,将隐私信息保留在边缘设备中,对中心服务器的待训练的预测模型进行训练,即保证了安全性,同时获得的预测模型也是针对边缘设备自身所处局部网络的预测模型,而对于非隐私信息,边缘设备将非隐私信息发送至中心服务器,由中心服务器根据非隐私信息训练预测模型,训练完成后发送至边缘设备,提高了边缘设备的预测效率,节省了边缘设备的运算能力。
在上述各实施例的基础上,作为一种可选实施例,本发明实施例的预测模型可以是通过机器学习进行训练,例如监督学习、非监督学习、半监督学习等等,具体的神经网络模型可以是深度神经网络、卷积神经网络、长短期记忆网络等。
在上述各实施例的基础上,作为一种可选实施例,网络服务质量的分析方法还包括:
边缘设备将训练前后的第二类预测模型的差异部分上传至中心服务器;
所述中心服务器根据多个边缘设备上传的差异部分更新存储的第二类预测模型,获得联合预测模型,将所述联合模型发送至边缘设备;
边缘设备将所述联合模型替换训练后的第二类预测模型,并根据隐私信息对所述联合模型进行训练,利用训练后的联合模型进行第二类网络服务质量的预测。
需要说明的是,联合学习的工作原理为边缘设备从中心服务器下载最新的第二类预测模型,根据边缘设备上的隐私信息来改进和训练模型,然后仅将模型的差异部分上传到中心服务器,作为一种可选实施例,差异部分需要进行加密后再上传,中心服务器根据多个边缘设备上传的差异部分做平均化的更新,以改善第二类预测模型。这样做的好处是,所有的训练数据都在边缘设备上,并不发送隐私信息到中心服务器,仅仅发送的是模型的差异部分。联合学习能产生更聪明的模型,更低的延时和更少的功耗,同时确保用户的隐私,除了能不断改进云上的共享模型之外,还能够立刻使用边缘端的个性化模型,这个模型完全是根据用户的历史行为数据训练,针对性更强。
在数据安全性方面,采用了联合学习的方式将各个边缘设备的模型上传到中心服务器上进行模型融合,然后下发到各个边缘设备上,减少了隐私信息传输的危险性和大量数据传输的延迟等。由边缘计算和联合学习的结合使网络服务质量检测效率和能力等更适合快速复杂的网络环境,为网络服务质量的维护具有重要意义。本发明实施例提高了网络流量采集、存储和分析的效率,实现了基本网络特征的整体和区域性的检测与预测,用户隐私信息和数据安全性的保证和模型融合,资源规划和检测预测的准确性和适用性的优化等,进而提高了网络服务质量的保障和优化效率,更适合于复杂的网络环境。
图2为本发明实施例的第二类预测模型的更新方法的流程示意图。如图2所示,包括:
S201、边缘设备向中心服务器请求第二类预测模型;
S202、边缘设备接收中心服务器发送的第二类预测模型;
S203、边缘设备根据隐私信息训练第二类预测模型;
S204、边缘设备将训练前后的第二类预测模型的差异部分上传至中心服务器;
S205、中心服务器根据多个边缘设备上传的差异部分更新存储的第二类预测模型,获得联合预测模型,将所述联合模型发送至边缘设备;
S206、边缘设备将所述联合模型替换训练后的第二类预测模型,并根据隐私信息对所述联合模型进行训练,利用训练后的联合模型进行第二类网络服务质量的预测,并将训练后的联合模型发送至中心服务器;
S207、中心服务器将训练后的联合模型替换存储的联合预测模型,作为当前的第二类预测模型,等待边缘设备再次请求第二类预测模型。
在上述各实施例的基础上,作为一种可选实施例,所述非隐私信息包括网络基本特征数据的规模;所述第一类预测模型用于根据各个边缘设备采集的网络基本特征数据的规模预测出网络中的资源状态;
需要说明的是,网络基本特征数据包括:网络流量、连接数、网页类型、设备类型、浏览器类型、应用程序类型、舆情类型等等。网络基本特征数据的规模具体为网络流量的大小、连接数、网页类型的种类数、设备类型数、浏览器类型数、应用程序类型数等等,资源状态是指资源为闲置或者紧缺的状态。
在上述各实施例的基础上,作为一种可选实施例,所述边缘设备根据训练好的第一类预测模型进行第一类网络服务质量的预测,之后还包括:
边缘设备将预测得到的子网络中的资源状态上传至所述中心服务器,所述中心服务器根据各边缘设备预测得到的子网络中的资源状态,调整资源下发时间以及资源分布。
需要说明的是,在网络环境资源优化方面,将各个边缘设备采集分析的网络基本特征上传到中心服务器作为整体数据集合,然后使用深度学习的算法训练第一类预测模型,进而分析预测出整体网络环境的资源状态情况,同时,第一类预测模型也会下发至各个边缘设备,边缘设备会利用第一类预测模型预测子网络的资源状态情况并上传,中心服务器根据各个边缘设备的模型预测信息进行比对,判断哪一边缘设备在之后时刻网络资源紧缺或闲置,最后将服务资源下发和训练分析时选择合适的时刻和资源分布。
在上述各实施例的基础上,作为一种可选实施例,所述第一类预测模型还包括:
网络规模预测模型,所述网络规模预测模型用于根据各子网络的网络基本特征数据的规模,预测网络规模。
需要说明的是,在网络规模预测方面,根据网络流量、会话情况、设备情况、网页、应用情况等特征,使用深度神经网络算法得到网络规模预测模型,构建边缘设备的网络规模预测模型。后期由边缘设备根据子网络环境和预测准确进行相应调整。判断网络环境的实时变化情况,进而增强网络管理的便捷性和实效性。
在上述各实施例的基础上,作为一种可选实施例,隐私信息为包含用户隐私的网络基本特征数据,所述网络基本特征数据包括用户画像信息、流量信息、会话信息、设备信息、网页信息和应用信息。例如,包含用户隐私的流量信息可以包括边缘设备使用的通信协议信息、服务信息等等,包含用户隐私的会话信息可以包括通信连接时长、发送和接收的数据包个数、访问请求的大小等等,用户画像信息可以包括用户经常访问的网站、访问时长、用户个人资料等等,包含用户隐私的设备信息可以包括设备的型号、包含用户隐私的网页信息包括浏览器类型、浏览的网站等等,包含用户隐私的应用信息可以包括应用运行时间和应用名称等等。
在上述各实施例的基础上,作为一种可选实施例,所述第二类预测模型包括网络流量预测模型,所述网络流量预测模型用于根据历史时段的流量大小预测后一时刻或未来一段时间的流量大小。
具体地,边缘设备以历史时刻的流量大小为样本,以后一时刻或者未来一段时间的流量大小为样本标签进行训练。网络流量预测模型可以采用长短时记忆网络。将各个边缘设备得到的预测模型上传到中心服务器,使用联合学习的方式将各个模型融合成一个整体模型,参数可以使用平均值的方式进行组合为联合模型,再下发到各个边缘设备上进行迭代训练,得到一个全局较好的预测模型。
在上述各实施例的基础上,作为一种可选实施例,所述第二类预测模型包括设备应用网页预测模型,所述设备应用网页预测模型根据包含用户隐私的设备信息、网页信息和应用信息,预测和识别设备、网页和应用的使用趋势。
需要说明的是,在网络设备、应用、网页、识别预测分析方面,主要采用设备应用网页类型、设备应用网页使用时长、设备应用网页数量等特征字段,根据联合学习的训练方法,得到网络环境中设备、网页、浏览器、应用等情况的使用趋势,为网络环境优化作铺垫和优化。
在上述各实施例的基础上,作为一种可选实施例,所述第二类预测模型包括用户行为预测模型,所述用户行为预测模型用于根据用户画像信息,预测用户行为是否异常以及信息推荐。
图3为本发明实施例提供的边缘设备的结构示意图,如图3所示,该边缘设备包括:流量采集模块301、第一预测模块302和第二预测模块303,其中:
流量采集模块301,用于采集网络流量,分析出网络流量中的非隐私信息和隐私信息;
第一预测模块302,用于将所述非隐私信息上传至中心服务器,并接收由中心服务器根据所述非隐私信息训练的第一类预测模型,根据训练好的第一类预测模型进行第一类网络服务质量的预测;
第二预测模块303,用于向中心服务器请求第二类预测模型,根据所述隐私信息训练接收到的第二类预测模型,并根据训练后的第二类预测模型进行第二类网络服务质量的预测。
图4为本发明实施例的提供的中心服务器的结构示意图,如图4所示,中心服务器包括:模型存储模块401、第一发送模块402和第二发送模块403,其中:
模型存储模块401,用于存储第一类预测模型和第二类预测模型;
第一发送模块402,用于接收由边缘设备上传的非隐私信息,根据所述非隐私信息训练的第一类预测模型,将训练好的第一类预测模型下发至边缘设备;
第二发送模块403,用于根据边缘设备发送的请求下发对应的第二类预测模型。
图5为本发明实施例提供的电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储在存储器530上并可在处理器510上运行的计算机程序,以执行上述各实施例提供的网络服务质量的分析方法,例如包括:用于采集网络流量,分析出网络流量中的非隐私信息和隐私信息;将所述非隐私信息上传至中心服务器,并接收由中心服务器根据所述非隐私信息训练的第一类预测模型,根据训练好的第一类预测模型进行第一类网络服务质量的预测;向中心服务器请求第二类预测模型,根据所述隐私信息训练接收到的第二类预测模型,并根据训练后的第二类预测模型进行第二类网络服务质量的预测;或者存储第一类预测模型和第二类预测模型;接收由边缘设备上传的非隐私信息,根据所述非隐私信息训练的第一类预测模型,将训练好的第一类预测模型下发至边缘设备;根据边缘设备发送的请求下发对应的第二类预测模型。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的网络服务质量的分析方法,例如包括:用于采集网络流量,分析出网络流量中的非隐私信息和隐私信息;将所述非隐私信息上传至中心服务器,并接收由中心服务器根据所述非隐私信息训练的第一类预测模型,根据训练好的第一类预测模型进行第一类网络服务质量的预测;向中心服务器请求第二类预测模型,根据所述隐私信息训练接收到的第二类预测模型,并根据训练后的第二类预测模型进行第二类网络服务质量的预测;或者存储第一类预测模型和第二类预测模型;接收由边缘设备上传的非隐私信息,根据所述非隐私信息训练的第一类预测模型,将训练好的第一类预测模型下发至边缘设备;根据边缘设备发送的请求下发对应的第二类预测模型。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。