CN114064394A - 基于边缘计算的安全监控方法、装置及终端设备 - Google Patents

Abstract

本申请适用于数据处理技术领域，提供了一种基于边缘计算的安全监控方法、装置、终端设备及可读存储介质，方法包括：获取监控终端发送的监控数据；确定针对监控数据的处理任务的处理参数；对处理参数进行处理，得到配置参数，并确定与监控视频对应的目标边缘服务器；根据配置参数对监控数据执行参数配置操作，得到配置后的监控数据；将配置后的监控数据发送至对应的目标边缘服务器，以使目标边缘服务器对监控数据执行与处理任务对应的操作并返回处理结果。本申请能够动态调整监控数据的数据量，调用更适宜的边缘服务器处理对应的监控数据，提高监控数据的处理效率，降低了数据处理时延，便于及时发现安全隐患，从而保障用户的人身安全。

Description

基于边缘计算的安全监控方法、装置及终端设备

技术领域

本申请属于数据处理技术领域，尤其涉及一种基于边缘计算的安全监控方法、装置、终端设备及可读存储介质。

背景技术

在日常生活中，建筑行业通常会发生较多安全事故，因此建筑行业属于一种危险性较高的高危行业。如何加强建筑行业的施工现场的安全管理力度、提高安全监管效率是一项重要的研究课题。

相关的安全监管方法通常是获取大量的施工现场监控数据，对监控数据进行分析处理，来发现其中存在的安全隐患，降低安全事故的发生概率，从而提高安全监管效率，保障用户的人身安全。

然而，由于计算资源有限，需要处理的监控数据量巨大，上述方法存在计算效率低下，计算时延较大，易导致无法及时发现监控数据中的部分安全隐患，监控数据处理结果安全性不高，影响用户的安全的问题。

发明内容

本申请实施例提供了一种基于边缘计算的安全监控方法、装置、终端设备及可读存储介质，可以解决相关安全监管方法存在的计算效率低下，计算时延较大，而导致的无法及时发现部分安全隐患，处理结果安全性不高，影响用户的安全的问题。

第一方面，本申请实施例提供了一种基于边缘计算的安全监控方法，应用于中央服务器，所述中央服务器分别与多个监控终端和多个边缘服务器通信连接；

所述基于边缘计算的安全监控方法，包括：

获取监控终端发送的监控数据；

确定针对所述监控数据的处理任务的处理参数；

对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器；

根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据；

将所述配置后的监控数据发送至对应的目标边缘服务器，以使所述目标边缘服务器对所述监控数据执行与所述处理任务对应的操作并返回处理结果。

在一个实施例中，所述对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器之后，包括：

将所述配置参数发送至与所述监控数据对应的监控终端，以使所述监控终端根据所述配置参数执行参数更新操作。

在一个实施例中，所述获取监控终端发送的监控数据之后，还包括：

对所述监控数据进行预处理，得到预处理后的监控数据。

在一个实施例中，所述处理参数包括任务处理参数、网络状态参数和计算能力参数；

所述对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器，包括：

将所述任务处理参数、网络状态参数和计算能力参数输入至预训练的神经网络模型进行处理，得到输出的目标比特率和目标分辨率和与每个监控视频对应的目标边缘服务器。

在一个实施例中，所述处理结果包括任务结果参数和资源占用参数；

所述方法，还包括：

将所述配置参数、所述任务结果参数和所述资源占用参数输入预训练的神经网络模型进行优化训练，以更新所述预训练的神经网络模型的参数。

在一个实施例中，所述根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据，包括：

将所述监控数据的比特率更新为所述目标比特率；

将所述监控数据的分辨率更新为所述目标分辨率，得到配置后的监控数据。

在一个实施例中，所述预训练的神经网络模型包括高层参数配置智能体和低层边缘服务器调度智能体；所述高层参数配置智能体包括一层卷积神经网络、第一图卷积神经网络和第一全连接网络，所述卷积神经网络和所述第一图卷积神经网络分别与所述第一全连接网络连接；所述低层边缘服务器调度智能体包括第二全连接网络、第二图卷积神经网络和第三全连接网络，所述第二全连接网络和所述第二图卷积神经网络分别与所述第三全连接网络连接。

第二方面，本申请实施例提供了一种基于边缘计算的安全监控装置，应用于中央服务器，所述中央服务器分别与多个监控终端和多个边缘服务器通信连接；

所述基于边缘计算的安全监控装置，包括：

数据获取模块，用于获取监控终端发送的监控数据；

参数获取模块，用于确定针对所述监控数据的处理任务的处理参数；

参数处理模块，用于对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器；

参数配置模块，用于根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据；

调度模块，用于将所述配置后的监控数据发送至对应的目标边缘服务器，以使所述目标边缘服务器对所述监控数据执行与所述处理任务对应的操作并返回处理结果。

在一个实施例中，所述装置，还包括：

发送模块，用于将所述配置参数发送至与所述监控数据对应的监控终端，以使所述监控终端根据所述配置参数执行参数更新操作。

在一个实施例中，所述装置，还包括：

预处理模块，用于对所述监控数据进行预处理，得到预处理后的监控数据。

在一个实施例中，所述处理参数包括任务处理参数、网络状态参数和计算能力参数；

所述参数处理模块具体用于将所述任务处理参数、网络状态参数和计算能力参数输入至预训练的神经网络模型进行处理，得到输出的目标比特率和目标分辨率和与每个监控视频对应的目标边缘服务器。

在一个实施例中，所述处理结果包括任务结果参数和资源占用参数；

所述装置，还包括：

优化训练模块，用于将所述配置参数、所述任务结果参数和所述资源占用参数输入预训练的神经网络模型进行优化训练，以更新所述预训练的神经网络模型的参数。

在一个实施例中，所述参数配置模块，包括：

第一更新单元，用于将所述监控数据的比特率更新为所述目标比特率；

第二更新单元，用于将所述监控数据的分辨率更新为所述目标分辨率，得到配置后的监控数据。

在一个实施例中，所述预训练的神经网络模型包括高层参数配置智能体和低层边缘服务器调度智能体；所述高层参数配置智能体包括一层卷积神经网络、第一图卷积神经网络和第一全连接网络，所述卷积神经网络和所述第一图卷积神经网络分别与所述第一全连接网络连接；所述低层边缘服务器调度智能体包括第二全连接网络、第二图卷积神经网络和第三全连接网络，所述第二全连接网络和所述第二图卷积神经网络分别与所述第三全连接网络连接。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的基于边缘计算的安全监控方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的基于边缘计算的安全监控方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的基于边缘计算的安全监控方法。

本申请实施例与现有技术相比存在的有益效果是：通过获取针对监控数据的任务对应的处理参数，确定对应的配置参数，通过配置参数对监控数据进行处理，以动态调整监控数据的数据量，从而降低计算压力，并根据处理参数对边缘服务器进行调度，选用更适宜的边缘服务器处理对应的监控数据，提高监控数据的处理效率，降低了数据处理时延，便于及时发现安全隐患，从而保障用户的人身安全。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的基于边缘计算的安全监控系统的结构示意图；

图2是本申请实施例提供的基于边缘计算的安全监控方法的流程示意图；

图3是本申请实施例提供的基于分层强化学习的控制方法流程图；

图4是本申请实施例提供的基于分层强化学习的控制方法的神经网络结构图；

图5是本申请实施例提供的图卷积神经网络模型的结构示意图；

图6是本申请实施例提供的基于边缘计算的安全监控装置的结构示意图；

图7是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的基于边缘计算的安全监控方法可以应用于手机、平板电脑、车载设备、服务器、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

在日常生活中，建筑行业易发生安全事故，由于计算资源有限，需要处理的监控数据量巨大，相关监控方法存在计算效率低下，计算时延较大，易导致无法及时发现监控数据中的部分安全隐患，监控数据处理结果安全性不高，影响用户的安全的问题。为解决这一问题，本申请提出了一种基于边缘计算的安全监控方法、基于边缘计算的安全监控装置、终端设备及计算机可读存储介质，可在接收到针对监控数据的处理任务时，对处理参数进行处理来确定对应的配置参数，通过配置参数对监控数据进行处理，以动态调整监控数据的数据量，从而降低计算压力，并根据处理参数对边缘服务器进行调度，选用更适宜的边缘服务器处理对应的监控数据，提高监控数据的处理效率，降低了数据处理时延，便于及时发现安全隐患，从而保障用户的人身安全。

为实现本申请所提出的技术方案，可先构建一基于边缘计算的安全监控系统。请参阅图1，该基于边缘计算的安全监控系统由一个中央服务器、一个以上的监控终端(图1中仅示出2个，如Z1和Z2)和一个以上的边缘服务器(图1中仅示出3个，如Q1和Q2)构成，且中央服务器分别与监控终端、边缘服务器通信连接，监控终端与边缘服务器通信连接。

其中，中央服务器为接收监控终端发送的监控数据后，根据处理参数对监控数据进行参数配置处理，并调用对应的边缘处理器对监控数据进行处理，接收边缘服务器返回的监控数据处理结果的终端。监控设备为可能存储监控数据处理需求的终端(包括但不限于摄像头或相机)。边缘服务器为提供计算处理能力，以对分配到的监控数据进行处理，得到对应的处理结果的终端。

在安全监控过程中，监控设备将监控数据发送至中央服务器；中央服务器接收监控终端发送的监控数据，获取处理参数并进行处理得到对应的配置参数，根据配置参数对监控数据进行处理，确定与监控数据对应的边缘服务器，将处理后的监控数据发送至边缘服务器，并接收边缘服务器返回的监控数据处理结果。边缘服务器对分配到的监控数据进行处理，并返回对应的处理结果。

为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。

图2示出了本申请提供的基于边缘计算的安全监控方法的示意性流程图，作为示例而非限定，该方法可以应用于服务器中。

S101、获取监控终端发送的监控数据。

具体地，建立当前终端与多个监控终端之间的通信连接关系，实时获取监控终端发送的监控数据；其中，监控数据包括但不限于图片、视频或音频数据。

S102、确定针对所述监控数据的处理任务的处理参数。

具体地，在每接收到一次监控数据时，生成针对上述监控数据的处理任务时，获取当前时刻该处理任务的处理参数。其中，处理参数包括但不限于任务处理参数、网络状态参数和计算能力参数。其中，任务处理参数是指处理任务中携带的监控数据的处理条件限制数据(包括但不限于处理时长和准确率)；网络状态参数是指多个边缘服务器之间的边缘计算网络的网络状态参数(包括但不限于链路带宽和传播时延)；计算能力参数是指每个边缘处理器处理任务的标准衡量参数(包括但不限于计算能力值和存储容量)。

S103、对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器。

具体地，预先建立一个神经网络模型，并通过大量的训练数据对神经网络模型进行训练，得到预训练的神经网络模型；将处理参数输入至预训练的神经网络模型进行处理，得到上述预训练的神经网络模型输出的配置参数，以及与上述监控视频对应的目标边缘服务器。其中，配置参数包括但不限于比特率和分辨率。

在一个实施例中，所述预训练的神经网络模型包括高层参数配置智能体和低层边缘服务器调度智能体；所述高层参数配置智能体包括一层卷积神经网络、第一图卷积神经网络和第一全连接网络，所述卷积神经网络和所述第一图卷积神经网络分别与所述第一全连接网络连接；所述低层边缘服务器调度智能体包括第二全连接网络、第二图卷积神经网络和第三全连接网络，所述第二全连接网络和所述第二图卷积神经网络分别与所述第三全连接网络连接。

在本实施例中，提出一种新的结合图辅助的分层强化学习算法来共同优化参配配置操作和调度边缘服务器操作。对应的，预训练的神经网络模型为将深度强化学习的深度Q网络(DQN)扩展到一个分层框架的模型。其包含有高层的参数配置策略(确定比特率和分辨率)和低层的边缘服务器调度策略(确定目标边缘服务器)的两层策略，高层的参数配置策略和低层的边缘服务器调度策略中均结合有图卷积神经网络模型。图卷积神经网络模型还用于提取边缘服务器的网络特征，用于对监控终端和边缘服务器之间的网络路径的评估。通过改进经验回d放机制来提高图卷积神经网络模型训练效率。

在一个实施例中，所述处理参数包括任务处理参数、网络状态参数和计算能力参数；

所述对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器，包括：

将所述任务处理参数、网络状态参数和计算能力参数输入至预训练的神经网络模型进行处理，得到输出的目标比特率和目标分辨率和与每个监控视频对应的目标边缘服务器。

具体的，在高层参数配置智能体中，其包含的高层神经网络模型(具体为一层卷积神经网络、第一图卷积神经网络和第一全连接网络)的输入数据包括处理参数(1、任务参数，具体为边缘服务器最近几次执行的处理任务的处理时长和准确率；2、网络状态参数，包括：当前网络的链路带宽和传播延迟；和3、每个边缘服务器的计算能力参数，包括：计算能力值和存储容量)。具体包括：高层神经网络模型通过一维卷积操作提取最近的多次边缘服务器执行的处理任务的任务参数，高层神经网络模型通过图卷积操作获取边缘服务器的网络状态参数的深层网络特征。最后高层神经网络模型通过全连接层将任务参数与网络状态参数的深层网络特征、边缘服务器的计算能力参数的特征结合，输出子目标(即比特率和分辨率)。

具体地，在低层边缘服务器调度智能体中，其包含的低层神经网络模型(具体为第二全连接网络、第二图卷积神经网络和第三全连接网络)的输入数据包括高层参数配置智能体的输出数据(即比特率和分辨率)，边缘服务器的网络状态参数和边缘服务器的计算参数。低层神经网络模型采用线性连接提取比特率和分辨率的特征，低层神经网络模型网络状态参数和边缘服务器的计算参数的处理方式，与上述高层神经网络模型的处理方式一致。最后低层神经网络模型通过全连接层将子目标特征(即比特率和分辨率的特征)与网络状态参数和边缘服务器的计算参数的特征相结合，输出目标边缘服务器信息(具体通过边缘服务器ID表示)。

具体地，在一定的分辨率下，监控数据的码率与监控数据的清晰度成正比，即码率越高，监控数据中的图像越清晰。随着码率的增大，视频块的数据量大小也会增加，其中包含的信息也更多，对应需要的数据处理时长也越大。

低层边缘服务器调度智能体确定目标边缘服务器(也即确定处理任务到边缘服务器的调度策略)的过程如下：将每个监控数据的处理任务定义为计算任务j，监控数据的比特率为B(j)，监控数据的分辨率为R(j)。其中，监控数据的数据量Data(j)按分辨率和比特率计算，可表示为：

Data(j)＝λ·B(j)·R(j)；

其中，λ为随机参数，该值随监控数据的帧率、编码方法改变。任务参数包括一个截止时间deadline(j)(即该任务必须在截止时间内完成，否则任务无效)。并且，任务参数还包括任务精度参数(表示监控数据处理结果的精度)，用accuracy(j)表示。

具体地，边缘服务器的计算网络由多个边缘服务器和链路组成。每个链路l都携带网络状态参数，包括带宽b(l)和传播延迟d(l)。根据传播时延可计算除计算网络的最短传播路径P_i，j，并且根据网络状态参数可以确认监控数据传输期间计算网络中链路的最大可用带宽。

具体地，边缘服务器c的计算参数包括但不限于计算能力值f(c)和存储容量s(c)，计算能力表示为。

具体地，基于计算网络的通信延迟t_t和边缘服务器的计算时间t_c，计算任务的完成时间可表示为T(j)＝tt+tc。其中，通信延迟t_t是传播延迟和传输延迟之和，传播延迟为监控数据在各链路传播延迟的总和，传输延迟为监控数据量除以所经过链路的最小带宽的商。边缘服务器的计算时间t_c为监控数据量除以边缘服务器的计算能力值的商。

对应的，通信延迟t_t和计算时间t_c分别表示为：

假设，监控数据的处理任务的精度与监控数据质量具有非线性的正相关关系，并且受到监控数据的特征的影响，结合连续的监控数据和相邻监控设备之间的相似特征之间的相关性，通过对历史监控数据的分析可以预测不同监控数据的配置配置对应的任务结果的精度，训练得到一个神经网络模型NN_esti()，其输入数据为监控数据的比特率和分辨率参数，预测结果为监控数据的任务结果精度。对应的，监控数据的任务结果精度A(j)表示为：

A(j)＝NN_esti(B(j),R(j))；

通过将上述处理参数(任务处理参数、网络状态参数和计算能力参数)输入至预训练的神经网络模型中，通过低层边缘服务器调度策略中的图卷积神经网络基于上述参数，确定每个边缘服务器执行处理任务的耗时以及对应的准确率，合理分配计算资源和网络资源，输出以使所有边缘服务器处理完成对应的处理任务的平均使用时长最小化为目标的输出结果。实现将每个监控数据的处理任务调度到合适的边缘服务器上，同时满足任务的精度需求，降低资源消耗。

图3示例性的提供了一种基于分层强化学习的控制方法流程图。

根据图3可知，该方法结合了分层强化学习算法，将当前优化问题分解为对应于两层智能体结构(高层的参数配置智能体和低层的调度边缘服务器智能体)的两个子问题，并在不同的时间尺度上通过梯度下降对上述智能体结构进行训练。

其中，在高层参数配置智能体中，通过从外部环境获取处理参数(包括但不限于任务处理参数、网络状态参数和计算能力参数)，并根据反馈Q函数选取最大化预期的未来外部奖励(即配置参数的奖励)对应子目标(包括比特率和分辨率)。在低层边缘服务器调度智能体中，通过从上层获取处理参数和子目标包括比特率和分辨率)，通过反馈Q函数产生动作，并计算QoE指标为内在奖励(即边缘服务器调度奖励)，学习最大化奖励的边缘服务器调度策略，得到针对每个处理任务的边缘服务器调度结果。

具体地，预训练的神经网络模型提供的基于分层强化学习的环境反馈奖励包括配置参数的奖励和边缘服务器调度奖励；其中，配置参数的奖励可以反馈所有边缘服务器针对监控数据的处理分析性能，边缘服务器调度奖励可以反馈监控数据质量与边缘节服务器的服务质量。

为了提高强化学习中深度Q网络模型对通信网络的深层特征学习效率，设定利通过卷积操作提取边缘计算网络的链路特征信息。在实际的网络环境中，由于链路状态随时间变化，获取的网络状态参数存在延迟，通过非实时状态计算的结果可能会导致某些链路承担过多的网络负荷，造成网络拥塞和资源浪费，降低了网络性能。而本实施例通过图卷积神经网络可以自动提取隐藏在网络模型中更深层次的网络特征，评估监控终端和边缘服务器之间的路径可靠性，从而减少了延迟造成的影响，有效地优化网络模型，提高了输出结果的精度。

具体地，为提高预训练的神经网络模型强化学习的训练效率和避免陷入局部最优解的困境，对应改进预训练的神经网络模型中的经验回放机制，主要是在缓存时针对经验样本进行筛选，并利用策略选择之间的相似性，使不同的子目标(即配置参数)可以相互辅助进行训练。

为提高样本数据的有效利用率，改进的经验回放机制在缓存时需要对样本数据进行筛选。为了保证智能体学习包括对环境的探索和对已有经验的利用，不能直接删除负样本破坏样本分布空间，但可以根据任务需求判断某些样本的无效性，然后以一定概率选择是否抛弃上述无效的样本数据。

另一方面，为避免出现正奖励过于稀疏，训练难以收敛或陷入局部最优解的问题。设定通过其他不同的子目标在当前预训练的神经网络模型里进行训练，改进经验回放机制利用无效样本，从别的子目标出发来提高样本数据的有效性。

具体的，对于低层边缘服务器调度智能体，已知从高层自适应参数配置智能体获得的子目标及子目标集合，通过深度神经网络学习到的边缘服务器调度策略可以依据子目标集合来探索更多不同的行动策略。其中，子目标集合包括不同的控制数据参数组合，例如(3Mbps，720P)，(3.5Mbps，960P)和(5Mbps，1080P)。改进的经验缓存机制还使用一定的策略来从集合中挑选其他的子目标来生成额外的样本数据。例如：初始子目标选择的监控数据参数配置为(5Mbps，1080P)，当前边缘服务器调度策略给出对应的目标边缘服务器，但由于该监控数据参数配置原因导致监控数据较大，使其在边缘计算网络中的传输耗时较长而超时。对应可以考虑其他子目标如(3.5Mbps，960P)来获取更小数据量的监控数据，降低传输耗时以满足监控数据处理任务的时间限制。结合子目标集合的其他选择，可以进一步生成新的、且与当前无效样本有一定内在联系的样本数据。

具体地，改进的经验回放机制通过智能体反馈样本数据是否满足任务需求(即任务完成时间是否小于截止时间和任务结果的准确度是否大于准确度需求)来判断样本数据是否有效。如样本数据无效，则面向其他子目标再次计算奖励。然后和有效样本数据一样通过计算时间差分(TD)误差确定样本数据的优先级，并根据优先级和噪声计算采样概率，将采样概率和样本数据一起保存到经验缓存池中。

图4示例性的提供了一种基于分层强化学习的控制方法的神经网络结构图。

通过将任务参数、网络状态参数和边缘服务器的计算能力参数输入至预训练的神经网络模型之后，通过高层参数配置智能体确定得到配置参数(包括比特率和分辨率)，通过低层边缘服务器调度智能体确定得到与监控数据的处理任务对应的目标边缘服务器。并且，预训练的神经网络模型通过确定外部奖励和内部奖励来分别调整高层参数配置智能体和低层边缘服务器调度智能体的参数，优化预训练的神经网络模型。

图5示例性的示出了一种图卷积神经网络模型的结构示意图。

图5中，输入的特征矩阵X表示边缘计算网络中的链路信息，邻接矩阵A，表示边缘计算网络中链路之间的连接信息。特征矩阵记录了监控终端到边缘服务器间所有链路的信息，包括链路带宽和传播时延。邻接矩阵根据它们是否相邻，在对于位置上用1或0表示。设定在图卷积神经网络的隐蔽层之间，激活函数使用Leaky线性修正单元，表示如下：

f(x)＝max(λ|x|,x)；

其中，λ为整流参数，取值范围为0到1，在本实施例中设置为0.5。

与传统的神经网络激活函数相比，Leaky ReLU激活函数能更好地实现更高效的梯度下降和反向传播，避免了梯度爆炸的问题。

在本实施例中，在图卷积神经网络模型中增加了Dropout层，以基于伯努利分布的概率Ri使神经元失活，以防止在训练过程中出现过拟合的情况。隐藏层的计算可以表示为：

H_i+1＝ReLU(A Ri Hi Wi)；

其中，W代表神经元的权重矩阵。

最后通过softmax激活函数来输出概率矩阵P，用于评估从监控终端到每个边缘服务器之间调度路径的可靠性，从而每个监控数据的处理任务调度到合适的边缘服务器上。

S104、根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据。

具体地，根据配置参数对监控数据执行参数配置操作，使得配置后的监控数据携带上述配置参数。

通过调整监控数据的配置参数可以动态控制监控数据的大小，从而减小对应的边缘服务器的计算压力，提高计算效率。

S105、将所述配置后的监控数据发送至对应的目标边缘服务器，以使所述目标边缘服务器对所述监控数据执行与所述处理任务对应的操作并返回处理结果。

具体地，将处理参数输入至预训练的神经网络模型中，得到神经网络模型输出的满足预设条件的目标边缘服务器，将配置后的监控数据发送至目标边缘服务器，以通过目标边缘服务器对监控数据执行与处理任务对应的操作，得到目标边缘服务器返回的处理结果。

具体地，确定监控数据的的传输目标(也即目标边缘服务器后)，根据目标边缘服务器的ID确定目标边缘服务器的网络地址，并写入数据包头。然后通过边缘计算网络中其他路由器的交换路由和链路状态信息，来更新路由器内部维护的路由表，确定每个输出端口转发数据的下一跳地址，从而将监控数据发送至目标边缘服务器。

在一个实施例中，所述对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器之后，包括：

将所述配置参数发送至与所述监控数据对应的监控终端，以使所述监控终端根据所述配置参数执行参数更新操作。

具体地，确定与监控数据对应的监控终端，将与监控数据对应的配置参数发送至上述监控终端，以使监控终端将当前参数更新为上述配置参数，使得下一次获取的监控数据携带上述配置参数。

在一个实施例中，所述获取监控终端发送的监控数据之后，还包括：

对所述监控数据进行预处理，得到预处理后的监控数据。

具体地，在获取监控数据之后，首先将长时间无画面变动的视频压缩，保证监控数据中携带信息的完整性的同时降低监控数据的大小，并且为适应不同通信协议和码率，对监控数据进行压缩编码处理，得到压缩处理后的监控数据。

在一个实施例中，所述处理结果包括任务结果参数和资源占用参数；

所述方法，还包括：

将所述配置参数、所述任务结果参数和所述资源占用参数输入预训练的神经网络模型进行优化训练，以更新所述预训练的神经网络模型的参数。

具体地，神经网络模型在预训练过程中，首先获取大量的样本数据参数配置样本数据和边缘服务器调度样本数据(包括大量处理任务的处理参数、与每个处理任务对应的配置参、与每个处理任务对应的目标边缘服务器以及对应的环境反馈奖励)，存储在经验缓存池中；并且，在处理任务调度和参数配置的过程中，将大量的处理任务对应的配置参数、任务结果参数(每个边缘服务器执行处理处理的准确率和完成时间)、调度参数(即与每个处理任务对应的目标边缘服务器的调度结果)和边缘计算网络的资源占用参数(执行处理任务的边缘服务器占所有边缘服务器的比例)作为样本数据存储在经验缓存池中。

具体地，通过epsilon贪心机制从经验缓存池中提取的样本数据进行优化训练。将当时处理参数输入到神经网络模型中，确定对应的配置参数和目标服务器，并得到对应的奖励。根据当前奖励和历史奖励调整参数配置策略和边缘服务器调度策略，即更新神经网络模型的参数，得到预训练的神经网络模型。其中，在检测到当前环境反馈为正向的奖励，对应的神经网络模型加强对应的参数配置操作和边缘服务器调度操作。在检测到当前环境反馈为负向的奖励，对应的神经网络模型削弱对应的参数配置操作和边缘服务器调度操作，以使环境反馈更偏向于正向的奖励，即参数配置和输出的边缘服务器调度结果更有利于当前时刻的边缘计算网络状态。

其中，配置参数的奖励确定方式如下：

在高层的参数配置智能体中，基于监控数据的处理任务的处理时长(即任务截止时间)和准确率需求(即目标准确率)，设定通过处理任务的实际完成时间、与处理时长对应的任务截止时间、处理任务的实际准确率以及目标准确率、边缘服务器的资源占用率来计算得到配置参数的奖励R如下：

其中，R_t表示t时刻的配置参数的奖励R；T_t表示t时刻处理任务的实际完成时间；At表示t时刻处理任务的实际准确率。S_remain(c)表示边缘服务器c存储空间，通过已使用内存占总内存的比例表示资源利用率。α，β，γ表示加权系数，一般设定为(0.3，0.3，0.3)，针对不同需求的应用场景，甲醛系数可进行适应性调整。

其中，边缘服务器调度的奖励QoE的确定方式如下：

在低层的边缘服务器调度智能体中，通过内部奖励QoE体现边缘服务器质量指标。

具体根据监控数据的处理任务的处理时长(即任务截止时间)和准确率需求(即目标准确率)来确定内部奖励；

包括：为了保留更多的信息，首先需要确定每个监控数据的分辨率对QoE的影响：

QoE_accuracy＝R(j)；

由于，监控数据的平滑输入有利于稳定的分析性能，特别是对于基于深度学习的视频分析。因此，需要设定通过比特率的变化来确定视频波动指数，比特率计算方法可表示为：

QoE_wariation＝|B(j)-B(j-1)|；

由于时间敏感的处理任务考容易受到网络波动的影响，设定通过计算时间tc和传输延迟tt来定义边缘服务器的服务质量，其计算方法可表示为：

QoE_time＝t_c+t_t；

对应的，内在奖励是一个加权和的QoE值，可表示为：

R_intrinsic＝α1QoE_accuracy+α2QoE_wariation+α3QoE_time；

其中α1，α2，α3分别表示各指标的加权系数，具体可以分别设置为(0.3，0.3，0.3)。

通过上式确定获得配置参数的奖励R和边缘服务器调度的奖励QoE。

在一个实施例中，所述根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据，包括：

将所述监控数据的比特率更新为所述目标比特率；

将所述监控数据的分辨率更新为所述目标分辨率，得到配置后的监控数据。

具体地，获取监控数据当前时刻的比特率和分辨率，并将上述比特率更新为目标比特率，将分辨率更新为目标分辨率，得到配置后的监控数据。通过当前的任务参数、边缘计算网络的网络状态参数和边缘服务器的计算能力参数动态调整配置参数，并根据配置参数调整监控数据，能够使调整后的监控数据动态适应当前时刻的网络状态以及边缘服务器的处理状态，从而提高监控数据的处理效率。

本实施例通过获取针对监控数据的任务对应的处理参数，确定对应的配置参数，通过配置参数对监控数据进行处理，以动态调整监控数据的数据量，从而降低计算压力，并根据处理参数对边缘服务器进行调度，选用更适宜的边缘服务器处理对应的监控数据，提高监控数据的处理效率，降低了数据处理时延，便于及时发现安全隐患，从而保障用户的人身安全。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的基于边缘计算的安全监控方法，图6示出了本申请实施例提供的基于边缘计算的安全监控装置的结构框图，所述装置应用于中央服务器，所述中央服务器分别与多个监控终端和多个边缘服务器通信连接。为了便于说明，仅示出了与本申请实施例相关的部分。

参照图6，该基于边缘计算的安全监控装置100包括：

数据获取模块101，用于获取监控终端发送的监控数据；

参数获取模块102，用于确定针对所述监控数据的处理任务的处理参数；

参数处理模块103，用于对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器；

参数配置模块104，用于根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据；

调度模块105，用于将所述配置后的监控数据发送至对应的目标边缘服务器，以使所述目标边缘服务器对所述监控数据执行与所述处理任务对应的操作并返回处理结果。

在一个实施例中，所述装置，还包括：

发送模块，用于将所述配置参数发送至与所述监控数据对应的监控终端，以使所述监控终端根据所述配置参数执行参数更新操作。

在一个实施例中，所述装置，还包括：

预处理模块，用于对所述监控数据进行预处理，得到预处理后的监控数据。

在一个实施例中，所述处理参数包括任务处理参数、网络状态参数和计算能力参数；

所述参数处理模块具体用于将所述任务处理参数、网络状态参数和计算能力参数输入至预训练的神经网络模型进行处理，得到输出的目标比特率和目标分辨率和与每个监控视频对应的目标边缘服务器。

在一个实施例中，所述处理结果包括任务结果参数和资源占用参数；

所述装置，还包括：

优化训练模块，用于将所述配置参数、所述任务结果参数和所述资源占用参数输入预训练的神经网络模型进行优化训练，以更新所述预训练的神经网络模型的参数。

在一个实施例中，所述参数配置模块，包括：

第一更新单元，用于将所述监控数据的比特率更新为所述目标比特率；

第二更新单元，用于将所述监控数据的分辨率更新为所述目标分辨率，得到配置后的监控数据。

在一个实施例中，所述预训练的神经网络模型包括高层参数配置智能体和低层边缘服务器调度智能体；所述高层参数配置智能体包括一层卷积神经网络、第一图卷积神经网络和第一全连接网络，所述卷积神经网络和所述第一图卷积神经网络分别与所述第一全连接网络连接；所述低层边缘服务器调度智能体包括第二全连接网络、第二图卷积神经网络和第三全连接网络，所述第二全连接网络和所述第二图卷积神经网络分别与所述第三全连接网络连接。

本实施例通过获取针对监控数据的任务对应的处理参数，确定对应的配置参数，通过配置参数对监控数据进行处理，以动态调整监控数据的数据量，从而降低计算压力，并根据处理参数对边缘服务器进行调度，选用更适宜的边缘服务器处理对应的监控数据，提高监控数据的处理效率，降低了数据处理时延，便于及时发现安全隐患，从而保障用户的人身安全。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图7为本实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个基于边缘计算的安全监控方法实施例中的步骤。

所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字卡(Secure Digital,SD)，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种终端设备，该终端设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于边缘计算的安全监控方法，其特征在于，应用于中央服务器，所述中央服务器分别与多个监控终端和多个边缘服务器通信连接；

所述基于边缘计算的安全监控方法，包括：

获取监控终端发送的监控数据；

确定针对所述监控数据的处理任务的处理参数；

对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器；

根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据；

将所述配置后的监控数据发送至对应的目标边缘服务器，以使所述目标边缘服务器对所述监控数据执行与所述处理任务对应的操作并返回处理结果。

2.如权利要求1所述的安全监控方法，其特征在于，所述对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器之后，包括：

将所述配置参数发送至与所述监控数据对应的监控终端，以使所述监控终端根据所述配置参数执行参数更新操作。

3.如权利要求1所述的安全监控方法，其特征在于，所述获取监控终端发送的监控数据之后，还包括：

对所述监控数据进行预处理，得到预处理后的监控数据。

4.如权利要求1所述的安全监控方法，其特征在于，所述处理参数包括任务处理参数、网络状态参数和计算能力参数；

所述对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器，包括：

将所述任务处理参数、网络状态参数和计算能力参数输入至预训练的神经网络模型进行处理，得到输出的目标比特率和目标分辨率和与每个监控视频对应的目标边缘服务器。

5.如权利要求4所述的安全监控方法，其特征在于，所述预训练的神经网络模型包括高层参数配置智能体和低层边缘服务器调度智能体；所述高层参数配置智能体包括一层卷积神经网络、第一图卷积神经网络和第一全连接网络，所述卷积神经网络和所述第一图卷积神经网络分别与所述第一全连接网络连接；所述低层边缘服务器调度智能体包括第二全连接网络、第二图卷积神经网络和第三全连接网络，所述第二全连接网络和所述第二图卷积神经网络分别与所述第三全连接网络连接。

6.如权利要求4所述的安全监控方法，其特征在于，所述根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据，包括：

将所述监控数据的比特率更新为所述目标比特率；

将所述监控数据的分辨率更新为所述目标分辨率，得到配置后的监控数据。

7.如权利要求1所述的安全监控方法，其特征在于，所述处理结果包括任务结果参数和资源占用参数；

所述方法，还包括：

将所述配置参数、所述任务结果参数和所述资源占用参数输入预训练的神经网络模型进行优化训练，以更新所述预训练的神经网络模型的参数。

8.一种基于边缘计算的安全监控装置，其特征在于，应用于中央服务器，所述中央服务器分别与多个监控终端和多个边缘服务器通信连接；

所述基于边缘计算的安全监控装置，包括：

数据获取模块，用于获取监控终端发送的监控数据；

参数获取模块，用于确定针对所述监控数据的处理任务的处理参数；

参数处理模块，用于对所述处理参数进行处理，得到配置参数，并确定与所述监控视频对应的目标边缘服务器；

参数配置模块，用于根据所述配置参数对所述监控数据执行参数配置操作，得到配置后的监控数据；

调度模块，用于将所述配置后的监控数据发送至对应的目标边缘服务器，以使所述目标边缘服务器对所述监控数据执行与所述处理任务对应的操作并返回处理结果。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images