CN112434789A - 一种用于边缘视频分析的分布式神经网络模型划分方法 - Google Patents

Abstract

本发明提供一种用于边缘视频分析的分布式神经网络模型划分方法，包括以下步骤：S1：构建异构边缘视频分析模型；S2：通过异构边缘视频分析模型接收视频分析任务，并对所接收的视频分析任务进行解析得到视频特征值；S3：根据视频分析任务选择执行视频分析任务的深度神经网络模型，并根据所选的深度神经网络模型对当前环境进行测量，得到环境特征值；S4：将视频特征值和环境特征值输入深度强化学习模型中，得到输出结果；S5：根据输出结果得到任务调度与模型划分的决策。本发明提供一种用于边缘视频分析的分布式神经网络模型划分方法，通过深度强化学习模型得到任务调度与模型划分的决策，解决了目前利用边缘计算进行视频分析的效率不够高的问题。

Description

一种用于边缘视频分析的分布式神经网络模型划分方法

技术领域

本发明涉及边缘计算技术领域，更具体的，涉及一种用于边缘视频分析的分布式神经网络模型划分方法。

背景技术

如今，视频分析任务通常是基于深度网络模型的，而模型的训练和推理带来了巨大的计算压力。由于摄像头始终受到计算资源的限制，目前的视频分析方法是将摄像头采集的图像或视频传输到远端的资源丰富的云服务器上，再由云服务器来执行深度学习任务。然而将大量的数据发送到远端的云服务器上是非常耗时的，并且会对网络带宽带来巨大的负担。边缘计算允许终端设备(例如，车辆、物联网设备等)将生成的数据在靠近数据源的网络边缘侧进行处理，而不需要将其发送到远端云服务器(或数据中心)进行处理。通过利用边缘服务器(或边缘节点)的计算资源来处理卸载的任务，可以提供实时的数据分析功能。尽管基于边缘的视频分析可以实现低延迟的响应，但是边缘服务器的计算能力比较弱，导致利用边缘计算进行视频分析的效率不够高。

现有技术中，如2018年05月08日公开的中国专利，一种边缘计算和云计算融合的实时视频监控方法及系统，公开号为CN108012121A，在边缘设备端使用CNN卷积神经网络图像识别检索技术实时对图片处理，解决了云服务器海量存储和计算压力，但没有考虑边缘节点的能耗与网络带宽受限的情况。

发明内容

本发明为克服目前利用边缘计算进行视频分析的效率不够高的技术缺陷，提供一种用于边缘视频分析的分布式神经网络模型划分方法。

为解决上述技术问题，本发明的技术方案如下：

一种用于边缘视频分析的分布式神经网络模型划分方法，包括以下步骤：

S1：构建异构边缘视频分析模型；

所述异构边缘视频分析模型包括深度神经网络模型和深度强化学习模型；

S2：通过异构边缘视频分析模型接收视频分析任务，并对所接收的视频分析任务进行解析得到视频特征值；

S3：根据视频分析任务选择执行视频分析任务的深度神经网络模型，并根据所选的深度神经网络模型对当前环境进行测量，得到环境特征值；

S4：将视频特征值和环境特征值输入深度强化学习模型中，得到输出结果；

S5：根据输出结果得到任务调度与模型划分的决策。

上述方案中，根据视频分析任务在异构边缘视频分析模型中选择执行视频分析任务的深度神经网络模型，然后通过深度强化学习模型得到任务调度与模型划分的决策，提高利用边缘计算进行视频分析的效率。

优选的，所述异构边缘视频分析模型还包括边缘服务器集群ESC和云服务器CS；所述边缘服务器集群ESC＝{ES₁,ES₂,…,ES_N}由N台边缘服务器组成；所述深度神经网络模型DNN具有n个可选划分点；所述深度强化学习模型包括智能体；

其中，每台边缘服务器提供的计算资源各不相同，边缘服务器集群提供的最大计算资源为RC＝{R₁,R₂,…,R_N}，边缘服务器集群内的各边缘服务器的当前可用计算资源rc＝{r₁,r₂,…,r_N}。

优选的，在步骤S2中，还包括对视频分析任务进行预处理，具体为：设定阈值，在视频分析任务中提取帧间差异大于阈值的帧作为关键帧。

优选的，视频分析任务具有原始分辨率Q、帧总数K以及可容忍最低推理精度ACC。

优选的，在步骤S3中，根据视频分析任务选择执行视频分析任务的深度神经网络模型具体为：

根据视频分析任务的可容忍最低推理精度ACC在异构边缘视频分析模型中选择执行视频分析任务的深度神经网络模型DNN，并在深度神经网络模型DNN中得到可选划分点集合L＝{L₀,L₁,L₂,…,L_n-1}；其中，L₀表示不进行模型划分。

优选的，视频特征值包括：视频分析任务的原始分辨率Q；

环境特征值包括：边缘服务器集群的可用计算资源rc、网络带宽状况B和模型各划分点的中间输出结果大小S＝{S₁,S₂,…,S_n-1}。

优选的，在步骤S4中，输出结果为智能体输出的行动的概率分布π(a|s)，其中，a为智能体的行动，s为当前环境的状态。

优选的，在得到输出结果之后，还包括根据输出结果设置奖励对智能体进行训练，具体为：设智能体最初的状态为s₀，当新的视频分析任务输入异构边缘视频分析模型时，智能体和环境会相互作用，智能体的状态变为s_c，在此基础上，智能体选择行动a_c；在完成视频分析任务后，根据行动的结果，智能体接收环境产生的奖励τ_c+1，并且获得新的观察信息o_c+1，从而生成新的状态s_c+1。

优选的，通过以下公式设置奖励：

τ＝ω_T·τ_T+ω_P·τ_P

τ_T＝T_local-T_all

τ_P＝P_local-P_all

其中，τ表示智能体通过行动获得的奖励，τ_T表示在延迟方面的奖励，τ_P表示在能耗方面的奖励，ω_T表示在延迟方面的奖励权重，ω_P表示在能耗方面的奖励权重，且ω_T+ω_P＝1；T_local＝T(ES_i,L₀)为仅在边缘端执行的延迟，L₀表示不进行模型划分；T_all为实际行动后算得的总延迟，即T(ES_i,L_j)；P_local＝P(ES_i,L₀)为仅在边缘端执行的资源消耗；P_all为实际行动后算得的总资源消耗，即P(ES_i,L_j)。

优选的，通过以下步骤计算得到总延迟T(ES_i,L_j)和总资源消耗P(ES_i,L_j)：

最小化视频分析任务的代价函数，表示为：

其中，代价函数由总延迟与总资源消耗两部分组成，表示为：

C_J(ES_i,L_j)＝T_J(ES_i,L_j)+P_J(ES_i,L_j)

总延迟包含在边缘服务器ES_i处理任务的时间t_es，边缘服务器将中间输出数据传输到云服务器，加上云服务器将运行结果返回给边缘服务器所需要的时间t_trans，以及在云服务器处理剩余任务步骤的时间t_cs，另外，总延迟还包括在边缘端或云端等待发送或等待接收的时间t_wait；因此，总延迟表示为：

其中，L_j为模型划分点；传输时间为t_trans＝S_j/B+S′/B′，S′为云服务器返回结果的数据大小，B和B′分别为边缘端与云端来回传输时的网络带宽状况；

假设云服务器有着丰富的计算资源且资源消耗不计入计算成本，因此对于边缘服务器，使用每帧的平均GPU处理时间t_{avg_gpu}作为资源消耗的度量标准，则总资源消耗表示为：

P(ES_i,L_j)＝K·t_{avg_gpu}。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供了一种用于边缘视频分析的分布式神经网络模型划分方法，根据视频分析任务在异构边缘视频分析模型中选择执行视频分析任务的深度神经网络模型，然后通过深度强化学习模型得到任务调度与模型划分的决策，提高利用边缘计算进行视频分析的效率。

附图说明

图1为本发明的技术方案实施步骤流程图；

图2为本发明中所述的异构边缘视频分析模型的示意图；

图3为本发明中对所述智能体进行训练的示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1-3所示，一种用于边缘视频分析的分布式神经网络模型划分方法，包括以下步骤：

S1：构建异构边缘视频分析模型；

所述异构边缘视频分析模型包括深度神经网络模型和深度强化学习模型；

S2：通过异构边缘视频分析模型接收视频分析任务J，并对所接收的视频分析任务J进行解析得到视频特征值；

S3：根据视频分析任务J选择执行视频分析任务J的深度神经网络模型，并根据所选的深度神经网络模型对当前环境进行测量，得到环境特征值；

S4：将视频特征值和环境特征值输入深度强化学习模型中，得到输出结果；

S5：根据输出结果得到任务调度与模型划分的决策。

在具体实施过程中，根据视频分析任务J在异构边缘视频分析模型中选择执行视频分析任务J的深度神经网络模型，然后通过深度强化学习模型得到任务调度与模型划分的决策，提高利用边缘计算进行视频分析的效率。

更具体的，所述异构边缘视频分析模型还包括边缘服务器集群ESC和云服务器CS；所述边缘服务器集群ESC＝{ES₁,ES₂,…,ES_N}由N台边缘服务器组成；所述深度神经网络模型DNN具有n个可选划分点；所述深度强化学习模型包括智能体；

其中，每台边缘服务器提供的计算资源各不相同，边缘服务器集群提供的最大计算资源为RC＝{R₁,R₂,…,R_N}，边缘服务器集群内的各边缘服务器的当前可用计算资源rc＝{r₁,r₂,…,r_N}。

在具体实施过程中，假设计算资源为GPU，GPU是大多数视频处理工作负载的主要资源，在异构边缘视频分析模型中，边缘服务器对GPU的划分可通过块数划分或显存划分，计算资源对应为GPU的数量或显存大小。

更具体的，在步骤S2中，还包括对视频分析任务J进行预处理，具体为：设定阈值，在视频分析任务J中提取帧间差异大于阈值的帧作为关键帧。

在具体实施过程中，通过提取关键帧，减少输入的图像帧，从而降低异构边缘视频分析模型的资源开销以及系统时延。提取平均帧间差异为局部最大值的帧，在此基础上额外设定一个阈值，提取帧间差异大于该阈值的帧，如果仅提取帧间差异局部最大的帧会导致清晰度比较差，视觉效果模糊。

更具体的，视频分析任务J具有原始分辨率Q、帧总数K以及可容忍最低推理精度ACC。

在具体实施过程中，假设异构边缘视频分析模型周期性地接收到单个视频分析任务J，这些视频分析任务J会以视频或图像帧序列的形式输入，任务目标可以是目标检测、图像分类等。

更具体的，在步骤S3中，根据视频分析任务J选择执行视频分析任务J的深度神经网络模型具体为：

根据视频分析任务J的可容忍最低推理精度ACC在异构边缘视频分析模型中选择执行视频分析任务J的深度神经网络模型DNN，并在深度神经网络模型DNN中得到可选划分点集合L＝{L₀,L₁,L₂,…,L_n-1}；其中，L₀表示不进行模型划分。

在具体实施过程中，通过视频分析任务J进行预配置，从而选择执行视频分析任务J的深度神经网络模型并得到可选划分点集合。对不进行模型划分时，将整个视频分析任务J置于边缘服务器完成；若进行模型划分，则边缘服务器运行前半段模型并把中间输出数据(数据大小为S_j，不同划分点得到的中间输出数据大小通过离线运行推理过程得到)传输到云服务器CS，云服务器执行剩余的分析步骤，得到运行结果并返回给边缘服务器。

更具体的，视频特征值包括：视频分析任务J的原始分辨率Q；

环境特征值包括：边缘服务器集群的可用计算资源rc、网络带宽状况B和模型各划分点的中间输出结果大小S＝{S₁,S₂,…,S_n-1}。

在具体实施过程中，所有特征值都按相同的单位比例表示，并且所有卷积网络都使用大小为4的过滤器。除了rc和S两个输入状态，其他的输入状态都提供过去8个历史值。

表1是深度强化学习模型的部分状态空间。

表1

更具体的，在步骤S4中，输出结果为智能体输出的行动的概率分布π(a|s)，其中，a为智能体的行动，s为当前环境的状态。

在具体实施过程中，根据输出结果作出任务调度与模型划分的决策方案，从而将视频分析任务J分配至指定的边缘服务器ES_i和确定模型划分点L_j，并根据模型划分点L_j对深度神经网络模型进行划分，然后执行分析。

更具体的，在得到输出结果之后，还包括根据输出结果设置奖励对智能体进行训练，具体为：设智能体最初的状态为s₀，当新的视频分析任务J输入异构边缘视频分析模型时，智能体和环境会相互作用，智能体的状态变为s_c，在此基础上，智能体选择行动a_c；在完成视频分析任务J后，根据行动的结果，智能体接收环境产生的奖励τ_c+1，并且获得新的观察信息o_c+1，从而生成新的状态s_c+1。

在具体实施过程中，该异构边缘视频分析模型一系列操作的序列为s₀,a₀,τ₁,o₁,s₁,a₁,τ₂,o₂,…,τ_c,o_c,s_c；作为决策单元，智能体在本质上是以内部和环境状态为输入的神经网络，并预测响应的行动分布π(a|s)，由于共有N台边缘服务器和n个可选划分点，那么就有N·n种可能采取的行动，智能体输出便是这N·n种行动的概率分布。

更具体的，通过以下公式设置奖励：

τ＝ω_T·τ_T+ω_P·τ_P

τ_T＝T_local-T_all

τ_P＝P_local-P_all

其中，τ表示智能体通过行动获得的奖励，τ_T表示在延迟方面的奖励，τ_P表示在能耗方面的奖励，ω_T表示在延迟方面的奖励权重，ω_P表示在能耗方面的奖励权重，且ω_T+ω_P＝1；T_local＝T(ES_i,L₀)为仅在边缘端执行的延迟，L₀表示不进行模型划分；T_all为实际行动后算得的总延迟，即T(ES_i,L_j)；P_local＝P(ES_i,L₀)为仅在边缘端执行的资源消耗；P_all为实际行动后算得的总资源消耗，即P(ES_i,L_j)。

在具体实施过程中，智能体会与环境交互，采取行动后，通过观察环境与内部状态来最大化长期奖励。

更具体的，通过以下步骤计算得到总延迟T(ES_i,L_j)和总资源消耗P(ES_i,L_j)：

最小化视频分析任务J的代价函数，表示为：

其中，代价函数由总延迟与总资源消耗两部分组成，表示为：

C_J(ES_i,L_j)＝T_J(ES_i,L_j)+P_J(ES_i,L_j)

总延迟包含在边缘服务器ES_i处理任务的时间t_es，边缘服务器将中间输出数据传输到云服务器，加上云服务器将运行结果返回给边缘服务器所需要的时间t_trans，以及在云服务器处理剩余任务步骤的时间t_cs，另外，总延迟还包括在边缘端或云端等待发送或等待接收的时间t_wait；因此，总延迟表示为：

其中，L_j为模型划分点；传输时间为t_trans＝S_j/B+S′/B′，S′为云服务器返回结果的数据大小，B和B′分别为边缘端与云端来回传输时的网络带宽状况；

假设云服务器有着丰富的计算资源且资源消耗不计入计算成本，因此对于边缘服务器，使用每帧的平均GPU处理时间t_{avg_gpu}作为资源消耗的度量标准，则总资源消耗表示为：

P(ES_i,L_j)＝K·t_{avg_gpu}。

在具体实施过程中，在保证一定的推理准确精度的前提下以最小化系统的总延迟与总资源开销为目标计算代价函数。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，包括以下步骤：

S1：构建异构边缘视频分析模型；

所述异构边缘视频分析模型包括深度神经网络模型和深度强化学习模型；

S2：通过异构边缘视频分析模型接收视频分析任务，并对所接收的视频分析任务进行解析得到视频特征值；

S3：根据视频分析任务选择执行视频分析任务的深度神经网络模型，并根据所选的深度神经网络模型对当前环境进行测量，得到环境特征值；

S4：将视频特征值和环境特征值输入深度强化学习模型中，得到输出结果；

S5：根据输出结果得到任务调度与模型划分的决策。

2.根据权利要求1所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，所述异构边缘视频分析模型还包括边缘服务器集群ESC和云服务器CS；所述边缘服务器集群ESC＝{ES₁，ES₂，...，ES_N}由N台边缘服务器组成；所述深度神经网络模型DNN具有n个可选划分点；所述深度强化学习模型包括智能体；

其中，每台边缘服务器提供的计算资源各不相同，边缘服务器集群提供的最大计算资源为RC＝{R₁，R₂，...，R_N}，边缘服务器集群内的各边缘服务器的当前可用计算资源rc＝{r₁，r₂，...，r_N}。

3.根据权利要求1所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，在步骤S2中，还包括对视频分析任务进行预处理，具体为：设定阈值，在视频分析任务中提取帧间差异大于阈值的帧作为关键帧。

4.根据权利要求2所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，视频分析任务具有原始分辨率Q、帧总数K以及可容忍最低推理精度ACC。

5.根据权利要求4所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，在步骤S3中，根据视频分析任务选择执行视频分析任务的深度神经网络模型具体为：

根据视频分析任务的可容忍最低推理精度ACC在异构边缘视频分析模型中选择执行视频分析任务的深度神经网络模型DNN，并在深度神经网络模型DNN中得到可选划分点集合L＝{L₀，L₁，L₂，...，L_n-1}；其中，L₀表示不进行模型划分。

6.根据权利要求1所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，

视频特征值包括：视频分析任务的原始分辨率Q；

环境特征值包括：边缘服务器集群的可用计算资源rc、网络带宽状况B和模型各划分点的中间输出结果大小S＝{S₁，S₂，...，S_n-1}。

7.根据权利要求2所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，在步骤S4中，输出结果为智能体输出的行动的概率分布π(a|s)，其中，a为智能体的行动，s为当前环境的状态。

8.根据权利要求5所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，在得到输出结果之后，还包括根据输出结果设置奖励对智能体进行训练，具体为：设智能体最初的状态为s₀，当新的视频分析任务输入异构边缘视频分析模型时，智能体和环境会相互作用，智能体的状态变为s_c，在此基础上，智能体选择行动a_c；在完成视频分析任务后，根据行动的结果，智能体接收环境产生的奖励τ_c+1，并且获得新的观察信息o_c+1，从而生成新的状态s_c+1。

9.根据权利要求8所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，通过以下公式设置奖励：

τ＝ω_T·τ_T+ω_P·τ_P

τ_T＝T_local-T_all

τ_P＝P_local-P_all

其中，τ表示智能体通过行动获得的奖励，τ_T表示在延迟方面的奖励，τ_P表示在能耗方面的奖励，ω_T表示在延迟方面的奖励权重，ω_P表示在能耗方面的奖励权重，且ω_T+ω_P＝1；T_local＝T(ES_i，L₀)为仅在边缘端执行的延迟，L₀表示不进行模型划分；T_all为实际行动后算得的总延迟，即T(ES_i，L_j)；P_local＝P(ES_i，L₀)为仅在边缘端执行的资源消耗；P_all为实际行动后算得的总资源消耗，即P(ES_i，L_j)。

10.根据权利要求9所述的一种用于边缘视频分析的分布式神经网络模型划分方法，其特征在于，通过以下步骤计算得到总延迟T(ES_i，L_j)和总资源消耗P(ES_i，L_j)：

最小化视频分析任务的代价函数，表示为：

其中，代价函数由总延迟与总资源消耗两部分组成，表示为：

C_J(ES_i，L_j)＝T_J(ES_i，L_j)+P_J(ES_i，L_j)

总延迟包含在边缘服务器ES_i处理任务的时间t_es，边缘服务器将中间输出数据传输到云服务器，加上云服务器将运行结果返回给边缘服务器所需要的时间t_trans，以及在云服务器处理剩余任务步骤的时间t_cs，另外，总延迟还包括在边缘端或云端等待发送或等待接收的时间t_wait；因此，总延迟表示为：

其中，L_j为模型划分点；传输时间为t_trans＝S_j/B+S′/B′，S′为云服务器返回结果的数据大小，B和B′分别为边缘端与云端来回传输时的网络带宽状况；

假设云服务器有着丰富的计算资源且资源消耗不计入计算成本，因此对于边缘服务器，使用每帧的平均GPU处理时间t_{avg_gpu}作为资源消耗的度量标准，则总资源消耗表示为：

P(ES_i，L_j)＝K·t_{avg_gpu}。

Images