CN109194984A - 一种基于边缘计算的视频帧调度方法 - Google Patents

Abstract

本发明涉及云计算领域，提出一种基于边缘计算的视频帧调度方法，包括以下步骤：用户端产生视频任务，然后对视频帧数进行压缩，并向控制器发送资源情况咨询请求；控制器接收用户端请求，向每一个能连接上的边缘服务器获取边缘服务器资源信息；控制端更新边缘服务器列表；控制器计算视频任务在边缘服务器剩余资源的范围内最低负载时的资源数值c^*和m^*；控制器确认当前任务处理总时延最短的边缘服务器序号e^*，然后把该边缘服务器信息发送到用户端；用户端把视频任务发送到序号为e^*的边缘服务器进行处理，边缘服务器处理完成后将处理数据上传到云服务器进行存储、统计和分析。本发明能够有效降低视频任务的传输及处理时延，提高边缘服务器的资源利用率。

Description

一种基于边缘计算的视频帧调度方法

技术领域

本发明涉及云计算领域，更具体地，涉及一种基于边缘计算的视频帧调度方法。

背景技术

智能设备的普及和公共监控系统的完善产生了大量的视频信息，越来越多的用户不仅是视频信息的接收者，也是视频信息的产生者。摄像设备的升级使得视频流在分辨率方面有了大幅度的提升，同时也让视频文件的容量变得更大，而大容量的视频文件对网络的带宽和服务器的处理能力是极大的挑战。在网络带宽和服务器的运算能力的制约下，海量的视频文件的传输和处理将产生较大的时延，严重影响用户体验和监控效果。

在视频处理领域，由于本地设备的处理能力低下，一般将视频流通过网络上传到云服务器进行处理。各大云计算服务产商也推出自己的视频云业务，对视频进行集中式处理。然而云计算视频处理并不总是那么高效，集中式的云处理方式会增加网络负载，造成网络拥塞，从而产生一定的数据处理时延。因此便提出了基于边缘计算的视频处理方法，将云服务器的部分计算任务下放到网络边缘端的计算节点，让各个边缘服务器对请求结合本地视频数据进行处理，然后返回相关计算结果给云中心，这样既降低了网络流量，减少了能耗，也在一定程度上保护了用户的隐私。

在基于边缘计算的视频处理框架中，任务的调度是影响边缘-云协作的重要因素，因此如何对任务进行调度直接影响到任务的执行优先级和处理时延。然而，现有技术中仍存在没有解决如何进行任务分析和调度的核心问题，数据的传输依然需要经过较长时间的网络延迟，消耗较多的资源，也没有涉及如何解决在多个边缘服务器间进行调度的实际问题。

发明内容

本发明为克服上述现有技术所述的传输时延和视频处理时延高等至少一种缺陷，提供一种基于边缘计算的视频帧调度方法，能够有效提高视频任务的调度速率，降低视频任务处理时延，提高边缘服务器的资源利用率。

为解决上述技术问题，本发明的技术方案如下：

一种基于边缘计算的视频帧调度方法，包括以下步骤：

S1：用户端产生视频任务，然后对视频帧数进行压缩，并向控制器发送资源情况咨询请求；

S2：控制器接收用户端请求，向每一个能连接上的边缘服务器获取边缘服务器资源信息；

S3：控制端更新边缘服务器列表，保留可连接的边缘服务器序号，删除不可通信的边缘服务器序号；

S4：控制器计算视频任务在边缘服务器剩余资源的范围内最低负载时的资源数值c^*和m^*；

S5：控制器确定当前任务处理总时延最短的边缘服务器序号e^*，然后把序号为e^*的边缘服务器信息发送到用户端；

S6：用户端把视频任务发送到序号为e^*的边缘服务器进行处理，边缘服务器处理完成后将处理数据上传到云服务器进行存储、统计和分析。

本技术方案中，用户端通过摄像头录制视频或处理视频源时，用户端对视频数据进行压缩，减少上传的数据量；控制器根据用户端发出的视频任务信息，计算视频任务在边缘服务器剩余资源的范围内能分配的最低的空闲CPU和剩余内存资源数值，进一步计算当前视频任务在各个边缘服务器剩余资源的范围内最低负载时完成处理的总时延最短的边缘服务器，并把视频任务发送到该边缘服务器进行处理，相应边缘服务器把处理完成后的处理数据上传到云服务器进行存储、统计和分析。

优选地，S1步骤的具体执行步骤包括：

S1.1：用户端产生视频任务，并设定视频任务的精度需求A_i；

S1.2：将视频任务中视频数据的每一帧进行编号F＝{F₁,F₂,...,F_n}；

S1.3：获取压缩后视频帧对应的原视频数据序号f_i，公式如下：

其中，r通过精度需求A_i结合精度-帧率曲线动态获取，R为视频原帧率，F_i为原视频的第i帧；

S1.4：将S1.3步骤得到的f_i添加到序号组f中，序号组f对应的视频帧则为待处理的压缩后的视频帧；

S1.5：用户端根据处理压缩后的视频帧所需的资源数向控制器发送资源情况咨询请求。

本技术方案中，引入以视频帧为粒度的调整视频压缩算法对视频进行压缩，结合视频原帧率R，通过映射的方式从原始视频中挑选出需要调度的视频帧，实现压缩视频帧数，降低视频帧率，使单位时间内需要处理的帧数减少，从而降低处理的任务量，减少视频任务的传输时延和处理时延。

优选地，精度-帧率曲线通过对测量数据拟合得到，其中，当帧率越接近原始帧率R时，视频的处理精度A越大，当帧率越原理原始帧率R时，视频的处理精度A越小。

优选地，S2步骤中的边缘服务器资源信息包括网络时延t_i、边缘服务器e_k的剩余处理器C_k和剩余内存M_k。由于视频数据从用户端到边缘服务器的传输时延由数据产生侧到边缘服务器的远近决定，同一个数据源传输到近端的边缘服务器的传输时延较小，传输到远端的边缘服务器的传输时延较大，具体的网络时延通过测量从请求发出到收到请求反馈的总耗时得到，传输时延与网络时延成正比关系，其比例与视频任务本身属性决定。

优选地，S3步骤中的不可通信的边缘服务器为网络时延t_i超过极限时间t^*的边缘服务器，其中所述极限时间t^*由控制器设定。视频数据从用户端到边缘服务器的传输时延由数据产生侧到边缘服务器的远近决定，同一个数据源传输到近端的边缘服务器的传输时延较小，传输到远端的边缘服务器的传输时延较大。由于有些边缘服务器距离太远，网络时延t_i太大，因此当咨询请求超过极限时间t^*即视为不可通信，以保证咨询请求本身的耗时较短。

优选地，S4步骤的具体执行步骤包括：

S4.1：计算各个边缘服务器在分别分配的空闲CPU资源和剩余内存资源的范围内处理视频任务的时延：

l(c_i,m_j)＝δ·c_i+γ·m_j；

S4.2：计算各个边缘服务器在分别分配的空闲CPU资源和剩余内存资源的范围内处理视频任务的的负载：

S4.3：对S4.2步骤计算得到的load(c_i,m_j)进行排序，取其最小值对应的c_i和m_j作为该边缘服务器e_k的资源分配方案c^*和m^*；

其中，上述公式中的p为视频帧的分辨率，r为视频帧率，f为视频时长，δ₀(p,r,f)为CPU资源对任务属性的敏感度函数，γ₀(p,r,f)为内存资源对任务属性的敏感度函数，ρ为常量系数，且0<ρ<1，c_i为边缘服务器给任务分配的空闲CPU资源，m_j为边缘服务器给任务分配的剩余内存资源，且满足c_i≤C_k,m_j≤M_k。

本技术方案中，当得到负载最小值时，可实现在有限的资源条件下达到较低的任务处理时延，即需要分配给视频任务对应的c^*和m^*资源能使负载最小，此时的c^*和m^*即为资源利用率最大的资源分配方案。

优选地，S5步骤的具体执行步骤包括：

S5.1：计算各个边缘服务器最低负载时处理视频任务的总时延：

L(j_i,e_k)＝α·t_i+δ·c^*+γ·m^*；

S5.2：对S5.1步骤计算得到的各个边缘服务器最低负载时处理视频任务的总时延L(j_i,e_k)进行排序，得到总时延的最小值，最小总时延对应边缘服务器的序号即为当前任务处理总时延最短的边缘服务器序号e^*；

S5.3：控制器将计算得到的边缘服务器序号e^*发送到用户端。

与现有技术相比，本发明技术方案的有益效果是：通过对视频数据进行压缩，降低处理的任务量，减少视频任务的传输时延和处理时延；通过对边缘服务器资源和视频任务属性感知判断，协调边缘服务器的资源和处理时延之间的关系，有效地提高了边缘服务器的资源利用率，降低用户的等待时延，给用户提供更加迅速服务，并且提高了用户隐私的保密性，有效提高用户体验度。

附图说明

图1为本实施例的基于边缘计算的视频帧调度方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

在本实施例中，用户端通过摄像头进行视频的录制，产生视频数据，且用户端在该视频数据在上传到边缘服务器进行缓存前进行压缩，减少上传的数据量。边缘服务器部署在靠近视频数据产生的网络边缘处，拥有比用户端强的数据运算能力，且数据源传输到边缘服务器的网络时延远小于数据源传输到云服务端的网络时延。控制器主要用于对视频任务属性和各个边缘服务器的资源分配情况进行分析、决策，将不同属性的任务调度到最优的边缘服务器进行处理，从而达到节约边缘服务器资源和降低任务延迟的目的。云服务器万用于负责接收边缘服务器的处理数据，并对数据进行存储、统计和分析。

如图1所示，为本实施例的基于边缘计算的视频帧调度方法的流程图，包括以下步骤：

步骤一：用户端产生视频任务，然后对视频帧数进行压缩，并向控制器发送资源情况咨询请求。其具体步骤包括：

S1.1：用户端产生视频任务j_i，并设定视频任务j_i的精度需求A_i；

S1.2：将视频任务j_i中视频数据的每一帧进行编号F＝{F₁,F₂,...,F_n}；

S1.3：获取压缩后视频帧对应的原视频数据序号f_i，公式如下：

S1.4：将S1.3步骤得到的f_i添加到序号组f中，序号组f对应的视频帧则为待处理的压缩后的视频帧；

S1.5：用户端根据处理压缩后的视频帧所需的资源数向控制器发送资源情况咨询请求。

其中，r通过精度需求A_i结合精度-帧率曲线动态获取，R为视频原帧率，F_i为原视频的第i帧。上述精度-帧率曲线通过对测量数据拟合得到，当帧率越接近原始帧率R时，视频的处理精度A越大，视频信息越完整；当帧率越原理原始帧率R时，视频的处理精度A越小，视频信息越容易丢失。

用户端通过上述步骤对视频帧数进行压缩，降低视频帧率，使边缘服务器在单位时间内需要处理的帧数减少，从而降低处理的任务量，减少视频任务的传输时延和处理时延。

步骤二：控制器接收用户端请求，向每一个能连接上的边缘服务器获取边缘服务器资源信息。其中，边缘服务器的资源信息包括网络时延t_i、边缘服务器e_k的剩余空闲的处理器C_k以及剩余内存数M_k。

网络时延t_i为用户端发送请求到各个边缘服务器后，从请求发出到收到请求反馈的总耗时，所述网络时延t_i用于计算视频数据从用户端到边缘服务器的传输时延。传输时延由用户端到边缘服务器的远近决定，同一个数据源传输到近端的边缘服务器的传输时延较小，传输到远端的边缘服务器的传输时延较大，具体的传输时延与网络时延t_i成正比比关系，且比例由视频任务本身属性决定，视频任务本身属性包括视频帧分辨率p，视频帧率r和视频市场f，因此视频任务的传输时延为：

L(j_i,e_k)＝a₀(p,r,f)·t_i，

因此视频任务j_i在边缘服务器e_k中的执行时间与视频任务的属性和边缘服务器具体分配的资源有关。

步骤三：控制端更新边缘服务器列表，保留可连接的边缘服务器序号，删除不可通信的边缘服务器序号。其中不可通信的边缘服务器为网络时延t_i超过极限时间t^*的边缘服务器，其中所述极限时间t^*由控制器设定。由于有些边缘服务器距离太远，咨询请求的网络时延t_i太大，因此当网络时延t_i超过设定值t^*，即视为不可通信，从而保证咨询请求本身的耗时较短。

步骤四：控制器计算视频任务在边缘服务器剩余资源的范围内最低负载时的资源数值c^*和m^*。其具体步骤如下：

S4.1：计算各个边缘服务器在分别分配的空闲CPU资源和剩余内存资源的范围内处理视频任务的时延：

l(c_i,m_j)＝δ₀(p,r,f)·c_i+γ₀(p,r,f)·m_j；

S4.2：计算各个边缘服务器在分别分配的空闲CPU资源和剩余内存资源的范围内处理视频任务的的负载：

S4.3：对S4.2步骤计算得到的load(c_i,m_j)进行排序，得到负载的最小值，将其对应边缘服务器的c_i和m_j设定为各个边缘服务器在分别分配的空闲CPU资源和剩余内存资源的范围内最低负载时的资源数值c^*和m^*；

其中，上述公式中的p为视频帧的分辨率，r为视频帧率，f为视频时长，δ₀(p,r,f)为CPU资源对任务属性的敏感度函数，γ₀(p,r,f)为内存资源对任务属性的敏感度函数，ρ为常量系数，且0<ρ<1，c_i为边缘服务器给任务分配的空闲CPU资源，m_j为边缘服务器给任务分配的剩余内存资源，且满足c_i≤C_k,m_j≤M_k。

由于视频任务j_i在边缘服务器e_k中的执行时间与视频任务的属性和边缘服务器具体分配的资源有关，而视频任务的属性是固定且确定的，因此在资源调度过程中影响视频任务的处理时延的变量是边缘服务器具体分配的资源：当分配到视频任务j_i的资源越多，任务执行速度越快，但是在资源有限的情况下给任务j_i分配过多的资源会导致其他任务没有资源可利用。因此上述步骤主要用于得到满足在有限的资源条件下达到较低的视频任务处理时延的空闲CPU资源c^*和剩余内存资源m^*。

步骤五：S5：控制器确认当前任务处理总时延最短的边缘服务器序号e^*，然后把序号为e^*的边缘服务器信息发送到用户端。其具体步骤如下：

S5.1：计算各个边缘服务器最低负载时处理视频任务的总时延：

L(j_i,e_k)＝α·t_i+δ·c^*+γ·m^*；

S5.2：对S5.1步骤计算得到的各个边缘服务器最低负载时处理视频任务的总时延L(j_i,e_k)进行排序，得到总时延的最小值，最小总时延对应边缘服务器的序号即为当前任务处理总时延最短的边缘服务器序号e^*；

S5.3：控制器将计算得到的边缘服务器序号e^*发送到用户端。

上述步骤通过代入满足在有限的资源条件下达到较低的视频任务处理时延的空闲CPU资源c^*和剩余内存资源m^*，计算处理视频任务的最小总时延，得到当前任务处理总时延最短的边缘服务器序号e^*。

步骤六：用户端把视频任务发送到序号为e^*的边缘服务器进行处理，边缘服务器处理完成后将处理数据上传到云服务器进行存储、统计和分析。

本实施例的基于边缘计算的视频帧调度方法，首先通过对视频数据的压缩，边缘服务器在单位时间内需要处理的帧数减少，从而降低处理的任务量，减少视频任务的传输时延和处理时延，再对边缘服务器的资源进行调度，实现协调边缘服务器的资源和视频任务处理时延之间的关系，增大资源利用率和降低用户的等待时延，从而提高用户体验度。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于边缘计算的视频帧调度方法，其特征在于：包括以下步骤：

S1：用户端产生视频任务，然后对视频帧数进行压缩，并向控制器发送资源情况咨询请求；

S2：控制器接收用户端请求，向每一个能连接上的边缘服务器获取边缘服务器资源信息；

S3：控制端更新边缘服务器列表，保留可连接的边缘服务器序号，删除不可通信的边缘服务器序号；

S4：控制器计算视频任务在边缘服务器剩余资源的范围内最低负载时的资源数值c^*和m^*；

S5：控制器确定当前任务处理总时延最短的边缘服务器序号e^*，然后把序号为e^*的边缘服务器信息发送到用户端；

S6：用户端把视频任务发送到序号为e^*的边缘服务器进行处理，边缘服务器处理完成后将处理数据上传到云服务器进行存储、统计和分析。

2.根据权利要求1所述的基于边缘计算的视频帧调度方法，其特征在于：所述S1步骤的具体执行步骤包括：

S1.1：用户端产生视频任务，并设定视频任务的精度需求A_i；

S1.2：将视频任务中视频数据的每一帧进行编号F＝{F₁,F₂,...,F_n}；

S1.3：获取压缩后视频帧对应的原视频数据序号f_i，其公式为：

其中，r通过精度需求A_i结合精度-帧率曲线动态获取，R为视频原帧率，F_i为原视频的第i帧；

S1.4：将S1.3步骤得到的f_i添加到序号组f中，序号组f对应的视频帧则为待处理的压缩后的视频帧；

S1.5：用户端根据处理压缩后的视频帧所需的资源数向控制器发送资源情况咨询请求。

3.根据权利要求2所述的基于边缘计算的视频帧调度方法，其特征在于：所述精度-帧率曲线通过对测量数据拟合得到，其中，当帧率越接近原始帧率R时，视频的处理精度A越大，当帧率越远离原始帧率R时，视频的处理精度A越小。

4.根据权利要求1所述的基于边缘计算的视频帧调度方法，其特征在于：所述S2步骤中的边缘服务器资源信息包括网络时延t_i、边缘服务器e_k的剩余空闲处理器C_k以及剩余内存M_k。

5.根据权利要求4所述的基于边缘计算的视频帧调度方法，其特征在于：所述S3步骤中的不可通信的边缘服务器为网络时延t_i超过极限时间t^*的边缘服务器，其中所述极限时间t^*由控制器设定。

6.根据权利要求5所述的基于边缘计算的视频帧调度方法，其特征在于：所述S4步骤的具体执行步骤包括：

S4.1：计算各个边缘服务器在各自分配的空闲CPU资源和剩余内存资源的范围内处理视频任务的时延：l(c_i,m_j)＝δ₀(p,r,f)·c_i+γ₀(p,r,f)·m_j；

S4.2：计算各个边缘服务器在各自分配的空闲CPU资源和剩余内存资源的范围内处理视频任务的的负载：

S4.3：对S4.2步骤计算得到的load(c_i,m_j)进行排序，取其最小值对应的c_i和m_j作为该边缘服务器e_k的资源分配方案c^*和m^*；

其中，上述公式中的p为视频帧的分辨率，r为视频帧率，f为视频时长，δ₀(p,r,f)为CPU资源对任务属性的敏感度函数，γ₀(p,r,f)为内存资源对任务属性的敏感度函数，ρ为常量系数，且0<ρ<1，c_i为边缘服务器给任务分配的空闲CPU资源，m_j为边缘服务器给任务分配的剩余内存资源，且满足c_i≤C_k,m_j≤M_k。

7.根据权利要求6所述的基于边缘计算的视频帧调度方法，其特征在于：所述S5步骤的具体执行步骤包括：

S5.1：计算各个边缘服务器最低负载时处理视频任务的总时延：

L(j_i,e_k)＝α·t_i+δ·c^*+γ·m^*；

S5.2：对S5.1步骤计算得到的各个边缘服务器最低负载时处理视频任务的总时延L(j_i,e_k)进行排序，得到总时延的最小值，最小总时延对应边缘服务器的序号即为当前任务处理总时延最短的边缘服务器序号e^*；

S5.3：控制器将边缘服务器序号e^*发送到用户端。