CN112463293A - 边缘场景下基于容器的可扩展分布式双队列动态分配方法 - Google Patents

Abstract

本发明公开了边缘场景下基于容器的可扩展分布式双队列动态分配方法，包括如下步骤：S1，获取视频流数据；S2，网关服务从视频流数据中获取视频帧，并从空闲服务器队列中挑选集群内的空闲服务器处理视频帧；S3，空闲服务器上的推理服务对视频帧进行深度神经网络推理和结果处理，完成后上报网关服务当前服务器已空闲；S4，网关服务将上报空闲的服务器重新加入空闲服务器队列。组成集群进行统一深度神经网络推理的服务器协同计算模式，相比于传统的单路视频流对应单路服务器的计算模式而言，充分利用了服务器的剩余计算资源，可以将多个服务器的剩余计算资源进行整合，完成更多路视频流处理。

Description

边缘场景下基于容器的可扩展分布式双队列动态分配方法

技术领域

本发明涉及边缘计算和深度学习技术领域，尤其是涉及了一种在边缘计算场景下基于容器技术的利用边缘服务器集群协同采用深度学习算法对视频流进行处理的方法。

背景技术

随着深度学习理论的发展，深度神经网络在众多领域得到了广泛的应用，特别是在图像处理领域，解决目标识别，图像分割等问题时可以获得不错的效果。但是深度神经网络通常计算量巨大，在进行视频流的连续处理时，普通终端设备往往面临计算能力不足的问题。云计算为解决算力不足的问题提供了一种思路，可以给云服务器配备高性能的CPU和GPU以提供强大的计算能力。但是云计算模式下，云服务器距离终端设备比较远，用于视频流处理的话会带来较高的数据传输开销，特别是在云服务器连接大量终端设备的情况下，数据传输会成为整个处理过程的瓶颈。

边缘计算针对云计算中终端距离所带来的数据传输开销，提出在靠近终端设备的地方设立边缘服务器，为终端设备提供强大的算力支撑。边缘计算的好处一方面在于边缘服务器靠近终端，缩短了数据传输距离，降低了传输开销；另一方面，边缘计算通过在一个云服务器服务范围内设立多个边缘服务器，缓解了云服务器的负载压力。

当前，在边缘计算的模式下，通常采用边缘服务器独立处理视频流的方式，其算力必须要超出视频所需要的算力需求，才能进行实时的计算。

发明内容

为解决现有技术的不足，基于边缘计算的计算模式，针对采用深度学习算法进行视频流处理的任务，提供一种多台边缘服务器的协同计算方法，提高边缘服务器的计算资源的使用效率，以达到计算任务和计算资源更充分匹配的目的，本发明采用如下的技术方案：

边缘场景下基于容器的可扩展分布式双队列动态分配方法，包括如下步骤：

S1，获取视频流数据；

S2，网关服务从视频流数据中获取视频帧，并从空闲服务器队列中挑选集群内的空闲服务器处理视频帧；

S3，空闲服务器上的推理服务对视频帧进行深度神经网络推理和结果处理，完成后上报网关服务当前服务器已空闲；

S4，网关服务将上报空闲的服务器重新加入空闲服务器队列。

组成集群进行统一深度神经网络推理的服务器协同计算模式，相比于传统的单路视频流对应单路服务器的计算模式而言，充分利用了服务器的剩余计算资源，可以将多个服务器的剩余计算资源进行整合，完成更多路视频流处理。

所述步骤S2，包括如下步骤：

S21，集群内各服务器的推理服务在启动后，会通知网关服务，网关服务开启集群内监听端口，接收集群内各服务器的空闲状态信息，并缓存至空闲服务器队列；

S22，网关服务获取多路终端设备的配置，记录各终端设备的帧速率，根据帧速率，定期从终端设备中获取视频帧，并缓存至输入视频帧队列；根据帧速率读取视频帧，是因为帧速率记录的是终端设备视频流每秒的帧数，即每秒会刷新几帧，如果不按照帧速率获取，获取的频率太高会导致重复计算，获取频率太低会导致漏推理。而定期读取，是因为不同的终端设备帧速率不尽相同，同时，除了与终端设备的帧速率相关，网关服务还会定义是否跳帧，以及几帧跳一帧。

S23，网关服务发现输入视频帧队列与空闲服务器队列同时不为空时，从输入视频帧队列中取出视频帧，从空闲服务器队列中取出空闲状态信息，将取出的视频帧发给取出的空闲状态信息对应的空闲服务器，由空闲服务器中的推理服务进行计算，并删除输入视频帧队列中取出的视频帧和空闲服务器队列中取出的空闲状态信息。

还包括步骤S5，网关服务定时检查获取的视频帧的输入视频帧队列长度，判断输入视频帧队列长度是否持续增长，若持续增长，则触发告警。通过检查输入视频帧队列长度是否持续增长，判断集群内服务器的算力是否满足计算需要，若持续增长，说明算力不够，则触发告警，通知运维人员进行集群的扩容。

所述触发告警后，通过容器化方式对集群进行扩容，从而支持快速扩大集群，包括如下步骤：

S511，在服务器系统上安装容器服务组件并启动；

S512，载入推理服务镜像，并启动推理服务。

当需要升级边缘集群的推理服务时，也可以通过容器化方式对集群进行升级，从而易于推理服务的升级，包括如下步骤：

S521，将新的推理服务的镜像下载至集群内的服务器上；

S522，重启各个服务器上的推理服务。

所述步骤S1，多路终端设备进行数据预处理，将读取的视频转化为视频流数据，网关服务读取多个终端设备待处理的视频帧。

本发明的优势和有益效果在于：

将多个相邻的处于同一网络环境下相互间可高速通信的边缘服务器组成边缘服务器集群，共同处理终端设备的视频计算任务，充分利用边缘服务器集群的算力，进一步提高计算效率。具体包括：利用边缘服务器地域相邻且可高速互访的特点，组成边缘服务器集群，将计算资源进行全局调配，充分满足计算任务的需求；可触发算力不足的告警，当算力不足时，及时通知运维人员对边缘服务器集群进行扩容；使用容器技术，部署边缘推理服务和网关服务，满足快速扩容和升级的需求。

附图说明

图1是本发明中边缘集群和终端摄像头设备的整体架构图。

图2是本发明中未组成集群时各个边缘服务器推理任务和结果处理任务的时序图。

图3是本发明中组成集群后边缘集群内各个边缘服务器推理任务和结果处理任务的时序图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，边缘场景下基于容器的可扩展分布式双队列动态分配方法，该方法采用边-边协同的方式，对多路视频流进行分布式推理。采用深度学习进行视频流检测任务，包括数据预处理，深度神经网络推理和结果处理三个阶段，端侧设备对视频进行数据预处理，将摄像头中采集到的图片转码为视频流。在边侧收到视频流后，根据边侧服务器集群各节点计算资源的状态，决定集群内深度神经网络推理和结果处理任务的分配。本发明在边缘侧搭建了边缘集群，实现了计算资源的灵活可控的动态分配，提高了资源的使用效率，其实现方法简便，手段灵活，且跟实际运行的推理模型无关。同时，推理服务以docker容器的方式跑在边缘侧集群内，这种方案具有良好的扩展性，且推理服务易于升级。包括以下步骤：

步骤一，多路终端摄像头设备进行数据预处理，依次读取视频，将视频转化为RSTP视频流数据；

步骤二，网关服务根据配置获取RSTP视频流的地址，依次读取多个终端摄像头设备待处理的视频帧，并根据当前集群内各服务器的状态，挑选一个空闲服务器，并告知在其上运行的推理服务处理当前某路终端摄像头设备的视频帧；

步骤三，服务器上的推理服务对分配到的视频帧进行深度神经网络推理和结果处理的任务，完成后告知网关服务当前服务器已空闲，并等待分配下一帧视频数据的处理任务。

步骤四，网关服务收到服务器处于空闲可用状态后，重新将其加入空闲服务器队列。

步骤五，网关服务定期判断集群内算力是否满足计算需要，即是否达到处理对应多路视频流的要求，若不满足，则触发告警，通知运维人员扩大边缘服务器集群。具体的，网关服务定时检查输入视频帧队列的长度，判断输入视频帧队列的长度是否持续增长，则向已配置的告警源进行告警，通知运维人员进行边缘集群扩容；例如，网关服务每过一定的时间间隔，记录输入视频帧队列的长度，一直保存最近的10个值，每次记录队列长度时，还判断这10个值是否单调递增，如果单调递增，则认为输入视频帧队列在持续增长。

运维人员通过容器化的方式，支持快速扩大边缘集群，并易于推理服务的升级，例如通过容器化的方式快速启动推理服务，通过镜像替换的方式升级容器。

具体的，运维人员收到算力不足的告警后，准备新的边缘服务器，并将边缘服务器与当前边缘服务器集群处于同一网络环境下；在新的边缘服务器上安装docker等组件，下载对应的推理服务镜像，启动推理服务；同时，当遇到推理服务需要升级时，运维人员将新的推理服务镜像下载至集群内的所有服务器上，依次重启各个服务器上的推理服务。

新的边缘服务器加入集群的流程：

1、安装linux的操作系统，如ubuntu或者centOS；

2、使用apt或yum安装docker服务，使用systemctl将docker服务设为开机自启动；

3、使用镜像包导入节点的镜像；

4、使用docker命令启动对应节点镜像的容器，并将容器设为自动启动。

节点上工作容器的作用：

1、主动向网关服务进行注册流程，并维持心跳；

2、接收网关服务发来的图片，并对其进行推理；

3、推理完毕并输出结果后，通知网关服务，当前节点已处于空闲状态。

其中步骤二为本发明的核心，分为以下子步骤：

步骤1，边缘服务器集群内的各节点推理服务在启动后，会告知网关服务，网关服务开启集群内监听端口，接收集群内各服务器空闲状态信息，并缓存至内存中的空闲服务器队列。

步骤2，网关服务读取多路终端摄像头设备的配置，记录各路终端摄像头的帧速率FPS；根据帧速率FPS，定期从对应摄像头中读取待处理的视频帧，缓存至内存中的输入视频帧队列；之所以根据帧速率FPS去读视频帧，是因为帧速率FPS记录的是摄像头视频流每秒的帧数，即每秒摄像头会刷新几帧，如果不按照帧速率FPS去获取，获取的频率太高会导致重复计算，获取频率太低会导致漏推理。而定期读取，是因为不同的摄像头帧速率FPS不尽相同，同时，除了跟摄像头的帧速率FPS相关之外，网关服务还会定义是否跳帧，以及几帧跳一帧。

例如，摄像头为普通摄像头，假设FPS为30帧，不开启跳帧设置时，网关服务每隔1/30s的时间，读取一次图像。

若FPS为30帧，开启跳帧，假设每读3帧跳1帧，则网关服务先获取3帧，然后休息1帧的时间，继续获取3帧，再休息1帧的时间，定期读取图像的时间间隔分别为1/30s，1/30s，2/30s，1/30s，1/30s，2/30s…以此循环，4/30s为重复周期。

步骤3，网关服务发现输入视频帧队列和空闲服务器队列同时不为空时，从输入视频帧队列中取出第一帧视频帧，从空闲服务器队列中取出第一个空闲服务器的信息，将取出的视频帧发给该空闲服务器的推理服务进行计算，并删除视频帧队列的第一帧视频帧和空闲服务器队列的第一个空闲服务器。

用深度学习进行视频流检测任务，包括数据预处理，深度神经网络推理和结果处理三个阶段，端侧设备对视频进行数据预处理，将摄像头中采集到的图片转码为视频流。在边侧收到视频流后，根据边侧服务器集群各节点计算资源的状态，决定集群内深度神经网络推理和结果处理任务的分配。本发明在边缘侧搭建了边缘集群，实现了计算资源的灵活可控的动态分配，提高了资源的使用效率，其实现方法简便，手段灵活，且跟实际运行的推理模型无关。同时，推理服务以容器的方式跑在边缘侧集群内，这种方案具有良好的扩展性，且推理服务易于升级。

组成集群进行统一深度神经网络推理的边缘服务器协同计算模式，相比于传统的单路视频流对应单路边缘服务器的计算模式而言，充分利用了边缘服务器的剩余计算资源，可以将多个边缘服务器的剩余计算资源进行整合，完成更多路视频流处理。

具体的，在边缘集群的协同计算模式下，采用深度神经网络中的yolov3-spp模型进行视频流目标识别任务处理；本实施例采用Nvidia Jetson AGX Xavier作为边缘服务器，800万4K摄像头作为终端摄像头设备，输入视频流尺寸为2080×1920×3，视频帧速率为25FPS。

在未组成集群的情况下，边缘服务器处理一帧视频所需的时间为65ms，每秒约可处理15帧。做目标识别时，假设目标运动较为缓慢，可以进行跳帧处理。经过跳帧处理，每读一帧跳一帧，所需达到的处理速度为12.5帧每秒。此时，边缘服务器满足单路视频流的深度神经网络推理和结果处理任务的需求。

此时，将5台边缘服务器组成边缘集群，因网关服务不使用GPU功能，因此可以将网关服务部署在任一服务器，而不影响推理任务的效率，在所有服务器上部署推理服务，由网关服务进行计算任务的动态分配，如图2、3所示，经历若干帧的处理后，边缘服务集群的推理任务会趋于稳态，边缘服务器不再存在空闲时间间隙，此时可充分发挥边缘服务器的能力，5台边缘服务器可以完成75帧每秒的计算任务，共可计算6路终端摄像头设备的视频流。

本实施例中测试数据的分析结果表明：

相比于未组成集群的视频流而言，组成集群的边缘服务器的资源使用更加充分，由原来每台边缘服务器计算12.5帧每秒的速度，提升至边缘服务器计算的最大值每秒15帧视频帧，充分利用了边缘服务器的计算资源，性能提升了20%。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (6)

1.边缘场景下基于容器的可扩展分布式双队列动态分配方法，其特征在于包括如下步骤：

S1，获取视频流数据；

S2，网关服务从视频流数据中获取视频帧，并从空闲服务器队列中挑选集群内的空闲服务器处理视频帧；

S3，空闲服务器上的推理服务对视频帧进行深度神经网络推理和结果处理，完成后上报网关服务当前服务器已空闲；

S4，网关服务将上报空闲的服务器重新加入空闲服务器队列。

2.如权利要求1所述的边缘场景下基于容器的可扩展分布式双队列动态分配方法，其特征在于所述步骤S2，包括如下步骤：

S21，集群内各服务器的推理服务在启动后，会通知网关服务，网关服务开启集群内监听端口，接收集群内各服务器的空闲状态信息，并缓存至空闲服务器队列；

S22，网关服务获取多路终端设备的配置，记录各终端设备的帧速率，根据帧速率，定期从终端设备中获取视频帧，并缓存至输入视频帧队列；

S23，网关服务发现输入视频帧队列与空闲服务器队列同时不为空时，从输入视频帧队列中取出视频帧，从空闲服务器队列中取出空闲服务器状态信息，将取出的视频帧发给取出的空闲服务器状态信息对应的空闲服务器，由空闲服务器中的推理服务进行计算，并删除输入视频帧队列中取出的视频帧和空闲服务器队列中取出的空闲服务器状态信息。

3.如权利要求2所述的边缘场景下基于容器的可扩展分布式双队列动态分配方法，其特征在于还包括步骤S5，网关服务定时检查获取的视频帧的输入视频帧队列长度，判断输入视频帧队列长度是否持续增长，若持续增长，则触发告警。

4.如权利要求1所述的边缘场景下基于容器的可扩展分布式双队列动态分配方法，其特征在于所述触发告警后，通过容器化方式对集群进行扩容，包括如下步骤：

S511，在服务器系统上安装容器服务组件并启动；

S512，载入推理服务镜像，并启动推理服务。

5.如权利要求3所述的边缘场景下基于容器的可扩展分布式双队列动态分配方法，其特征在于需要升级推理服务时，通过容器化方式对集群进行升级，包括如下步骤：

S521，将新的推理服务的镜像下载至集群内的服务器上；

S522，重启各个服务器上的推理服务。

6.如权利要求1所述的边缘场景下基于容器的可扩展分布式双队列动态分配方法，其特征在于所述步骤S1，多路终端设备进行数据预处理，将读取的视频转化为视频流数据，网关服务读取多个终端设备待处理的视频帧。

Images