CN114895701B - 一种无人机巡检方法及系统 - Google Patents

Abstract

本申请适用于巡检技术领域，尤其涉及一种无人机巡检方法及系统。该方法包括：第一边缘节点接收云服务器发送的第一请求；第一边缘节点根据第一请求，从云服务器获取第一请求对应的容器；第一边缘节点通过容器对无人机拍摄的第一视频流数据进行处理，获得第二视频流数据；第一边缘节点将第二视频流数据发送给用户端设备，用户端设备处理第二视频流数据后获得监控视频，并播放所述监控视频。本申请提供了一种网络负载较小，且传输速度较快的无人机直播巡检的方式，能够满足多台无人机同时巡检的数据传输、计算、存储的要求。

Description

一种无人机巡检方法及系统

技术领域

本申请属于巡检技术领域，尤其涉及一种无人机巡检方法及系统。

背景技术

建筑工地巡检，是为全面了解工地现场施工情况，通过对项目巡查质量结果的整改与检审，及时发现并解决施工中存在的相关问题，提高公司项目质量，品质等目标的管控能力。使在建项目现场工程质量、安全施工巡检工作规范化、度化、专业化，促进各项工程质量及施工，安全管理水平不断提高。建筑工地巡检一般包括日常巡检和安全巡检。无论是哪一种巡检方式，其巡检过程复杂，人员成本高昂，同时，在大规模的巡检中，容易产生误判或漏判，也无法实现实时准确真实的巡检，具有很大的延时性和误差性。进一步地，可通过摄像头进行实时监控，然而大量的部署摄像头所需的设备成本高昂，也无法全面监控所有位置区域。

现有的方案中有采用无人机进行工地巡检的方式，由于建筑工地的覆盖面积大，需要检测的目标较多，因此无人机巡检主要是通过将多台无人机的拍摄图像上传至云端进行云计算的形式实现。

传统的云计算主要是中心化的模式，即服务提供商建立数据中心、安装机器集群，由于云计算的总体能力受制于服务提供商的机器数量等因素，且无法利用泛在的计算资源，因此在同时处理大量巡检的图像数据时，数据中心需要承载很大的数据计算量。此外，在数据从无人机端向云计算中心的传输过程中，将会带来较大的传输带宽消耗。随着数字摄像机的广泛普及，视频监控以及视频数据的传输将会消耗巨大的网络带宽。对于无人机拍摄的视频流数据的分析，需要将视频流路由到具备分析能力的服务器端，比如云计算的数据中心，进行分析处理之后，再将结果返回至监控中心。这过程将进一步的带来巨大的网络带宽消耗，同时，由于路由路径较长，网络状况比较复杂，不能满足实时性要求比较强的应用场合。

发明内容

本申请实施例提供了一种基于边缘计算的无人机巡检方法及系统，围绕施工平面巡检的全流程，基于边缘计算从数据采集、数据传输、数据处理、结果呈现，建立了一套完整的方法，并设计了一套与之相匹配的系统，可以解决中心化云计算提供的监测视频需要较大传输带宽且实时性较差的问题。

第一方面，本申请实施例提供了一种无人机巡检方法，应用于无人机巡检系统，该系统包括：无人机、用户端设备、云服务器和一个或多个边缘节点，其中，云服务器用于调度所述边缘节点，一个或多个边缘节点中包括第一边缘节点，第一边缘节点与无人机通信连接，无人机用于拍摄第一视频流数据。

本申请提供的方法如下：

第一边缘节点接收云服务器发送的第一请求，第一请求包括用户端设备向所述云服务器发送的与第一视频流数据相关的计算请求、存储请求和传输请求；

第一边缘节点根据第一请求，获取第一请求对应的容器，容器包含了完整的应用程序运行环境资源。

第一边缘节点通过容器对无人机拍摄的第一视频流数据进行处理，获得第二视频流数据；

第一边缘节点将第二视频流数据发送给用户端设备，用户端设备处理第二视频流数据后获得监控视频，并播放监控视频。

在第一方面的一种可能的实现方式中，在第一边缘节点接收云服务器发送的第一请求之前，该方法还包括以下步骤：

云服务器接收用户端设备发送的第一请求；

云服务器根据第一请求，获取一个或多个边缘节点的资源池的剩余空间量，资源池用于存储第一请求对应的容器资源；

云服务器计算用户端设备与一个或多个边缘节点中的每个边缘节点之间的网络延时；

云服务器将一个或多个边缘节点中满足预设条件的边缘节点选为第一边缘节点；预设条件为边缘节点的资源池的剩余空间量大于等于第一请求对应的容器资源所需空间量，且边缘节点与所述用户端设备之间的网络延时最小；

云服务器将所述第一请求发送给所述第一边缘节点。

示例性的，在上述方法中，第一边缘节点根据第一请求，从云服务器获取第一请求对应的容器，包括：

第一边缘节点判断第一边缘节点的资源池的剩余空间量是否满足第一请求对应的容器资源所需的空间量；

若第一边缘节点的资源池的剩余空间量满足第一请求对应的容器资源所需的空间量，则第一边缘节点对第一请求设定生命周期，并将第一请求对应的容器资源存储在所述资源池中；或者，

若第一边缘节点的资源池的剩余空间量不满足第一请求对应的容器资源所需的空间量，则第一边缘节点删除资源池中生命周期超期的请求对应的容器资源。

示例性的，在上述方法中，一个或多个边缘节点中还包括与第一边缘节点相邻的第二边缘节点，在第一边缘节点删除所述资源池中生命周期超期的请求对应的容器资源之后，若第一边缘节点的资源池的剩余空间量仍不满足第一请求对应的容器资源所需的空间量，则第一边缘节点将第一请求转发给第二边缘节点，使第一请求在第二边缘节点处获得新的生命周期。

示例性的，第一边缘节点包括视频转播平台和无人机告警后端，无人机告警后端包括抽帧线程和图片处理主线程，第一边缘节点通过容器对无人机拍摄的第一视频流数据进行处理，处理过程包括传输、存储和计算，获得第二视频流数据，包括：

视频转播平台通过第一请求对应的容器，存储第一视频流数据；

抽帧线程根据预设的视频流地址从视频转播平台中拉取第一视频流数据；

抽帧线程在第一视频流数据中按时间顺序截取多张包含待识别目标的图片，并将图片推送至图片处理主线程；

图片处理主线程使用无人机识别算法对待识别目标进行识别，获取待识别目标的识别信息，无人机识别算法内嵌于计算请求对应的容器中；

图片处理主线程根据待识别目标的识别信息，在图片上添加识别框，添加了识别框的图片为第二视频流数据。

进一步的，待识别目标的识别信息包括关键点信息和识别框参数，关键点信息为待识别目标的中心点位置信息，识别框参数包括识别框的高度和宽度。

进一步的，无人机告警后端还包括推流线程，用户端设备包括视频直播框架和基于前端页面的前端播放器，第一边缘节点将第二视频流数据发送给用户端设备，用户端设备处理第二视频流数据获得监控视频，并播放监控视频包括：

推流线程将第二视频流数据按时间顺序推送给视频直播框架；

视频直播框架将第二视频流数据组合为监控视频；

当前端页面打开时，前端播放器从视频直播框架获取监控视频并播放监控视频。

第二方面，本申请实施例提供了一种无人机巡检系统，包括无人机、用户端设备、云服务器和边缘节点，其中：

无人机用于拍摄第一视频流数据；

用户端设备用于向云服务器发送第一视频流数据相关的第一请求，第一请求包括计算请求、存储请求和传输请求；

云服务器用于根据用户端设备发送的第一请求，调度边缘节点，向最优的边缘节点发送第一请求对应的容器；

边缘节点用于通过容器传输、存储和/或计算第一视频流数据，获得第二视频流数据；

用户端设备还用于从边缘节点获取第二视频流数据，处理第二视频流数据获得监控视频，并播放监控视频。

进一步的，云服务器包括容器编排系统，容器编排系统用于进行自动化容器操作，自动化容器操作包括部署、调度和在边缘节点上扩展容器。

进一步的，边缘节点包括视频转播平台和无人机告警后端，无人机告警后端包括抽帧线程、图片处理主线程和推流线程，其中，

视频转播平台用于存储第一视频流数据；

抽帧线程用于按时间顺序从视频转播平台存储的第一视频流数据中截取多张包含待识别目标的图片，并将图片推送至图片处理主线程；

图片处理主线程用于对待识别目标进行识别，获取待识别目标的识别信息，并根据识别信息，在图片上添加识别框；

推流线程用于将添加了识别框的图片按时间顺序推送给用户端设备。

进一步的，用户端设备包括视频直播框架和基于前端页面的前端播放器，

其中，视频直播框架用于将推流线程推送的添加了识别框的图片组合为监控视频；

前端播放器用于从视频直播框架获取监控视频并播放监控视频。

本申请实施例与现有技术相比存在的有益效果是：

1、本申请通过无人机自动对建筑工地进行巡检，无人机识别算法可以对识别目标自动进行识别，避免产生误判或漏判，同时可以向用户提供实时、准确、真实的巡检监控视频，无人机可以全面监控所有位置区域，尤其是顶层施工平面；

2、本申请可以实现对无人机巡检系统中边缘节点的轻量级协作调度，在调度性能与协作代价之间实现均衡，减小了网络延迟，同时也降低了网络里边缘节点间协作的负载；

3、通过灵活的容器引擎和容器编排技术，满足多台无人机同时进行巡检的数据传输、计算、存储的要求。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种无人机巡检方法的流程示意图；

图2是本申请一实施例提供的资源编排算法的研究流程示意图；

图3是本申请一实施例提供的一种无人机巡检系统的结构示意图；

图4是本申请一实施例提供的一种无人机巡检系统另一种实施方式的结构示意图；

图5是本申请提供的典型的Kubernetes架构图；

图6是本申请一实施例提供的复制控制器控制Pod数量的场景示意图；

图7是本申请一实施例提供的服务的功能示意图。

具体实施方式

本申请实施例提供的一种无人机巡检方法可以应用于无人机对于建筑工地、电力设备、社区巡逻等需要对特定目标进行识别的巡检场景，也可以根据实际情况，应用于其他巡检场景，本申请实施例对此不作任何限制。

实施例1

图1示出的是本申请实施例提供的一种无人机巡检方法的流程示意图，该方法应用于无人机巡检系统，无人机巡检系统包括无人机、边缘节点、云服务器和用户端设备。无人机拍摄的实时监控图像形成第一视频流数据。

S1、响应于用户操作，用户端设备向云服务器发送第一请求，第一请求包括对于第一视频流数据的传输、存储、计算请求。

示例性的，用户通过在用户端设备操作，可以触发用户端设备向云服务器发送第一请求。例如，当用户在用户端设备上打开监控页面或是在用户端设备上打开用于监控的应用程序时，用户端设备会自动向云服务器发送第一请求。

S2、云服务器将第一请求转发给第一边缘节点，同时会将第一请求对应的容器发送给第一边缘节点。

需要说明的是，第一请求可以是单独的传输请求、存储请求或是计算请求，也可以是由一个或多个传输请求、存储请求和计算请求组成的请求组，例如，当第一请求是单独的传输请求时，云服务器根据该传输请求，向第一边缘节点发送一个容器，该容器中包括了具有传输功能的应用程序的环境资源，而当第一请求包括了传输请求、存储请求和计算请求时，云服务器会向第一边缘节点发送三个容器，三个容器中分别包括了具有传输功能、存储功能和计算功能的应用程序的环境资源。

S3、第一边缘节点通过容器对第一视频流数据进行传输、存储和计算，获得第二视频流数据。

需要说明的是，在一些实施例中，也可以仅对第一视频流数据进行传输和存储，无需对第一视频流数据进行计算，从而在第一边缘节点上直接获取无人机拍摄的第一视频流数据，并将第一视频流数据直接推送至用户端设备，第一视频流数据经过转码处理后播放。

示例性的，第一边缘节点在接收了传输请求对应的容器后，容器中包含了无人机在无人机巡检系统中的网络地址，通过该网络地址，第一边缘节点可以与所述无人机建立通信连接，传输第一视频流数据；接着，第一边缘节点接收存储请求对应的容器，该容器中包含了第一边缘节点中的存储地址，将第一视频流数据存储到第一边缘节点中对应的位置处；然后，第一边缘节点接收计算请求对应的容器，计算请求对应的容器中包含了无人机识别算法，无人机识别算法可以对第一视频流数据中的特定目标进行识别，并在特定目标处添加识别标记以获得第二视频流数据。

S4、第一边缘节点将第二视频流数据发送给用户端设备，用户端设备对第二视频流数据处理后获得监控视频，并播放所述监控视频。

示例性的，第一边缘节点会将第二视频流数据推送至用户端设备的视频直播框架中，如nginx-rtmp框架，视频直播框架会对第二视频流数据进行转码为监控视频，在用户打开用户端设备上的前端页面时，前端页面中内置的播放器会自动从视频直播框架中调取监控视频并播放。

进一步的，根据本实施例中的步骤S1～S4，以应用于建筑工地的无人机巡检方法为例，对本申请所提出的一种无人机巡检方法做进一步的说明。

建筑工地巡检，是为全面了解工地现场施工情况，通过对项目巡查质量结果的整改与检审，及时发现并解决施工中存在的相关问题，提高公司项目质量，品质等目标的管控能力。使在建项目现场工程质量、安全施工巡检工作规范化、度化、专业化，促进各项工程质量及施工，安全管理水平不断提高。建筑工地巡检的主要内容包括：1、了解现场施工质量、安全、进度计划落实完成情况、资料动态，及时发现施工中存在的质量、安全文明施工、进度和资料问题。2、对巡检中发现的质量缺陷不正确的施工方法、工艺、未按标准实施等问题提出整改意见。

在具体执行建筑工地的无人机巡检时，监测人员操作无人机在建筑工地上空进行巡检，拍摄第一视频流数据，监控视频需要对建筑工地上的特定目标进行识别和标注，以便监测人员能够第一时间发现施工现场的问题，因此，监控视频需要基于无人机拍摄的第一视频流数据处理后才能得到。

之后，监测人员在用户端设备处打开监控页面时，或是从移动设备上打开监控APP时，用户端设备或是移动设备会向无人机巡检系统中的云服务器发送请求，该请求的目的是获取在第一视频流数据标注了特定目标的第二视频流数据，因此，该请求中包括了关于第一视频流数据的传输请求，存储请求和计算请求。云服务器在接收到上述请求后，会将这些请求对应的容器发送给边缘节点，使边缘节点能够完成上述请求。

由于在无人机巡检系统中，边缘节点的数量可能为一个或多个，当边缘节点只有一个时，所有的请求都会发送至该边缘节点处，由该边缘节点执行。但是单个边缘节点的计算能力是受限的，因此无人机巡检系统往往都会采用多个边缘节点，以满足所有用户的请求。对于用户获取监控视频的要求，如何降低延迟是满足用户体验的重要因素，所以的整体用户体验通过所有用户延迟的加权和来表示，此处加权值取用户请求资源的数量的归一化值来表示。资源编排算法的研究流程示意图如图2所示。

参见图2，本申请所采用的无人机巡检方法为了使采用先进的资源编排和优化算法，使得资源编排达到最优。上述资源编排和优化算法简要论述如下：1、系统资源编排和优化的形式化定义，用G＝(V，E)来代表一个网络，其中V代表网络中所有节点的集合，E代表其中的连接关系。在网络中，存在多个边缘计算数据中心节点，简称边缘节点，用P来表示边缘节点集合，p∈P，p表示某个边缘节点，U表示所有工业互联网用户，u∈U，u表示某个用户。S(u)表示用户u请求的计算资源的大小，C(p)表示边缘节点p能够提供资源的容量，系统会将边缘节点的计算资源根据分配给发出请求的用户，用δ(p，u)表示是否将p的计算资源分配给u，如果p的资源分配给u，则δ(p，u)＝1，否则δ(p，u)＝0，将F＝{δ(p,u)|p∈P,u∈U}称为一个资源分配方案。用户端设备与边缘节点之间的延时是可测量的，且可以上传给云服务器，延时D(p,u)来表示。因为计算资源分配有最小单位，因此S(u)，C(p)都为整数。综上，可以将资源分配方案问题形式化表达如下：

给定S(u)，C(p)，D(p,u)，找到计算资源的分配方案F＝{δ(p,u)|p∈P,u∈U}，使得∑_p∈Pδ(p,u)＝1对所有u∈U都满足；∑_u∈Uδ(p,u)×S(u)≤C(p)对所有p∈P都满足；并且使得

达到最小值。

上述问题表示，在给定了用户的请求、边缘节点的容量以及网络状态后，可以找到一个最优资源分配方案，使得系统能够满足用户的请求，不超过边缘节点的容量，并且使得加权的延迟之和最小。

为了证明最优资源分配方案问题的复杂性，将最大子集之和问题归约到该问题，而最大子集之和问题已知是NP完全问题，所以最优资源分配方案问题同样属于NP完全问题。

为了求解最优资源分配问题，本申请采用基于动态规划的算法Opt-Alloc()，算法以用户请求、边缘节点容量及用户端设备与边缘节点两者之间延迟等信息为输入，输出最优资源分配方案。该算法将每一个资源分配问题分拆为用户数及资源容量都较小的问题的子集，并按序从规模较小的问题向规模大发展，直到将目标问题求解。

算法Opt-Alloc()的复杂度可以表示为：O(|U|×|P|×∏_p∈PC(p))，可见其复杂度呈指数增长，一量问题规模变大时，其求解时间也将指数级增长。为此，本系统采用最优资源分配方案的启发式算法。

针对最优资源分配方案的启发式算法，由于求解最优资源分配方案属于NP完全问题，因此最优化算法无法满足多项式时间内求解的要求，此外，最优算法每次都需要重新计算资源分配方案，当输入轻微变化的时候，比如有一个新的用户请求到达，整个资源分配方案都可能变化，会给网络带来较重的负载。考虑到工业互联网的规模与动态性，最优化算法无法满足用户的需求。为此，本系统设计牺牲部分性能，但效率更高的启发式算法Heu-Alloc()以适应实际网络的需求。

Heu-Alloc()的输入与Opt-Alloc()的输入是类似的，但每次运行还需要输入当前状态下每个边缘节点的资源分配情况,基于输入Heu-Alloc()会计算新的资源分配方案。启发式算法是基于贪心算法，在收到用户新的资源请求时，系统会遍历所有的边缘节点，并找出距离它最近并且有足够多的计算资源的边缘节点。

通过以上的分析，全局最优的调度算法需要全网协作，代价太大；而朴素的启发式算法节点间不需要协作，但可能使得调度性能下降。为了解决这个问题，本系统结合计算请求的生命周期，通过利用边缘计算节点间轻量级协作调度，在调度性能与协作代价之间实现均衡。

本申请采用的调度算法如下：当用户端设备发送的请求到达边缘节点的资源池时，对该请求设定一个生命周期边缘节点之间通过隐式协作动态修改生命周期的持续时间。每个请求的生命周期的持续时间根据以下原则进行确定：请求离网络边缘越近，其生命周期越长；请求越流行，生命周期越长。这种调度策略增加了计算资源访问时匹配的概率，从而减小了网络延迟，同时也降低了网络里边缘节点间协作的负载。

示例性的，当一个请求从云服务器发送至边缘节点处时，边缘节点首先检查其资源池，看其是否有足够的空间容纳该请求对应的容器资源。如果有的话，节点会将该请求和其对应的容器资源存储到资源池中；否则，边缘节点会查找资源池中是否有生命周期已超时的资源。如果有生命周期已超时的资源，边缘节点则用新的请求对应的容器资源替代逾期的请求的容器资源。如果该边缘节点依然没有足够的空间容纳容器资源，则该边缘节点将不会存储该资源，此时，边缘节点会将请求转发至上游的节点，并调用get_new_lifecycle()方法，为新的计算请求设定新的生命周期。通过递归地使用上述方法，该请求在传输路径上获得不同的生命周期，直至该请求及其对应的容器资源存入某一边缘节点的资源池，该边缘节点即为第一边缘节点。需要说明的是，生命周期的初始值是从用户端设备到边缘网络的第一个边缘节点开始设定，为了防止生命周期的无限增加，对生命周期设定最大持续时间max_duration作为最大值。还可以对每一个计算请求设定一个权重值weight，此权重值可以根据该请求的重要性设置。通过本申请所提供的算法，一方面，边缘节点只需要与相邻的边缘节点进行轻量级的协作即可完成请求；另一方面，通过边缘节点间的协作，算法可以使得经常使用的资源能够保存在足够靠近边缘的位置，从而保障了资源调度算法的性能。

第一边缘节点通过容器对第一视频流数据进行传输、存储和计算，获得第二视频流数据。需要说明的是，第一边缘节点通过容器对第一视频流数据进行的处理包括但不限于传输、存储和计算，根据上述的资源调度算法，示例性的，在巡检的过程中，将无人机拍摄到的视频画面作为第一视频流数据，传输至无人机巡检系统中的一个或者多个边缘节点，每个边缘节点可以仅仅接收一个请求及其对应的容器资源，因此，将无人机拍摄的第一视频流数据传输至具有视频转播平台的边缘节点中存储，视频转播平台中存储了传输和存储请求对应的容器，可以给第一视频流数据标注视频流地址，方便调取。其他收到计算请求的边缘节点通过预设的视频流地址，从视频转播平台中调取第一视频流数据，并通过其接收的计算请求对应的容器中所具有的无人机识别算法对第一视频流数据进行识别。

示例性的，无人机识别算法对第一视频流数据的识别方法如下：

首先，边缘节点对第一视频流数据中所包含的图像数据进行按照一定的帧率进行抽帧，获得了按照时间顺序排列的包含待识别目标的图片。

然后，无人机识别算法根据训练过的待识别目标训练集对包含待识别目标的图片进行识别，确认待识别目标在图像中的关键点信息和识别框参数，这里的关键点信息可以是待识别目标的特定点的位置，如中心点的位置；识别框参数可以是待识别目标的具体轮廓位置参数，大多数时候，为了方便识别，在获取待识别目标中心的位置后，识别框参数可以为识别框的高度和宽度。

最后，边缘节点根据待识别目标在图像中的关键点信息和识别框参数，在图像的待识别目标处添加识别框，例如，在图像的待识别目标的中心点周围，根据识别框的高度和宽度添加识别框后，获得的图像即为第二视频流数据。

边缘节点将第二视频流数据发送给用户端设备，用户端设备对第二视频流数据处理后获得监控视频，并播放所述监控视频。在本实施例中，边缘节点会将第二视频流数据中的图像，按时间顺序，依次发送至用户端设备中的nginx-rtmp框架，nginx-rtmp框架会自动对第二视频流数据进行封装，并推流到用户端设备的前端页面，前端页面上的播放器会对第二视频流数据解包解码以获取监控视频，并在前端页面上播放。

实施例2

基于实施例1，本申请还提供了一种无人机巡检系统，相对应的，如图3所示，无人机巡检系统包括无人机1、云服务器2、用户端设备3以及边缘节点4。

其中，无人机1包括了用于拍摄第一视频流数据的无人机1A和用于控制无人机1A的飞行控制装置1B，在本实施例中，第一视频流数据通过飞行控制装置1B发送给边缘节点4，在一些实施例中，也可以通过无人机1A直接发送给边缘节点4。

云服务器2与用户端设备3通信连接，云服务器2用于接收用户端设备3发送的请求，包括计算请求、存储请求和传输请求。

云服务器2还包括容器编排系统，容器编排系统用于进行自动化容器操作，自动化容器操作包括部署、调度和在边缘节点4上扩展所述容器。云服务器通过容器编排系统，调用边缘节点，选择最合适的边缘节点接收用户端设备发送的请求，并向最合适的边缘节点发送请求对应的容器。

所述边缘节点4包括视频转播平台和无人机告警后端，其中，视频转播平台用于存储所述第一视频流数据。

无人机告警后端中包括抽帧线程、图片处理主线程和推流线程，抽帧线程用于从视频转播平台中获取第一视频流数据，并按照一定的帧率，对第一视频流数据进行抽帧，抽帧后得到的图像按时间顺序排列发送给图片处理主线程，图片处理主线程利用资源池中计算请求对应的容器中内嵌的无人机识别算法对图像进行识别，在算力不足的情况下，可以通过云服务器调用其他资源池中有内嵌无人机识别算法容器的边缘节点辅助进行识别计算，将图像中的待识别目标识别出来后，图片处理主线程在待识别目标处添加识别标记以获得第二视频流数据，这里的识别标记包括但不限于识别框、轮廓线、高亮、闪烁等形式，第二视频流数据可以是按时间顺序排列的添加了识别标记的图像；推流线程将图片处理主线程获得的第二视频流数据推送给用户端设备。

需要说明的是，边缘节点可以只包括视频转播平台或只包括无人机告警后端，如图4所示，通过多个边缘节点依次执行云服务器发送的请求，例如，先将第一视频流数据存入装有视频转播平台的边缘节点4A，然后装有无人机告警后端的边缘节点4B从边缘节点4A中拉取第一视频流数据后，对第一视频流数据进行识别计算，以获取第二视频流数据。

用户端设备3除了向云服务器发送请求之外，还包括视频直播框架和基于前端页面的前端播放器，其中，视频直播框架用于将推流线程推送的第二视频流数据组合为监控视频；前端播放器用于从所述视频直播框架获取所述监控视频并播放。

示例性的，本实施例的容器编排系统以最新的Kubernetes(k8s)为基础，能够进行自动化容器操作，这些操作包括部署，调度和节点集群间扩展。Kubernetes不仅仅支持Docker，还支持Rocket。提供自动化容器的部署和复制，随时扩展或收缩容器规模，并且将容器组织成组，提供容器间的负载均衡，很容易地升级应用程序容器的新版本。此外，还提供容器弹性，如果容器在边缘节点上出现失效的情况就对其进行替换。

同时上述容器编排系统还支持集群功能，集群由一组边缘节点组成，这些节点可以是物理服务器或者虚拟机，在集群上安装了Kubernetes平台。如图5所示，展示了典型的Kubernetes架构图。参见图5，可以看到如下组件：构建模块(Pod)、容器(Container)、标签(Label)、复制控制器(Replication Controller)、服务(Service)、节点(Node)、Kubernetes主节点(Kubernetes Master)。

其中，Pod安排在节点上，是kubernetes系统的基础单元，是由用户创建或部署的最小组件，也是kubernetes系统上运行容器化应用的资源对象。Kubernetes集群中其他资源对象都是为pod这个资源对象做支撑来实现kubernetes管理应用服务的目的。Pod包含一组容器和卷。同一个Pod里的容器共享同一个网络命名空间，可以使用localhost互相通信。Pod是短暂的，不是持续性实体。

Kubernetes支持卷的概念，可以使用持久化的卷类型。可以手动创建单个Pod，但是也可以使用Replication Controller使用Pod模板创建出多份拷贝。支持Service，保障重启时IP地址时，正确可靠的指向后台容器。

一些Pod包含Label。一个Label是attach到Pod的一对键/值对，用来传递用户定义的属性。例如创建了一个"tier"和“app”标签，通过Label(tier＝frontend,app＝myapp)来标记前端Pod容器，使用Label(tier＝backend,app＝myapp)标记后台Pod。然后可以使用Selectors选择带有特定Label的Pod，并且将Service或者Replication Controller应用到上面。

Replication Controller确保任意时间都有指定数量的Pod“副本”在运行。如果为某个Pod创建了Replication Controller并且指定3个副本，它会创建3个Pod，并且持续监控它们。如果某个Pod不响应，那么Replication Controller会替换它，保持总数为3。如图6所示，如果之前不响应的Pod恢复了，现在就有4个Pod，那么Replication Controller会将其中一个终止保持总数为3。如果在运行中将副本总数改为5，Replication Controller会立刻启动2个新Pod，保证总数为5。还可以按照这样的方式缩小Pod，这个特性保障了滚动升级。

当创建Replication Controller时，需要指定：1、Pod模板：用来创建Pod副本的模板；2、Label：Replication Controller需要监控的Pod的标签。

Service是定义一系列Pod以及访问这些Pod的策略的一层抽象。Service通过Label找到Pod组。如有2个后台Pod，并且定义后台Service的名称为‘backend-service’，lable选择器为(tier＝backend,app＝myapp)。backend-service的Service会完成如下两件重要的过程：1、为Service创建一个本地集群的DNS入口，因此前端Pod只需要DNS查找主机名为‘backend-service’，就能够解析出前端应用程序可用的IP地址。2、当前端已经得到了后台服务的IP地址，Service在这2个后台Pod之间提供透明的负载均衡，会将请求分发给其中的任意一个。

图7展示了Service的功能，支持特别类型的Kubernetes Service，LoadBalancer的功能，作为外部负载均衡器使用，在一定数量的Pod之间均衡流量。例如，对于负载均衡Web流量很有用。

Node节点是物理或者虚拟机器，作为Kubernetes worker，通常称为Minion。每个节点都运行如下Kubernetes关键组件：1、Kubelet：是主节点代理；2、Kube-proxy：Service使用其将链接路由到Pod；3、Docker或Rocket：Kubernetes使用的容器技术来创建容器。

此外，集群拥有一个Kubernetes Master。Kubernetes Master提供集群的独特视角，并且拥有一系列组件，比如Kubernetes API Server。API Server提供可以用来和集群交互的REST端点。master节点包括用来创建和复制Pod的Replication Controller。

需要说明的是，本实施例中的容器编排系统同时支持x86_64/arm64系统架构，支持NPU的驱动和使用支持3种NPU硬件。本系统支持4种调度方式供用户以最优方式调度容器：(1)节点方式；(2)能力分布方式；(3)IP地址方式；(4)算力分布方式。传统的调度模式策略配置场景仅支持IP+节点的维度，并且策略修改需要手工配置，费时费力，还存在出错风险。本容器编排系统可对资源进行智能调度，实现根据节点、能力分布、IP、节点算力利用情况和能力需求自行生成调度策略，同时在容灾应急时做到秒级自动切换，所有策略可以自行生成、修改和删除无需人工操作。具体的调度方式如下：

(1)节点方式能够根据当前节点的位置，手动或自动的进行内容分发和能力分发，固定或自适应的安排节点对用户需求进行响应，做到节点上的最近节点最先响应。可按照事先设定的策略进行节点匹配，也可根据节点的拓扑结构进行自适应策略动态响应。

(2)能力分布方式能够根据当前的网络拓扑结构，在能力分布的基础上，动态自动响应用户需求，做到能力上的最近能力最先响应。可与节点方式配合使用，当出现当前节点没有适合能力时，进行能力投放和动态部署，在下次类似请求发起时，进行节点方式响应。可与算力分布方式配合使用，当出现当前算力没有适合能力时，进行能力投放和动态部署，在下次类似请求发起时，进行算力分布方式响应。

(3)IP地址方式能够根据用户请求的IP地址段进行划分，将同一地址段的用户请求分配到预先分配好的节点完成响应，做到IP地址上的固定响应。IP地址划分的方式可以进行手动策略调整，根据最经济的地址划分方式进行IP地址划分响应重定向。

(4)算力分布方式能够根据网络拓扑中的最适宜算力进行划分，将最适宜的算力分配给特定用户进行响应。算力方式可与能力分布方式配合使用，也可单独使用。

本实施例中的容器编排系统支持超过四种主流操作系统发行版，包括但不限于Redhat、CentOS、EulerOS、Ubuntu等，能够实现多平台兼容和迁移。同时，支持自动调度机制，将请求、能力、算力动态组合成最优化配置。本实施例中的容器编排系统使用容器编排调度框架来运行容器化应用，通过该技术对各类不同环境的应用进行统一分发。本实施例中的容器编排系统包含了当前全部主流的编排调度引擎，例如Docker Swarm，Kubernetes，和Mesos，本系统还支持自研的Cattle容器编排调度引擎。Cattle被广泛用于编排边缘智能平台自己的基础设施服务以及管理与升级。

本实施例中的容器编排系统不仅可以集中管理部署在任何基础设施上的容器集群，还可以实行统一的集中式身份验证和访问控制。开发者可以轻松地在不同的基础设施之间调用集群，并在它们之间进行资源迁移，而无需关注资源运行的位置。同时满足了部署容器应用的DevOps团队和交付企业关键服务的IT人员的需求。

本实施例中的容器编排系统可支持零宕机升级集群，它允许在不中断应用程序的情况下升级Kubernetes集群和节点。除此之外，开发者可以选择并配置其加载项和升级策略，以使DNS和Ingress不会受到服务中断的影响。

本系统的特色：

(1)建立生产分界线

在进行容器编排时，包含staging组件，通常是在DevOps进程和工具链的末尾。容器需要进行测试、集成、验证，并准备好进行staging。当处于staging阶段时，生产环境配置一旦稳定，容器可以从staging阶段部署到生产环境。如果新部署出现问题，可以根据需要随时回滚。在许多情况下，回滚是一个自动过程。

(2)自动报告在容器编排生产环境中发现的问题

考虑容器如何在编排系统中运行时，充分考虑了出错可能。鉴于生产和开发现在已经通过DevOps做法相互联系，自动报告生产环境容器中发现的问题非常重要。开发人员可以通过连续报告的问题来了解发生了什么问题，并且需要对持续测试、集成和部署的修补程序反馈的问题做出反应，以便在短时间内解决问题。

(3)监控

运行容器编排系统的好处是它提供了可以监控容器运行状况的监控和管理工具。这些监控系统具有几个核心功能和优点，随时间收集详细数据的能力，并使用该数据来发现可能表明容器正在走向失败的趋势。这些工具从容器编排系统中提取数据，例如内存使用情况、处理器、网络、I/O等，并确定了表明系统健康的相关性，包括可能需要注意的系统各个方面。监测系统具备根据它的发现采取自动行动的能力。例如，如果控制台上出现网络错误，那么关闭疑似这些错误源的集线器能够避免网络完全中断。并且，它允许您通过既定规则在监控软件中设置策略。

(4)自动备份数据，包括灾难恢复和业务连续性

有些管理容器编排生产环境的工作人员，对于数据的位置或者数据应该如何备份、保存以及恢复不是很了解。然而无论是否在公有云上，这些需求都必须被处理。容器，包括编排系统中运行的容器，可以在运行应用程序的容器内存储数据，或者也可以通过基于容器的外部数据库进行存储，但通常不是。无论数据存在哪里，都必须将其复制到次级和独立存储系统，并对其进行保护。

(5)规划生产能力

对于容器编排系统所需的基础设施而言，本系统充分考虑当前的容量需求，包括服务器、存储、网络、数据库等。充分考虑解容器、容器编排系统以及任何其他支持系统(例如数据库)之间的相互关系及其对容量的影响。例如，假设有五个容器编排系统实例，包括2个staging环境和3个生产环境，那么需要20个特定方式配置的服务器，这些服务器可以在公共云中进行配置，也可以使用传统方法在物理机上进行配置。当然，这些服务器也有一定需求，包括存储、网络、安全、监控、电源等。

本系统提供生产环境中容器的使用情况，通过生产环境中容器使用情况的增长预测，可以算出其他基础设施的影响，以及了解其容量问题。公共云用户可以根据他们的需要调整容器容量。然而，在预算和了解需要使用哪些云服务器等方面，需要考虑将容器编排系统作为云服务进行提供。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种无人机巡检方法，其特征在于，应用于无人机巡检系统，所述无人机巡检系统包括无人机、用户端设备、云服务器和一个或多个边缘节点，所述云服务器用于调度所述一个或多个边缘节点，所述一个或多个边缘节点包括第一边缘节点，所述第一边缘节点与所述无人机通信连接，所述无人机用于拍摄第一视频流数据，所述方法包括：

所述第一边缘节点接收所述云服务器发送的第一请求，所述第一请求包括所述用户端设备向所述云服务器发送的与第一视频流数据相关的计算请求、存储请求和传输请求；

所述第一边缘节点判断所述第一边缘节点的资源池的剩余空间量是否满足所述第一请求对应的容器资源所需的空间量；

若所述第一边缘节点的资源池的剩余空间量满足所述第一请求对应的容器资源所需的空间量，则所述第一边缘节点对所述第一请求设定生命周期，并将所述第一请求对应的容器资源存储在所述资源池中；或者，

若所述第一边缘节点的资源池的剩余空间量不满足所述第一请求对应的容器资源所需的空间量，则所述第一边缘节点删除所述资源池中生命周期超期的请求对应的容器资源；

所述第一边缘节点通过所述容器对所述无人机拍摄的第一视频流数据进行处理，获得第二视频流数据；

所述第一边缘节点将所述第二视频流数据发送给所述用户端设备，所述用户端设备处理所述第二视频流数据后获得监控视频，并播放所述监控视频。

2.如权利要求1所述的方法，其特征在于，在所述第一边缘节点接收所述云服务器发送的第一请求之前，所述方法还包括以下步骤：

所述云服务器接收所述用户端设备发送的所述第一请求；

所述云服务器根据所述第一请求，获取所述一个或多个边缘节点的资源池的剩余空间量，所述资源池用于存储容器资源；

所述云服务器计算所述用户端设备与所述一个或多个边缘节点中的每个边缘节点之间的网络延时；

所述云服务器将所述一个或多个边缘节点中满足预设条件的边缘节点选为所述第一边缘节点；所述预设条件为边缘节点的资源池的剩余空间量大于或等于所述第一请求对应的容器资源所需空间量，且边缘节点与所述用户端设备之间的网络延时最小；

所述云服务器将所述第一请求发送给所述第一边缘节点。

3.如权利要求1所述的方法，其特征在于，所述一个或多个边缘节点还包括与所述第一边缘节点相邻的第二边缘节点，在所述第一边缘节点删除所述资源池中生命周期超期的请求对应的容器资源之后，所述方法还包括：

若所述第一边缘节点的资源池的剩余空间量仍不满足所述第一请求对应的容器资源所需的空间量，则所述第一边缘节点将所述第一请求转发给第二边缘节点，使所述第一请求在第二边缘节点处获得新的生命周期，所述第一请求的容器资源将所述第一边缘节点资源池存满后，将剩余的容器资源存入所述第二边缘节点的资源池中。

4.如权利要求1～3任一所述的方法，其特征在于，所述第一边缘节点包括视频转播平台和无人机告警后端，所述无人机告警后端包括抽帧线程和图片处理主线程；

所述第一边缘节点通过所述容器对所述无人机拍摄的第一视频流数据进行处理，获得第二视频流数据，包括：

所述视频转播平台通过所述第一请求对应的容器，存储所述第一视频流数据；

所述抽帧线程根据预设的视频流地址从所述视频转播平台中拉取所述第一视频流数据；

所述抽帧线程在所述第一视频流数据中按时间顺序截取多张包含待识别目标的图片，并将所述图片推送至所述图片处理主线程；

所述图片处理主线程使用无人机识别算法对所述待识别目标进行识别，获取所述待识别目标的识别信息，所述无人机识别算法内嵌于所述计算请求对应的容器中；

所述图片处理主线程根据所述待识别目标的识别信息，在所述图片上添加识别框，添加了所述识别框的图片为所述第二视频流数据。

5.如权利要求4所述的方法，其特征在于，所述待识别目标的识别信息包括关键点信息和识别框参数，所述关键点信息为所述待识别目标的中心点位置信息，所述识别框参数包括所述识别框的高度和宽度。

6.如权利要求5所述的方法，其特征在于，所述无人机告警后端还包括推流线程，所述用户端设备包括视频直播框架和基于前端页面的前端播放器；

所述第一边缘节点将所述第二视频流数据发送给所述用户端设备，所述用户端设备处理所述第二视频流数据后获得监控视频，并播放所述监控视频，包括：

所述推流线程将所述第二视频流数据按时间顺序推送给所述视频直播框架；

所述视频直播框架将所述第二视频流数据组合为所述监控视频；

当所述前端页面打开时，所述前端播放器从所述视频直播框架获取所述监控视频并播放所述监控视频。

7.一种无人机巡检系统，其特征在于，所述无人机巡检系统包括无人机、用户端设备、云服务器和边缘节点，其中：

所述无人机用于拍摄第一视频流数据；

所述用户端设备用于向所述云服务器发送第一视频流数据相关的第一请求，所述第一请求包括计算请求、存储请求和传输请求；

所述云服务器用于根据所述用户端设备发送的第一请求，调度边缘节点，向最优的边缘节点发送所述第一请求对应的容器；

所述边缘节点用于判断所述边缘节点的资源池的剩余空间量是否满足所述第一请求对应的容器资源所需的空间量；若所述边缘节点的资源池的剩余空间量满足所述第一请求对应的容器资源所需的空间量，则所述最优的边缘节点对所述第一请求设定生命周期，并将所述第一请求对应的容器资源存储在所述资源池中；若所述边缘节点的资源池的剩余空间量不满足所述第一请求对应的容器资源所需的空间量，则所述最优的边缘节点删除所述资源池中生命周期超期的请求对应的容器资源，并通过所述容器处理所述第一视频流数据，获得第二视频流数据；

所述用户端设备还用于从所述边缘节点获取第二视频流数据，处理所述第二视频流数据获得监控视频，并播放所述监控视频。

8.如权利要求7所述的系统，其特征在于，所述云服务器包括容器编排系统，所述容器编排系统用于进行自动化容器操作，所述自动化容器操作包括部署、调度和在所述边缘节点上扩展所述容器。

9.如权利要求8所述的系统，其特征在于，所述边缘节点包括视频转播平台和无人机告警后端，所述无人机告警后端包括抽帧线程、图片处理主线程和推流线程，其中，

所述视频转播平台用于存储所述第一视频流数据；

所述抽帧线程用于按时间顺序从所述视频转播平台存储的第一视频流数据中截取多张包含待识别目标的图片，并将所述图片推送至所述图片处理主线程；

所述图片处理主线程用于对所述待识别目标进行识别，获取所述待识别目标的识别信息，并根据所述识别信息，在所述图片上添加识别框；

所述推流线程用于将添加了识别框的图片按时间顺序推送给用户端设备；

所述用户端设备包括视频直播框架和基于前端页面的前端播放器，其中，所述视频直播框架用于将所述推流线程推送的添加了识别框的图片组合为监控视频；

所述前端播放器用于从所述视频直播框架获取所述监控视频并播放所述监控视频。

Images