CN113079389B - 一种边缘计算环境下的资源自适应调节方法 - Google Patents

Abstract

本发明公开了一种边缘计算环境下的资源自适应调节方法，包括，将视频流数据划分窗口和段；选定参考配置组合和可选配置集合；计算每个配置选项取值的精度分数；选定分数阈值；综合考虑不小于阈值的配置组合与模型计算消耗，选定最终配置应用到窗口，并将窗口配置应用于该组的所有采集设备的对应窗口。该方法考虑了影响边缘计算环境下目标检测应用资源消耗量的各种因素，此外还考虑了网络带宽的自适应调节，能够根据网络环境的变化，弹性更改各种参数，以实现带宽消耗和计算速度、精确性的平衡。

Description

一种边缘计算环境下的资源自适应调节方法

技术领域

本发明涉及边缘计算环境中资源调配技术领域，具体是一种边缘计算环境下的资源自适应调节方法。

背景技术

随着工业物联网领域的兴起和发展，传感器、摄像头等信息感知设备的能力有了巨大的提升，从而可以得到大量需求不同、格式不同的电力视频。目前，对于电力视频数据的分析和应用主要采用集中式云计算的模式。通过网络通信将所有的视觉数据都上传到云计算中心，利用云计算中心强大的计算能力进行视觉数据存储和分析，现已在输电线路缺陷检测、变电站设备识别等多个电力场景下得到了实践和应用。然而，基于集中云计算模式的电力深度视觉方法需要占用大量的计算资源，无法满足电力物联网对全面感知和高效协同的要求。

由于物联网的特点，传统的云计算模式已无法满足其需求：网络边缘的数据十分庞大，会导致巨大的不必要的带宽和计算资源使用；隐私保护也会成为一大难题；无线传输模块会消耗巨大的能源。网络边缘会产生巨量的数据，因此直接在网络边缘处理数据会更加有效，这就需要边缘计算这样的网络结构。

不同于云计算结构将数据收集后集中在云中心进行处理，边缘计算利用靠近用户和数据源的网络边缘节点完成数据的计算。边缘计算较云计算而言，网络中心的拥堵程度减小，网络延迟低且更加高效，同时安全性也更高。

视频流数据分析应用最典型的就是基于深度神经网络的目标检测，但是视频采集设备本身，由于可靠性和成本的要求，计算能力十分低下，因此大部分甚至全部的神经网络运算都需要交由边缘设备来处理，但这也产生了大量的视频传输带宽消耗，并且随着采集设备越来越多，边缘服务器的计算能力也有限，需要寻找合适的方法，来平衡网络带宽消耗、边缘设备计算响应速度和视频分析质量这几个指标。

发明内容

本发明的目的在于提供一种边缘计算环境下的资源自适应调节方法，用于边缘计算环境中的视频处理应用中，能够调节采集设备采集的视频帧率、分辨率以及视频处理应用所使用的模型，从而降低各种资源消耗，保证响应时间的同时保持识别准确率。

为达到上述目的，本发明采用的技术方案如下：

本发明提供一种边缘计算环境下的资源自适应调节方法，包括：

将边缘计算环境中采集设备进行分组划分；

在组内任选一个采集设备，将所选采集设备传输的视频流划分为窗口；

依次对所选采集设备的每个窗口进行资源配置并将窗口配置应用于该组的所有采集设备的对应窗口；

所述对所选采集设备的每个窗口进行资源配置，包括，

将窗口划分为若干片段；

对窗口的第一个片段进行资源配置；

将第一个片段的资源配置应用到所在窗口。

进一步的，所述将边缘计算环境中采集设备进行分组划分，包括：

将采集设备按照部署位置或关联性情况，手动划分为组。

进一步的，将所选采集设备传输的视频流划分为窗口，包括：

将采集设备传输的视频流以时间为单位划分为窗口。

进一步的，所述将窗口划分为若干片段，包括，

将当前窗口按照时间划分为预设数量的片段。

进一步的，所述对窗口的第一个片段进行资源配置，包括：

在参考配置的基础上，改变某一个配置选项取值且其他配置选项取值不变，并应用到所在窗口第一段视频的每一帧，与参考配置的处理结果比较，得到对应的F1分数；

将所有帧所得到的F1分数均值作为当前配置选项取当前值时的分数，并计算得到当前配置选项所有可选取值下对应的F1分数；以及，计算得到在参考配置基础上改变任意一个配置选项时，在所有可选取值下对应的F1分数；

将配置选项根据不同可选取值进行组合构成可选配置组合集合；

将可选配置组合中所有配置选项对应取值下的分数值进行相乘得到该可选配置组合的分数；

根据可选配置组合集合中可选配置组合的分数选择最优资源配置作为第一个片段的资源配置。

进一步的，所述配置选项包括边缘服务器上运行的神经网络模型，神经网络模型对应的分辨率，以及帧率；

每个配置选项都有不同的可选取值。

进一步的，所述参考配置选择如下：

对于第一个窗口，预先设置一组配置作为参考配置，或者选择计算消耗最大的一组配置作为参考配置；

对于非第一个窗口，将上一窗口的配置作为参考配置。

进一步的，所述根据可选配置组合集合中可选配置组合的分数选择最优资源配置作为第一个片段的资源配置，包括：

如果α'≥α，则选择α'+b/(ModelConsumption_i*f)最大的可选配置组合作为最优资源配置；

如果α'＜α，则将参考配置设置为可选配置集合中计算消耗最大的一组配置，重新对窗口的第一个片段进行资源配置；如果仍是α'＜α，则选取F1分数最高的一组配置作为参考配置；

其中，α'为计算的可选配置组合的分数，α为预设的门限值，ModelConsumption_i为当前的计算消耗，f为帧率，b为根据精度和计算开销的平衡需求设定的常数。

进一步的，如果应用窗口配置后，网络拥塞，则将可选配置组合集合中减少一组计算消耗最大的配置；如果应用窗口配置后，没有出现拥塞，则将可选配置组合集合中向上增加一个计算消耗大的配置；所述计算消耗大是指提高帧率和分辨率。

本发明达到的有益效果为：

本发明考虑了影响边缘计算环境下目标检测应用资源消耗量的各种因素，包括视频采集设备传输的视频分辨率、帧率，以及选用的具体模型，此外还考虑了网络带宽的自适应调节，能够根据网络环境的变化，弹性更改各种参数，以实现带宽消耗和计算速度、精确性的平衡。

附图说明

图1是本发明边缘计算环境中视频处理应用的资源自适应调节方法流程图；

图2为本发明实施例中的边缘计算环境配置。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供一种边缘计算环境下的资源自适应调节方法，参见图1，包括：

将大量的采集设备按部署位置或其他关联性划分为组；

在组内任选一个用户，将所选用户视频流划分为窗口；

依次对每个窗口进行资源配置并将窗口配置应用于该组的所有用户的对应窗口。

具体的，对每个窗口进行资源配置，包括：

将窗口划分为若干片段；

对窗口的第一个片段进行资源配置；

将第一个片段的资源配置应用到所在窗口。

本发明实施例中，资源配置按照窗口进行，对所有分组的某一窗口配置完成后，再对下一个窗口进行配置。

本发明实施例中，将大量的采集设备划分为组，只要对组内某一个用户选择了配置，就可以应用到组内所有成员，具体为，将采集设备(即用户)按其部署位置或其他关联情况，手动划分为组，只要对组内一个成员进行配置选择，就可以将其配置组合应用到全组，从而降低了配置选择的计算消耗。

本发明实施例中，将视频流划分为窗口，每个窗口应用一组配置，具体为，将采集设备传输的视频流以时间为单位划分为一个个窗口，为每一个窗口运行配置选择算法，得到的配置应用于整个窗口内的视频处理。还要考虑上一个窗口的视频处理期间的网络状况，根据网络是否拥塞，可以相应地缩小或增大配置选择算法的配置选择范围，从而相应的减少配置选择算法消耗，以及增加选择配置的精度。

本发明实施例中，针对每个窗口的配置选择，把每个窗口划分为更小的片段，只需要对窗口的第一个片段进行配置评估，就可以确定整个窗口适用的配置组合，具体为，将当前窗口按时间划分为一定数量的片段，仅对窗口首段(第一个片段)进行配置选择，得到的配置就可以应用于整个窗口。

对首段选择配置时，需要评估待测配置的表现，采用上一窗口应用的配置作为参考配置与待测配置进行比较；

选取待测配置组合时，只要在参考配置的基础上，改变某一个配置选项，应用到窗口第一段视频的每一帧，与参考配置的处理结果比较，得到对应的F1分数；

取所有帧F1分数均值作为该配置选项取此值时的分数；

计算得到所有配置选项所有取值对应的分数；

假设每个配置选项对处理结果的影响大致是独立的，则一组配置的最终准确度分数就是各个配置选项取值分数的乘积；

人为设定一个准确度阈值，只有不小于此值，该选项才能进行后续处理，否则使用当前可选配置集合中消耗最大的一组配置作为参考配置，重新运行。

需要考虑模型的计算消耗，采用一个人为设定的常数除以模型的计算消耗，再与得到的准确度分数相加，通过调节此常数，可以控制处理精度和计算消耗各自的权重，取最后得分最高的配置作为本窗口适用的配置。

本发明实施例中，F1分数是机器学习中的性能度量指标，在这里，以参考配置得到的结果作为真实情况，待测配置组合得到的结果作为预测结果，对于二分类问题，真实情况为正例且预测结果也为正例的样例数为TP(真正例)，真实为反例而预测为正例的样例数为FP(假正例)，真实为正例而预测为反例的样例数为FN(假反例)，真实为反例且预测为反例的样例数为TN(真反例)，此时查准率

查全率

相应的

如果是多分类，就统计每一个分类的TP、FP、TN、FN，之后计算每一类的查准率和查全率，取它们各自的均值得到宏查准率macro-P和宏查全率macro-R，再用同样的方式计算宏F1分数。

具体算法如下：

典型的视频采集应用在一个边缘服务器上连接了若干个边缘视频采集设备D＝{d₁,d₂,...,d_n}，它们各自采用一个神经网络模型进行处理，设边缘服务器上可选的神经网络模型为M＝{m₁,m₂,...,m_k}，模型对应的输入图片分辨率为R＝{r₁,r₂,...,r_k}，边缘服务器的可选帧率F＝{f₁,f₂,...,f_l}。

将采集设备传输的视频划分为时长为T的段，每p个段为一个窗口，每个窗口应用一组配置，W_i,j表示第i个采集设备传输的视频流的第j个窗口，S_i,l表示第i采集设备的第l段。

采用以下算法1和算法2为一个用户的一个窗口进行配置选择。

算法1：为用户i的第j窗口W_i,j选择合适的配置；

输入：用户i的第j窗口W_i,j，可选配置集合C，上一窗口的运行情况(如果有，包括网络情况以及上一窗口选择的配置等)；

输出：为W_i,j选择的一个最终配置组合C_i,j；

过程：

1)取W_i,j中的第一个段S_i,pj用作评估；

2)为S_i,pj运行算法2，得到为S_i,pj选择的最佳配置。根据上一个窗口运行时的网络状况，如果出现拥塞，那么此时算法2的可选配置集合中需要删去分辨率和帧率乘积比上一个窗口配置大的配置，如果没有出现拥塞，则增加一个比窗口配置大的配置。

3)将2)得到的配置组合作为C_i,j。

算法2：为i用户的第j段S_i,j进行配置选择；

输入：可选配置集合C，i用户的第j段视频内容S_i,j，上一窗口的配置C_refer'；

输出：一组满足传输时延、准确性和模型计算消耗限制的配置C_i,j；

过程：

参考的选取：取前一窗口的配置C_refer'作为参考配置C_refer；

将可以更改的配置选项记为Op，其可选值集合为V_Op，对于V_Op中的每一个可选值v_Op，记C(v_Op)为这样一种配置：只将Op置为v_Op，其余选项保持与C_refer不变。

对这一段视频的每一帧运行C(v_Op)和C_refer配置，以C_refer为对照，计算C(v_Op)的F1分数均值，设置一个表OpValScore，存放每个Op的每个v_Op值对应的F1分数均值。

设定一个门限值α，根据独立性假设，计算总精度α'＝Π_OpOpValScore[v_Op]，算法的输出是满足以下条件的一组配置：①α'≥α，②α'+b/(ModelConsumption_i*f)最大。其中ModelConsumption_i是当前选择模型的计算消耗，f为帧率。由于一个模型的计算消耗是确定的，这个值可以被预先确定而不必每次都计算；b是常数，根据对精度和模型计算开销的平衡需求设定。

若α'＜α，则表示C_refer可能不再适应当前情况，将C_refer重新设置为可选配置集合中消耗最大的一组配置，重新运行算法2，如果还是无法得到α'≥α，则取精度最高(如前所述，以F1分数作为度量)的一组配置。由于每次选择的一组配置需要应用一个窗口，到了下一个窗口，视频内容可能会有较大改变，采用上一窗口的配置可能无法很好契合当前的环境，会出现精度偏差大的情况，所以需要重新选择一个参考配置组合。

本发明实施例中，可选配置集合为，

初始可选配置集合是所有可用配置的集合，之后由算法1和算法2控制，每一次初始的可选配置集合根据前一窗口的网络状况而定，之后算法2的运行会继续改变可选配置集合。

同一个边缘服务器所服务的采集设备可能有很多，而它们其中可能有多个位于相近的位置或有其他强关联性，因此它们的配置选择一般比较相似，这时就可以把这些用户合并为一个组，只要为其中一个用户选定配置，就可以应用到该组的所有用户，从而减少选择配置的消耗，以下算法3描述了这个方法。

算法3：针对空间布局将采集设备划分为组，每组只需要运行一次配置选择算法，为j窗口的每一组选定配置；

输入：所有用户D＝{d₁,d₂,...,d_n}及其划分的用户组G＝{G₁,G₂,...G_m}，可选配置集合C，j窗口视频W_j＝{W_1,j,W_2,j,...,W_n,j}；

输出：为j窗口的每个用户组选定的配置C'＝{C_1,j,C_2,j,...,C_m,j}；

过程：

为组i选定一个代表用户u_i；

为组i的代表用户u_i运行算法1，得到的配置作为C_i,j；

对所有组重复上述步骤，得到C'＝{C_1,j,C_2,j,...,C_m,j}。

实施例

如图2所示，一个边缘服务器(例如一个基站)连接了5台视频采集设备{1,2,3,4,5}，对应用户编号为1～5，{1,2}放置于房间1内，为用户组G₁，{3,4,5}台放置于房间内，为用户组G₂，边缘服务器上运行用于目标检测的神经网络模型M＝{M₁,M₂,M₃}，对应分辨率R＝{720p,480p,360p}，帧率F＝{60,30,15,5}。

边缘服务器上运行ConfigAdaptController，即本资源自适应算法。在第一个窗口，程序运行算法3，从每组中任选一个用户作为代表，选定G₁的代表是1，G₂的代表是3。

先对1运行算法1，假设每个窗口分4段，每段时长1秒，则对S_1，0运行算法2。

由于是第一个窗口，因此没有上一窗口的可选配置，因此可选配置集合C是所有的配置集合。C_refer可以是预先设置的一组配置，也可以选择消耗最大的一组配置。

对S_1，0的每一帧运行当前选择的配置，得到的结果与应用C_refer的比较。假设首先评估分辨率R＝{720p,480p,360p}，对应M＝{M₁,M₂,M₃}。以＜r,f,m＞表示一组配置，假设是C_refer消耗最大的一组配置，即＜720p,60,M₁＞。对于分辨率选项需要考虑＜480p,60,M₂＞，＜360p,60,M₃＞；假设运行完毕，与C_refer比较得到的OpValScore如下：

表项	每一帧F1分数的平均值
		OpValScore[R(720p)]	1
OpValScore[R(480p)]	0.9
		OpValScore[R(360p)]	0.8

之后评估帧率F＝{60,30,15,5}，假设得到的OpValScore如下：

表项	每一帧F1分数的平均值
		OpValScore[F(60)]	1
OpValScore[F(30)]	0.9
		OpValScore[F(15)]	0.7
OpValScore[F(5)]	0.8

因为每种分辨率只有对应的一种模型，所以模型选项的OpValScore与分辨率相同。此时就可以计算α'＝Π_OpOpValScore[v_Op]如下：

如果设定门限值α＝0.8.那么待选配置即为＜720p,60,M₁＞，＜480p,60,M₂＞，＜360p,60,M₃＞，＜720p,30,M₁＞，＜720p,5,M₁＞，＜480p,30,M₂＞，假设三种模型的计算消耗分别为0.8，0.4，0.2，令b为1，计算它们的α'+b/(ModelConsumption_i*f)如下：

配置	α'+b/(ModelConsumption<sub>i</sub>*f)
		＜720p,60,M<sub>1</sub>＞	1.0208
＜480p,60,M<sub>2</sub>＞	0.9417
		＜360p,60,M<sub>3</sub>＞	0.8833
＜720p,30,M<sub>1</sub>＞	0.9417
		＜720p,5,M<sub>1</sub>＞	1.05
＜480p,30,M<sub>2</sub>＞	0.8933

选择＜720p,5,M₁＞作为配置，应用到G₁所有用户的第一个窗口。以同样的方式为G₂的第一个窗口选择配置。

到达第二个配置窗口时，假设第一个窗口3用户报告了网络拥塞，其余用户正常，则G₂的配置选择空间需要减少一组消耗最大的配置，即＜720p,60,M₁＞。G₁的配置选择空间可以向上增加一个消耗大的配置组合。消耗大的即占用更多带宽的配置组合，具体说就是帧率和分辨率可以提高。

在第二个窗口，C_refer可以延续使用第一个窗口的C_refer，但如果得到的α'均小于门限α，则C_refer表明已不再适应当前情况，依据规则重新选择。

以此往复，为每个窗口选择合适的配置组合，以达到预期的准确度和性能的平衡。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (5)

1.一种边缘计算环境下的资源自适应调节方法，其特征在于，包括：

将边缘计算环境中采集设备进行分组划分；

在组内任选一个采集设备，将所选采集设备传输的视频流以时间为单位划分为窗口；

依次对所选采集设备的每个窗口进行资源配置并将窗口配置应用于该组的所有采集设备的对应窗口；

所述对所选采集设备的每个窗口进行资源配置，包括，

将窗口按照时间划分为预设数量的片段；

对窗口的第一个片段进行资源配置；

将第一个片段的资源配置应用到所在窗口；

所述对窗口的第一个片段进行资源配置，包括：

在参考配置的基础上，改变某一个配置选项取值且其他配置选项取值不变，并应用到所在窗口第一段视频的每一帧，与参考配置的处理结果比较，得到对应的F1分数；

将所有帧所得到的F1分数均值作为当前配置选项取当前值时的分数，并计算得到当前配置选项所有可选取值下对应的F1分数；以及，计算得到在参考配置基础上改变任意一个配置选项时，在所有可选取值下对应的F1分数；

将配置选项根据不同可选取值进行组合构成可选配置组合集合；

将可选配置组合中所有配置选项对应取值下的分数值进行相乘得到该可选配置组合的分数；

根据可选配置组合集合中可选配置组合的分数选择最优资源配置作为第一个片段的资源配置，如下：

如果α'≥α，则选择α'+b/(ModelConsumption_i*f)最大的可选配置组合作为最优资源配置；

如果α'＜α，则将参考配置设置为可选配置集合中计算消耗最大的一组配置，重新对窗口的第一个片段进行资源配置；如果仍是α'＜α，则选取F1分数最高的一组配置作为参考配置；

其中，α'为计算的可选配置组合的分数，α为预设的门限值，ModelConsumption_i为当前的计算消耗，f为帧率，b为根据精度和计算开销的平衡需求设定的常数。

2.根据权利要求1所述的一种边缘计算环境下的资源自适应调节方法，其特征在于，所述将边缘计算环境中采集设备进行分组划分，包括：

将采集设备按照部署位置或关联性情况，手动划分为组。

3.根据权利要求1所述的一种边缘计算环境下的资源自适应调节方法，其特征在于，所述配置选项包括边缘服务器上运行的神经网络模型，神经网络模型对应的分辨率，以及帧率；

每个配置选项都有不同的可选取值。

4.根据权利要求1所述的一种边缘计算环境下的资源自适应调节方法，其特征在于，所述参考配置选择如下：

对于第一个窗口，预先设置一组配置作为参考配置，或者选择计算消耗最大的一组配置作为参考配置；

对于非第一个窗口，将上一窗口的配置作为参考配置。

5.根据权利要求1所述的一种边缘计算环境下的资源自适应调节方法，其特征在于，如果应用窗口配置后，网络拥塞，则将可选配置组合集合中减少一组计算消耗最大的配置；如果应用窗口配置后，没有出现拥塞，则将可选配置组合集合中向上增加一个计算消耗大的配置；所述计算消耗大是指提高帧率和分辨率。

Images