CN115661708B

CN115661708B - 基于主动连续学习的边缘视频分析方法

Info

Publication number: CN115661708B
Application number: CN202211300774.7A
Authority: CN
Inventors: 张磊; 高冠宇
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2022-10-24
Filing date: 2022-10-24
Publication date: 2023-08-25
Anticipated expiration: 2042-10-24
Also published as: CN115661708A

Abstract

本发明公开了一种基于主动连续学习的边缘视频分析方法，该方法能够在边缘计算网络节点及边缘设备上部署视频分析模型，根据边缘设备算力自适应调整资源调度，利用主动学习器发现环境中值得学习的数据并过滤冗余和无效数据，实现本地模型主动对真实视频环境进行连续学习。该方法通过构建视频分析模型和视频漂移检测器，将视频流中各视频块内的目标位置和类别分布情况保存，通过判断分布变化率是否超出给定阈值从而进行选择缓存到视频漂移池中，进一步的优化边缘设备的剩余算力，最优化训练数据样本，且拟合最优视频数据形成训练样本，提高视频的分析辨识能力。

Description

基于主动连续学习的边缘视频分析方法

技术领域

本发明涉及边缘计算和计算机视觉技术领域，具体涉及一种基于主动连续学习的边缘视频分析方法。

背景技术

边缘视频分析具有低时延、隐私保护等优点，能够在边缘设备中对视频场景进行智能分析。目前，边缘视频分析技术在自动驾驶、无人售货和智慧城市等领域具有广泛的应用前景。

但在真实的部署环境中往往存在许多不可控的环境因素，导致视频分析模型的识别能力大幅下降。而造成视频分析服务不稳定的原因往往复杂多样，例如在自动驾驶场景中，道路的光照条件会随着时间变化而不断改变，从而导致视频分析模型无法在暗光等极端条件下进行目标识别。此外，道路上的目标也在不断改变，在复杂的城市路况中往往存在很多未知的目标物体，例如各式各样的路标、种类繁多的汽车等。视频分析模型在训练阶段难以完整涵盖现实环境中的所有物体，因此在真实的部署过程中对未知目标往往缺乏有效的自主学习机制。

考虑上述问题，本发明主要解决视频分析任务在真实部署环境中存在的三个问题：

(1)真实部署环境是不断变化的，并且存在很多未知的目标和物体，如何能够使边缘设备上的视频分析模型能够随着场景改变主动进行连续学习，从而确保智能视频分析服务能够在长期部署中始终稳定可用。

(2)在边缘设备上对视频场景进行学习，往往需要较强的计算平台支撑，现有的边缘处理器算力很难满足在复杂环境下进行高密度的视频场景学习，如何能够使边缘模型能够自主选择必要的训练数据，从而降低学习过程中的资源消耗，并能够在现有硬件条件下大范围部署智能视频分析服务。

(3)在主动连续学习的过程中，视频分析模型常常会对历史环境产生遗忘，当历史场景复现时往往又需要进行冗余学习，产生不必要的资源浪费，如何在主动连续学习过程中有效的保留历史知识，从而减少冗余学习时间和计算资源浪费。

发明内容

发明目的：针对上述在真实部署场景中存在的主动学习能力缺失、计算资源消耗过大、冗余学习的资源浪费等问题，本发明提供一种基于主动连续学习的边缘视频分析方法。

技术方案：一种基于主动连续学习的边缘视频分析方法，所述方法应用于边缘计算网络中的视频采集及处理设备上，根据边缘设备算力自适应调整资源调度，利用主动学习器发现环境中值得学习的数据并过滤冗余和无效数据，实现本地模型主动对真实视频环境进行连续学习，提高图像的辨识能力，所述方法包括通过如下步骤：

(1)根据边缘计算网络节点及边缘计算设备部署构建视频分析模型和视频漂移检测器，用于实时检测输入视频流D_video中视频环境和视频特征的变化，并将视频流中各视频块内的目标位置和类别分布情况保存至状态表D_status；

(2)判断状态表D_status中分布变化率是否超出给定阈值λ_shift，将超出阈值范围所对应时间段的视频块数据缓存到视频漂移池D_drift中；

(3)根据当前边缘设备的算力和视频漂移池D_drift的内容，优化得出边缘设备剩余算力可接纳的最优训练数据量其/>的优化过程数学表示为：

式中，R_edge表示边缘设备处理器的总算力资源，R_cl(N_cl)代表从漂移池D_drift中选择N_cl个训练数据时需要的边缘设备算力，通过迭代得到个训练数据用于连续学习；

其约束条件为：R_edge-R_cl(N_cl)≥R_obj

式中，R_obj表示资源需求，R_obj表示实时视频分析任务请求的计算资源R_obj；

(4)通过主动学习器从视频漂移池D_drift中筛选(0＜λ_a＜1)个能够满足最大化聚类中心的特征距离要求的视频块，将筛选出的视频块保存至视频块代表集合D_rep中；

(5)从上一轮的视频块代表集合D′_rep中筛选出个对拟合能力影响最大的视频样本，并组成历史视频块集合D_his；

(6)将视频块代表集合D_rep和历史视频块集合D_his加入到连续学习数据池中，用以更新视频分析模型，进而使边缘模型在长期部署中能够自适应地提高视频分析的准确率。

进一步的，步骤(1)中对于边缘设备所采集的视频流D_video，视频漂移检测器需要利用边缘部署的视频分析模型F_obj，对视频流中各视频块数据进行目标位置和类别分布情况的分析，同时将模型分析结果的置信度保存至状态表D_status，其表达式如下：

式中，是处于时间周期T的视频块相对于M个目标类别的分布矩阵，其代表在时间周期T中视频流各个目标出现的交叉熵分布情况，此外，/>和/>分别是目标类别i，j∈(1，2，...，M)在视频流时间段T中出现的频次。

进一步的，步骤(2)中当状态表D_status中视频目标分布情况的变化率超过了给定漂移阈值λ_shift时，即可认为在该时间段内数据分布的稳定性发生变化，则将相应时间段内所有的视频块缓存到漂移池D_drift中，其表达式如下：

式中，代表在T到T+1时刻内视频流中各个目标出现的交叉熵分布变化率，即/>当连续两个时刻的分布变化率超过漂移阈值λ_shift时，即则将视频流D_video在相应时间段内的视频块数据x^(T：T+1)缓存到漂移池D_drift中。

此外，考虑到现实边缘设备的缓存空间往往有限，当漂移池D_drift的存储空间达到极限大小N_drift时，即满足|D_drift|≥N_drift，则丢弃最久之前的视频块，为最新产生的漂移视频块预留空间，从而防止漂移池D_drift出现存储越界的问题。

进一步的，步骤(3)中边缘设备处理器的总算力资源R_edge往往不能支撑对漂移池D_drift的完整学习。此外，密集的视频场景学习任务将会进一步抢占边缘设备的训练算力R_cl，进而导致实时视频分析任务请求的计算资源R_obj得不到满足，即R_obj＜R_edge-R_cl。此时，根据当前边缘设备的算力和视频漂移池D_drift的内容，优化得出边缘设备剩余算力可接纳的最优训练数据量从而可以保证实时视频分析任务所需资源R_obj不受影响，其/>的优化过程可以表示为：

式中，R_cl(N_cl)代表从漂移池D_drift中选择N_cl个训练数据时需要的边缘设备算力；通过迭代得到个训练数据用于连续学习。此外，为了保证剩余的边缘算力能够维持实时视频分析的资源需求R_obj，则要求/>的优化过程满足约束条件R_edge-R_cl(N_cl)≥R_obj。

进一步的，步骤(4)中当得到最优训练数量后，则通过主动学习器从漂移池D_drift中选择出/>个具有代表性的视频块组成集合/>用以模型训练。主动学习器中给定的系数λ_a用于控制从漂移池D_drift中选择出视频块集合不超过当前算力能处理的最大视频块数量。此外，主动学习器所采样的视频块代表集合D_rep需要进一步满足多样性特点，因此要求视频块代表集合D_rep中/>个视频块能够满足最大化聚类中心的特征距离要求，即D_rep的逐次迭代选择过程中需要满足如下条件：

D_rep＝D_rep∪{U}

式中，F_obj(p)代表在漂移池D_drift中各个视频块p经过视频分析模型F_obj处理后的视频特征；F_obj(q)代表位于漂移池D_drift中且不在视频块代表集合D_rep中的各个视频块q经过视频分析模型F_obj处理后的视频特征；通过迭代优化求解得到视频块U并记录到视频块代表集合D_rep中，并且视频块代表集合D_rep的尺寸不得超过即要求优化过程满足约束条件

进一步的，步骤(5)中为了减少在连续学习过程中对历史场景的遗忘问题，需要持久化存储部分历史场景中的视频块，并在未来的各阶段学习过程中强化对历史场景视频块的学习，从而在历史场景复现时减少冗余学习的时间和资源浪费。在选出新一轮的视频块代表集合D_rep同时，边缘模型应能够主动将过去一轮视频块代表集合D′_rep中对拟合能力帮助较大的视频样本选出，并组成历史视频块集合D_his，其历史视频块集合D_his的逐次迭代选择过程如下：

D_his＝D_his∪{V}

式中，s是位于过去一轮视频块代表集合D′_rep中且不在历史视频块集合D_his中的各个视频块；表示将视频块s输入到视频分析模型F_obj后得到的误差值。通过迭代优化求解选择出能够使误差值最大的视频块V并保存至历史视频块集合D_his中。此外，要求视频块代表集合D_his的尺寸不得超过给定系数λ_a和最优训练量/>所控制的剩余计算量大小即要求优化过程满足约束条件/>

进一步的，步骤(6)中将视频块代表集合D_rep和历史视频块集合D_his加入到连续学习数据池中，当边缘设备完成对连续学习任务的资源分配后，连续学习数据池的数据将会被用于视频分析模型F_obj的训练过程中，直到达到模型拟合后终止。更新后的模型权重会替换原有模型权重，从而在变化的现实场景中能够不断通过主动连续学习提升模型的识别和分析能力。

有益效果：与现有技术相比，本发明实质性的进步和显著的效果如下：

(1)本发明能够通过主动学习器从视频漂移池中选择出对模型帮助较大的视频块用以连续学习，减少部署过程中计算资源的消耗。从而，在真实部署环境中能够以更低的算力开销实现对视频分析场景的主动连续学习，并提高模型在真实视频分析环境中的准确率。

(2)本发明能够减少对边缘设备存储资源的消耗，同时又能提供较高质量的视频分析服务。从而在现有存储环境和边缘架构条件下，有效减少了边缘设备升级成本，并能够高效的提供稳定的边缘视频分析服务。

附图说明

图1为实施例中主动连续学习方法的示意图；

图2所示是实施例与现有技术在视频任务中识别准确率的比较；

图3所示是实施例与现有技术在仿真实验中视频服务质量AP的比较；

图4所示是实施例与现有技术在存储使用量和视频分析质量AP上的比较。

具体实施方式

为了详细的说明本发明所公开的技术方案，下面结合说明书附图及具体实施例做进一步的阐述。

边缘视频分析任务在自动驾驶、无人售货和智慧城市等领域具有广泛的应用前景。但是在真实部署场景中，存在很多不可控的环境因素会影响视频分析的可靠性。此外，在复杂环境中通常会存在大量无法识别的未知目标，学习这些未知物体的视频特征往往需要分配大量的计算资源。针对这些问题，本发明提供了一种基于主动连续学习的边缘视频分析方法，该方法可在现有硬件条件下高效地利用有限的边缘处理器算力，同时赋予模型自主响应动态环境和连续学习的能力。并且，本发明可以进一步减少在主动连续学习过程中对历史视频场景的遗忘问题，在真实部署过程中有效的保留历史知识，从而减少冗余学习的时间和资源浪费。

本发明考虑了视频分析任务在真实部署模型中持续对动态环境进行主动自适应学习，并且本发明能够高效的利用有限的边缘设备算力。此外，本发明实质性的减少了模型学习过程中对历史视频场景的遗忘问题，减少冗余学习的资源浪费。在边缘硬件设备有限和长周期的现实部署场景中，能够实现稳定可靠且无人干预的视频内容智能分析服务。

在上述的技术方案内容和本领域技术的现有技术的基础上，更进一步的，结合图1，下面详细阐述本发明所述的方法实施过程如下。

步骤1：根据边缘视频环境的实际应用场景构建视频漂移检测器，以用于实时检测输入视频流中视频环境和视频特征是否发生变化。对于边缘设备所采集的视频流D_video，视频漂移检测器利用边缘部署的视频分析模型F_obj，对视频流中各视频块数据进行目标位置和类别分布情况的分析，同时将模型分析结果的置信度保存至状态表D_status，其表达式如下：

步骤2：当状态表D_status中视频目标分布情况的变化率超过了给定漂移阈值λ_shift时，即可认为在时间段T到T+1内数据分布的稳定性发生变化，此时将相应时间段内所有的视频块缓存到漂移池D_drift中，其表达式如下：

步骤3：在现实场景中边缘设备处理器的总算力资源R_edge往往不能支撑对漂移池D_drift进行完整学习。其原因在于密集的视频场景学习任务将会进一步抢占边缘设备的训练算力R_cl，导致实时视频分析请求的计算资源R_obj得不到满足，即R_obj＜R_edge-R_cl，使得视频分析服务处于不可用或无响应的状态。此时，在漂移池D_drift中需要根据当前边缘算力计算得到至多选择个训练数据，从而可以保证实时视频分析任务所需资源R_obj不受影响，其/>的优化过程可以表示为：

步骤4：当得到最优训练数量后，则通过主动学习器从漂移池D_drift中选择出个具有代表性的视频块组成集合/>用以模型训练。主动学习器中给定的系数λ_a用于控制从漂移池D_drift中选择出视频块集合不超过当前算力能处理的最大视频块数量。此外，主动学习器所采样的视频块代表集合D_rep需要进一步满足多样性特点，因此要求视频块代表集合D_rep中/>个视频块能够满足最大化聚类中心的特征距离要求，即D_rep的逐次迭代选择过程中需要满足如下条件：

D_rep＝D_rep∪{U}

步骤5：为了减少在连续学习过程中对历史场景的遗忘问题，需要持久化存储部分历史场景中的视频块，并在未来的各阶段学习过程中强化对历史场景视频块的学习，从而在历史场景复现时减少冗余学习的时间和资源浪费。在选出新一轮的视频块代表集合D_rep同时，边缘模型应能够主动将过去一轮视频块代表集合D′_rep中对拟合能力帮助较大的视频样本选出，并组成历史视频块集合D_his，其历史视频块集合D_his的逐次迭代选择过程如下：

D_his＝D_his∪{V}

式中，s是位于过去一轮视频块代表集合D′_rep中且不在历史视频块集合D_his中的各个视频块；表示将视频块s输入到视频分析模型F_obj后的误差值。通过迭代优化求解出能够使误差值最大的视频块V并保存至历史视频块集合D_his。此外，要求视频块代表集合D_his的尺寸不得超过给定系数λ_a和最优训练量/>所控制的剩余计算量大小/>即优化过程满足约束条件/>

步骤6：将视频块代表集合D_rep和历史视频块集合D_his加入到连续学习数据池中，当边缘设备完成对连续学习任务的资源分配后，连续学习数据池的数据将会被用于视频分析模型F_obj的训练过程中，直到达到模型拟合后终止。更新后的模型权重会替换原有模型权重，从而在变化的现实场景中能够不断通过主动连续学习提升模型的识别和分析能力。

实施例

根据上述本发明所述的基于主动连续学习的边缘视频分析方法的实施过程，为了进一步说明算法的有效性和实用性，通过在如表1所示的边缘设备环境下，对如表2所示的各种摄像源采集的视频片段进行仿真实验。

表1.边缘设备环境参数模拟

表2.视频源采集参数

按照表1所述的边缘设备环境参数在ALaaS平台构建虚拟系统，对表2所述的多种摄像源采集的数据进行仿真实验，进一步对本发明在漂移数据采样效果、模型质量提升率以及边缘存储使用量进行效果分析。

如图2所示，在漂移数据采集效果上，本发明能够从视频漂移池中选择出对模型帮助较大的的视频块，进一步减少了部署过程中的计算资源开销。相较于随机采样方法，本发明能够从视频漂移池中仅采样30％的数据，即可使模型得到充分的训练，并且训练后的模型识别准确率仍能与完整采样训练的识别准确率相近，从而节约了70％的边缘设备算力资源。此外，在对比本发明和完整采样的实验效果中，本发明的单位数据对模型提升率达到2.6AP/Percent，相比完整采样方法在实验中0.81AP/Percent的提升率，本发明能够使得数据的训练效益提升了3.2倍,进一步验证了本发明在多样性采样能力上的提升。

如图3所示，在模型质量提升率上，本发明能够实质性提升模型训练的准确率。相较于传统的连续学习方法(Naive CL)，本发明设定漂移数据采样率不超过30％的条件下，在以100分钟为周期窗口的连续学习过程中，能够分别以8.9％、11.1％、11.3％的AP提升率超过传统的连续学习方法(Naive CL)。此外，在部署周期中视频分析的服务质量始终呈现增长趋势，进一步验证了本发明在边缘视频任务上的可靠性和稳定性。

如图4所示，在边缘存储使用量上，本发明能够减少对边缘设备存储资源的消耗。相较于传统的核心集方法(Coreset)，本发明在边缘存储资源上能够减少1.2倍，且模型分析质量(AP)上取得了8％以上的提升。此外，相较于传统的连续学习方法(Naive CL)，本发明在取得较高的视频分析质量前提下，对边缘设备的存储使用量减少了3倍。这样的提升可以说明，本发明普遍适用于真实部署场景的硬件条件，有效减少了边缘设备升级成本，在现有存储环境和边缘架构下能够提供高质量的边缘视频分析服务。

结合图2、图3和图4的试验结果，检验了本发明中主动连续学习策略的优越性能。

Claims

1.一种基于主动连续学习的边缘视频分析方法，所述方法应用于边缘计算网络中的视频采集及处理设备上，根据边缘设备算力自适应调整资源调度，利用主动学习器发现环境中值得学习的数据并过滤冗余和无效数据，实现本地模型主动对真实视频环境进行连续学习，提高图像的辨识能力，其特征在于：所述方法包括通过如下步骤：

(1)根据边缘计算网络节点及边缘计算设备部署构建视频分析模型和视频漂移检测器，用于实时检测输入视频流D_video中视频特征和视频内容的变化，将输入视频流D_video中各视频块内的目标位置和类别分布情况保存至状态表D_status；

其约束条件为：R_edge-R_cl(N_cl)≥R_obj

式中，R_obj表示资源需求，R_obj表示实时视频分析任务请求的计算资源；

(4)通过主动学习器从视频漂移池D_drift中迭代筛选个能够满足最大化聚类中心的特征距离要求的视频块，将满足优化条件的视频块保存至新一轮的视频块代表集合D_rep中；

(5)从过去一轮的视频块代表集合D'_rep中筛选出个对拟合能力影响最大的视频样本，并组成历史视频块集合D_his；

所述的历史视频块集合D_his是由迭代优化得到的，具体是在选出新一轮视频块代表集合D_rep的同时，边缘模型应主动将过去一轮视频块代表集合D'_rep中对拟合能力帮助最大的视频样本选出，并组成历史视频块集合D_his，其历史视频块集合D_his的逐次迭代选择过程如下：

D_his＝D_his∪{V}

式中，s是位于过去一轮视频块代表集合D'_rep中且不在历史视频块集合D_his中的各个视频块；表示将视频块s输入到视频分析模型F_obj后得到的误差值；通过迭代优化求解选择出能够使误差值最大的视频块V并保存至历史视频块集合D_his中；

约束条件：要求视频块代表集合D_his的尺寸不得超过给定系数λ_a和最优训练量所控制的剩余计算量大小/>优化过程满足约束条件/>

(6)将视频块代表集合D_rep和历史视频块集合D_his加入到连续学习数据池中，用以更新视频分析模型，使边缘模型在长期部署中能够自适应地提高视频分析的准确率。

2.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(1)中对于边缘设备所采集的视频流D_video，视频漂移检测器是基于边缘部署的视频分析模型F_obj，对视频流中各视频块数据进行目标位置和类别分布情况的分析，同时将模型分析结果的置信度保存至状态表D_status，其表达式如下：

式中，是处于时间周期T的视频块相对于M个目标类别的分布矩阵，其代表在时间周期T中视频流各个目标出现的交叉熵分布情况，此外，/>和/>分别是目标类别i,j∈(1,2,…,M)在视频流时间段T中出现的频次。

3.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(2)中当状态表D_status中视频目标分布情况的变化率超过了给定漂移阈值λ_shift时，视为在该时间段内数据分布的稳定性发生变化，则将相应时间段内所有的视频块缓存到漂移池D_drift中，其表达式如下：

式中，代表在T到T+1时刻内视频流中各个目标出现的交叉熵分布变化率，当连续两个时刻的分布变化率超过漂移阈值λ_shift时，则将视频流D_video在相应时间段内的视频块数据X^(T:T+1)缓存到漂移池D_drift中。

4.根据权利要求3所述的基于主动连续学习的边缘视频分析方法，其特征在于：当漂移池D_drift的存储空间达到极限大小N_drift时，满足|D_drift|≥N_drift，则丢弃最久的视频块，为最新产生的漂移视频块预留空间，从而防止漂移池D_drift出现存储越界的问题。

5.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(4)中，视频块代表集合D_rep中个视频块能够满足最大化聚类中心的特征距离要求，D_rep的逐次迭代选择过程中满足如下条件：

D_rep＝D_rep∪{U}

式中，F_obj(p)代表在漂移池D_drift中各个视频块p经过视频分析模型F_obj处理后的视频特征；F_obj(q)代表位于漂移池D_drift中且不在视频块代表集合D_rep中的各个视频块q经过视频分析模型F_obj处理后的视频特征；通过迭代优化求解得到视频块U并记录到视频块代表集合D_rep中，并且视频块代表集合D_rep的尺寸不得超过要求优化过程满足约束条件

6.根据权利要求5所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(4)中当得到最优训练数量后，通过主动学习器从漂移池D_drift中选择出个具有代表性的视频块组成集合/>用以模型训练；主动学习器通过给定的系数λ_a控制从漂移池D_drift中选择出视频块集合不超过当前算力能处理的最大视频块数量。

7.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(6)中将视频块代表集合D_rep和历史视频块集合D_his加入到连续学习数据池中，当边缘设备完成对连续学习任务的资源分配后，连续学习数据池的数据将会被用于视频分析模型F_obj的训练过程中，直到达到模型拟合后终止；且更新后的模型权重会替换原有模型权重，从而在变化的现实场景中能够不断通过主动连续学习提升模型的识别和分析能力。