CN115661708A - 基于主动连续学习的边缘视频分析方法 - Google Patents

基于主动连续学习的边缘视频分析方法 Download PDF

Info

Publication number
CN115661708A
CN115661708A CN202211300774.7A CN202211300774A CN115661708A CN 115661708 A CN115661708 A CN 115661708A CN 202211300774 A CN202211300774 A CN 202211300774A CN 115661708 A CN115661708 A CN 115661708A
Authority
CN
China
Prior art keywords
video
drift
edge
rep
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211300774.7A
Other languages
English (en)
Other versions
CN115661708B (zh
Inventor
张磊
高冠宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202211300774.7A priority Critical patent/CN115661708B/zh
Publication of CN115661708A publication Critical patent/CN115661708A/zh
Application granted granted Critical
Publication of CN115661708B publication Critical patent/CN115661708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于主动连续学习的边缘视频分析方法，该方法能够在边缘计算网络节点及边缘设备上部署视频分析模型，根据边缘设备算力自适应调整资源调度，利用主动学习器发现环境中值得学习的数据并过滤冗余和无效数据，实现本地模型主动对真实视频环境进行连续学习。该方法通过构建视频分析模型和视频漂移检测器，将视频流中各视频块内的目标位置和类别分布情况保存，通过判断分布变化率是否超出给定阈值从而进行选择缓存到视频漂移池中，进一步的优化边缘设备的剩余算力，最优化训练数据样本，且拟合最优视频数据形成训练样本，提高视频的分析辨识能力。

Description

基于主动连续学习的边缘视频分析方法
技术领域
本发明涉及边缘计算和计算机视觉技术领域，具体涉及一种基于主动连续学习的边缘视频分析方法。
背景技术
边缘视频分析具有低时延、隐私保护等优点，能够在边缘设备中对视频场景进行智能分析。目前，边缘视频分析技术在自动驾驶、无人售货和智慧城市等领域具有广泛的应用前景。
但在真实的部署环境中往往存在许多不可控的环境因素，导致视频分析模型的识别能力大幅下降。而造成视频分析服务不稳定的原因往往复杂多样，例如在自动驾驶场景中，道路的光照条件会随着时间变化而不断改变，从而导致视频分析模型无法在暗光等极端条件下进行目标识别。此外，道路上的目标也在不断改变，在复杂的城市路况中往往存在很多未知的目标物体，例如各式各样的路标、种类繁多的汽车等。视频分析模型在训练阶段难以完整涵盖现实环境中的所有物体，因此在真实的部署过程中对未知目标往往缺乏有效的自主学习机制。
考虑上述问题，本发明主要解决视频分析任务在真实部署环境中存在的三个问题：
(1)真实部署环境是不断变化的，并且存在很多未知的目标和物体，如何能够使边缘设备上的视频分析模型能够随着场景改变主动进行连续学习，从而确保智能视频分析服务能够在长期部署中始终稳定可用。
(2)在边缘设备上对视频场景进行学习，往往需要较强的计算平台支撑，现有的边缘处理器算力很难满足在复杂环境下进行高密度的视频场景学习，如何能够使边缘模型能够自主选择必要的训练数据，从而降低学习过程中的资源消耗，并能够在现有硬件条件下大范围部署智能视频分析服务。
(3)在主动连续学习的过程中，视频分析模型常常会对历史环境产生遗忘，当历史场景复现时往往又需要进行冗余学习，产生不必要的资源浪费，如何在主动连续学习过程中有效的保留历史知识，从而减少冗余学习时间和计算资源浪费。
发明内容
发明目的：针对上述在真实部署场景中存在的主动学习能力缺失、计算资源消耗过大、冗余学习的资源浪费等问题，本发明提供一种基于主动连续学习的边缘视频分析方法。
技术方案：一种基于主动连续学习的边缘视频分析方法，所述方法应用于边缘计算网络中的视频采集及处理设备上，根据边缘设备算力自适应调整资源调度，利用主动学习器发现环境中值得学习的数据并过滤冗余和无效数据，实现本地模型主动对真实视频环境进行连续学习，提高图像的辨识能力，所述方法包括通过如下步骤：
(1)根据边缘计算网络节点及边缘计算设备部署构建视频分析模型和视频漂移检测器，用于实时检测输入视频流Dvideo中视频环境和视频特征的变化，并将视频流中各视频块内的目标位置和类别分布情况保存至状态表Dstatus；
(2)判断状态表Dstatus中分布变化率是否超出给定阈值λshift，将超出阈值范围所对应时间段的视频块数据缓存到视频漂移池Ddrift中；
(3)根据当前边缘设备的算力和视频漂移池Ddrift的内容，优化得出边缘设备剩余算力可接纳的最优训练数据量
Figure BDA0003904564900000021
其
Figure BDA0003904564900000022
的优化过程数学表示为：
Figure BDA0003904564900000023
式中，Redge表示边缘设备处理器的总算力资源，Rcl(Ncl)代表从漂移池Ddrift中选择Ncl个训练数据时需要的边缘设备算力，通过迭代得到
Figure BDA0003904564900000024
个训练数据用于连续学习；
其约束条件为：Redge-Rcl(Ncl)≥Robj
式中，Robj表示资源需求，Robj表示实时视频分析任务请求的计算资源Robj；
(4)通过主动学习器从视频漂移池Ddrift中筛选
Figure BDA0003904564900000025
(0＜λa＜1)个能够满足最大化聚类中心的特征距离要求的视频块，将筛选出的视频块保存至视频块代表集合Drep中；
(5)从上一轮的视频块代表集合D′rep中筛选出
Figure BDA0003904564900000026
个对拟合能力影响最大的视频样本，并组成历史视频块集合Dhis；
(6)将视频块代表集合Drep和历史视频块集合Dhis加入到连续学习数据池中，用以更新视频分析模型，进而使边缘模型在长期部署中能够自适应地提高视频分析的准确率。
进一步的，步骤(1)中对于边缘设备所采集的视频流Dvideo，视频漂移检测器需要利用边缘部署的视频分析模型Fobj，对视频流中各视频块数据进行目标位置和类别分布情况的分析，同时将模型分析结果的置信度保存至状态表Dstatus，其表达式如下：
Figure BDA0003904564900000031
式中，
Figure BDA0003904564900000032
是处于时间周期T的视频块相对于M个目标类别的分布矩阵，其代表在时间周期T中视频流各个目标出现的交叉熵分布情况，此外，
Figure BDA0003904564900000033
和
Figure BDA0003904564900000034
分别是目标类别i，j∈(1，2，...，M)在视频流时间段T中出现的频次。
进一步的，步骤(2)中当状态表Dstatus中视频目标分布情况的变化率超过了给定漂移阈值λshift时，即可认为在该时间段内数据分布的稳定性发生变化，则将相应时间段内所有的视频块缓存到漂移池Ddrift中，其表达式如下：
Figure BDA0003904564900000035
式中，
Figure BDA0003904564900000036
代表在T到T+1时刻内视频流中各个目标出现的交叉熵分布变化率，即
Figure BDA0003904564900000037
当连续两个时刻的分布变化率超过漂移阈值λshift时，即
Figure BDA0003904564900000038
则将视频流Dvideo在相应时间段内的视频块数据x(T：T+1)缓存到漂移池Ddrift中。
此外，考虑到现实边缘设备的缓存空间往往有限，当漂移池Ddrift的存储空间达到极限大小Ndrift时，即满足|Ddrift|≥Ndrift，则丢弃最久之前的视频块，为最新产生的漂移视频块预留空间，从而防止漂移池Ddrift出现存储越界的问题。
进一步的，步骤(3)中边缘设备处理器的总算力资源Redge往往不能支撑对漂移池Ddrift的完整学习。此外，密集的视频场景学习任务将会进一步抢占边缘设备的训练算力Rcl，进而导致实时视频分析任务请求的计算资源Robj得不到满足，即Robj＜Redge-Rcl。此时，根据当前边缘设备的算力和视频漂移池Ddrift的内容，优化得出边缘设备剩余算力可接纳的最优训练数据量
Figure BDA0003904564900000041
从而可以保证实时视频分析任务所需资源Robj不受影响，其
Figure BDA0003904564900000042
的优化过程可以表示为：
Figure BDA0003904564900000043
式中，Rcl(Ncl)代表从漂移池Ddrift中选择Ncl个训练数据时需要的边缘设备算力；通过迭代得到
Figure BDA00039045649000000412
个训练数据用于连续学习。此外，为了保证剩余的边缘算力能够维持实时视频分析的资源需求Robj，则要求
Figure BDA0003904564900000044
的优化过程满足约束条件Redge-Rcl(Ncl)≥Robj。
进一步的，步骤(4)中当得到最优训练数量
Figure BDA0003904564900000045
后，则通过主动学习器从漂移池Ddrift中选择出
Figure BDA0003904564900000046
个具有代表性的视频块组成集合
Figure BDA0003904564900000047
用以模型训练。主动学习器中给定的系数λa用于控制从漂移池Ddrift中选择出视频块集合不超过当前算力能处理的最大视频块数量。此外，主动学习器所采样的视频块代表集合Drep需要进一步满足多样性特点，因此要求视频块代表集合Drep中
Figure BDA0003904564900000048
个视频块能够满足最大化聚类中心的特征距离要求，即Drep的逐次迭代选择过程中需要满足如下条件：
Figure BDA0003904564900000049
Drep＝Drep∪{U}
式中，Fobj(p)代表在漂移池Ddrift中各个视频块p经过视频分析模型Fobj处理后的视频特征；Fobj(q)代表位于漂移池Ddrift中且不在视频块代表集合Drep中的各个视频块q经过视频分析模型Fobj处理后的视频特征；通过迭代优化求解得到视频块U并记录到视频块代表集合Drep中，并且视频块代表集合Drep的尺寸不得超过
Figure BDA00039045649000000410
即要求优化过程满足约束条件
Figure BDA00039045649000000411
进一步的，步骤(5)中为了减少在连续学习过程中对历史场景的遗忘问题，需要持久化存储部分历史场景中的视频块，并在未来的各阶段学习过程中强化对历史场景视频块的学习，从而在历史场景复现时减少冗余学习的时间和资源浪费。在选出新一轮的视频块代表集合Drep同时，边缘模型应能够主动将过去一轮视频块代表集合D′rep中对拟合能力帮助较大的视频样本选出，并组成历史视频块集合Dhis，其历史视频块集合Dhis的逐次迭代选择过程如下：
Figure BDA0003904564900000051
Dhis＝Dhis∪{V}
式中，s是位于过去一轮视频块代表集合D′rep中且不在历史视频块集合Dhis中的各个视频块；
Figure BDA0003904564900000052
表示将视频块s输入到视频分析模型Fobj后得到的误差值。通过迭代优化求解选择出能够使误差值最大的视频块V并保存至历史视频块集合Dhis中。此外，要求视频块代表集合Dhis的尺寸不得超过给定系数λa和最优训练量
Figure BDA0003904564900000053
所控制的剩余计算量大小
Figure BDA0003904564900000054
即要求优化过程满足约束条件
Figure BDA0003904564900000055
进一步的，步骤(6)中将视频块代表集合Drep和历史视频块集合Dhis加入到连续学习数据池中，当边缘设备完成对连续学习任务的资源分配后，连续学习数据池的数据将会被用于视频分析模型Fobj的训练过程中，直到达到模型拟合后终止。更新后的模型权重会替换原有模型权重，从而在变化的现实场景中能够不断通过主动连续学习提升模型的识别和分析能力。
有益效果：与现有技术相比，本发明实质性的进步和显著的效果如下：
(1)本发明能够通过主动学习器从视频漂移池中选择出对模型帮助较大的视频块用以连续学习，减少部署过程中计算资源的消耗。从而，在真实部署环境中能够以更低的算力开销实现对视频分析场景的主动连续学习，并提高模型在真实视频分析环境中的准确率。
(2)本发明能够减少对边缘设备存储资源的消耗，同时又能提供较高质量的视频分析服务。从而在现有存储环境和边缘架构条件下，有效减少了边缘设备升级成本，并能够高效的提供稳定的边缘视频分析服务。
附图说明
图1为实施例中主动连续学习方法的示意图；
图2所示是实施例与现有技术在视频任务中识别准确率的比较；
图3所示是实施例与现有技术在仿真实验中视频服务质量AP的比较；
图4所示是实施例与现有技术在存储使用量和视频分析质量AP上的比较。
具体实施方式
为了详细的说明本发明所公开的技术方案，下面结合说明书附图及具体实施例做进一步的阐述。
边缘视频分析任务在自动驾驶、无人售货和智慧城市等领域具有广泛的应用前景。但是在真实部署场景中，存在很多不可控的环境因素会影响视频分析的可靠性。此外，在复杂环境中通常会存在大量无法识别的未知目标，学习这些未知物体的视频特征往往需要分配大量的计算资源。针对这些问题，本发明提供了一种基于主动连续学习的边缘视频分析方法，该方法可在现有硬件条件下高效地利用有限的边缘处理器算力，同时赋予模型自主响应动态环境和连续学习的能力。并且，本发明可以进一步减少在主动连续学习过程中对历史视频场景的遗忘问题，在真实部署过程中有效的保留历史知识，从而减少冗余学习的时间和资源浪费。
本发明考虑了视频分析任务在真实部署模型中持续对动态环境进行主动自适应学习，并且本发明能够高效的利用有限的边缘设备算力。此外，本发明实质性的减少了模型学习过程中对历史视频场景的遗忘问题，减少冗余学习的资源浪费。在边缘硬件设备有限和长周期的现实部署场景中，能够实现稳定可靠且无人干预的视频内容智能分析服务。
在上述的技术方案内容和本领域技术的现有技术的基础上，更进一步的，结合图1，下面详细阐述本发明所述的方法实施过程如下。
步骤1：根据边缘视频环境的实际应用场景构建视频漂移检测器，以用于实时检测输入视频流中视频环境和视频特征是否发生变化。对于边缘设备所采集的视频流Dvideo，视频漂移检测器利用边缘部署的视频分析模型Fobj，对视频流中各视频块数据进行目标位置和类别分布情况的分析，同时将模型分析结果的置信度保存至状态表Dstatus，其表达式如下：
Figure BDA0003904564900000071
式中，
Figure BDA0003904564900000072
是处于时间周期T的视频块相对于M个目标类别的分布矩阵，其代表在时间周期T中视频流各个目标出现的交叉熵分布情况，此外，
Figure BDA0003904564900000073
和
Figure BDA0003904564900000074
分别是目标类别i，j∈(1，2，...，M)在视频流时间段T中出现的频次。
步骤2：当状态表Dstatus中视频目标分布情况的变化率
Figure BDA0003904564900000075
超过了给定漂移阈值λshift时，即可认为在时间段T到T+1内数据分布的稳定性发生变化，此时将相应时间段内所有的视频块缓存到漂移池Ddrift中，其表达式如下：
Figure BDA0003904564900000076
式中，
Figure BDA0003904564900000077
代表在T到T+1时刻内视频流中各个目标出现的交叉熵分布变化率，即
Figure BDA0003904564900000078
当连续两个时刻的分布变化率超过漂移阈值λshift时，即
Figure BDA0003904564900000079
则将视频流Dvideo在相应时间段内的视频块数据X(T：T+1)缓存到漂移池Ddrift中。
此外，考虑到现实边缘设备的缓存空间往往有限，当漂移池Ddrift的存储空间达到极限大小Ndrift时，即满足|Ddrift|≥Ndrift，则丢弃最久之前的视频块，为最新产生的漂移视频块预留空间，从而防止漂移池Ddrift出现存储越界的问题。
步骤3：在现实场景中边缘设备处理器的总算力资源Redge往往不能支撑对漂移池Ddrift进行完整学习。其原因在于密集的视频场景学习任务将会进一步抢占边缘设备的训练算力Rcl，导致实时视频分析请求的计算资源Robj得不到满足，即Robj＜Redge-Rcl，使得视频分析服务处于不可用或无响应的状态。此时，在漂移池Ddrift中需要根据当前边缘算力计算得到至多选择
Figure BDA00039045649000000710
个训练数据，从而可以保证实时视频分析任务所需资源Robj不受影响，其
Figure BDA00039045649000000711
的优化过程可以表示为：
Figure BDA0003904564900000081
式中，Rcl(Ncl)代表从漂移池Ddrift中选择Ncl个训练数据时需要的边缘设备算力；通过迭代得到
Figure BDA0003904564900000082
个训练数据用于连续学习。此外，为了保证剩余的边缘算力能够维持实时视频分析的资源需求Robj，则要求
Figure BDA0003904564900000083
的优化过程满足约束条件Redge-Rcl(Ncl)≥Robj。
步骤4：当得到最优训练数量
Figure BDA0003904564900000084
后，则通过主动学习器从漂移池Ddrift中选择出
Figure BDA0003904564900000085
个具有代表性的视频块组成集合
Figure BDA0003904564900000086
用以模型训练。主动学习器中给定的系数λa用于控制从漂移池Ddrift中选择出视频块集合不超过当前算力能处理的最大视频块数量。此外，主动学习器所采样的视频块代表集合Drep需要进一步满足多样性特点，因此要求视频块代表集合Drep中
Figure BDA0003904564900000087
个视频块能够满足最大化聚类中心的特征距离要求，即Drep的逐次迭代选择过程中需要满足如下条件：
Figure BDA0003904564900000088
Drep＝Drep∪{U}
式中，Fobj(p)代表在漂移池Ddrift中各个视频块p经过视频分析模型Fobj处理后的视频特征；Fobj(q)代表位于漂移池Ddrift中且不在视频块代表集合Drep中的各个视频块q经过视频分析模型Fobj处理后的视频特征；通过迭代优化求解得到视频块U并记录到视频块代表集合Drep中，并且视频块代表集合Drep的尺寸不得超过
Figure BDA0003904564900000089
即要求优化过程满足约束条件
Figure BDA00039045649000000810
步骤5：为了减少在连续学习过程中对历史场景的遗忘问题，需要持久化存储部分历史场景中的视频块，并在未来的各阶段学习过程中强化对历史场景视频块的学习，从而在历史场景复现时减少冗余学习的时间和资源浪费。在选出新一轮的视频块代表集合Drep同时，边缘模型应能够主动将过去一轮视频块代表集合D′rep中对拟合能力帮助较大的视频样本选出，并组成历史视频块集合Dhis，其历史视频块集合Dhis的逐次迭代选择过程如下：
Figure BDA0003904564900000091
Dhis＝Dhis∪{V}
式中，s是位于过去一轮视频块代表集合D′rep中且不在历史视频块集合Dhis中的各个视频块；
Figure BDA0003904564900000092
表示将视频块s输入到视频分析模型Fobj后的误差值。通过迭代优化求解出能够使误差值最大的视频块V并保存至历史视频块集合Dhis。此外，要求视频块代表集合Dhis的尺寸不得超过给定系数λa和最优训练量
Figure BDA0003904564900000093
所控制的剩余计算量大小
Figure BDA0003904564900000094
即优化过程满足约束条件
Figure BDA0003904564900000095
步骤6：将视频块代表集合Drep和历史视频块集合Dhis加入到连续学习数据池中，当边缘设备完成对连续学习任务的资源分配后，连续学习数据池的数据将会被用于视频分析模型Fobj的训练过程中，直到达到模型拟合后终止。更新后的模型权重会替换原有模型权重，从而在变化的现实场景中能够不断通过主动连续学习提升模型的识别和分析能力。
实施例
根据上述本发明所述的基于主动连续学习的边缘视频分析方法的实施过程，为了进一步说明算法的有效性和实用性，通过在如表1所示的边缘设备环境下，对如表2所示的各种摄像源采集的视频片段进行仿真实验。
表1.边缘设备环境参数模拟
Figure BDA0003904564900000096
表2.视频源采集参数
Figure BDA0003904564900000101
按照表1所述的边缘设备环境参数在ALaaS平台构建虚拟系统，对表2所述的多种摄像源采集的数据进行仿真实验，进一步对本发明在漂移数据采样效果、模型质量提升率以及边缘存储使用量进行效果分析。
如图2所示，在漂移数据采集效果上，本发明能够从视频漂移池中选择出对模型帮助较大的的视频块，进一步减少了部署过程中的计算资源开销。相较于随机采样方法，本发明能够从视频漂移池中仅采样30％的数据，即可使模型得到充分的训练，并且训练后的模型识别准确率仍能与完整采样训练的识别准确率相近，从而节约了70％的边缘设备算力资源。此外，在对比本发明和完整采样的实验效果中，本发明的单位数据对模型提升率达到2.6AP/Percent，相比完整采样方法在实验中0.81AP/Percent的提升率，本发明能够使得数据的训练效益提升了3.2倍,进一步验证了本发明在多样性采样能力上的提升。
如图3所示，在模型质量提升率上，本发明能够实质性提升模型训练的准确率。相较于传统的连续学习方法(Naive CL)，本发明设定漂移数据采样率不超过30％的条件下，在以100分钟为周期窗口的连续学习过程中，能够分别以8.9％、11.1％、11.3％的AP提升率超过传统的连续学习方法(Naive CL)。此外，在部署周期中视频分析的服务质量始终呈现增长趋势，进一步验证了本发明在边缘视频任务上的可靠性和稳定性。
如图4所示，在边缘存储使用量上，本发明能够减少对边缘设备存储资源的消耗。相较于传统的核心集方法(Coreset)，本发明在边缘存储资源上能够减少1.2倍，且模型分析质量(AP)上取得了8％以上的提升。此外，相较于传统的连续学习方法(Naive CL)，本发明在取得较高的视频分析质量前提下，对边缘设备的存储使用量减少了3倍。这样的提升可以说明，本发明普遍适用于真实部署场景的硬件条件，有效减少了边缘设备升级成本，在现有存储环境和边缘架构下能够提供高质量的边缘视频分析服务。
结合图2、图3和图4的试验结果，检验了本发明中主动连续学习策略的优越性能。

Claims (8)

1.一种基于主动连续学习的边缘视频分析方法，所述方法应用于边缘计算网络中的视频采集及处理设备上，根据边缘设备算力自适应调整资源调度，利用主动学习器发现环境中值得学习的数据并过滤冗余和无效数据，实现本地模型主动对真实视频环境进行连续学习，提高图像的辨识能力，其特征在于：所述方法包括通过如下步骤：
(1)根据边缘计算网络节点及边缘计算设备部署构建视频分析模型和视频漂移检测器，用于实时检测输入视频流Dvideo中视频特征和视频内容的变化，将输入视频流Dvideo中各视频块内的目标位置和类别分布情况保存至状态表Dstatus；
(2)判断状态表Dstatus中分布变化率是否超出给定阈值λshift，将超出阈值范围所对应时间段的视频块数据缓存到视频漂移池Ddrift中；
(3)根据当前边缘设备的算力和视频漂移池Ddrift的内容，优化得出边缘设备剩余算力可接纳的最优训练数据量
Figure FDA0003904564890000011
其
Figure FDA0003904564890000012
的优化过程数学表示为：
Figure FDA0003904564890000013
式中，Redge表示边缘设备处理器的总算力资源，Rcl(Ncl)代表从漂移池Ddrift中选择Ncl个训练数据时需要的边缘设备算力，通过迭代得到
Figure FDA0003904564890000014
个训练数据用于连续学习；
其约束条件为：Redge-Rcl(Ncl)≥Robj
式中，Robj表示资源需求，Robj表示实时视频分析任务请求的计算资源；
(4)通过主动学习器从视频漂移池Ddrift中迭代筛选
Figure FDA0003904564890000015
个能够满足最大化聚类中心的特征距离要求的视频块，将满足优化条件的视频块保存至新一轮的视频块代表集合Drep中；
(5)从过去一轮的视频块代表集合D′rep中筛选出
Figure FDA0003904564890000016
个对拟合能力影响最大的视频样本，并组成历史视频块集合Dhis；
(6)将视频块代表集合Drep和历史视频块集合Dhis加入到连续学习数据池中，用以更新视频分析模型，使边缘模型在长期部署中能够自适应地提高视频分析的准确率。
2.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(1)中对于边缘设备所采集的视频流Dvideo，视频漂移检测器是基于边缘部署的视频分析模型Fobj，对视频流中各视频块数据进行目标位置和类别分布情况的分析，同时将模型分析结果的置信度保存至状态表Dstatus，其表达式如下：
Figure FDA0003904564890000021
式中，
Figure FDA0003904564890000022
是处于时间周期T的视频块相对于M个目标类别的分布矩阵，其代表在时间周期T中视频流各个目标出现的交叉熵分布情况，此外，
Figure FDA0003904564890000023
和
Figure FDA0003904564890000024
分别是目标类别i，j∈(1，2，...，M)在视频流时间段T中出现的频次。
3.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(2)中当状态表Dstatus中视频目标分布情况的变化率超过了给定漂移阈值λshift时，视为在该时间段内数据分布的稳定性发生变化，则将相应时间段内所有的视频块缓存到漂移池Ddrift中，其表达式如下：
Figure FDA0003904564890000025
式中，
Figure FDA0003904564890000026
代表在T到T+1时刻内视频流中各个目标出现的交叉熵分布变化率，
Figure FDA0003904564890000027
当连续两个时刻的分布变化率超过漂移阈值λshift时，
Figure FDA0003904564890000028
则将视频流Dvideo在相应时间段内的视频块数据X(T：T+1)缓存到漂移池Ddrift中。
4.根据权利要求3所述的基于主动连续学习的边缘视频分析方法，其特征在于：当漂移池Ddrift的存储空间达到极限大小Ndrift时，满足|Ddrift|≥Ndrift，则丢弃最久的视频块，为最新产生的漂移视频块预留空间，从而防止漂移池Ddrift出现存储越界的问题。
5.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(4)中，视频块代表集合Drep中
Figure FDA0003904564890000029
个视频块能够满足最大化聚类中心的特征距离要求，Drep的逐次迭代选择过程中满足如下条件：
Figure FDA00039045648900000210
Drep＝Drep∪{U}
式中，Fobj(p)代表在漂移池Ddrift中各个视频块p经过视频分析模型Fobj处理后的视频特征；Fobj(q)代表位于漂移池Ddrift中且不在视频块代表集合Drep中的各个视频块q经过视频分析模型Fobj处理后的视频特征；通过迭代优化求解得到视频块U并记录到视频块代表集合Drep中，并且视频块代表集合Drep的尺寸不得超过
Figure FDA0003904564890000031
要求优化过程满足约束条件
Figure FDA0003904564890000032
6.根据权利要求5所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(4)中当得到最优训练数量
Figure FDA0003904564890000033
后，通过主动学习器从漂移池Ddrift中选择出
Figure FDA0003904564890000034
Figure FDA0003904564890000035
个具有代表性的视频块组成集合
Figure FDA0003904564890000036
用以模型训练；主动学习器通过给定的系数λa控制从漂移池Ddrift中选择出视频块集合不超过当前算力能处理的最大视频块数量。
7.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(5)中，在选出新一轮的视频块代表集合Drep同时，边缘模型应主动将过去一轮视频块代表集合D′rep中对拟合能力帮助较大的视频样本选出，并组成历史视频块集合Dhis，其历史视频块集合Dhis的逐次迭代选择过程如下：
Figure FDA0003904564890000037
Dhis＝Dhis∪{V}
式中，s是位于过去一轮视频块代表集合D′rep中且不在历史视频块集合Dhis中的各个视频块；
Figure FDA0003904564890000038
表示将视频块s输入到视频分析模型Fobj后得到的误差值；通过迭代优化求解选择出能够使误差值最大的视频块V并保存至历史视频块集合Dhis中；
约束条件：要求视频块代表集合Dhis的尺寸不得超过给定系数λa和最优训练量
Figure FDA0003904564890000039
所控制的剩余计算量大小
Figure FDA00039045648900000310
优化过程满足约束条件
Figure FDA00039045648900000311
8.根据权利要求1所述的基于主动连续学习的边缘视频分析方法，其特征在于：步骤(6)中将视频块代表集合Drep和历史视频块集合Dhis加入到连续学习数据池中，当边缘设备完成对连续学习任务的资源分配后，连续学习数据池的数据将会被用于视频分析模型Fobj的训练过程中，直到达到模型拟合后终止；且更新后的模型权重会替换原有模型权重，从而在变化的现实场景中能够不断通过主动连续学习提升模型的识别和分析能力。
CN202211300774.7A 2022-10-24 2022-10-24 基于主动连续学习的边缘视频分析方法 Active CN115661708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211300774.7A CN115661708B (zh) 2022-10-24 2022-10-24 基于主动连续学习的边缘视频分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211300774.7A CN115661708B (zh) 2022-10-24 2022-10-24 基于主动连续学习的边缘视频分析方法

Publications (2)

Publication Number Publication Date
CN115661708A true CN115661708A (zh) 2023-01-31
CN115661708B CN115661708B (zh) 2023-08-25

Family

ID=84991176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211300774.7A Active CN115661708B (zh) 2022-10-24 2022-10-24 基于主动连续学习的边缘视频分析方法

Country Status (1)

Country Link
CN (1) CN115661708B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462167A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种结合边缘计算与深度学习的智能终端视频分析算法
CN113420775A (zh) * 2021-03-31 2021-09-21 中国矿业大学 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN113657607A (zh) * 2021-08-05 2021-11-16 浙江大学 一种面向联邦学习的连续学习方法
CN114187373A (zh) * 2020-09-15 2022-03-15 三星电子株式会社 训练用于合成图像数据的生成器的方法和系统
CN115063447A (zh) * 2022-06-08 2022-09-16 中北大学 一种基于视频序列的目标动物运动追踪方法及相关设备
CN115082790A (zh) * 2022-06-22 2022-09-20 西北工业大学 一种基于连续学习的遥感图像场景分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462167A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种结合边缘计算与深度学习的智能终端视频分析算法
CN114187373A (zh) * 2020-09-15 2022-03-15 三星电子株式会社 训练用于合成图像数据的生成器的方法和系统
CN113420775A (zh) * 2021-03-31 2021-09-21 中国矿业大学 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN113657607A (zh) * 2021-08-05 2021-11-16 浙江大学 一种面向联邦学习的连续学习方法
CN115063447A (zh) * 2022-06-08 2022-09-16 中北大学 一种基于视频序列的目标动物运动追踪方法及相关设备
CN115082790A (zh) * 2022-06-22 2022-09-20 西北工业大学 一种基于连续学习的遥感图像场景分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROMIL等: "Ekya：Continuous learning of video analytics models on edge compute servers" *

Also Published As

Publication number Publication date
CN115661708B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111031102B (zh) 一种多用户、多任务的移动边缘计算系统中可缓存的任务迁移方法
CN111160525B (zh) 一种边缘计算环境下基于无人机群的任务卸载智能决策方法
CN108833352B (zh) 一种缓存方法及系统
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN113381888B (zh) 控制方法、装置、设备及存储介质
CN114860337B (zh) 一种基于元强化学习算法的计算卸载方法
CN116012880A (zh) 分布式边缘协同推理的行人重识别方法、系统及装置
CN114885388B (zh) 联合rss预测的多业务类型自适应切换判决方法
CN114666220A (zh) 网络切片的资源配置方法及装置、存储介质、电子设备
CN115661708A (zh) 基于主动连续学习的边缘视频分析方法
Li et al. Collaborative optimization of edge-cloud computation offloading in internet of vehicles
CN113821270A (zh) 任务卸载顺序预测方法、决策方法、电子设备及存储介质
CN111160491B (zh) 一种卷积神经网络中的池化方法和池化模型
CN112398917A (zh) 面向多站融合架构的实时任务调度方法和装置
Wang et al. An adaptive deep q-learning service migration decision framework for connected vehicles
CN116452472A (zh) 基于语义知识引导的低照度图像增强方法
CN113423091B (zh) 一种车载算力网络的多维资源智能联合优化方法、系统
CN115984723A (zh) 道路破损检测方法、系统、装置、存储介质及计算机设备
CN114419018A (zh) 图像采样方法、系统、设备及介质
CN114972429A (zh) 云边协同自适应推理路径规划的目标追踪方法和系统
CN111382196B (zh) 分布式账务处理方法及系统
CN114937228B (zh) 一种泛化增强的少数民族舞蹈视频动作分割方法
CN113837300B (zh) 基于区块链的自动驾驶跨域目标检测方法
CN114154886B (zh) 基于延迟通信ca模型的土地变迁模拟方法
CN118095446B (zh) 一种面向多优先级任务的自适应协同推理加速方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant