CN113115072A - 一种基于端云协同的视频目标检测跟踪调度方法及系统 - Google Patents

一种基于端云协同的视频目标检测跟踪调度方法及系统 Download PDF

Info

Publication number
CN113115072A
CN113115072A CN202110384228.5A CN202110384228A CN113115072A CN 113115072 A CN113115072 A CN 113115072A CN 202110384228 A CN202110384228 A CN 202110384228A CN 113115072 A CN113115072 A CN 113115072A
Authority
CN
China
Prior art keywords
scheduling
detection
video frame
tracking
energy consumption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110384228.5A
Other languages
English (en)
Inventor
李昌镐
谭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110384228.5A priority Critical patent/CN113115072A/zh
Publication of CN113115072A publication Critical patent/CN113115072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种基于端云协同的视频目标检测跟踪调度方法及系统，方法包括：获取当前待测视频帧；以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，任务调度模型包括状态空间，决策空间及其奖励函数；利用模型预测控制算法计算执行多个调度策略的奖励值，选择奖励值最高的调度策略作为下一步的调度策略。本申请能够根据跟踪误差、预测带宽和能耗变化数据，使用模型预测控制算法生成检测跟踪调度策略，以实现对移动端视频帧检测与跟踪的调度，并拥有更高的检测精度和更低的能耗。

Description

一种基于端云协同的视频目标检测跟踪调度方法及系统
技术领域
本申请涉及目标跟踪技术领域，尤其涉及一种基于端云协同的视频目标检测跟踪调度方法及系统。
背景技术
随着5G时代的到来，无人驾驶，AR设备、VR设备，智能家居等移动端应用开始逐渐涌现，视频帧检测对于这些应用是不可或缺的，例如在十字路口的摄像头检测到行人闯红灯，可以通过警示灯给汽车驾驶者发出一个信号，避免交通事故的发生。在驾驶，旅游等方面，基于AR视频的应用发展前景广阔，这些应用要求移动设备能够准确、连续和实时地检测和跟踪物体。然而，由于大多数移动端设备计算资源和电池寿命有限，无法满足日益复杂的应用需求。端云协同被认为是解决这个关键问题的有效计算范式。资源受限的移动设备可以通过无线传输将任务分配到云端，然后云端服务器进行计算并返回计算结果。需要注意的是，端云协同计算并非完全替代技术成熟的传统云计算，而是将本地与云端结合，通过利用本地计算和云计算各自不同的特性进行协同工作。针对移动端的视频检测任务，任务卸载技术是一个重要的技术手段，将计算密集型的检测任务卸载到云端，可以有效的扩展移动设备的计算能力。然而移动端和云端之间的带宽和信道条件往往是不稳定的，检测任务会受到网络延迟和抖动等条件的影响。当网络状况较差时，云计算反而会使移动端应用无法正常工作。与此同时，设备能耗对于移动端设备是至关重要的指标。
目前在端云协同方面的研究主要有以下两种方法：一种是将检测任务卸载到云端的目标检测系统，本地来跟踪这些视频帧，使用固定调度控制策略对检测和跟踪任务进行调度，该类方法缺乏对网络状况的适应性，同时忽略了视频中场景变化速度，容易产生大量的漏检，从而导致检测精度降低；另一种方法是将检测任务和跟踪任务都放在本地执行，使用基于关键帧检测的调度控制策略来保持检测精度，然而，上述方法不能有效地利用云端资源，对移动端设备的电能储备要求高，无法达到减少能耗提升设备使用时长的目标。
发明内容
本申请实施例提供了一种基于端云协同的视频目标检测跟踪调度方法及系统，能够根据跟踪误差、预测带宽和能耗变化数据，使用模型预测控制算法生成检测跟踪调度策略，以实现对移动端视频帧检测与跟踪的调度，拥有更高的检测精度和更低的能耗。
有鉴于此，本申请第一方面提供了一种基于端云协同的视频目标检测跟踪调度方法，所述方法包括：
获取当前待测视频帧；
以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；
利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。
可选的，在所述以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数，之前还包括：
建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的所述用户体验指标。
可选的，所述用户体验指标为：
Figure BDA0003014191210000021
式中，APt表示t时刻的视频帧检测精度；et表示t时刻的视频帧跟踪误差；B表示设备能耗；λ为视频帧跟踪误差的非负加权参数，μ为设备能耗的非负加权参数。
可选的，所述状态空间，决策空间及其奖励函数分别为：
所述状态空间为：
Figure BDA0003014191210000031
所述决策空间为：
at＝(Dlocal,Dcloud320,Dcloud608,DT)
所述奖励函数的映射关系为r:S×A→R，奖励函数具体表达式为：
Rt＝r(st,at)
式中，N’t+1表示t+1时刻的预测带宽大小；Bt表示每个调度模块的能耗大小；
Figure BDA0003014191210000032
表示时刻t的目标跟踪误差；
Figure BDA0003014191210000033
表示时刻t的新物体扰动误差；Dlocal表示本地检测分辨率为320×320，Dcloud320表示云端检测上传分辨率为320×320，Dcloud608表示云端检测上传分辨率为608×608，DT表示目标检测。
可选的，所述利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，包括：
at＝fmpc(Rt)
式中，fmpc()表示模型预测控制算法，表示奖励值对应的调度策略。
本申请第二方面提供了一种基于端云协同的视频目标检测跟踪调度系统，所述系统包括：
待测视频获取模块，用于获取当前待测视频帧；
模型构建模块，用于以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；
策略调度模块，用于利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。
可选的，还包括：
用户体验指标构建模块，用于建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的所述用户体验指标。
可选的，所述用户体验指标为：
Figure BDA0003014191210000034
式中，APt表示t时刻的视频帧检测精度；et表示t时刻的视频帧跟踪误差；B表示设备能耗；λ为视频帧跟踪误差的非负加权参数，μ为设备能耗的非负加权参数。
可选的，所述状态空间，决策空间及其奖励函数分别为：
所述状态空间为：
Figure BDA0003014191210000041
所述决策空间为：
at＝(Dlocal,Dcloud320,Dcloud608,DT)
所述奖励函数的映射关系为r:S×A→R，奖励函数具体表达式为：
Rt＝r(st,at)
式中，N’t+1表示t+1时刻的预测带宽大小；Bt表示每个调度模块的能耗大小；
Figure BDA0003014191210000042
表示时刻t的目标跟踪误差；
Figure BDA0003014191210000043
表示时刻t的新物体扰动误差；Dlocal表示本地检测分辨率为320×320，Dcloud320表示云端检测上传分辨率为320×320，Dcloud608表示云端检测上传分辨率为608×608，DT表示目标检测。
可选的，所述策略调度模块具体用于利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，调度策略公式为：
at＝fmpc(Rt)
式中，fmpc()表示模型预测控制算法，表示奖励值对应的调度策略。
从以上技术方案可以看出，本申请具有以下优点：
本申请中，提供了一种基于端云协同的视频目标检测跟踪调度方法，包括：获取当前待测视频帧；以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，任务调度模型包括状态空间，决策空间及其奖励函数；利用模型预测控制算法计算执行多个调度策略的奖励值，选择奖励值最高的调度策略作为下一步的调度策略，调度策略包括将当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。
本申请通过构建一个针对端云协同系统的用户体验指标，以权衡用户对目标检测精度和能耗的要求，再将用户体验指标作为优化目标，利用模型预测控制算法选取最优的调度策略，从而使用户获得最佳的综合体验质量使得本申请具有更高的检测精度和更低的能耗。
附图说明
图1为本申请一种基于端云协同的视频目标检测跟踪调度方法的一个实施例的方法流程图；
图2为本申请基于端云协同的视频目标检测跟踪调度系统的一个实施例的系统架构图；
图3为本申请一个具体的实施方式中基于端云协同的视频目标检测跟踪调度系统的示意图；
图4为本申请实施例中采用LSTM网络构建的带宽预测模型的结构示意图；
图5为本申请实施例中策略调度模块进行调度时的工作原理图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请一种基于端云协同的视频目标检测跟踪调度方法的一个实施例的方法流程图，如图1所示，图1中包括：
101、获取当前待测视频帧；
需要说明的是，本申请可以实时根据当前的网络环境对当前需要处理的帧进行调度，选择最佳的调度方案，将当前帧分配至本地或者云端或者直接分配至目标跟踪模块进行检测。
102、以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中；
需要说明的是，本申请以用户指标为优化条件，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，其中，任务调度模型包括状态空间，决策空间及其奖励函数。
具体的，建立的用户体验指标可以为：
Figure BDA0003014191210000061
式中，APt表示t时刻的视频帧检测精度；et表示t时刻的视频帧跟踪误差；B表示设备能耗；λ为视频帧跟踪误差的非负加权参数，μ为设备能耗的非负加权参数。
任务调度决策模型中，其状态空间，决策空间及其奖励函数分别为：
状态空间为：
Figure BDA0003014191210000062
决策空间为：
at＝(Dlocal,Dcloud320,Dcloud608,DT)
奖励函数的映射关系为r:S×A→R，奖励函数具体表达式为：
Rt＝r(st,at)
式中，N’t+1表示t+1时刻的预测带宽大小；Bt表示每个调度模块的能耗大小；
Figure BDA0003014191210000063
表示时刻t的目标跟踪误差；
Figure BDA0003014191210000064
表示时刻t的新物体扰动误差；Dlocal表示本地检测分辨率为320×320，Dcloud320表示云端检测上传分辨率为320×320，Dcloud608表示云端检测上传分辨率为608×608，DT表示目标检测，以上分辨率仅是本申请的一个实例，还可以是其他分辨率的云端检测。
103、利用模型预测控制算法计算执行多个调度策略的奖励值，选择奖励值最高的调度策略作为下一步的调度策略，调度策略包括将当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。
需要说明的是，在目标跟踪自适应调度过程中，在时刻t，通过观察实时状态st∈S，利用模型预测控制算法选择奖励值Rt最大的值对应调度策略at作为最终执行的决策，决策函数可表示为：
at＝fmpc(Rt)
式中，fmpc()表示模型预测控制算法，表示奖励值对应的调度策略。
本申请通过构建一个针对端云协同系统的用户体验指标，以权衡用户对目标检测精度和能耗的要求，再将用户体验指标作为优化目标，利用模型预测控制算法选取最优的调度策略，从而使用户获得最佳的综合体验质量使得本申请具有更高的检测精度和更低的能耗。
本申请还提供了一种基于端云协同的视频目标检测跟踪调度系统的一个具体的实施方式，可参考图3所示的视频目标检测跟踪调度系统的示意图，包括：
一个移动端设备和一个云端服务器；移动端需要执行目标跟踪任务，检测任务在本地端或云端执行；移动端和云端之间通过无线链路进行直接通信，在移动端中，采用调度器作为任务计算卸载模块，用于调度视频帧的检测任务在本地执行或云端执行。
本申请可以根据客户端用户对视频检测体验质量和性能的主观感受，设定适应于用户体验舒适度的用户体验指标，用户体验指标可以通过用户对目标检测的精度，目标框跟踪的精准度和设备的使用时长的要求进行设置。具体地，通过对本地目标检测模块和云端目标检测模块的测试，得到本地检测320×320分辨率、云端检测320×320分辨率和云端检测608×608分辨率模块对于人、车辆等5个分类的视频帧检测精度AP，利用AP给本地目标检测模块和云端目标检测模块的检测质量设置预检测精度作为系统的状态输入。
其中，视频帧检测精度AP是由标签识别的准确度和目标框的精准度来决定，视频帧标签识别准确度可由F1 score计算得到：
Figure BDA0003014191210000071
Precision为成功检测到的样本与总检测样本的比值，Recall为成功检测到的样本与正确标记样本groundtrue中样本的比值。
视频帧目标框精准度可由IOU计算得到：
Figure BDA0003014191210000072
其中，Di为检测得到的目标框，Gi为groundtrue的目标框，可以将IOU>0.5的检测目标框作为成功跟踪的目标。
视频帧跟踪误差e包括目标框内跟踪误差和目标框外跟踪误差；目标框内跟踪误差通过计算相邻视频帧的目标框之间的相关度，再根据目标框之间的相关度计算得到目标框内跟踪误差eIN；目标框外跟踪误差计算出相邻视频帧目标框外图片相似度，再根据目标框外相似度计算得到目标框外跟踪误差eOUT。
具体的，计算目标框内跟踪误差可以先采用归一化互相关方法计算得到相邻视频帧的目标之间的匹配度NCCxy：
Figure BDA0003014191210000081
目标框内跟踪误差为：
Figure BDA0003014191210000082
其中，K表示两个视频帧x和y的目标框，i和j表示目标框内像素点位置。
计算目标框外新物体扰动误差时，为了检测除目标外场景的变化，将每一帧图像转化为一个特定向量，首先将当前跟踪对象的位置对应的所有目标框“白化”，即RGB均设置为最高像素，生成一个新的图像。将该图像调整为128×128大小，并把图像转化成一个向量；假设相邻的两帧“白化”后图像的向量分别为X和Y，利用余弦相似度可计算出两个向量的相关度，使用余弦相似度计算出相邻视频帧目标框外相似度：
Figure BDA0003014191210000083
则目标框外跟踪误差为：
Figure BDA0003014191210000084
另外，由于在进行任务卸载调度时，设备能耗值相对较为固定，通过测量设备运行时的电量损耗，可以得到设备能耗的平均值，可以利用设备能耗平均值作为用户对电池使用时长的体验指标。
在输入至任务调度决策模型之后，状态空间中的状态变量之一预测带宽是通过长短期记忆网络(LSTM，Long Short-TermMemory)得到。具体地，需要将带宽数据集中的数据分为训练集和测试集，然后通过训练集对带宽预测模型进行训练，得到一个可以表征网络特征的LSTM模型，达到对特定网络带宽的预测效果，LSTM预测带宽N’(t+1)N可以表示为N’(t+1)＝LSTM(N(0),...,N(t)；θN,LSTM)，其中，输入序列N(0),…,N(t)为历史带宽，θN,LSTM为带宽预测模型参数。LSTM网络带宽预测模块的内部结构见图4。
利用模型预测控制算法计算执行多个调度策略的奖励值,选择奖励值最高的决策行为作为下一步的调度策略，从而获取任务调度策略。
表1为本申请的方法sim_DTAS以及固定策略的方法试验得到的对本地检测分辨率为320×320(sim_Dlocal)、云端检测上传分辨率320×320(sim_Dcloud320)、云端检测上传分辨率608×608(sim_Dcloud608)的对比表格，对比指标包括QoE，能耗以及F1 score。表1为：
Figure BDA0003014191210000091
由表可得，sim_DTAS的平均QoE值最高。相比于sim_Dlocal有17.0％的QoE提升，相比于sim_Dcloud320有73.6％的QoE提升，相比于sim_Dcloud608有120.4％的QoE提升。而且检测跟踪自适应调度算法能够达到78.3％的F1 score，相对固定策略调度方法精度损失很小，能够保持较好的检测效果，与此同时，相比其他三种算法，自适应调度算法的能耗值有成倍的降低，可以大量减少能耗，延长电池使用时间。
以上是本申请的方法的实施例，本申请还提供了基于端云协同的视频目标检测跟踪调度系统的一个实施例，如图2所示，图2中包括：
待测视频获取模块201，用于获取当前待测视频帧；
模型构建模块202，用于以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，任务调度模型包括状态空间，决策空间及其奖励函数；
策略调度模块203，用于利用模型预测控制算法计算执行多个调度策略的奖励值，选择奖励值最高的调度策略作为下一步的调度策略，调度策略包括将当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。
需要说明的是，当策略调度模块获取到输入的视频帧时，首先预测当前带宽并检测视频帧跟踪误差以及移动端设备电池能量消耗值，再根据获取的预测带宽、视频帧跟踪误差以及移动端设备电池能量消耗值，采用模型预测控制算法得到当前视频帧的调度策略，调度策略包括将视频帧发送到本地移动端进行目标检测，或者发动到云端进行目标检测，或者发送至本地移动端进行目标跟踪，并返回检测/跟踪结果至移动端，具体可参考图5。
在一种具体的实施方式中，还包括：
用户体验指标构建模块，用于建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的用户体验指标。
策略调度模块具体用于利用模型预测控制算法计算执行多个调度策略的奖励值，选择奖励值最高的调度策略作为下一步的调度策略，调度策略公式为：
at＝fmpc(Rt)
式中，fmpc()表示模型预测控制算法，表示奖励值对应的调度策略。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于端云协同的视频目标检测跟踪调度方法，其特征在于，包括：
获取当前待测视频帧；
以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；
利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。
2.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法，其特征在于，在所述以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数，之前还包括：
建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的所述用户体验指标。
3.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法，其特征在于，所述用户体验指标为：
Figure FDA0003014191200000011
式中，APt表示t时刻的视频帧检测精度；et表示t时刻的视频帧跟踪误差；B表示设备能耗；λ为视频帧跟踪误差的非负加权参数，μ为设备能耗的非负加权参数。
4.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法，其特征在于，所述状态空间，决策空间及其奖励函数分别为：
所述状态空间为：
Figure FDA0003014191200000012
所述决策空间为：
at＝(Dlocal,Dcloud320,Dcloud608,DT)
所述奖励函数的映射关系为r:S×A→R，奖励函数具体表达式为：
Rt＝r(st,at)
式中，N′t+1表示t+1时刻的预测带宽大小；Bt表示每个调度模块的能耗大小；
Figure FDA0003014191200000021
表示时刻t的目标跟踪误差；
Figure FDA0003014191200000022
表示时刻t的新物体扰动误差；Dlocal表示本地检测分辨率为320×320，Dcloud320表示云端检测上传分辨率为320×320，Dcloud608表示云端检测上传分辨率为608×608，DT表示目标检测。
5.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法，其特征在于，所述利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，包括：
at＝fmpc(Rt)
式中，fmpc()表示模型预测控制算法，表示奖励值对应的调度策略。
6.一种基于端云协同的视频目标检测跟踪调度系统，其特征在于，包括：
待测视频获取模块，用于获取当前待测视频帧；
模型构建模块，用于以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；
策略调度模块，用于利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。
7.根据权利要求6所述的基于端云协同的视频目标检测跟踪调度系统，其特征在于，还包括：
用户体验指标构建模块，用于建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的所述用户体验指标。
8.根据权利要求6所述的基于端云协同的视频目标检测跟踪调度系统，其特征在于，所述用户体验指标为：
Figure FDA0003014191200000023
式中，APt表示t时刻的视频帧检测精度；et表示t时刻的视频帧跟踪误差；B表示设备能耗；λ为视频帧跟踪误差的非负加权参数，μ为设备能耗的非负加权参数。
9.根据权利要求6所述的基于端云协同的视频目标检测跟踪调度系统，其特征在于，所述状态空间，决策空间及其奖励函数分别为：
所述状态空间为：
Figure FDA0003014191200000031
所述决策空间为：
at＝(Dlocal,Dcloud320,Dcloud608,DT)
所述奖励函数的映射关系为r:S×A→R，奖励函数具体表达式为：
Rt＝r(st,at)
式中，N′t+1表示t+1时刻的预测带宽大小；Bt表示每个调度模块的能耗大小；
Figure FDA0003014191200000032
表示时刻t的目标跟踪误差；
Figure FDA0003014191200000033
表示时刻t的新物体扰动误差；Dlocal表示本地检测分辨率为320×320，Dcloud320表示云端检测上传分辨率为320×320，Dcloud608表示云端检测上传分辨率为608×608，DT表示目标检测。
10.根据权利要求6所述的基于端云协同的视频目标检测跟踪调度系统，其特征在于，所述策略调度模块具体用于利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，调度策略公式为：
at＝fmpc(Rt)
式中，fmpc()表示模型预测控制算法，表示奖励值对应的调度策略。
CN202110384228.5A 2021-04-09 2021-04-09 一种基于端云协同的视频目标检测跟踪调度方法及系统 Pending CN113115072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110384228.5A CN113115072A (zh) 2021-04-09 2021-04-09 一种基于端云协同的视频目标检测跟踪调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110384228.5A CN113115072A (zh) 2021-04-09 2021-04-09 一种基于端云协同的视频目标检测跟踪调度方法及系统

Publications (1)

Publication Number Publication Date
CN113115072A true CN113115072A (zh) 2021-07-13

Family

ID=76715412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110384228.5A Pending CN113115072A (zh) 2021-04-09 2021-04-09 一种基于端云协同的视频目标检测跟踪调度方法及系统

Country Status (1)

Country Link
CN (1) CN113115072A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002409A (zh) * 2022-05-20 2022-09-02 天津大学 一种面向视频检测与追踪的动态任务调度方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783233A (zh) * 2018-12-24 2019-05-21 中山大学 一种提供移动边缘计算中任务卸载的方法
CN110351754A (zh) * 2019-07-15 2019-10-18 北京工业大学 基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法
CN110557769A (zh) * 2019-09-12 2019-12-10 南京邮电大学 基于深度强化学习的c-ran计算卸载和资源分配方法
CN110705684A (zh) * 2019-08-22 2020-01-17 中国科学院计算技术研究所 基于端云协同的环境自适应学习方法及系统
CN111405568A (zh) * 2020-03-19 2020-07-10 三峡大学 基于q学习的计算卸载和资源分配方法及装置
CN111756812A (zh) * 2020-05-29 2020-10-09 华南理工大学 一种能耗感知的边云协同动态卸载调度方法
CN112069903A (zh) * 2020-08-07 2020-12-11 之江实验室 基于深度强化学习实现人脸识别端边卸载计算方法及装置
CN112367353A (zh) * 2020-10-08 2021-02-12 大连理工大学 基于多智能体强化学习的移动边缘计算卸载方法
CN112434789A (zh) * 2020-11-06 2021-03-02 中山大学 一种用于边缘视频分析的分布式神经网络模型划分方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783233A (zh) * 2018-12-24 2019-05-21 中山大学 一种提供移动边缘计算中任务卸载的方法
CN110351754A (zh) * 2019-07-15 2019-10-18 北京工业大学 基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法
CN110705684A (zh) * 2019-08-22 2020-01-17 中国科学院计算技术研究所 基于端云协同的环境自适应学习方法及系统
CN110557769A (zh) * 2019-09-12 2019-12-10 南京邮电大学 基于深度强化学习的c-ran计算卸载和资源分配方法
CN111405568A (zh) * 2020-03-19 2020-07-10 三峡大学 基于q学习的计算卸载和资源分配方法及装置
CN111756812A (zh) * 2020-05-29 2020-10-09 华南理工大学 一种能耗感知的边云协同动态卸载调度方法
CN112069903A (zh) * 2020-08-07 2020-12-11 之江实验室 基于深度强化学习实现人脸识别端边卸载计算方法及装置
CN112367353A (zh) * 2020-10-08 2021-02-12 大连理工大学 基于多智能体强化学习的移动边缘计算卸载方法
CN112434789A (zh) * 2020-11-06 2021-03-02 中山大学 一种用于边缘视频分析的分布式神经网络模型划分方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋贤鑫;张一帆;秦晓琦;冯志勇: "车联网中基于边缘计算的感知决策技术", 《第十四届中国智能交通年会》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002409A (zh) * 2022-05-20 2022-09-02 天津大学 一种面向视频检测与追踪的动态任务调度方法
CN115002409B (zh) * 2022-05-20 2023-07-28 天津大学 一种面向视频检测与追踪的动态任务调度方法

Similar Documents

Publication Publication Date Title
CN111835827A (zh) 物联网边缘计算任务卸载方法及系统
CN109889599B (zh) 一种数据处理方法及系统
CN112162863B (zh) 一种边缘卸载决策方法、终端及可读存储介质
Eriksson et al. Real-time distributed visual feature extraction from video in sensor networks
CN112333046A (zh) 物联网节点流量预测系统及方法
CN113534832A (zh) 一种基于边缘计算的无人机巡检跟踪配网线飞行方法
CN113783716A (zh) 基于云边协同框架的流量预测方法及装置
JP7013712B2 (ja) データ処理装置、及びデータ処理方法
Dong et al. WAVE: Edge-device cooperated real-time object detection for open-air applications
CN113115072A (zh) 一种基于端云协同的视频目标检测跟踪调度方法及系统
CN114172809B (zh) 一种基于目标追踪的视频计算云边协同任务调度方法
CN109062677B (zh) 一种无人机系统计算迁移方法
CN112559078B (zh) 一种移动边缘计算服务器分级卸载任务方法及系统
CN112399177B (zh) 一种视频编码方法、装置、计算机设备及存储介质
CN114007231A (zh) 异构无人机数据卸载方法、装置、电子设备及存储介质
Lu et al. Environment-aware multiscene image enhancement for internet of things enabled edge cameras
CN112016380A (zh) 野生动物监测方法及系统
CN117062025A (zh) 一种车联网节能联合计算卸载与资源分配方法
Shinkuma et al. System design for predictive road-traffic information delivery using edge-cloud computing
US20230297885A1 (en) Big data-based modular ai engine server and driving method of the same
CN114253728A (zh) 基于网页生态的异构多节点协同分布式神经网络部署系统
CN114359602A (zh) 产品缺陷的检测方法及装置、存储介质、电子设备
CN114661444A (zh) 调度方法、第一计算节点、第二计算节点以及调度系统
CN116600361B (zh) 无人机组网配置方法、设备和可读存储介质
CN114600445A (zh) 追踪算法的运行方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210713

RJ01 Rejection of invention patent application after publication