CN114172809A - 一种基于目标追踪的视频计算云边协同任务调度方法 - Google Patents
一种基于目标追踪的视频计算云边协同任务调度方法 Download PDFInfo
- Publication number
- CN114172809A CN114172809A CN202111518213.XA CN202111518213A CN114172809A CN 114172809 A CN114172809 A CN 114172809A CN 202111518213 A CN202111518213 A CN 202111518213A CN 114172809 A CN114172809 A CN 114172809A
- Authority
- CN
- China
- Prior art keywords
- edge
- cloud
- computing
- terminal
- target tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种基于目标追踪的视频计算云边协同任务调度方法,包括如下步骤:对应用场景进行建模,构建以目标追踪为目的的云边协同框架,且云边协同框架包括终端、边缘计算端和云计算端;通过终端采集视频信息,形成视频数据流,并将视频数据流通过通信网络发送到边缘计算端;根据云边协同框架及目标追踪的背景,构建通信模型;边缘计算端对终端的视频数据进行处理,计算任务时延,并根据时延来确定将任务视频数据发送到云计算端或/和边缘计算端进行处理;获取最优卸载策略。本发明构建云计算和边缘计算结合的数据和信息处理方法,并具体应用于视频的目标跟踪,相对现有技术效率和准确性都大大提高,计算能力更高,更加实用。
Description
技术领域
本发明涉及边缘计算和云计算技术领域,具体涉及一种基于目标追踪的视频计算云边协同任务调度方法。
背景技术
随着大量的公共安全和交通基础设施摄像机的安装,视频分析已成为了公共安全中重要的组成部分。
安全需求的急剧增加和智能终端的普及,越来越多的监控设备被布置在各种不同的场合。大量应用场景需要实时地解析视频监控摄像机获取的视频,以便根据情况快速地做出决策。
监控系统通常由许多网络摄像机组成,需要聚合和解析大量的原始视频数据。
随着网络摄像机数量的增加,实时推理的计算复杂度成倍增长,超过了传统云系统的能力。
当前,基于云计算的视频监控系统,跨多个监视摄像机收集大量数据并将其通过网络发送到集中式云处理器。
对于需要跨多个摄像机进行实时视频分析的应用程序,云计算存在固有的可伸缩性问题。
将数据发送到云中心处理数据并执行相应的决策所花费的时间几乎使实时应用变得不可能实现。许多此类的应用程序需要发送的数据量很大,这在网络上造成了很大的负担,不能满足实时性要求并限制了其可伸缩性。诸如对象跟踪,对象检测,对象识别,面部和光学字符识别之类的计算机视觉算法要么需要大量计算,要么需要占用大量带宽。此外,公共安全视频数据的来源正在不断发展,包括视频监控摄像机,随身摄像机、行车记录仪、无人机、机器人摄像机等。这给基于云的集中式解决方案带来了沉重负担,这些解决方案对计算能力、存储能力和网络带宽有很高的要求。因此边缘计算应运而生。它使部分视频分析工作在边缘控制器上执行,减轻了云中心的负担,并节省了向云传输大量视频数据的带宽,这与安防领域对视频分析的实时性要求相吻合。
边缘视频分析对公共安全的有显著的优势,如低数据传输开销和低响应延迟。特别是,对于警察、无人机驾驶、消防机器人携带的移动摄像机,边缘视频分析可以避免移动设备在连接和带宽不稳定的网络中进行大量数据传输。
由于边缘计算上的硬件资源有限,在边缘上分析实时视频流并非易事。
发明内容
鉴于上述传统云计算系统能力有限的缺陷,本发明的目的在于提供一种基于目标追踪的视频计算云边协同任务调度方法,解决利用边缘计算对视频数据进行处理,以应对数据量大和信息量大的计算问题。
本发明通过下述技术方案实现:
一种基于目标追踪的视频计算云边协同任务调度方法,包括如下步骤:
对应用场景进行建模,构建以目标追踪为目的的云边协同框架,且所述云边协同框架包括终端、边缘计算端和云计算端;
通过所述终端采集视频信息,形成视频数据流,并将视频数据流通过通信网络发送到边缘计算端;
根据云边协同框架及目标追踪的背景,构建通信模型;
边缘计算端对终端的视频数据进行处理,计算任务时延,并根据时延来确定将任务视频数据发送到云计算端或/和边缘计算端进行处理;
获取最优卸载策略。
在一些实施方式中,所述步骤对应用场景进行建模,构建以目标追踪为目的的云边协同框架,且所述云边协同框架,包括终端、边缘计算端和云计算端包括如下子步骤:
设定终端集合N,边缘计算端集合M,云计算端C和任务集合Γ;
将目标追踪任务定义为一个四元组Γi=(Di,ci,σi,Mi),其中Di为输入数据的大小,ci为完成这些数据计算的CPU周期数,σi为该任务容忍的最大延迟,Mi为与该终端物理连接的边缘控制器。
在一些实施方式中,所述步骤根据云边协同框架及目标追踪的背景,构建通信模型中,构建通信模型包括如下子步骤:
在一些实施方式中,所述步骤获取最优卸载策略包括如下子步骤:
采用二进制卸载策略或部分卸载策略;
在一些实施方式中,所述步骤采用二进制卸载策略或部分卸载策略中,部分卸载策略包括如下子步骤:
对于边缘控制器,将βi定义为将数据卸载到云端的比率。1-βi表示在边缘端进行计算的比率,将任务Γi分成两部分,一部分数据βisi在边缘端进行计算,另一部分数据(1-βi)si传输到云端进行计算,其中si=Di,j;
C3:βi∈[0,1]。
在一些实施方式中,所述终端为视频采集设备。
在一些实施方式中,所述边缘计算端包括手机、电脑、路由器和边缘服务器。
在一些实施方式中,所述终端、边缘计算端和任务均为多个,则所述终端集合N={1,2,3,…i,…,I},边缘计算端集合M={1,2,3,…,j,…J},云计算端C={k}和任务集合Γ={γ1,γ2,γ3,…,γi,…γl}。
在一些实施方式中,所述视频采集设备为摄像机。
本发明与现有技术相比,具有如下的优点和有益效果:
本发明构建云计算和边缘计算结合的数据和信息处理方法,并具体应用于视频的目标跟踪,相对现有技术效率和准确性都大大提高,计算能力更高,更加实用。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。在附图中:
图1为本发明主步骤一实施例的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
如图1所示,一种基于目标追踪的视频计算云边协同任务调度方法,包括如下步骤:
S100、对应用场景进行建模,构建以目标追踪为目的的云边协同框架,且所述云边协同框架包括终端、边缘计算端和云计算端。
由于应用场景不同,所获取的信息要素和数据要素不同,因此要针对应用场景中所考虑的目标的要素进行建模处理。同时,要根据场景中的目标追踪,进行云计算和边缘计算进行协同的处理框架。具体是包括有终端设备、边缘计算端和云计算端。
边缘计算端为边缘设备组成的边缘节点计算集群。
S200、通过所述终端采集视频信息,形成视频数据流,并将视频数据流通过通信网络发送到边缘计算端。
终端获取视频信息,并形成数据流,传输到边缘计算端进行处理。
S300、根据云边协同框架及目标追踪的背景,构建通信模型。
根据实际情况,构建的通信模型,利于提高通信效率。
S400、边缘计算端对终端的视频数据进行处理,计算任务时延,并根据时延来确定将任务视频数据发送到云计算端或/和边缘计算端进行处理。
通过计算任务时延,以作为分配数据处理的标准,即将时延迟作为提高计算效率的标准。
S500、获取最优卸载策略。
通过获取最优卸载策略以使得数据分配的效率更高。
在具体实施过程中,所述步骤S100包括如下子步骤:
S110、设定终端集合N,边缘计算端集合M,云计算端C和任务集合Γ。
通过设定集合,以便于进行后续的计算模型搭建。
S120、将目标追踪任务定义为一个四元组Γi=(Di,ci,σi,Mi),其中Di为输入数据的大小,ci为完成这些数据计算的CPU周期数,σi为该任务容忍的最大延迟,Mi为与该终端物理连接的边缘控制器。
通过设定跟踪任务定义,以便于后续进行计算处理。
在一些实施方式中,所述步骤S300中,构建通信模型包括如下子步骤:
在一些实施方式中,所述步骤S500包括如下子步骤:
S510、采用二进制卸载策略或部分卸载策略;
进一步地,在一些实施方式中,所述步骤采用二进制卸载策略或部分卸载策略中,部分卸载策略包括如下子步骤:
S511、对于边缘控制器,将βi定义为将数据卸载到云端的比率。1-βi表示在边缘端进行计算的比率,将任务Γi分成两部分,一部分数据βisi在边缘端进行计算,另一部分数据(1-βi)si传输到云端进行计算,其中si=Di,j;
在一些实施方式中,云边协同框架转化为时延优化模型:
C3:βi∈[0,1]。
在一些实施方式中,所述终端为视频采集设备。
在一些实施方式中,所述边缘计算端包括手机、电脑、路由器和边缘服务器。
在一些实施方式中,所述终端、边缘计算端和任务均为多个,则所述终端集合N={1,2,3,…i,…,I},边缘计算端集合M={1,2,3,…,j,…J},云计算端C={k}和任务集合Γ={γ1,γ2,γ3,…,γi,…γl}。
在一些实施方式中,所述视频采集设备为摄像机。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于目标追踪的视频计算云边协同任务调度方法,其特征在于,包括如下步骤:
对应用场景进行建模,构建以目标追踪为目的的云边协同框架,且所述云边协同框架包括终端、边缘计算端和云计算端;
通过所述终端采集视频信息,形成视频数据流,并将视频数据流通过通信网络发送到边缘计算端;
根据云边协同框架及目标追踪的背景,构建通信模型;
边缘计算端对终端的视频数据进行处理,计算任务时延,并根据时延来确定将任务视频数据发送到云计算端或/和边缘计算端进行处理;
获取最优卸载策略。
2.根据权利要求1所述的基于目标追踪的视频计算云边协同任务调度方法,其特征在于,所述步骤对应用场景进行建模,构建以目标追踪为目的的云边协同框架,且所述云边协同框架,包括终端、边缘计算端和云计算端包括如下子步骤:
设定终端集合N,边缘计算端集合M,云计算端C和任务集合Γ;
将目标追踪任务定义为一个四元组Γi=(Di,ci,σi,Mi),其中Di为输入数据的大小,ci为完成这些数据计算的CPU周期数,σi为该任务容忍的最大延迟,Mi为与该终端物理连接的边缘控制器。
3.根据权利要求2所述的基于目标追踪的视频计算云边协同任务调度方法,其特征在于,所述步骤根据云边协同框架及目标追踪的背景,构建通信模型中,构建通信模型包括如下子步骤:
5.根据权利要求4所述的基于目标追踪的视频计算云边协同任务调度方法,其特征在于,所述步骤采用二进制卸载策略或部分卸载策略中,部分卸载策略包括如下子步骤:
对于边缘控制器,将βi定义为将数据卸载到云端的比率。1-βi表示在边缘端进行计算的比率,将任务Γi分成两部分,一部分数据βisi在边缘端进行计算,另一部分数据(1-βi)si传输到云端进行计算,其中si=Di,j;
8.根据权利要求1所述的基于目标追踪的视频计算云边协同任务调度方法,其特征在于,所述终端为视频采集设备。
9.根据权利要求1所述的基于目标追踪的视频计算云边协同任务调度方法,其特征在于,所述边缘计算端包括手机、电脑、路由器和边缘服务器。
10.根据权利要求2所述的基于目标追踪的视频计算云边协同任务调度方法,其特征在于,所述终端、边缘计算端和任务均为多个,则所述终端集合N={1,2,3,…i,…,I},边缘计算端集合M={1,2,3,…,j,…J},云计算端C={k}和任务集合Γ={γ1,γ2,γ3,…,γi,…γl}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111518213.XA CN114172809B (zh) | 2021-12-13 | 2021-12-13 | 一种基于目标追踪的视频计算云边协同任务调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111518213.XA CN114172809B (zh) | 2021-12-13 | 2021-12-13 | 一种基于目标追踪的视频计算云边协同任务调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114172809A true CN114172809A (zh) | 2022-03-11 |
CN114172809B CN114172809B (zh) | 2023-10-03 |
Family
ID=80486295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111518213.XA Active CN114172809B (zh) | 2021-12-13 | 2021-12-13 | 一种基于目标追踪的视频计算云边协同任务调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114172809B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117132718A (zh) * | 2023-10-26 | 2023-11-28 | 环球数科集团有限公司 | 一种基于多模态大模型的景区虚拟模型构建系统 |
WO2024099313A1 (zh) * | 2022-11-08 | 2024-05-16 | 华南理工大学 | 一种云边端协同智能婴儿护理系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109996039A (zh) * | 2019-04-04 | 2019-07-09 | 中南大学 | 一种基于边缘计算的目标追踪方法及装置 |
CN110553629A (zh) * | 2019-09-20 | 2019-12-10 | 中南大学 | 一种基于边缘计算的无人机目标追踪功耗优化方法及系统 |
EP3695783A1 (en) * | 2019-02-15 | 2020-08-19 | Origin Wireless, Inc. | Method, apparatus, and system for wireless gait recognition |
WO2020216135A1 (zh) * | 2019-04-25 | 2020-10-29 | 南京邮电大学 | 基于边-端协同的多用户多mec任务卸载资源调度方法 |
CN112996056A (zh) * | 2021-03-02 | 2021-06-18 | 国网江苏省电力有限公司信息通信分公司 | 一种云边协同下时延最优化的计算任务卸载方法及装置 |
-
2021
- 2021-12-13 CN CN202111518213.XA patent/CN114172809B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3695783A1 (en) * | 2019-02-15 | 2020-08-19 | Origin Wireless, Inc. | Method, apparatus, and system for wireless gait recognition |
CN109996039A (zh) * | 2019-04-04 | 2019-07-09 | 中南大学 | 一种基于边缘计算的目标追踪方法及装置 |
WO2020216135A1 (zh) * | 2019-04-25 | 2020-10-29 | 南京邮电大学 | 基于边-端协同的多用户多mec任务卸载资源调度方法 |
CN110553629A (zh) * | 2019-09-20 | 2019-12-10 | 中南大学 | 一种基于边缘计算的无人机目标追踪功耗优化方法及系统 |
CN112996056A (zh) * | 2021-03-02 | 2021-06-18 | 国网江苏省电力有限公司信息通信分公司 | 一种云边协同下时延最优化的计算任务卸载方法及装置 |
Non-Patent Citations (4)
Title |
---|
YU LIU: "AN Efficient Task Offloading Strategy in Cloud-Edge computing under deadline Contraints", 《IEEE 18TH INTERNATIONAL CONFERENCE ON SMART CITY》 * |
张展;张宪琦;左德承;付国栋;: "面向边缘计算的目标追踪应用部署策略研究", 软件学报, no. 09 * |
王凌: "边缘计算资源分配与任务调度优化综述", 《系统仿真学报》 * |
程城: "基于目标追踪的视频边缘计算云边协同任务调度研究", 《硕士电子期刊》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024099313A1 (zh) * | 2022-11-08 | 2024-05-16 | 华南理工大学 | 一种云边端协同智能婴儿护理系统及方法 |
CN117132718A (zh) * | 2023-10-26 | 2023-11-28 | 环球数科集团有限公司 | 一种基于多模态大模型的景区虚拟模型构建系统 |
CN117132718B (zh) * | 2023-10-26 | 2023-12-26 | 环球数科集团有限公司 | 一种基于多模态大模型的景区虚拟模型构建系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114172809B (zh) | 2023-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114172809B (zh) | 一种基于目标追踪的视频计算云边协同任务调度方法 | |
Ali et al. | Edge enhanced deep learning system for large-scale video stream analytics | |
US8903130B1 (en) | Virtual camera operator | |
US9516210B2 (en) | Method and apparatus for prioritizing data transmission in a wireless broadcasting system | |
CN112996056A (zh) | 一种云边协同下时延最优化的计算任务卸载方法及装置 | |
CN113156992B (zh) | 面向边缘环境下无人机的三层架构协同优化方法 | |
Vega et al. | Resilient, uav-embedded real-time computing | |
CN112286666B (zh) | 基于回调机制的细粒度数据流可靠卸载方法 | |
CN114970899A (zh) | 一种智慧园区运维系统、方法、介质和电子设备 | |
CN113934545A (zh) | 一种视频数据调度方法、系统、电子设备及可读介质 | |
CN113961264A (zh) | 一种面向视频监控云边协同的智能卸载算法与系统 | |
CN112866006A (zh) | 一种基于时延能耗权衡的云雾融合网络多目标任务卸载方法 | |
CN115100623A (zh) | 一种基于端-边-云协同的无人机辅助车联网盲区行人检测系统 | |
Hou et al. | Real-time surveillance video salient object detection using collaborative cloud-edge deep reinforcement learning | |
WO2021063026A1 (zh) | 一种推理服务网络化的方法及装置 | |
Ramisetty et al. | Dynamic computation off-loading and control based on occlusion detection in drone video analytics | |
CN111582125A (zh) | 运动识别反馈方法、装置、计算机设备及存储介质 | |
Wu et al. | Edge-based realtime image object detection for UAV missions | |
KR102382170B1 (ko) | 영상 스트리밍 방법 및 장치 | |
JP2018535571A (ja) | ビデオ放送のためのシステム | |
Cheng et al. | Edge-assisted lightweight region-of-interest extraction and transmission for vehicle perception | |
KR102500352B1 (ko) | 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램 | |
Jin et al. | Design of UAV video and control signal real-time transmission system based on 5G network | |
WO2022126415A1 (zh) | 追踪算法的运行方法、装置、电子设备及计算机可读存储介质 | |
WO2020155110A1 (zh) | 数据处理方法、无人机、移动设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |