CN114241002B - 基于云边协同的目标跟踪方法、系统、设备和介质 - Google Patents

基于云边协同的目标跟踪方法、系统、设备和介质 Download PDF

Info

Publication number
CN114241002B
CN114241002B CN202111528914.1A CN202111528914A CN114241002B CN 114241002 B CN114241002 B CN 114241002B CN 202111528914 A CN202111528914 A CN 202111528914A CN 114241002 B CN114241002 B CN 114241002B
Authority
CN
China
Prior art keywords
edge node
target
edge
slave
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111528914.1A
Other languages
English (en)
Other versions
CN114241002A (zh
Inventor
刘丹
时晓厚
丁鹏
周恒瑞
王雨桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202111528914.1A priority Critical patent/CN114241002B/zh
Publication of CN114241002A publication Critical patent/CN114241002A/zh
Application granted granted Critical
Publication of CN114241002B publication Critical patent/CN114241002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，提供一种基于云边协同的目标跟踪方法、系统、设备和介质。目标跟踪方法包括：云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源；主边缘节点根据获得的计算资源，获取当前周期的待跟踪视频流，对待跟踪视频流进行第一阶段检测以获得目标视频数据，分发至各从边缘节点；各从边缘节点根据获得的计算资源，对接收到的目标视频数据进行第二阶段检测以获得候选对象，并将候选对象与目标对象进行比对以获得当前周期的目标检测结果，上传至主边缘节点。本发明能够在云端节点的控制下，实现多个边缘节点的动态协同，充分利用各边缘节点的资源，并行执行目标跟踪任务，实时性强，实现高效、实时的目标跟踪。

Description

基于云边协同的目标跟踪方法、系统、设备和介质
技术领域
本发明涉及人工智能技术领域，具体地说，涉及一种基于云边协同的目标跟踪方法、系统、设备和介质。
背景技术
人工智能技术应用到视频监控领域以来，基于视频监控的智慧安防得到了迅速发展，在智慧城市建设中的城市治安、交通、园区安防等方面发挥着重要的作用。
然而现有的视频监控系统大多数仍为信息离散且隔离的点位化视频监控系统，通常需要专门的监控管理人员通过人工进行监控和分析，不仅效率低、方法繁琐，且实时性和及时性差，无法实现人员实时追踪、智能化区域管理等功能。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种基于云边协同的目标跟踪方法、系统、设备和介质，能够在云端节点的控制下，实现多个边缘节点的动态协同，充分利用各个边缘节点的资源，并行执行目标跟踪任务，实时性强，实现高效、实时的目标跟踪。
根据本发明的一个方面，提供一种基于云边协同的目标跟踪方法，包括：云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源；所述主边缘节点根据获得的计算资源，获取当前周期的待跟踪视频流，对所述待跟踪视频流进行第一阶段检测以获得目标视频数据，分发至各所述从边缘节点；各所述从边缘节点根据获得的计算资源，对接收到的目标视频数据进行第二阶段检测以获得候选对象，并将所述候选对象与目标对象进行比对以获得所述当前周期的目标检测结果，上传至所述主边缘节点。
在一些实施例中，所述云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源之前，还包括：所述边缘节点组响应于选举触发条件，选举一边缘节点作为所述主边缘节点。
在一些实施例中，所述边缘节点组中的每个边缘节点配置有随机定时器，所述主边缘节点配置为定期地向各所述从边缘节点发送心跳包；所述选举一边缘节点作为所述主边缘节点，包括：处于从状态的边缘节点在其随机定时器时间内未收到所述心跳包，将其状态更新为候选状态；处于所述候选状态的边缘节点向自身投票，同时向所述边缘节点组中的剩余边缘节点发起投票请求，并重置自身的随机定时器；所述边缘节点组中的处于所述从状态的边缘节点向发起所述投票请求的边缘节点投票；所述边缘节点组中的获得预设数量以上的投票的边缘节点将其状态更新为主状态，形成所述主边缘节点，并向所述边缘节点组中的剩余边缘节点发送所述心跳包；收到所述心跳包的边缘节点将其状态更新为所述从状态，形成各所述从边缘节点。
在一些实施例中，所述云端节点根据监测到的所述边缘节点组中的各边缘节点的状态，生成所述选举触发条件，并将各所述边缘节点的状态置为从状态，使处于所述从状态的边缘节点初始化其随机定时器；或者，于所述主边缘节点发生故障时，生成所述选举触发条件。
在一些实施例中，所述云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源，包括：所述云端节点以容器的方式，向所述主边缘节点和各所述从边缘节点下发对应的计算资源，并监控所述主边缘节点和各所述从边缘节点的状态；所述上传至所述主边缘节点之后，还包括：所述主边缘节点汇总各所述从边缘节点的目标检测结果，同步至所述云端节点。
在一些实施例中，所述获取当前周期的待跟踪视频流，包括：所述主边缘节点根据上一周期的目标检测结果，确定拍摄到所述目标对象的目标摄像头；所述主边缘节点根据含多个摄像头的监控网络拓扑确定与所述目标摄像头关联的待跟踪摄像头；所述主边缘节点获取所述待跟踪摄像头的视频流，作为所述当前周期的待跟踪视频流。
在一些实施例中，所述对所述待跟踪视频流进行第一阶段检测以获得目标视频数据，包括：所述主边缘节点基于两阶段目标检测算法，对所述待跟踪视频流进行第一阶段检测，以获得候选区域；所述主边缘节点根据所述候选区域对所述待跟踪视频流进行视频帧分割，以获得含所述候选区域的目标视频数据；所述对接收到的目标视频数据进行第二阶段检测以获得候选对象，包括：各所述从边缘节点基于所述两阶段目标检测算法，分别对接收到的目标视频数据进行第二阶段检测，以获得与所述目标对象同类别的候选对象。
在一些实施例中，所述将所述候选对象与目标对象进行比对以获得所述当前周期的目标检测结果，包括：检测到所述候选对象的从边缘节点对检测到的所述候选对象进行特征提取；所述从边缘节点将所述候选对象的特征与所述目标对象的特征进行相似度比对，获得所述候选对象是否为所述目标对象的目标检测结果。
在一些实施例中，所述主边缘节点与各所述从边缘节点之间通过局域网传输数据。
根据本发明的一个方面，提供一种基于云边协同的目标跟踪系统，包括：资源下发模块，配置于云端节点，用于向边缘节点组中的主边缘节点和各从边缘节点下发计算资源；第一检测模块，配置于所述主边缘节点，用于根据获得的计算资源，获取当前周期的待跟踪视频流，对所述待跟踪视频流进行第一阶段检测以获得目标视频数据，分发至各所述从边缘节点；第二检测模块，配置于各所述从边缘节点，用于根据获得的计算资源，对接收到的目标视频数据进行第二阶段检测以获得候选对象，并将所述候选对象与目标对象进行比对以获得所述当前周期的目标检测结果，上传至所述主边缘节点。
根据本发明的一个方面，提供一种电子设备，包括：处理器；存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现如上述任意实施例所述的基于云边协同的目标跟踪方法。
根据本发明的一个方面，提供一种计算机可读的存储介质，用于存储程序，所述程序被处理器执行时实现如上述任意实施例所述的基于云边协同的目标跟踪方法。
本发明与现有技术相比的有益效果至少包括：
本发明的基于云边协同的目标跟踪方案，能够在云端节点的控制下，实现多个边缘节点的动态协同，充分利用各个边缘节点的资源，并行执行目标跟踪任务，实时性强，并保护数据隐私安全，实现安全、高效、实时的目标跟踪；本发明的方案还可同时支持对多个目标的跟踪，在轨迹库中同时维护多个目标的轨迹信息。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明一实施例中基于云边协同的目标跟踪方法的步骤示意图；
图2示出本发明一实施例中云边协同网络的结构示意图；
图3示出本发明一实施例中含主边缘节点的云边协同网络的结构示意图；
图4示出本发明一实施例中主边缘节点与各从边缘节点的协同推理示意图；
图5示出本发明一实施例中基于云边协同的目标跟踪系统的模块示意图；
图6示出本发明一实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本发明全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
此外，附图中所示的流程仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤可以分解，有的步骤可以合并或部分合并，且实际执行的顺序有可能根据实际情况改变。具体描述时使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。需要说明的是，在不冲突的情况下，本发明的实施例及不同实施例中的特征可以相互组合。
图1示出一实施例中基于云边协同的目标跟踪方法的主要步骤，参照图1所示，本实施例的基于云边协同的目标跟踪方法包括：步骤S110，云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源；步骤S120，主边缘节点根据获得的计算资源，获取当前周期的待跟踪视频流，对待跟踪视频流进行第一阶段检测以获得目标视频数据，分发至各从边缘节点；步骤S130，各从边缘节点根据获得的计算资源，对接收到的目标视频数据进行第二阶段检测以获得候选对象，并将候选对象与目标对象进行比对以获得当前周期的目标检测结果，上传至主边缘节点。
上述的基于云边协同的目标跟踪方案，能够在云端节点的控制下，实现多个边缘节点的动态协同，充分利用各个边缘节点的资源，并行执行目标跟踪任务，实时性强，并保护数据隐私安全，实现安全、高效、实时的目标跟踪；此外，上述的方案还可同时支持对多个目标的跟踪，在轨迹库中同时维护多个目标的轨迹信息。
下面对基于云边协同的目标跟踪方法的各个步骤进行详细说明。
图2示出一实施例中云边协同网络的结构，参照图2所示，云边协同网络包含云端节点210和边缘节点组(包括多个边缘节点220)，云端节点210可实现对每个边缘节点220的监控，多个边缘节点220能够协同并行执行目标追踪的推理任务。云端节点210具体可包含服务器、网关等设备；同理，每个边缘节点220也可包含服务器、网关等设备；执行计算、处理等操作的，主要是指节点配置的服务器。
在一个实施例中，云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源之前，还包括：边缘节点组响应于选举触发条件，选举一边缘节点作为主边缘节点，边缘节点组中剩余的边缘节点则成为从边缘节点。
在系统初始化、云端节点根据监测到的各边缘节点的状态决策需要调整主边缘节点、以及当前的主边缘节点发生故障等情况下，会生成选举触发条件。云端节点中配置有触发边缘侧进行主边缘节点选举的选举模块。在系统初始化、及云端节点根据监测到的边缘节点组中的各边缘节点的状态生成选举触发条件的情况下，云端节点还会将各边缘节点的状态置为从状态，使处于从状态的边缘节点初始化其随机定时器。
具体来说，边缘节点组中的每个边缘节点配置有随机定时器。边缘节点的状态包括三种，分别是主状态(Leader)、从状态(Follower)和候选状态(Candidate)，于一时刻每个边缘节点只有一种状态。主边缘节点配置为定期地向各从边缘节点发送心跳包，心跳包包含备份的数据。边缘节点组中，只有一个边缘节点具备Leader状态，该边缘节点即为选举出的主边缘节点；Follower状态代表对应的边缘节点有计算任务或资源不允许，不参与竞争主边缘节点；Candidate状态代表对应的边缘节点准备参与主边缘节点的选举。
选举一边缘节点作为主边缘节点，具体包括：(1)初始化，所有边缘节点状态置为Follower，每个边缘节点初始化其随机定时器的时间；(2)处于Follower状态的边缘节点在其随机定时器时间内未收到心跳包，则认为当前没有主边缘节点，该处于Follower状态的边缘节点将自身状态更新为Candidate状态；(3)处于Candidate状态的边缘节点触发选举流程，向自身投票，同时向边缘节点组中的剩余边缘节点发起投票请求，并重置自身的随机定时器；(4)接收到投票请求的边缘节点根据自身状态决策是否投票，若自身状态为Follower状态则向发起投票请求的边缘节点投票，若自身状态为Candidate状态则不会向其他边缘节点投票；(5)边缘节点组中的获得预设数量以上(例如半数以上)的投票的边缘节点赢得选举，将自身状态更新为Leader状态，形成主边缘节点，主边缘节点向边缘节点组中的剩余边缘节点发送心跳包；(6)收到心跳包的边缘节点将自身状态更新为Follower状态，形成各从边缘节点；(7)若主边缘节点发生故障宕机，则进入步骤(2)，进行新的一轮选举。
图3示出一实施例中含主边缘节点的云边协同网络的结构，参照图3所示，云边协同网络以kubernetes架构搭建，边侧程序均以容器的方式运行，可通过云端节点210下发至相应的边缘节点。具体来说，选举出主边缘节点220a后，云端节点210会以容器的方式，向主边缘节点220a和各从边缘节点220b下发对应的计算资源(具体是指对应的执行程序)，并监控主边缘节点220a和各从边缘节点220b的状态。主边缘节点220a负责将推理任务分发给各个从边缘节点220b；各从边缘节点220b负责并行执行推理任务；主边缘节点220a还接收汇总各从边缘节点220b的推理结果，同步给云端节点210。主边缘节点220a与各从边缘节点220b之间通过局域网传输数据，数据传输时延可忽略，从而加速推理速度。
在目标跟踪技术中，对目标检索与跟踪的时延有较高约束，延迟问题是传统场景下使用集中的云计算模式无法满足的。此外，目标检索与跟踪过程中需要对各个识别对象进行特征提取，并与目标对象进行特征匹配。特征匹配的计算量随着视频流中识别对象的增多呈指数增长，单个的边缘计算节点难以支持大规模目标检索。本发明通过云边协同和多边协同，能够充分利用各个边缘节点的资源，提高系统的计算速度，使目标检索与跟踪具有低延迟特性，解决密集人流场景中，跨镜头人员识别计算量大、目标检测跟踪处理时延大的问题，并能够保护数据隐私安全。
在一个实施例中，主边缘节点获取当前周期的待跟踪视频流，具体包括：主边缘节点根据上一周期的目标检测结果，确定拍摄到目标对象的目标摄像头；主边缘节点根据含多个摄像头的监控网络拓扑确定与目标摄像头关联的待跟踪摄像头；主边缘节点获取待跟踪摄像头的视频流，作为当前周期的待跟踪视频流。
其中，目标对象例如一特定人员，与目标摄像头关联的待跟踪摄像头，例如与目标摄像头相邻的摄像头。监控网络拓扑相当于摄像头位置坐标矩阵，能够实现跨摄像头目标查询，充分利用了目标的运动轨迹信息和摄像头的位置信息，提高跨摄像头目标检索效率。
进一步地，主边缘节点对待跟踪视频流进行第一阶段检测以获得目标视频数据，具体包括：主边缘节点基于两阶段目标检测算法，对待跟踪视频流进行第一阶段检测，以获得候选区域；主边缘节点根据候选区域对待跟踪视频流进行视频帧分割，以获得含候选区域的目标视频数据。从边缘节点对接收到的目标视频数据进行第二阶段检测以获得候选对象，具体包括：各从边缘节点基于两阶段目标检测算法，分别对接收到的目标视频数据进行第二阶段检测，以获得与目标对象同类别的候选对象。
其中，两阶段目标检测算法可采用Faster R-CNN模型或者其他合适的两阶段目标检测算法，通过两阶段目标检测算法+多边协同实现目标跟踪。Faster R-CNN是R-CNN(Region CNN，区域卷积神经网络)和Fast R-CNN的升级版，Faster R-CNN可以简单地看成是“区域生成网络+Fast R-CNN”的模型，用区域生成网络(Region Proposal Network，简称RPN)来代替Fast R-CNN中的Selective Search(选择性搜索)方法，能够大幅提升检测速度。Faster R-CNN的具体结构和原理是已有的，因此不再展开说明。
进一步地，从边缘节点将候选对象与目标对象进行比对以获得当前周期的目标检测结果，具体包括：检测到候选对象的从边缘节点对检测到的候选对象进行特征提取；从边缘节点将候选对象的特征与目标对象的特征进行相似度比对，获得候选对象是否为目标对象的目标检测结果。
从而，目标跟踪的第一阶段在主边缘节点进行；第二阶段和人员检索阶段采用多个从边缘节点并行处理的方式。最终结果由主边缘节点传输至云端。第一阶段使用FasterR-CNN模型的第一阶段用于预测PR(Region Proposal，候选区域)区域，第二阶段使用Faster R-CNN模型的第二阶段用于进行对象的分类；人员检索阶段做特征提取比对，可采用Resnet-101模型。Resnet-101模型是一个已有的残差网络模型，因此不再展开说明其具体结构和原理。
图4示出一实施例中主边缘节点与各从边缘节点的协同推理过程，参照图4所示，在一个具体的实施例中，中心云的云端节点(图中未具体示出)负责将各个程序模块以容器的形式下发到主边缘节点300a和各从边缘节点300b，并监控各边缘节点状态；还收集边缘侧推理的结果，用于系统的决策。主边缘节点300a负责多边协同的任务调度，并接收汇总各从边缘节点300b的推理结果，将推理结果上传至中心云。从边缘节点300b负责并行地执行推理任务。
中心云下发给主边缘节点300a的程序模块可包括：智能数据加载器(Smart Dataloader)311；候选区域预测器(RP Predictor)312，具体可采用Faster R-CNN的第一阶段模型，即区域生成网络；分区管理器(Partition Mgr)313；数据分发管理器(Offload Mgr)314；以及数据流传输模块(Download Stream)315。中心云下发给每个从边缘节点300b的程序模块可包括：消息队列(Zero MQ)321；检测器(Detector)322，具体可采用Faster R-CNN的第二阶段模型，即Fast R-CNN；提取器(Extractor)323以及匹配器(Match)324。
当然，在其他的实施例中，中心云下发给主边缘节点300a和各从边缘节点300b的程序模块可以是其他形式，只要能使主边缘节点300a和各从边缘节点300b配合实现目标跟踪即可。
通过上述列举的程序模块，本实施例中主边缘节点300a与各从边缘节点300b的协同推理过程包括：
S410，智能数据加载器311在轨迹追踪时，根据之前的检测结果和监控网络拓扑，智能读取视频流传输至候选区域预测器312。例如，某个从边缘节点300b的检测结果为3号摄像头出现了目标对象(如特定行人)，则追踪视频流输入改为与3号摄像头相邻的摄像头视频流，其余视频流无需分析。本实施例中，周期并非限于固定的时间，可以以每次检测到目标对象作为一个周期。
S411，候选区域预测器312使用神经网络预测PR区域，并将预测结果传输至分区管理器313。候选区域预测器312具体是执行Faster R-CNN模型两阶段算法的第一阶段，生成PR区域。
S412，分区管理器313根据PR区域预测结果切割视频帧，获得目标视频数据，传输至数据分发管理器314。
S413，数据分发管理器314负责与各个从边缘节点300b的数据传输，将含PR区域的目标视频数据分发给各个从边缘节点300b并行处理。
S414，每个从边缘节点300b采用消息队列321接收待处理的视频数据，并调用检测器322对RP区域进行分类。消息队列321用于与主边缘节点300a的数据交互。检测器322具体执行Faster R-CNN模型两阶段算法的第二阶段，对PR区域进行分类，将行人判定为输出结果。
S415，检测器322将检测结果发送给提取器323进行特征提取。提取器323对视频帧中检测到的行人进行特征提取。
S416，提取器323将提取到的各个行人的特征传输给匹配器324，匹配器324对各个行人的特征与特定行人的特征进行相似度比对。
S417，匹配器324将匹配结果通过消息队列321发送给数据分发管理器314。
S418，数据分发管理器314等待当前周期内各从边缘节点300b的检测结果，将各从边缘节点300b的检测结果发送给分区管理器313。
S419，分区管理器313对结果进行汇聚并通过数据流传输模块315发送给云端。数据流传输模块315负责与中心云进行数据传输。
S420，分区管理器313将汇聚结果反馈给智能数据加载器311用于智能地选择下一次处理的视频流。
综上，本发明的基于云边协同的目标跟踪方案，能够针对目标对象，在不同场景不同位置的摄像头视频流中找到匹配的目标，并将位于不同帧的目标加以关联；本发明的方案基于云边协同和多边协同实现目标检测跟踪，能够在云端节点的控制下，进行多个边缘节点的动态协同，充分利用各个边缘节点的资源，并行执行目标跟踪任务，实时性强，并保护数据隐私安全，实现安全、高效、实时的目标跟踪；本发明的方案还可同时支持对多个目标的跟踪，在轨迹库中同时维护多个目标的轨迹信息。
本发明实施例还提供一种基于云边协同的目标跟踪系统，可用于实现上述任意实施例描述的基于云边协同的目标跟踪方法。上述任意实施例描述的目标跟踪方法的特征和原理均可应用至下面的目标跟踪系统实施例。在下面的目标跟踪系统实施例中，对已经阐明的基于云边协同进行目标检测跟踪的特征和原理不再重复说明。
基于云边协同的目标跟踪系统分布式地部署于云边协同网络中，云边协同网络具体可参照图3所示。图5示出基于云边协同的目标跟踪系统的主要模块，参照图5所示，本实施例的基于云边协同的目标跟踪系统500包括：资源下发模块510，配置于云端节点，用于向边缘节点组中的主边缘节点和各从边缘节点下发计算资源；第一检测模块520，配置于主边缘节点，用于根据获得的计算资源，获取当前周期的待跟踪视频流，对待跟踪视频流进行第一阶段检测以获得目标视频数据，分发至各从边缘节点；第二检测模块530，配置于各从边缘节点，用于根据获得的计算资源，对接收到的目标视频数据进行第二阶段检测以获得候选对象，并将候选对象与目标对象进行比对以获得当前周期的目标检测结果，上传至主边缘节点。
进一步地，目标跟踪系统500还可包括实现上述各目标跟踪方法实施例的其他流程步骤的模块，例如，主边缘节点和各从边缘节点可分别配置图4所示的各个程序模块。各个模块的具体原理可参照上述各目标跟踪方法实施例的描述，此处不再重复说明。
如上所述，本发明的基于云边协同的目标跟踪系统，能够针对目标对象，在不同场景不同位置的摄像头视频流中找到匹配的目标，并将位于不同帧的目标加以关联；目标跟踪系统基于云边协同和多边协同实现目标检测跟踪，能够在云端节点的控制下，进行多个边缘节点的动态协同，充分利用各个边缘节点的资源，并行执行目标跟踪任务，实时性强，并保护数据隐私安全，实现安全、高效、实时的目标跟踪；还可同时支持对多个目标的跟踪，在轨迹库中同时维护多个目标的轨迹信息。
本发明实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，可执行指令被处理器执行时，实现上述任意实施例描述的基于云边协同的目标跟踪方法。
本发明的电子设备的各个功能分布式地部署于云边协同网络中，能够基于云边协同和多边协同实现目标检测跟踪，在云端节点的控制下，进行多个边缘节点的动态协同，充分利用各个边缘节点的资源，并行执行目标跟踪任务，实时性强，并保护数据隐私安全，实现安全、高效、实时的目标跟踪；还可同时支持对多个目标的跟踪，在轨迹库中同时维护多个目标的轨迹信息。
图6是本发明实施例中电子设备的结构示意图，应当理解的是，图6仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。
如图6所示，电子设备600可以通用计算设备的形式表现。电子设备600的组件包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行上述任意实施例描述的基于云边协同的目标跟踪方法的步骤。例如，处理单元610可以执行如图1所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一个或多个程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700通信，外部设备700可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备700使得用户能与该电子设备600进行交互通信。电子设备600也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读的存储介质，用于存储程序，程序被执行时实现上述任意实施例描述的基于云边协同的目标跟踪方法。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述任意实施例描述的基于云边协同的目标跟踪方法。
本发明的存储介质的各个功能模块分布式地部署于云边协同网络中，当被执行时，能够实现基于云边协同和多边协同进行目标检测跟踪，在云端节点的控制下，进行多个边缘节点的动态协同，充分利用各个边缘节点的资源，并行执行目标跟踪任务，实时性强，并保护数据隐私安全，实现安全、高效、实时的目标跟踪；还可同时支持对多个目标的跟踪，在轨迹库中同时维护多个目标的轨迹信息。
程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，其可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种基于云边协同的目标跟踪方法，其特征在于，包括：
云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源；
所述主边缘节点根据获得的计算资源，获取当前周期的待跟踪视频流，对所述待跟踪视频流进行第一阶段检测以获得目标视频数据，分发至各所述从边缘节点；
各所述从边缘节点根据获得的计算资源，对接收到的目标视频数据进行第二阶段检测以获得候选对象，并将所述候选对象与目标对象进行比对以获得所述当前周期的目标检测结果，上传至所述主边缘节点；
其中，所述对所述待跟踪视频流进行第一阶段检测以获得目标视频数据，包括：所述主边缘节点基于两阶段目标检测算法，对所述待跟踪视频流进行第一阶段检测，以获得候选区域；所述主边缘节点根据所述候选区域对所述待跟踪视频流进行视频帧分割，以获得含所述候选区域的目标视频数据；所述对接收到的目标视频数据进行第二阶段检测以获得候选对象，包括：各所述从边缘节点基于所述两阶段目标检测算法，分别对接收到的目标视频数据进行第二阶段检测，以获得与所述目标对象同类别的候选对象。
2.如权利要求1所述的目标跟踪方法，其特征在于，所述云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源之前，还包括：
所述边缘节点组响应于选举触发条件，选举一边缘节点作为所述主边缘节点。
3.如权利要求2所述的目标跟踪方法，其特征在于，所述边缘节点组中的每个边缘节点配置有随机定时器，所述主边缘节点配置为定期地向各所述从边缘节点发送心跳包；
所述选举一边缘节点作为所述主边缘节点，包括：
处于从状态的边缘节点在其随机定时器时间内未收到所述心跳包，将其状态更新为候选状态；
处于所述候选状态的边缘节点向自身投票，同时向所述边缘节点组中的剩余边缘节点发起投票请求，并重置自身的随机定时器；
所述边缘节点组中的处于所述从状态的边缘节点向发起所述投票请求的边缘节点投票；
所述边缘节点组中的获得预设数量以上的投票的边缘节点将其状态更新为主状态，形成所述主边缘节点，并向所述边缘节点组中的剩余边缘节点发送所述心跳包；
收到所述心跳包的边缘节点将其状态更新为所述从状态，形成各所述从边缘节点。
4.如权利要求2所述的目标跟踪方法，其特征在于，所述云端节点根据监测到的所述边缘节点组中的各边缘节点的状态，生成所述选举触发条件，并将各所述边缘节点的状态置为从状态，使处于所述从状态的边缘节点初始化其随机定时器；或者
于所述主边缘节点发生故障时，生成所述选举触发条件。
5.如权利要求1所述的目标跟踪方法，其特征在于，所述云端节点向边缘节点组中的主边缘节点和各从边缘节点下发计算资源，包括：
所述云端节点以容器的方式，向所述主边缘节点和各所述从边缘节点下发对应的计算资源，并监控所述主边缘节点和各所述从边缘节点的状态；
所述上传至所述主边缘节点之后，还包括：
所述主边缘节点汇总各所述从边缘节点的目标检测结果，同步至所述云端节点。
6.如权利要求1所述的目标跟踪方法，其特征在于，所述获取当前周期的待跟踪视频流，包括：
所述主边缘节点根据上一周期的目标检测结果，确定拍摄到所述目标对象的目标摄像头；
所述主边缘节点根据含多个摄像头的监控网络拓扑确定与所述目标摄像头关联的待跟踪摄像头；
所述主边缘节点获取所述待跟踪摄像头的视频流，作为所述当前周期的待跟踪视频流。
7.如权利要求1所述的目标跟踪方法，其特征在于，所述将所述候选对象与目标对象进行比对以获得所述当前周期的目标检测结果，包括：
检测到所述候选对象的从边缘节点对检测到的所述候选对象进行特征提取；
所述从边缘节点将所述候选对象的特征与所述目标对象的特征进行相似度比对，获得所述候选对象是否为所述目标对象的目标检测结果。
8.如权利要求1所述的目标跟踪方法，其特征在于，所述主边缘节点与各所述从边缘节点之间通过局域网传输数据。
9.一种基于云边协同的目标跟踪系统，其特征在于，包括：
资源下发模块，配置于云端节点，用于向边缘节点组中的主边缘节点和各从边缘节点下发计算资源；
第一检测模块，配置于所述主边缘节点，用于根据获得的计算资源，获取当前周期的待跟踪视频流，对所述待跟踪视频流进行第一阶段检测以获得目标视频数据，分发至各所述从边缘节点；
第二检测模块，配置于各所述从边缘节点，用于根据获得的计算资源，对接收到的目标视频数据进行第二阶段检测以获得候选对象，并将所述候选对象与目标对象进行比对以获得所述当前周期的目标检测结果，上传至所述主边缘节点；
其中，对所述待跟踪视频流进行第一阶段检测以获得目标视频数据，包括：所述主边缘节点基于两阶段目标检测算法，对所述待跟踪视频流进行第一阶段检测，以获得候选区域；所述主边缘节点根据所述候选区域对所述待跟踪视频流进行视频帧分割，以获得含所述候选区域的目标视频数据；所述对接收到的目标视频数据进行第二阶段检测以获得候选对象，包括：各所述从边缘节点基于所述两阶段目标检测算法，分别对接收到的目标视频数据进行第二阶段检测，以获得与所述目标对象同类别的候选对象。
10.一种电子设备，其特征在于，包括：
处理器；
存储器，所述存储器中存储有可执行指令；
其中，所述可执行指令被所述处理器执行时，实现如权利要求1-8任一项所述的基于云边协同的目标跟踪方法。
11.一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8任一项所述的基于云边协同的目标跟踪方法。
CN202111528914.1A 2021-12-14 2021-12-14 基于云边协同的目标跟踪方法、系统、设备和介质 Active CN114241002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111528914.1A CN114241002B (zh) 2021-12-14 2021-12-14 基于云边协同的目标跟踪方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111528914.1A CN114241002B (zh) 2021-12-14 2021-12-14 基于云边协同的目标跟踪方法、系统、设备和介质

Publications (2)

Publication Number Publication Date
CN114241002A CN114241002A (zh) 2022-03-25
CN114241002B true CN114241002B (zh) 2024-02-02

Family

ID=80755908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111528914.1A Active CN114241002B (zh) 2021-12-14 2021-12-14 基于云边协同的目标跟踪方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN114241002B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114884880B (zh) * 2022-04-06 2024-03-08 阿里巴巴（中国）有限公司 数据传输方法以及系统
CN117037158B (zh) * 2023-10-09 2024-01-09 之江实验室 基于视频语义驱动的城市大脑云边协同计算方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533303A (zh) * 2013-09-30 2014-01-22 中安消技术有限公司 一种运动目标实时跟踪系统和方法
CN111343436A (zh) * 2020-03-26 2020-06-26 中国铁道科学研究院集团有限公司电子计算技术研究所 基于云边协同的轨道交通视频监控方法及系统
CN111787280A (zh) * 2020-06-30 2020-10-16 清华大学 基于边缘计算的视频实时目标追踪方法及装置
CN111935246A (zh) * 2020-07-21 2020-11-13 山东省计算中心（国家超级计算济南中心） 一种基于云边协作的用户生成内容上传方法和系统
CN111970323A (zh) * 2020-07-10 2020-11-20 北京大学 边缘计算网络中云边多层协作的时延优化方法及装置
CN112989894A (zh) * 2019-12-18 2021-06-18 阿里巴巴集团控股有限公司 目标检测方法、任务处理方法、装置、设备及存储介质
CN113177968A (zh) * 2021-04-27 2021-07-27 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972768B2 (en) * 2019-06-27 2021-04-06 Intel Corporation Dynamic rebalancing of edge resources for multi-camera video streaming

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533303A (zh) * 2013-09-30 2014-01-22 中安消技术有限公司 一种运动目标实时跟踪系统和方法
CN112989894A (zh) * 2019-12-18 2021-06-18 阿里巴巴集团控股有限公司 目标检测方法、任务处理方法、装置、设备及存储介质
CN111343436A (zh) * 2020-03-26 2020-06-26 中国铁道科学研究院集团有限公司电子计算技术研究所 基于云边协同的轨道交通视频监控方法及系统
CN111787280A (zh) * 2020-06-30 2020-10-16 清华大学 基于边缘计算的视频实时目标追踪方法及装置
CN111970323A (zh) * 2020-07-10 2020-11-20 北京大学 边缘计算网络中云边多层协作的时延优化方法及装置
CN111935246A (zh) * 2020-07-21 2020-11-13 山东省计算中心（国家超级计算济南中心） 一种基于云边协作的用户生成内容上传方法和系统
CN113177968A (zh) * 2021-04-27 2021-07-27 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向边缘计算的目标追踪应用部署策略研究;张展 等;软件学报(第09期);全文 *

Also Published As

Publication number Publication date
CN114241002A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114241002B (zh) 基于云边协同的目标跟踪方法、系统、设备和介质
CN112351503B (zh) 基于任务预测的多无人机辅助边缘计算资源分配方法
CN107968840B (zh) 一种大规模电力设备监测报警数据实时处理方法及系统
CN111368888B (zh) 基于深度动态贝叶斯网络的服务功能链故障诊断方法
Ali et al. RES: Real-time video stream analytics using edge enhanced clouds
US9002060B2 (en) Object retrieval in video data using complementary detectors
US11748896B2 (en) Object tracking method and apparatus, storage medium, and electronic device
CN111464627B (zh) 数据处理方法、边缘服务器、中心服务器及处理系统
CN111553213B (zh) 移动边缘云中实时分布式的身份感知行人属性识别方法
Abdelzaher et al. Five challenges in cloud-enabled intelligence and control
Ashraf A proactive role of IoT devices in building smart cities
Kolhe et al. Smart city implementation based on Internet of Things integrated with optimization technology
CN113434573B (zh) 多维度图像检索系统、方法及设备
CN116980569A (zh) 一种基于云计算的安全监控系统及方法
CN109905423A (zh) 一种智能管理系统
CN113220459B (zh) 一种任务处理方法及装置
Wan et al. Distributed optimization for global data association in non-overlapping camera networks
CN111027397A (zh) 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备
Patil et al. Dynamic Resource Allocation and Memory Management using Deep Convolutional Neural Network
Mavridis et al. Smart buildings and the human-machine cloud
CN111210150A (zh) 一种基于边缘计算的智慧园区系统
CN114244588B (zh) 应用人工智能分析的大数据分析拦截方法及信息拦截系统
Gassara et al. Describing correct UAVs cooperation architectures applied on an anti-terrorism scenario
CN116232808A (zh) 一种基于边缘计算的智慧园区接入网关系统
CN115883392A (zh) 算力网络的数据感知方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant