CN111784741B - 一种目标跨镜布控追踪的方法和系统 - Google Patents
一种目标跨镜布控追踪的方法和系统 Download PDFInfo
- Publication number
- CN111784741B CN111784741B CN202010606027.0A CN202010606027A CN111784741B CN 111784741 B CN111784741 B CN 111784741B CN 202010606027 A CN202010606027 A CN 202010606027A CN 111784741 B CN111784741 B CN 111784741B
- Authority
- CN
- China
- Prior art keywords
- control target
- tracking
- target
- control
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000008859 change Effects 0.000 claims description 53
- 239000000284 extract Substances 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 12
- 230000005021 gait Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 11
- 230000006399 behavior Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请公开了一种目标跨镜布控追踪的方法,该方法包括,在追踪子系统侧,接收来自布控子系统的布控目标任务,基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,其中,布控目标任务由布控子系统根据用户上传的布控目标指示生成,和/或,由布控子系统确定追踪子系统所检测目标为布控子系统中所存储的布控目标而生成。本申请实现了目标的全方位自动持续追踪,避免了追踪过程中的目标丢失。
Description
技术领域
本发明涉及目标追踪领域,特别地,涉及一种目标跨镜布控追踪的方法。
背景技术
随着近年来安防产业和AI的发展,智能视频监控已经得到广泛的应用,在公共安全应用领域,实现对特定目标进行跨境追踪成为一种关键需求。
现有的目标跨镜布控追踪方法,直接利用单相机目标的轨迹,基于相机间建立的拓扑关系,通过后台服务器对不同相机间的轨迹进行聚合,生成目标的跨镜轨迹。这种方法以追踪环节为核心,在布控环节需要人工参与较多,并且布控环节和追踪环节相对独立,两者之间缺乏信息的交互。
发明内容
本申请提供一种目标跨境布控追踪的方法,以实现目标全方位的自动追踪。
本申请提供的一种目标跨镜布控追踪的方法是这样实现的:在追踪子系统侧,
接收来自布控子系统的布控目标任务,
基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,
其中,
布控目标任务由布控子系统根据用户上传的布控目标指示生成,和/或,由布控子系统确定追踪子系统所检测目标为布控子系统中所存储的布控目标而生成。
较佳地,该方法进一步包括,
对布控目标进行行为分析,
当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,使得布控子系统更新布控目标数据;
所述布控目标行为变化包括,影响布控目标追踪的行为变化。
较佳地,所述影响布控目标追踪的行为的变化至少包括以下之一:步态变化,体态变化,行进方式变化,随行目标变化;
所述追踪子系统包括至少一个以上追踪设备,
该方法还包括,
根据当前布控目标的空间位置信息以及布控目标移动方向,确定在空间拓扑关系上的邻近追踪设备转向布控目标可能行进的轨迹;
所述追踪子系统还包括,用于对各个追踪设备进行调度和与布控子系统进行通信的调度管理模块,所述布控目标任务由调度管理模块接收后,下发至追踪设备。
较佳地,所述布控目标任务至少携带有布控目标特征数据,并下发至所有追踪设备;
所述基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,包括,
追踪子系统中的每一追踪设备,接收到布控目标任务后,采集当前图像数据,基于当前图像数据进行目标检测和/或行为分析,提取所检测目标的图像特征数据,将所提取的特征数据与布控目标任务中携带的布控目标特征数据进行比对,
当比对成功时,追踪到布控目标的追踪设备通知调度管理模块,
调度管理模块根据追踪到布控目标的追踪设备的空间位置信息,基于追踪设备的时空拓扑关系确定下一追踪设备;
所述当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,包括,
追踪到布控目标的追踪设备跟踪变化后的布控目标,提取变化后的布控目标图像特征,将所提取的特征数据通过调度管理模块发送给布控子系统,
调度管理模块将变化后的布控目标的特征数据通知给下一追踪设备。
较佳地,所述接收来自布控子系统的布控目标任务之前,进一步包括,
追踪子系统中的各个追踪设备,分别采集当前图像数据,分别基于当前图像数据进行目标检测和/或行为分析,
当追踪设备中任一追踪设备所检测目标和/或行为分析满足设定的条件时,提取所检测目标的图像特征数据,发送至布控子系统,使得布控子系统将所述图像特征数据与所存储的特征数据进行特征比对成功时生成布控目标任务;
所述布控目标任务由调度管理模块接收后,根据任务管理下发至追踪设备。
较佳地,所述布控目标任务至少携带有特征比对成功的第一追踪设备信息,
所述布控目标任务由调度管理模块接收后,根据任务管理下发至追踪设备,包括,调度管理模块根据布控目标任务中携带的第一追踪设备信息,基于追踪设备的时空拓扑关系确定下一追踪设备作为第二追踪设备;
将布控目标任务下发至第一追踪设备和第二追踪设备。
较佳地,所述基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,包括,
第一追踪设备接收到布控目标任务后,将所检测目标作为布控目标,并监控布控目标行为;
第二追踪设备接收到布控目标任务后,将所检测目标的特征数据发送至布控子系统,使得布控子系统将所述图像特征数据与所存储的布控目标当前特征数据进行特征比对;
所述当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,包括,
第一追踪设备跟踪变化后的布控目标,提取变化后的布控目标图像特征,将所提取的特征数据通过调度管理模块发送给布控子系统。
较佳地,所述当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,包括,
第一追踪设备跟踪变化后的布控目标,提取变化后的布控目标图像特征,将所提取的特征数据通过调度管理模块发送给布控子系统,
调度管理模块将通知给第二追踪设备,
所述基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,包括,
第二追踪设备接收到布控目标任务后,如果接收到变化后的布控目标的特征数据,则将所检测目标的特征数据与变化后的布控目标特征数据进行比对。
较佳地,所述布控目标任务至少携带有布控目标特征数据、和特征比对成功的第一追踪设备信息,
所述布控目标任务由调度管理模块接收后,根据任务管理下发至追踪设备,包括,调度管理模块根据布控目标任务中携带的第一追踪设备信息,基于追踪设备的时空拓扑关系确定下一追踪设备作为第二追踪设备;
基于所接收的布控目标任务生成第一布控目标任务,下发至第一追踪设备和第二追踪设备;该第一布控任务携带有所接收的布控目标任务中的布控目标特征数据;
所述基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,包括,
第一追踪设备接收到第一布控目标任务后,将所检测目标作为布控目标,并监控布控目标行为;
第二追踪设备接收到第一布控目标任务后,将所检测目标的特征数据与第一布控目标任务中携带的布控目标特征数据进行比对;
所述当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,包括,
第一追踪设备跟踪变化后的布控目标,提取变化后的布控目标图像特征,将所提取的特征数据通过调度管理模块发送给布控子系统,使得布控子系统生成第二布控目标任务下发,所述第二布控目标任务携带有变化后的布控目标的特征数据,
调度管理模块接收第二布控目标任务,发送给第二追踪设备,使得第二追踪设备将所检测目标的特征数据与第二布控目标任务中所携带的变化后的布控目标特征数据进行比对。
本申请提供的一种目标跨镜布控追踪的方法,该方法包括,在布控子系统侧,
接收用户上传的布控目标指示生成布控目标任务,和/或,接收来自追踪子系统所检测目标的特征数据,将该特征数据与所存储的布控目标进行特征比对,比对成功时生成布控目标任务;
将生成的布控目标任务下发至追踪子系统,使得追踪子系统进行布控目标追踪。
较佳地,所述布控子系统包括布控模型数据库,用于保存布控目标的特征数据,
该方法进一步包括,
接收用户上传的待布控目标的图像数据,基于图像数据进行布控目标检测,提取布控目标的特征数据,保存于布控模型数据库中;
其中,布控模型数据库包括特征库和黑名单库,所述特征库包括一个以上类型特征和/或每个类型特征的一个以上状态特征。
较佳地,该方法进一步包括,
接收来自追踪子系统的变化后的布控目标的特征数据,并更新至布控模型数据库中,
其中,变化后的布控目标的特征数据至少包括以下之一:步态变化,体态变化,行进方式变化,随行目标变化;
基于变化后的布控目标的特征数据,生成变化后的布控目标的任务,并下发至追踪子系统。
本申请提供的一种目标跨镜布控追踪系统,包括,
追踪子系统,接收来自布控子系统的布控目标任务,
基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,
其中,
布控目标任务由布控子系统根据用户上传的布控目标指示生成,和/或,由布控子系统确定追踪子系统所检测目标为布控子系统中所存储的布控目标而生成。
较佳地,所述追踪子系统包括,至少一个以上追踪设备,和用于对各个追踪设备进行调度和与布控子系统进行通信的调度管理模块,
其中,
所述追踪设备包括,
特征布控模块,接收调度管理模块下发的布控目标任务,基于采集的图像数据进行目标检测和目标跟踪,并提取图像特征;将提取的图像特征与来自调度管理模块下发的布控目标任务中的特征数据进行特征比对,或者,将提取的图像特征通过调度管理模块发送至布控子系统中进行特征比对;当满足相似度阈值时,判定为布控目标;
追踪模块,基于采集的图像数据,对布控目标进行跟踪,对所跟踪的布控目标进行行为分析,当布控目标行为发生变化时,跟踪变化后的布控目标,提取图像特征,通过调度管理模块更新至布控子系统,
所述调度管理模块,将来自布控子系统的布控目标任务发送给追踪子系统各个追踪设备的特征布控模块,根据当前布控目标的空间位置信息以及布控目标移动方向,通知在空间拓扑关系上的邻近追踪设备转向布控目标可能行进的轨迹,将变化后的布控目标的特征数据通知至追踪设备中的特征布控模块。
本申请提供的一种目标跨镜布控追踪系统,包括,布控子系统,
接收用户上传的布控目标指示生成布控目标任务,和/或,接收来自追踪子系统所检测目标的特征数据,将该特征数据与所存储的布控目标进行特征比对,比对成功时生成布控目标任务,
将生成的布控目标任务下发至追踪子系统,使得追踪子系统进行布控目标追踪。
较佳地,所述布控子系统包括,
用户交互模块,提供上传待布控目标图像数据的接口,
布控模型管理模块,基于用户上传的待布控目标图像数据建立布控模型数据库,基于追踪子系统实时反馈的特征数据对布控模型数据库进行更新,基于用户上传的布控目标指示生成布控目标任务,和/或,接收来自追踪子系统所检测目标的特征数据,将该特征数据与所存储的布控目标进行特征比对,比对成功时生成布控目标任务,将生成的布控目标任务下发至追踪子系统;
存储模块,用于保存布控模型数据库;所述布控模型数据库包括特征库和黑名单库,所述特征库包括一个以上类型特征和/或每个类型特征的一个以上状态特征。
本申请提供的一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述目标跨镜布控追踪方法的步骤。
本申请提供的目标跨境布控追踪的方法,通过追踪子系统与布控子系统基于布控目标任务的交互,从而实现了目标的全方位自动追踪,进一步地,追踪子系统对布控目标进行分析,将布控目标的变化的特征信息实时反馈给布控子系统,以对布控目标数据进行更新,提高了目标追踪的可靠性,避免了目标的丢失;通过采集到布控目标的追踪设备的位置信息确定在空间拓扑关系上的邻近追踪设备,实现了布控目标的持续自动追踪。
附图说明
图1为本申请实现目标跨镜布控追踪的方法的一种流程示意图。
图2为本申请实现目标跨镜布控追踪的方法的另一种流程示意图。
图3为本申请实现目标跨镜布控追踪的方法的又一种流程示意图。
图4a和图4b为接力跟踪的一种示意图。
图5为本申请目标跨镜布控追踪系统的一种示意图。
图6为建立和维护特征库的一种示意图。
图7为追踪子系统中调度管理模块与一追踪设备的连接关系的一种示意图。
图8为调度管理模块处理过程的一种示意图。
图9为特征布控模块处理过程的一种示意图。
图10为追踪模块进行追踪的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
本申请通过存储有目标数据的布控子系统生成布控目标任务,下发至包括多个追踪设备的追踪子系统,追踪子系统根据多个追踪设备的时空拓扑关系调度追踪设备,并与布控子系统进行信息交互,进一步地,追踪子系统将布控目标的实时特征信息反馈给布控子系统,以对布控目标任务进行更新,从而实现了追踪过程中目标的多种特征追踪、以及目标特征变化的自适应性。
参见图1所示,图1为本申请实现目标跨镜布控追踪的方法的一种流程示意图,在该实施方式中,布控目标任务基于用户的指示而触发生成。该方法包括,
步骤101,布控子系统接收用户上传的布控目标指示,根据该指示在布控模型数据库中查找布控目标所具有的特征数据;
如果查找到布控目标的特征数据,则将布控目标的特征数据携带在布控目标任务中发送给追踪子系统,
否则,则提示用户上传布控目标图像数据,以建立该布控目标的布控模型数据库;然后将布控目标的特征数据携带在布控目标任务中发送给追踪子系统;
较佳地,用户还可以将待布控目标的图像数据上传至布控子系统,布控子系统基于图像数据进行待布控目标的特征提取,所提取的特征数据可以存入布控模型数据库。
其中,布控模型数据库初始建立时基于用户上传布控目标图像或视频片段而生成,在对布控目标进行追踪后基于追踪子系统实时反馈的数据进行维护,所述维护包括数据的增加、删除、更新。
布控模型数据库包括特征库和黑名单库,特征库用于对每个布控目标分别建立特征库,该特征库由多种类型特征组成,每种类型特征可以包括各种条件下的多种状态特征,比如人脸特征,可以保存正脸特征,左侧脸特征,右侧脸特征等;人体特征可以包含正向人体特征,侧向人体特征,背向人体特征等。
较佳地,多种类型特征、以及每种类型特征的多态特征在特征提取的时候根据目标的评价追踪提取,评价方式包括但不限于目标的朝向、运动姿态等。黑名单库用于对目标的属性信息进行管理,例如,目标的重要程度、危险程度等。
步骤102,追踪子系统接中的调度管理模块收到布控目标任务后,通过调度管理模块向所有的追踪设备下发;
步骤103,各个追踪设备分别采集当前图像数据,例如视频流;各个追踪设备基于当前图像数据进行目标检测,提取所检测目标的图像特征向量,将提取的图像特征与下发的布控任务中的特征数据进行特征比对,当满足相似度阈值时,判定为布控目标,从而进入追踪状态。
进一步地,为了提高追踪的准确性和效率,还可以对所追踪的目标进行目标评价,以便选择用哪些图像来提取多种类型特征和/或多态特征,比如,当目标评价判断目标是正向时,则提取特征后,与特征库中的正向特征进行比对。
并且,当一个目标提取出多种类型特征时,比如人脸、步态、人体、上衣等,可以采用加权的方式计算综合相似度。
步骤104,一旦任一追踪设备检测到布控目标,则追踪子系统中的调度管理模块根据追踪设备的时空拓扑关系确定下一追踪设备,否则,各个追踪设备分别保持当前的目标检测和追踪;
在该步骤中,追踪子系统中的调度管理模块根据追踪设备的时空拓扑关系确定下一追踪设备可以是:
实施方式之一,调度管理模块根据追踪设备的PTZ(Pan Tilt Zoom)信息确定GPS系统下的位置信息,基于追踪子系统中的各个追踪设备之间的空间拓扑关系,确定下一追踪设备,其中,PTZ信息与GPS坐标信息进行了配准;
实施方式之二,追踪到布控目标的追踪设备基于视频流对布控目标的行进速度、行进方向进行预测,并将预测的行进速度和方向反馈给调度管理模块;调度管理模块根据预测的行进方向,基于追踪子系统中的各个追踪设备之间的空间拓扑关系确定下一追踪设备所在位置;调度管理模块根据预测的行进速度,基于下一追踪设备所在位置与当前追踪设备之间的物理空间距离,预测布控目标到达下一追踪设备所在位置的时间,根据预测的时间触发下一追踪设备转向预测的方向,进行布控目标的图像数据采集。
如图4a和图4b所示,相机A、B、C、D、E所构成的拓扑关系在进行系统配置时保存于调度管理模块,由调度管理模块统一调度管理,其中每个相机都和GPS进行了标定,当相机是云台相机时,其P(pan)、T(tilt)、Z(zoom)坐标均和GPS进行了配准,即每个PTZ对应有一个GPS坐标。
在图4a和图4b中,目标正在被相机B跟踪,当目标即将进入第二个路口时,调度管理模块根据目标运动的轨迹通知C、D、E三个相机转向该目标可能出现的区域进行布控。
追踪到布控目标的追踪设备基于当前所采集的图像数据对当前布控目标进行行为分析,
当布控目标行为发生变化时,跟踪变化后的布控目标,提取图像特征,通过调度管理模块更新至布控子系统中的布控模型数据库,同时该追踪设备通知调度管理模块,以使得调度管理模块向下一追踪设备布控该变化后的布控目标;
其中,布控目标行为发生变化包括影响目标追踪的行为,例如,至少以下之一:步态变化、体态变化、行进方式变化、随行目标变化。
例如,目标行为主要包含,上、下机动车、骑车等。当出现机动车停在布控目标附近,并且检测到追踪目标出现开车门的情况,随后人体特征消失,那么判定布控目标上了车。骑车也可采用类似的判断方法,例如,当布控目标与非机动车具有相同的运动轨迹,则判定布控目标上了车。当布控目标上车后,追踪设备提取机动车或非机动车的图像特征向量和/或车牌信息(车牌可见情况下),更新到该目标的特征库中,并通知调度管理模块,开始布控车辆。
进一步地,可以在跟踪过程中实时地对目标进行目标评价,评价维度包含但不限朝向,俯角,清晰度。当目标评价满足设定的条件时,对当前布控目标提取图像特征,并更新到该目标的特征库中。所述设定条件包括至少以下之一:布控目标呈现特征库所没有的朝向的图像特征、没有的俯角的图像特征、布控目标出现换装。
本实施例通过用户的布控目标指示生成布控目标任务下达给各个追踪设备,提高了布控子系统与追踪子系统之间的信息交互,方便了用户对目标的布控,提高了用户的体验;布控目标任务中携带有布控目标的特征数据,有利于提高追踪设备对布控目标检测的实时性和效率;追踪到布控目标的追踪设备将布控目标当前的变化信息反馈给调度管理模块和布控子系统,使得追踪子系统能够全方位地准确追踪,避免了布控目标的丢失,提高了追踪系统的可靠性和追踪的全面性。
参见图2所示,图2为本申请实现目标跨镜布控追踪的方法的另一种流程示意图,在该实施方式中,由追踪子系统中的任一追踪设备检测到目标而触发布控目标任务。
该方法包括,
步骤201,追踪子系统中的各个追踪设备分别采集当前图像,基于图像数据进行目标检测和/或行为分析,当追踪设备中任一第一追踪设备检测的目标和/或分析的行为符合设定的条件时,例如,目标满足设定的高度,行为满足设定的特定的行为,该第一追踪设备提取该目标的图像特征,通过调度管理模块发送至布控子系统,以请求布控子系统基于布控模型数据库中的数据进行特征比对。
步骤202,布控子系统将接收到的目标图像特征与布控模型数据库中的特征库进行比对,当满足相似度阈值时,则判定比对成功,响应于来自第一追踪设备的比对结果,生成布控目标任务,下发至追踪子系统中的调度管理模块,该布控目标任务中携带有第一追踪设备信息,
步骤203,调度管理模块根据追踪子系统中追踪设备的时空拓扑关系确定下一追踪设备(第二追踪设备),以实现接力追踪;根据任务管理,将布控目标任务下发至第一追踪设备和第二追踪设备。
在该步骤中,调度管理模块根据布控目标任务中的第一追踪设备信息,确定布控目标当前地理空间位置信息,以使得调度管理模块根据追踪子系统中追踪设备的时空拓扑关系确定下一追踪设备。
步骤204,第一追踪设备接收到布控目标任务后,将所检测的目标作为布控目标进行追踪,并监控布控目标是否发生行为变化,如果是,则提取图像特征,通过调度管理模块更新至布控子系统中的布控模型数据库,
较佳地,同时将变化后的布控目标的特征数据通知调度管理模块,以使得调度管理模块向第二追踪设备布控该变化后的布控目标。
步骤205,第二追踪设备与第一追踪设备的处理相似,采集当前图像数据,基于图像数据进行目标检测,提取所检测到目标的特征数据,通过调度管理模块发送至布控子系统,以与布控子系统中的布控模型数据库进行比对;如果比对成功,则将所检测的目标作为布控目标进行追踪,并监控布控目标是否发生行为变化。
较佳地,可以将提取的特征数据与来自调度管理模块的变化后的布控目标的特征数据进行比对,以减小与布控子系统的交互,有利于提高追踪效率,节约交互时所占用的传输资源。
本实施例中,以追踪设备所检测到的目标触发布控目标任务生成,提高了追踪设备的监控性能,有利于实现追踪的智能化;当检测到布控目标行为发生变化时,及时更新布控子系统中的布控模型数据库,使得追踪子系统能够全方位地准确追踪,避免了布控目标的丢失,提高了追踪子系统的可靠性和追踪的全面性;第一追踪设备通过调度模块将变化后的布控目标通知给第二追踪设备,提高了接力追踪的效率,有利于避免了布控目标的丢失。
参见图3所示,图3为本申请实现目标跨镜布控追踪的方法的又一种流程示意图,在该实施方式中,由追踪子系统中的任一追踪设备检测到目标而触发布控目标任务。
该方法包括,
步骤301,追踪子系统中的各个追踪设备分别采集当前图像,基于图像数据进行目标检测和/或行为分析,当追踪设备中任一追踪设备检测的目标和/或分析的行为符合设定的条件时,该追踪设备提取该目标的图像特征,通过调度管理模块发送至布控子系统,以与布控子系统中的布控模型数据库进行比对。
步骤302,布控子系统将接收到的目标图像特征与布控模型数据库中的特征库进行比对,如果比对成功,则判定该目标为布控目标,生成布控目标任务下发至追踪子系统中的调度管理模块,该布控目标任务携带有布控目标的特征数据和比对成功的第一追踪设备信息;
步骤303,调度管理模块接收来自布控子系统的布控目标任务,根据该任务中携带的第一追踪设备信息,根据追踪子系统中追踪设备的时空拓扑关系确定下一追踪设备(第二追踪设备),以实现接力追踪;并生成第一布控目标任务发送至第一追踪设备和第二追踪设备,该第一布控目标任务携带有所接收布控目标任务中布控目标的特征数据。
步骤304,第一追踪设备接收到第一布控目标任务后,将所检测的目标作为布控目标进行追踪,并监控布控目标是否发生行为变化,如果是,则提取图像特征,通过调度管理模块更新至布控子系统中的布控模型数据库,
第一追踪设备可根据第一布控目标任务中携带的布控目标的特征数据进行特征比对,还可确定监控布控目标是否发生行为变化;
第二追踪设备接收到第一布控目标任务后,将所检测目标的特征数据与第一布控目标任务中携带的布控目标的特征数据进行特征比对,以确定是否检测到布控目标,
步骤305,若布控模型数据库发生了更新,触发布控子系统生成第二布控目标任务发送至调度管理模块,该第二布控目标任务至少携带有变化后的布控目标的特征数据;
步骤306,调度管理模块将第二布控目标任务发送给第二追踪设备,以使得第二追踪设备跟踪变化后的布控目标;
步骤307,第二追踪设备采集当前图像数据,基于图像数据进行目标检测,提取所检测到目标的特征数据,与第二布控目标任务中携带的变化后的布控目标的特征数据进行比对;如果比对成功,则将所检测的目标作为布控目标进行追踪,监控布控目标是否发生行为变化,并通知调度管理模块,以便调度管理模块根据追踪子系统中追踪设备的时空拓扑关系确定下一追踪设备。
在本实施例中,以追踪设备所检测到的目标触发第一布控目标任务生成,当布控目标行为发生变化时,触发第二布控目标任务生成,布控目标任务携带有布控目标的当前特征数据,从而为布控目标不丢失提供了可靠的保障;并且,追踪设备直接基于布控目标任务所携带的特征数据进行比对,提高了追踪的效率。
参见图5所示,图5为本申请目标跨镜布控追踪系统的一种示意图。该系统包括,布控管理子系统、以及包括由至少一个以上追踪设备的追踪子系统,其中,
布控子系统用于用户交互、布控模型数据库管理和向追踪子系统下发目标布控任务,比如,当需要布控某一目标时,用户通过用户交互模块提供的交互接口上传该布控目标的图像或视频片段;在布控子系统中,基于上传的图像数据完成布控目标的特征提取,并对该布控目标的特征数据进行管理和存储,同时生成布控目标任务(第一布控目标任务)下发给追踪子系统。当追踪子系统发现布控目标并进行跟踪时,实时采集最新的布控目标图像特征数据,当该布控目标图像特征数据达到设定的条件时,比如角度,姿态等满足一定条件时,则对布控子系统中该布控目标的特征数据进行更新,并生成变化后的布控目标任务(第二布控目标任务)下发给追踪子系统,以使得追踪子系统按照第二布控目标任务中的布控目标特征数据进行追踪。较佳地,所述布控目标任务可以携带有布控目标特征数据。
追踪子系统接收来自布控子系统下发的布控目标任务,将布控目标任务中的目标特征数据发送给所有追踪设备,当某一个追踪设备开始追踪目标后,将该追踪设备采集的目标特征回传给布控子系统,同时根据当前追踪设备的空间信息和/或时间信息,通知追踪设备拓扑网络中距离布控目标最近的追踪设备转向目标可能出现的方位,进行接力追踪。
具体而言,所述布控管理子系统包括,用户交互模块、特征提取模块、布控模型管理模块、以及存储模块,其中,
用户交互模块,提供上传待布控目标图像或视频片段的接口,
特征提取模块,通过深度学习方法对图片或视频片段中的布控目标进行特征提取,获得布控目标的图像或序列特征,特征数据包括且不限人脸特征,人体特征,步态特征,衣着图案特征、随身物品特征等。
布控模型管理模块包括了特征库管理和黑名单管理,其中,特征库管理用于对每个布控目标分别建立特征库,该特征库由多种类型特征组成,每种类型特征可以包括各种条件下的多种状态特征,比如人脸特征,可以保存正脸特征,左侧脸特征,右侧脸特征等;人体特征可以包含正向人体特征,侧向人体特征,背向人体特征等。其中多种特征、以及每种特征的多态特征在特征提取的时候根据目标的评价追踪提取,评价方式包括但不限于目标的朝向、运动姿态等。黑名单管理用于对目标的属性信息进行管理,例如,目标的重要程度、危险程度等。
参见图6所示,图6为建立和维护特征库的一种示意图。对于用户上传的图像数据,通过目标检测捕获到目标图像,基于目标图像进行特征提取,得到特征数据,将特征数据、特征数据与目标的对应关系存储于数据库中,从而为目标建立特征库;对于来自追踪子系统实时回传的目标更新特征,增加至该目标的特征库中。进一步地,可以按照黑名单对特征库进行分类管理。
追踪子系统包括调度管理模块,用于管理各个追踪设备的时空拓扑关系以基于拓扑关系对各个追踪设备进行调度,以及用于与布控子系统进行通信。
参见图7所示,图7为追踪子系统中调度管理模块与一追踪设备的连接关系的一种示意图。其中,追踪设备包括,特征布控模块和追踪模块,
参见图8所示,图8为调度管理模块处理过程的一种示意图。调度管理模块将来自布控子系统的布控目标任务发送给追踪子系统各个追踪设备的特征布控模块,根据当前布控目标的空间位置信息以及布控目标移动方向,通知在空间拓扑关系上的邻近追踪设备转向布控目标可能行进的轨迹中,准备接力跟踪。较佳地,可以根据布控目标行为进行任务类型管理,和/或,根据当前布控目标的空间位置信息和/或行为变化进行布控目标任务下发的任务管理。
参见图9所示,图9为特征布控模块处理过程的一种示意图。所述特征布控模块,接收调度管理模块下发的布控目标任务,基于采集的图像数据进行目标检测和目标跟踪,并提取图像特征向量;将提取的图像特征与来自调度管理模块下发的布控任务中的特征数据进行特征比对,或者,将提取的图像特征通过调度管理模块发送至布控子系统中的布控模型管理模块,以进行特征比对;当满足相似度阈值时,判定为布控目标,从而进入追踪状态。
进一步地,还可以对检测到的目标进行目标评价,以便选择用哪些图像来提取多种类型特征和/或多态特征,比如,当目标评价判断目标是正向时,则提取特征后,与特征库中的正向特征进行比对。
并且,当一个目标提取出多种类型特征时,比如人脸、步态、人体、上衣等,可以采用加权的方式计算综合相似度。
参见图10所示,图10为追踪模块进行追踪的一种示意图。用于目标特征行为分析和特征更新的追踪模块基于采集的图像数据,对布控目标进行跟踪,对所跟踪的布控目标进行行为分析,当布控目标行为发生变化时,跟踪变化后的布控目标,提取图像特征,通过调度管理模块更新至布控模型管理模块,同时使得调度管理模块布控该变化后的布控目标;其中,布控目标行为发生变化包括影响目标追踪的行为,例如,至少以下之一:步态变化、体态变化、行进方式变化、随行目标变化。
例如,其中目标行为主要包含,上、下机动车、骑车等。当出现机动车停在布控目标附近,并且检测到追踪目标出现开车门的情况,随后人体特征消失,那么判定布控目标上了车。骑车也可采用类似的判断方法。当布控目标上车后,追踪模块提取机动车或非机动车的图像特征向量和/或车牌信息(车牌可见情况下),更新到该目标的特征库中,并通知调度管理模块,开始布控车辆。
进一步地,可以在跟踪过程中实时地对目标进行目标评价,评价维度包含但不限朝向,俯角,清晰度。当目标评价满足设定的条件时,则认为目标特征已有更新,对当前布控目标提取图像特征,并更新到该目标的特征库中。所述设定条件包括至少以下之一:布控目标呈现特征库所没有的朝向的图像特征、没有的俯角的图像特征、布控目标出现换装。
本申请提供的一种目标跨镜布控追踪系统中,所述布控子系统包括有第一存储器和第一处理器,所述追踪子系统包括第二存储器和第二处理器,所述第一处理器被配置用于执行第一存储器中的程序,以实现布控子系统的处理功能,所述第二处理器被配置用于执行第二存储器中的程序,以实现布追踪子系统的处理功能。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述目标跨镜布控追踪步骤。
对于装置/网络侧设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (19)
1.一种目标跨镜布控追踪的方法,其特征在于,该方法包括,
在包括至少一个以上追踪设备、以及用于对各个追踪设备进行调度和与布控子系统进行通信的调度管理模块的追踪子系统侧,
追踪设备接收来自布控子系统的布控目标任务,所述布控目标任务由调度管理模块接收后,下发至追踪设备,
基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,
对布控目标进行行为分析,
当布控目标行为变化时,将变化后的布控目标的图像信息通过调度管理模块反馈给布控子系统,使得布控子系统更新布控目标数据, 调度管理模块根据当前布控目标的空间位置信息以及布控目标移动方向,通知在空间拓扑关系上的邻近追踪设备转向变化后的布控目标可能行进的轨迹,
其中,
布控目标任务由布控子系统根据用户上传的布控目标指示生成,和/或,由布控子系统将追踪子系统所检测目标与布控子系统中所存储的布控目标比对成功的情形下而生成;
所述布控目标任务由调度管理模块接收后,下发至追踪设备,包括:
调度管理模块接收所述布控目标任务,该布控目标任务至少携带有布控目标特征数据、和特征比对成功的第一追踪设备信息,
根据布控目标任务中携带的第一追踪设备信息,基于追踪设备的时空拓扑关系确定下一追踪设备作为第二追踪设备,
基于所接收的布控目标任务生成第一布控目标任务,下发至第一追踪设备和第二追踪设备,该第一布控目标任务携带有所接收的布控目标任务中的布控目标特征数据;
所述基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,包括:
第一追踪设备接收到第一布控目标任务后,将所检测目标作为布控目标,并监控布控目标行为,
第二追踪设备接收到第一布控目标任务后,将所检测目标的特征数据与第一布控目标任务中携带的布控目标特征数据进行比对;
所述当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,包括:
第一追踪设备跟踪变化后的布控目标,提取变化后的布控目标图像特征,将所提取的特征数据通过调度管理模块发送给布控子系统,使得布控子系统生成第二布控目标任务下发,所述第二布控目标任务携带有变化后的布控目标的特征数据,
调度管理模块接收第二布控目标任务,发送给第二追踪设备,使得第二追踪设备将所检测目标的特征数据与第二布控目标任务中所携带的变化后的布控目标特征数据进行比对。
2.如权利要求1所述的方法,其特征在于,所述布控目标行为变化包括,影响布控目标追踪的行为变化。
3.如权利要求2所述的方法,其特征在于,所述影响布控目标追踪的行为的变化至少包括以下之一:步态变化,体态变化,行进方式变化,随行目标变化。
4.如权利要求3所述的方法,其特征在于,所述追踪设备接收来自布控子系统的布控目标任务之前,进一步包括,
追踪子系统中的各个追踪设备,分别采集当前图像数据,分别基于当前图像数据进行目标检测和/或行为分析,
当追踪设备中任一追踪设备所检测目标和/或行为分析满足设定的条件时,提取所检测目标的图像特征数据,发送至布控子系统,使得布控子系统将所述图像特征数据与所存储的特征数据进行特征比对成功时生成布控目标任务;
其中,
设定条件包括至少以下之一:布控目标呈现特征库所没有的朝向的图像特征、没有的俯角的图像特征、布控目标出现换装。
5.一种目标跨镜布控追踪的方法,其特征在于,该方法包括,
在包括至少一个以上追踪设备、以及用于对各个追踪设备进行调度和与布控子系统进行通信的调度管理模块的追踪子系统侧,
追踪设备接收来自布控子系统的布控目标任务,所述布控目标任务由调度管理模块接收后,下发至追踪设备,
基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,
对布控目标进行行为分析,
当布控目标行为变化时,将变化后的布控目标的图像信息通过调度管理模块反馈给布控子系统,使得布控子系统更新布控目标数据, 调度管理模块根据当前布控目标的空间位置信息以及布控目标移动方向,通知在空间拓扑关系上的邻近追踪设备转向变化后的布控目标可能行进的轨迹,
其中,
布控目标任务由布控子系统根据用户上传的布控目标指示生成,和/或,由布控子系统将追踪子系统所检测目标与布控子系统中所存储的布控目标比对成功的情形下而生成;
所述布控目标任务由调度管理模块接收后,下发至追踪设备,包括:
调度管理模块接收所述布控目标任务,该布控目标任务至少携带有特征比对成功的第一追踪设备信息,
根据布控目标任务中携带的第一追踪设备信息,基于追踪设备的时空拓扑关系确定下一追踪设备作为第二追踪设备,
将布控目标任务下发至第一追踪设备和第二追踪设备;
所述基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,包括:
第一追踪设备接收到布控目标任务后,将所检测目标作为布控目标,并监控布控目标行为,
第二追踪设备接收到布控目标任务后,将所检测目标的特征数据发送至布控子系统,使得布控子系统将所述特征数据与所存储的布控目标当前特征数据进行特征比对;所述当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,包括:
第一追踪设备跟踪变化后的布控目标,提取变化后的布控目标图像特征,将所提取的特征数据通过调度管理模块发送给布控子系统。
6.如权利要求5所述的方法,其特征在于,所述布控目标行为变化包括,影响布控目标追踪的行为变化。
7.如权利要求6所述的方法,其特征在于,所述影响布控目标追踪的行为的变化至少包括以下之一:步态变化,体态变化,行进方式变化,随行目标变化。
8.如权利要求5所述的方法,其特征在于,所述追踪设备接收来自布控子系统的布控目标任务之前,进一步包括,
追踪子系统中的各个追踪设备,分别采集当前图像数据,分别基于当前图像数据进行目标检测和/或行为分析,
当追踪设备中任一追踪设备所检测目标和/或行为分析满足设定的条件时,提取所检测目标的图像特征数据,发送至布控子系统,使得布控子系统将所述图像特征数据与所存储的特征数据进行特征比对成功时生成布控目标任务;
其中,
设定条件包括至少以下之一:布控目标呈现特征库所没有的朝向的图像特征、没有的俯角的图像特征、布控目标出现换装。
9.如权利要求5所述的方法,其特征在于,所述将所提取的特征数据通过调度管理模块发送给布控子系统之后,进一步包括,
调度管理模块将所提取的变化后的布控目标的特征数据通知给第二追踪设备,以使得第二追踪设备将所检测目标的特征数据与变化后的布控目标特征数据进行比对。
10.一种目标跨镜布控追踪的方法,其特征在于,该方法包括,在布控子系统侧,
接收用户上传的布控目标指示生成布控目标任务,和/或,接收来自追踪子系统所检测目标的特征数据,将该特征数据与所存储的布控目标进行特征比对,比对成功的情形下生成布控目标任务;
将生成的布控目标任务下发至追踪子系统,使得追踪子系统执行如权利要求1至5任一所述目标跨镜布控追踪的方法的步骤,和/或,执行如权利要求6至9任一所述目标跨镜布控追踪的方法的步骤。
11.如权利要求10所述的方法,其特征在于,所述布控子系统包括布控模型数据库,用于保存布控目标的特征数据,
该方法进一步包括,
接收用户上传的待布控目标的图像数据,基于图像数据进行布控目标检测,提取布控目标的特征数据,保存于布控模型数据库中;
其中,布控模型数据库包括特征库和黑名单库,所述特征库包括一个以上类型特征和/或每个类型特征的一个以上状态特征。
12.如权利要求11所述的方法,其特征在于,该方法进一步包括,
接收来自追踪子系统的变化后的布控目标的特征数据,并更新至布控模型数据库中,
其中,变化后的布控目标的特征数据至少包括以下之一:步态变化,体态变化,行进方式变化,随行目标变化;
基于变化后的布控目标的特征数据,生成变化后的布控目标的任务,并下发至追踪子系统。
13.一种目标跨镜布控追踪系统,其特征在于,包括,追踪子系统,所述追踪子系统包括,至少一个以上追踪设备,和用于对各个追踪设备进行调度和与布控子系统进行通信的调度管理模块,
所述追踪设备用于接收来自布控子系统的布控目标任务,所述布控目标任务由调度管理模块接收后,下发至追踪设备,基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,
对布控目标进行行为分析,
当布控目标行为变化时,将变化后的布控目标的图像信息通过调度管理模块反馈给布控子系统,使得布控子系统更新布控目标数据,
调度管理模块用于根据当前布控目标的空间位置信息以及布控目标移动方向,通知在空间拓扑关系上的邻近追踪设备转向变化后的布控目标可能行进的轨迹,
其中,
布控目标任务由布控子系统根据用户上传的布控目标指示生成,和/或,由布控子系统将追踪子系统所检测目标与布控子系统中所存储的布控目标比对成功的情形下而生成;
所述布控目标任务由调度管理模块接收后,下发至追踪设备,包括:
调度管理模块接收所述布控目标任务,该布控目标任务至少携带有布控目标特征数据、和特征比对成功的第一追踪设备信息,
根据布控目标任务中携带的第一追踪设备信息,基于追踪设备的时空拓扑关系确定下一追踪设备作为第二追踪设备,
基于所接收的布控目标任务生成第一布控目标任务,下发至第一追踪设备和第二追踪设备;该第一布控目标任务携带有所接收的布控目标任务中的布控目标特征数据;
所述基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,包括:
第一追踪设备接收到第一布控目标任务后,将所检测目标作为布控目标,并监控布控目标行为,
第二追踪设备接收到第一布控目标任务后,将所检测目标的特征数据与第一布控目标任务中携带的布控目标特征数据进行比对;
所述当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,包括:
第一追踪设备跟踪变化后的布控目标,提取变化后的布控目标图像特征,将所提取的特征数据通过调度管理模块发送给布控子系统,使得布控子系统生成第二布控目标任务下发,所述第二布控目标任务携带有变化后的布控目标的特征数据,
调度管理模块接收第二布控目标任务,发送给第二追踪设备,使得第二追踪设备将所检测目标的特征数据与第二布控目标任务中所携带的变化后的布控目标特征数据进行比对。
14.如权利要求13所述的系统,其特征在于,所述追踪设备包括,
特征布控模块,用于接收调度管理模块下发的布控目标任务,基于采集的图像数据进行目标检测和目标跟踪,并提取图像特征;将提取的图像特征与来自调度管理模块下发的布控目标任务中的特征数据进行特征比对,或者,将提取的图像特征通过调度管理模块发送至布控子系统中进行特征比对;当满足相似度阈值时,判定为布控目标;
追踪模块,用于基于采集的图像数据,对布控目标进行跟踪,对所跟踪的布控目标进行行为分析,当布控目标行为发生变化时,跟踪变化后的布控目标,提取图像特征,通过调度管理模块更新至布控子系统,
所述调度管理模块,用于将来自布控子系统的布控目标任务发送给追踪子系统各个追踪设备的特征布控模块,将变化后的布控目标的特征数据通知至追踪设备中的特征布控模块。
15.一种目标跨镜布控追踪系统,其特征在于,包括,追踪子系统,所述追踪子系统包括,至少一个以上追踪设备,和用于对各个追踪设备进行调度和与布控子系统进行通信的调度管理模块,
所述追踪设备用于接收来自布控子系统的布控目标任务,所述布控目标任务由调度管理模块接收后,下发至追踪设备,基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,
对布控目标进行行为分析,
当布控目标行为变化时,将变化后的布控目标的图像信息通过调度管理模块反馈给布控子系统,使得布控子系统更新布控目标数据,
调度管理模块用于根据当前布控目标的空间位置信息以及布控目标移动方向,通知在空间拓扑关系上的邻近追踪设备转向变化后的布控目标可能行进的轨迹,
其中,
布控目标任务由布控子系统根据用户上传的布控目标指示生成,和/或,由布控子系统将追踪子系统所检测目标与布控子系统中所存储的布控目标比对成功的情形下而生成;
所述布控目标任务由调度管理模块接收后,下发至追踪设备,包括:
调度管理模块接收所述布控目标任务,该布控目标任务至少携带有特征比对成功的第一追踪设备信息,
根据布控目标任务中携带的第一追踪设备信息,基于追踪设备的时空拓扑关系确定下一追踪设备作为第二追踪设备,
将布控目标任务下发至第一追踪设备和第二追踪设备;
所述基于布控目标任务采集当前图像数据,对所采集的图像数据进行布控目标追踪,包括:
第一追踪设备接收到布控目标任务后,将所检测目标作为布控目标,并监控布控目标行为,
第二追踪设备接收到布控目标任务后,将所检测目标的特征数据发送至布控子系统,使得布控子系统将所述特征数据与所存储的布控目标当前特征数据进行特征比对;
所述当布控目标行为变化时,将变化后的布控目标的图像信息反馈给布控子系统,包括:
第一追踪设备跟踪变化后的布控目标,提取变化后的布控目标图像特征,将所提取的特征数据通过调度管理模块发送给布控子系统。
16.如权利要求15所述的系统,其特征在于,所述追踪设备包括,
特征布控模块,用于接收调度管理模块下发的布控目标任务,基于采集的图像数据进行目标检测和目标跟踪,并提取图像特征;将提取的图像特征与来自调度管理模块下发的布控目标任务中的特征数据进行特征比对,或者,将提取的图像特征通过调度管理模块发送至布控子系统中进行特征比对;当满足相似度阈值时,判定为布控目标;
追踪模块,用于基于采集的图像数据,对布控目标进行跟踪,对所跟踪的布控目标进行行为分析,当布控目标行为发生变化时,跟踪变化后的布控目标,提取图像特征,通过调度管理模块更新至布控子系统,
所述调度管理模块,用于将来自布控子系统的布控目标任务发送给追踪子系统各个追踪设备的特征布控模块,将变化后的布控目标的特征数据通知至追踪设备中的特征布控模块。
17.一种目标跨镜布控追踪系统,其特征在于,包括,布控子系统,
接收用户上传的布控目标指示生成布控目标任务,和/或,接收来自追踪子系统所检测目标的特征数据,将该特征数据与所存储的布控目标进行特征比对,比对成功时生成布控目标任务,
将生成的布控目标任务下发至追踪子系统,使得追踪子系统执行如权利要求1至5任一所述目标跨镜布控追踪的方法的步骤,和/或,执行如权利要求6至9任一所述目标跨镜布控追踪的方法的步骤。
18.如权利要求17所述的系统,其特征在于,所述布控子系统包括,
用户交互模块,提供上传待布控目标图像数据的接口,
布控模型管理模块,基于用户上传的待布控目标图像数据建立布控模型数据库,基于追踪子系统实时反馈的特征数据对布控模型数据库进行更新,基于用户上传的布控目标指示生成布控目标任务,和/或,接收来自追踪子系统所检测目标的特征数据,将该特征数据与所存储的布控目标进行特征比对,比对成功时生成布控目标任务,将生成的布控目标任务下发至追踪子系统;
存储模块,用于保存布控模型数据库;所述布控模型数据库包括特征库和黑名单库,所述特征库包括一个以上类型特征和/或每个类型特征的一个以上状态特征。
19.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一所述目标跨镜布控追踪方法的步骤,和/或,如权利要求5至9任一所述目标跨镜布控追踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010606027.0A CN111784741B (zh) | 2020-06-29 | 2020-06-29 | 一种目标跨镜布控追踪的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010606027.0A CN111784741B (zh) | 2020-06-29 | 2020-06-29 | 一种目标跨镜布控追踪的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111784741A CN111784741A (zh) | 2020-10-16 |
CN111784741B true CN111784741B (zh) | 2024-03-29 |
Family
ID=72760196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010606027.0A Active CN111784741B (zh) | 2020-06-29 | 2020-06-29 | 一种目标跨镜布控追踪的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111784741B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112488068B (zh) * | 2020-12-21 | 2022-01-11 | 重庆紫光华山智安科技有限公司 | 监控目标搜索方法、装置、设备及计算机存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102324024A (zh) * | 2011-09-06 | 2012-01-18 | 苏州科雷芯电子科技有限公司 | 一种基于目标跟踪技术的机场乘客识别定位方法及系统 |
CN102724482A (zh) * | 2012-06-18 | 2012-10-10 | 西安电子科技大学 | 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统 |
JP2013003930A (ja) * | 2011-06-19 | 2013-01-07 | Masafumi Hagiwara | 不審人物検知方法および装置、異常事象検知方法および装置 |
CN104125433A (zh) * | 2014-07-30 | 2014-10-29 | 西安冉科信息技术有限公司 | 基于多球机联动结构的视频运动目标监控方法 |
CN107103615A (zh) * | 2017-04-05 | 2017-08-29 | 合肥酷睿网络科技有限公司 | 一种监控视频目标锁定追踪系统及锁定追踪方法 |
CN109299642A (zh) * | 2018-06-08 | 2019-02-01 | 嘉兴弘视智能科技有限公司 | 基于人像识别的逻辑布控预警系统及方法 |
CN109598743A (zh) * | 2018-11-20 | 2019-04-09 | 北京京东尚科信息技术有限公司 | 行人目标跟踪方法、装置及设备 |
CN110634153A (zh) * | 2019-09-19 | 2019-12-31 | 上海眼控科技股份有限公司 | 目标跟踪模板更新方法、装置、计算机设备和存储介质 |
WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
CN110674746A (zh) * | 2019-09-24 | 2020-01-10 | 视云融聚(广州)科技有限公司 | 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质 |
CN110858400A (zh) * | 2018-08-22 | 2020-03-03 | 北京航天长峰科技工业集团有限公司 | 一种通过监控视频追踪运动目标的方法 |
CN111008993A (zh) * | 2019-12-06 | 2020-04-14 | 江西洪都航空工业集团有限责任公司 | 一种行人跨镜追踪的方法及装置 |
CN111178218A (zh) * | 2019-12-23 | 2020-05-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸识别的多特征联合视频追踪方法及系统 |
-
2020
- 2020-06-29 CN CN202010606027.0A patent/CN111784741B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013003930A (ja) * | 2011-06-19 | 2013-01-07 | Masafumi Hagiwara | 不審人物検知方法および装置、異常事象検知方法および装置 |
CN102324024A (zh) * | 2011-09-06 | 2012-01-18 | 苏州科雷芯电子科技有限公司 | 一种基于目标跟踪技术的机场乘客识别定位方法及系统 |
CN102724482A (zh) * | 2012-06-18 | 2012-10-10 | 西安电子科技大学 | 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统 |
CN104125433A (zh) * | 2014-07-30 | 2014-10-29 | 西安冉科信息技术有限公司 | 基于多球机联动结构的视频运动目标监控方法 |
CN107103615A (zh) * | 2017-04-05 | 2017-08-29 | 合肥酷睿网络科技有限公司 | 一种监控视频目标锁定追踪系统及锁定追踪方法 |
CN109299642A (zh) * | 2018-06-08 | 2019-02-01 | 嘉兴弘视智能科技有限公司 | 基于人像识别的逻辑布控预警系统及方法 |
WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
CN110858400A (zh) * | 2018-08-22 | 2020-03-03 | 北京航天长峰科技工业集团有限公司 | 一种通过监控视频追踪运动目标的方法 |
CN109598743A (zh) * | 2018-11-20 | 2019-04-09 | 北京京东尚科信息技术有限公司 | 行人目标跟踪方法、装置及设备 |
CN110634153A (zh) * | 2019-09-19 | 2019-12-31 | 上海眼控科技股份有限公司 | 目标跟踪模板更新方法、装置、计算机设备和存储介质 |
CN110674746A (zh) * | 2019-09-24 | 2020-01-10 | 视云融聚(广州)科技有限公司 | 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质 |
CN111008993A (zh) * | 2019-12-06 | 2020-04-14 | 江西洪都航空工业集团有限责任公司 | 一种行人跨镜追踪的方法及装置 |
CN111178218A (zh) * | 2019-12-23 | 2020-05-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸识别的多特征联合视频追踪方法及系统 |
Non-Patent Citations (2)
Title |
---|
An adaptive learning method for target tracking across multiple cameras;KW chen 等;IEEE;20081231;全文 * |
基于三维视觉系统的多运动目标跟踪方法综述;万琴 等;计算机工程与应用(第19期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111784741A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11797001B1 (en) | Method for transferring control to an operator | |
US11475671B2 (en) | Multiple robots assisted surveillance system | |
CN106791613B (zh) | 一种基于3dgis和视频相结合的智能监控系统 | |
CN113326719A (zh) | 一种用于目标追踪的方法、设备及系统 | |
US8977001B2 (en) | Device and method for monitoring video objects | |
CN111292352B (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
WO2008103206A1 (en) | Surveillance systems and methods | |
KR101678004B1 (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
CN111914592B (zh) | 多相机联合取证方法、装置及系统 | |
CN112419771B (zh) | 一种基于消息广播的泊车方法、装置、计算机设备和存储介质 | |
CN111988524A (zh) | 一种无人机与摄像头协同避障方法、服务器及存储介质 | |
JP6833354B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20200103194A (ko) | 영상 기반 비정상 상황 모니터링 방법 및 시스템 | |
CN111784741B (zh) | 一种目标跨镜布控追踪的方法和系统 | |
CN112356027B (zh) | 农林机器人避障方法、装置、计算机设备和存储介质 | |
JP2021051470A (ja) | 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法 | |
CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
CN114360261B (zh) | 车辆逆行的识别方法、装置、大数据分析平台和介质 | |
CN112364742A (zh) | 一种车位管理方法、装置、计算机设备及存储介质 | |
US11209796B2 (en) | Surveillance system with intelligent robotic surveillance device | |
CN109815921A (zh) | 加氢站中活动类别的预测方法及装置 | |
CN113741458B (zh) | 一种机器人现场求助跟随或手势指导的行驶方法和系统 | |
CN114889642A (zh) | 一种规划控制系统 | |
CN110956644B (zh) | 一种运动轨迹确定方法及系统 | |
CN115909286B (zh) | 数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |