CN114549593B - 一种多目标多摄像头的目标追踪方法及系统 - Google Patents

一种多目标多摄像头的目标追踪方法及系统 Download PDF

Info

Publication number
CN114549593B
CN114549593B CN202210174972.7A CN202210174972A CN114549593B CN 114549593 B CN114549593 B CN 114549593B CN 202210174972 A CN202210174972 A CN 202210174972A CN 114549593 B CN114549593 B CN 114549593B
Authority
CN
China
Prior art keywords
target vehicle
target
camera
frame
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210174972.7A
Other languages
English (en)
Other versions
CN114549593A (zh
Inventor
袁潮
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210174972.7A priority Critical patent/CN114549593B/zh
Publication of CN114549593A publication Critical patent/CN114549593A/zh
Application granted granted Critical
Publication of CN114549593B publication Critical patent/CN114549593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本文提供一种多目标多摄像头的目标追踪方法及系统,提出一种低延迟、在线的多目标多摄像头的目标追踪方法,首先利用至少一个摄像头检测目标车辆;提取所述摄像头检测所述目标车辆的特征数据;所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标;然后,将所述目标车辆的二维平面坐标映射转换为地理位置坐标,得到所述目标车辆的位置信息;基于所述目标车辆的外观特征和所述目标车辆的位置信息,对所述摄像头聚类,得到聚类结果;最后,将所述聚类结果与所述目标车辆产生轨迹的时间关联,计算所述目标车辆轨迹。提出的方法遵循在线和逐帧处理的原则,消除了对离线检测依赖,通过在线检测的方式,提高了系统布置的灵活性。

Description

一种多目标多摄像头的目标追踪方法及系统
技术领域
本文涉及图像识别领域,尤其涉及一种多目标多摄像头的目标追踪方法、系统、介质及设备。
背景技术
智能交通系统(ITS)被认为是智能城市的关键组成部分,智能交通系统的主要研究领域之一是使用视频分析和视觉传感器捕获的数据进行视觉交通监控。这些数据可用于提供信息,如交通流估计,或检测交通模式或异常。多目标多摄像头车辆跟踪是视觉交通监控的一项重要任务。
一方面,与单摄像头交通监控相比,多摄像头设置需要更复杂的基础设施、同时处理更多数据的能力,以及更高的处理能力。多目标多摄像头跟踪算法是许多ITS技术的基础,提出合适的多目标多摄像头跟踪算法很有必要。另一方面,目前技术中提出了几种离线方法来解决这一任务;然而,由于离线方法有着高延迟和后处理的特点,往往与实际应用场景不相适应。
发明内容
为克服相关技术中存在的问题,本文提供一种低延迟、在线的多目标多摄像头的目标追踪方法、系统、介质及设备。
根据本文的第一方面,提供一种多目标多摄像头的目标追踪方法,包括:
S1:至少一个摄像头检测目标车辆;
S2:提取所述摄像头检测所述目标车辆的特征数据;所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标;
S3:将所述目标车辆的二维平面坐标映射转换为地理位置坐标,得到所述目标车辆的位置信息;
S4:基于所述目标车辆的外观特征和所述目标车辆的位置信息,对所述摄像头聚类,得到聚类结果;
S5:将所述聚类结果与所述目标车辆产生轨迹的时间关联,计算所述目标车辆轨迹。
基于前述方案,所述步骤S1中包括:所述至少一个摄像头组成无线网络,能够提供网络同步的独立视频序列。
基于前述方案,所述步骤S1中所述至少一个摄像头检测目标车辆,包括:设定采集所述目标车辆的边界框为b=[x,y,w,h],其中,[x,y]为目标车辆边界框内的像素坐标,[w,h]为目标车辆边界框的宽度和高度。定义所有摄像头每一帧采集目标车辆的边界框集B={bd,d∈[1,D]};d表示第d次目标车辆检测,D表示目标车辆检测总数。
基于前述方案,所述步骤S2中提取所述摄像头检测所述目标车辆的特征数据,包括:利用第一特征提取网络模型提取所述目标车辆的外观特征和利用第二特征提取网络模型提取所述目标车辆的二维平面坐标;定义fd为检测目标车辆的外观特征描述符,设F={fd,d∈[1,D]}是每一帧检测到目标车辆的外观特征描述符集;设
Figure BDA0003519847540000021
是对集合B进行变换后获得的一组GPS坐标集,其中
Figure BDA0003519847540000022
为目标车辆的纬度和经度。
基于前述方案,所述步骤S4中对所述摄像头聚类得到聚类结果,包括:在每一帧的目标车辆图像,计算所有目标车辆的外观特征向量之间的成对欧氏距离,如下所示:
ωd,d'=||fd-fd'||2 (1)
在每一帧的目标车辆图像,计算所有目标车辆的地理位置坐标向量之间的成对欧氏距离,如下所示:
Figure BDA0003519847540000023
连通矩阵Θ的计算如下:
Figure BDA0003519847540000031
r为最大关联半径。
基于前述方案,所述步骤S5中所述聚类结果与所述目标车辆产生轨迹的时间关联,包括:由目标车辆的运动状态定义所述目标车辆的轨迹,每个运动状态定义为
Figure BDA0003519847540000032
其中
Figure BDA0003519847540000033
是目标车辆的地理位置,
Figure BDA0003519847540000034
是目标车辆的运动速度;设
Figure BDA0003519847540000035
为第j条轨迹,摄像头的视频序列中的轨迹集定义为T={tj,j∈[1,J]},其中J为所有目标车辆的运动轨迹数。
根据本文的另一方面,提供一种多目标多摄像头的目标追踪系统,所述系统包括:
检测单元,用于利用至少一个摄像头检测目标车辆;
特征提取单元,用于提取所述摄像头检测所述目标车辆的特征数据;所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标;
转换单元,用于将所述目标车辆的二维平面坐标映射转换为地理位置坐标,得到所述目标车辆的位置信息;
聚类单元,用于基于所述目标车辆的外观特征和所述目标车辆的位置信息,对所述摄像头聚类,得到聚类结果;
关联单元,用于将所述聚类结果与所述目标车辆产生轨迹的时间关联,计算所述目标车辆轨迹。
基于前述方案,所述至少一个摄像头组成无线网络,能够提供网络同步的独立视频序列。
根据本文的另一方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现多目标多摄像头的目标追踪方法的步骤。
根据本文的另一方面,提供一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现多目标多摄像头的目标追踪方法的步骤。
本文提出了一种低延迟、在线的多目标多摄像头的目标追踪方法,首先利用至少一个摄像头检测目标车辆;提取所述摄像头检测所述目标车辆的特征数据;所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标;将所述目标车辆的二维平面坐标映射转换为地理位置坐标,得到所述目标车辆的位置信息;基于所述目标车辆的外观特征和所述目标车辆的位置信息,对所述摄像头聚类,得到聚类结果;将所述聚类结果与所述目标车辆产生轨迹的时间关联,计算所述目标车辆轨迹。提出的方法遵循在线和逐帧处理的原则,消除了对离线检测依赖,通过在线检测的方式,提高了系统布置的灵活性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本文。
附图说明
构成本文的一部分的附图用来提供对本文的进一步理解,本文的示意性实施例及其说明用于解释本文,并不构成对本文的不当限定。在附图中:
图1是根据一示例性实施例示出的多目标多摄像头的目标追踪方法的流程图。
图2是根据一示例性实施例示出的多目标多摄像头的目标追踪系统的结构示意图。
图3是根据一示例性实施例示出的一种设备的框图。
具体实施方式
为使本文实施例的目的、技术方案和优点更加清楚,下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本文一部分实施例,而不是全部的实施例。基于本文中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文保护的范围。需要说明的是,在不冲突的情况下,本文中的实施例及实施例中的特征可以相互任意组合。
本文提供一种多目标多摄像头的目标追踪方法及系统,应用的场景可以是城市的交通路口、或延伸的路段。
图1是根据一示例性实施例示出的一种多目标多摄像头的目标追踪方法的流程图。参考图1,目标追踪方法至少包括步骤S1-S5,下面详细介绍:
S1:至少一个摄像头检测目标车辆;
在本申请中,摄像头是指城市交通路口的摄像头,可以是亿级像素阵列像感器光场摄像机,可以拍摄像素极高的图片;采用交流电供电或太阳能供电的方式提供能源;至少一个摄像头组成无线网络,以无线传输方式上传数据,选取能提供独立视频序列的网络同步摄像头。
至少一个摄像头检测目标车辆是指每个摄像头都对至少一个目标车辆检测,车辆检测的模型可以基于本领域常用的检测模型。目前常用的检测模型包括也不限于包括:Yolo v3、SSD512和Mask R-CNN。为了简化计算复杂度,本申请一般考虑检测的车辆类型为汽车、卡车和公共汽车。
不管采用哪个模型,都是基于采集图像的每一帧检测目标车辆。设定采集的目标车辆边界框为b=[x,y,w,h],其中,[x,y]为目标车辆边界框内的像素坐标,[w,h]为目标车辆边界框的宽度和高度。定义所有摄像头每一帧采集目标车辆的边界框集B={bd,d∈[1,D]};d表示第d次目标车辆检测,D表示目标车辆检测总数。
S2:提取所述摄像头检测所述目标车辆的特征数据;所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标;
在本申请中,目标车辆的外观特征包括车型、车身颜色、车标等属性特征。车型包括轿车、SUV、大巴等;车身颜色包括但不限于白、黑、蓝等;车标包括奔驰、奥迪、大众、福特等。
具体地,利用第一特征提取网络模型提取所述目标车辆的外观特征;利用第二特征提取网络模型提取所述目标车辆的二维平面坐标。
由于车辆的外观在不同的摄像头视图中可能会发生很大的变化,导致很难确定它们是否是同一辆车。为了获得高精度的外观特征,我们训练第一特征提取网络模型来提高车辆分类能力。
为了描述第d次检测目标车辆的边界框检测的外观,定义检测目标车辆的外观特征描述符fd。设F={fd,d∈[1,D]}是每一帧检测到目标车辆的外观特征描述符集。
对于第一特征提取网络模型,优先选取深度残差网络ResNet模型,使用车辆重识别VeRi-776数据集作为额外的训练数据来改进该特征提取模型。VeRi-776是多摄像头场景中用于车辆重新识别的最大、最常见的数据集之一。
对于第二特征提取网络模型,可以是本领域用于定位目标图像的模型,例如深度学习网络模型、二维图像模式定位系统算法模型等。能够计算出目标车辆的二维平面坐标。
在一实例性实施例中,为了便于后续处理,通过将包含目标车辆的边界框的每个输入图像的大小调整为224x224x3,使其适应网络,并通过VeRi-776数据集的平均值和标准偏差对像素值进行归一化。同时,为了减少模型过度拟合和提高泛化能力,可以采用随机数据增强技术,如水平翻转、衰减、高斯模糊和对比度扰动。
S3:将所述目标车辆的二维平面坐标映射转换为地理位置坐标,得到所述目标车辆的位置信息;
在本申请中,将检测到的目标车辆所在二维平面坐标转换为实际地理位置坐标,例如GPS坐标。设Hn为映射矩阵,可以将第n个摄像头的目标车辆的二维平面坐标转换为对应的GPS坐标。具体地,根据给定的目标车辆边界框b,通过Hn映射变换其边界框基准的中心点,可以获得实际地理位置坐标,即目标车辆的纬度和经度,可以记为
Figure BDA0003519847540000071
是对集合B进行变换后获得的一组GPS坐标集。
S4:基于所述目标车辆的外观特征和所述目标车辆的位置信息,对所述摄像头聚类,得到聚类结果;
在本申请中,根据给定的集合B、W和F,将同一目标车辆在每一帧的不同摄像头采集的图像聚类获得每一帧上的簇,定义簇集C={li,i∈[1,L]},L是创建的簇的数量。簇集的内容范围可以从单个摄像头检测,例如只有一个摄像头可以看到车辆,到最多个摄像头的最大检测数采集的目标车辆。本申请中通过结合目标车辆的地理位置集合和外观特征的集合进行分层聚类,得到逐帧合并的目标车辆图像。
分层聚类是将聚类的数据集合利用连通矩阵进行合并。连通矩阵Θ计算每个区域的每一摄像头的每一帧的车辆图像的约束成对特征距离。
在每一帧的目标车辆图像,计算所有目标车辆的外观特征向量之间的成对欧氏距离,如下所示:
ωd,d'=||fd-fd'||2 (1)
在每一帧的目标车辆图像,计算所有目标车辆的地理位置坐标向量之间的成对欧氏距离,如下所示:
Figure BDA0003519847540000072
连通矩阵Θ的计算如下:
Figure BDA0003519847540000073
r为最大关联半径。
如上所述,本申请中使用的分层聚类方法脱离连通矩阵Θ来计算聚类树,这种分层聚类结构仅提供关于数据之间关系的信息。这些关系可以用树状图来表示。本申请以簇的形式提供场景中每一帧的目标车辆数量,并以簇的质心的形式提供目标车辆位置。总之,在每一帧,每个簇都指定一个或多个摄像头查看的目标车辆。
S5:将所述聚类结果与所述目标车辆产生轨迹的时间关联,计算所述目标车辆轨迹。
在本申请中,随着时间的推移连接聚类的目标车辆,用来估计所述目标车辆的轨迹。设
Figure BDA0003519847540000081
为第j条轨迹,通过目标车辆运动状态定义目标车辆的轨迹。每个运动状态由
Figure BDA0003519847540000082
描述,其中
Figure BDA0003519847540000083
是目标车辆的地理位置,
Figure BDA0003519847540000084
是目标车辆的运动速度。摄像头的视频序列中的轨迹集定义为T={tj,j∈[1,J]},其中J为所有目标车辆的运动轨迹数。轨迹集T以增量方式构建,在第一帧目标车辆图像开始计算并随时间更新。车辆的运动轨迹描述了簇在时间上的位置。与整个系统一样,时间关联是在线执行的,即逐帧执行。本文通过关联检测目标车辆的摄像头来计算簇,然后在逐帧的基础上,关联簇来计算轨迹,无需对轨迹进行任何后处理。
在本申请中,估计车辆的运动轨迹采用恒定速度卡尔曼滤波器。卡尔曼滤波器使用加权平均值,将目标的前一状态(在前一帧)和新测量值(在当前帧)结合起来,对目标的运动状态进行预测。它产生了一个介于先前目标状态和测量值之间的新状态估计。因此,在每一帧使用卡尔曼滤波器来获得前一帧轨迹的估计位置。
为了将两者联系起来,我们使用匈牙利算法来解决分配问题,使用关联矩阵来枚举所有可能的分配。关联矩阵是使用两两L2范数计算的,即估计轨迹的位置和簇的质心位置之间的欧氏距离。
图2是根据一示例性实施例,示出的一种多目标多摄像头的目标追踪系统20。所述系统20包括至少一个摄像头和至少一个车辆,包括:
检测单元201,用于利用至少一个摄像头检测目标车辆;
特征提取单元202,用于提取所述摄像头检测所述目标车辆的特征数据;所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标;
转换单元203,用于将所述目标车辆的二维平面坐标映射转换为地理位置坐标,得到所述目标车辆的位置信息;
聚类单元204,用于基于所述目标车辆的外观特征和所述目标车辆的位置信息,对所述摄像头聚类,得到聚类结果;
关联单元205,用于将所述聚类结果与所述目标车辆产生轨迹的时间关联,计算所述目标车辆轨迹。
不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
图3是根据一示例性实施例示出的一种用于计算机设备30的框图。参照图3,设备30包括处理器301,处理器的个数可以根据需要设置为一个或者多个。设备30还包括存储器302,用于存储可由处理器301的执行的指令,例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器301被配置为执行指令,以执行上述相机成像方法。
本领域技术人员应明白,本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
尽管已描述了本文的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
显然,本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样,倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内,则本文的意图也包含这些改动和变型在内。

Claims (9)

1.一种多目标多摄像头的目标追踪方法,其特征在于,包括:
S1:至少一个摄像头检测目标车辆;
S2:提取所述摄像头检测所述目标车辆的特征数据;所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标;
S3:将所述目标车辆的二维平面坐标映射转换为地理位置坐标,得到所述目标车辆的位置信息;设Hn为映射矩阵,可以将第n个摄像头的目标车辆的二维平面坐标转换为对应的GPS坐标,根据给定的目标车辆边界框b,通过Hn映射变换其边界框基准的中心点,可以获得实际地理位置坐标,即目标车辆的纬度和经度,可以记为
Figure FDA0003881786220000011
Figure FDA0003881786220000012
是对集合B进行变换后获得的一组GPS坐标集;
S4:基于所述目标车辆的外观特征和所述目标车辆的位置信息,对所述摄像头聚类,得到聚类结果;通过结合目标车辆的地理位置集合和外观特征的集合进行分层聚类,得到逐帧合并的目标车辆图像,分层聚类是将聚类的数据集合利用连通矩阵进行合并,连通矩阵Θ计算每个区域的每一摄像头的每一帧的车辆图像的约束成对特征距离,在每一帧的目标车辆图像,计算所有目标车辆的外观特征向量之间的成对欧氏距离,如下所示:
ωd,d'=||fd-fd'||2 (1)
在每一帧的目标车辆图像,计算所有目标车辆的地理位置坐标向量之间的成对欧氏距离,如下所示:
Figure FDA0003881786220000013
连通矩阵Θ的计算如下:
Figure FDA0003881786220000021
r为最大关联半径;
S5:将所述聚类结果与所述目标车辆产生轨迹的时间关联,计算所述目标车辆轨迹。
2.如权利要求1所述的一种多目标多摄像头的目标追踪方法,其特征在于,所述步骤S1中包括:所述至少一个摄像头组成无线网络,能够提供网络同步的独立视频序列。
3.如权利要求2所述的一种多目标多摄像头的目标追踪方法,其特征在于,所述步骤S1中所述至少一个摄像头检测目标车辆,包括:
设定采集所述目标车辆的边界框为b=[x,y,w,h],其中,[x,y]为目标车辆边界框内的像素坐标,[w,h]为目标车辆边界框的宽度和高度;定义所有摄像头每一帧采集目标车辆的边界框集B={bd,d∈[1,D]};d表示第d次目标车辆检测,D表示目标车辆检测总数。
4.如权利要求3所述的一种多目标多摄像头的目标追踪方法,其特征在于,所述步骤S2中提取所述摄像头检测所述目标车辆的特征数据,包括:利用第一特征提取网络模型提取所述目标车辆的外观特征和利用第二特征提取网络模型提取所述目标车辆的二维平面坐标;定义fd为检测目标车辆的外观特征描述符,设F={fd,d∈[1,D]}是每一帧检测到目标车辆的外观特征描述符集。
5.如权利要求1所述的一种多目标多摄像头的目标追踪方法,其特征在于,所述步骤S5中所述聚类结果与所述目标车辆产生轨迹的时间关联,包括:
由目标车辆的运动状态定义所述目标车辆的轨迹,每个运动状态定义为
Figure FDA0003881786220000031
其中[φ,λ]是目标车辆的地理位置,
Figure FDA0003881786220000032
是目标车辆的运动速度;设
Figure FDA0003881786220000033
为第j条轨迹,摄像头的视频序列中的轨迹集定义为T={tj,j∈[1,J]},其中J为所有目标车辆的运动轨迹数。
6.一种多目标多摄像头的目标追踪系统,其特征在于,所述系统包括:
检测单元,用于利用至少一个摄像头检测目标车辆;
特征提取单元,用于提取所述摄像头检测所述目标车辆的特征数据;所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标;
转换单元,用于将所述目标车辆的二维平面坐标映射转换为地理位置坐标,得到所述目标车辆的位置信息;设Hn为映射矩阵,可以将第n个摄像头的目标车辆的二维平面坐标转换为对应的GPS坐标,根据给定的目标车辆边界框b,通过Hn映射变换其边界框基准的中心点,可以获得实际地理位置坐标,即目标车辆的纬度和经度,可以记为
Figure FDA0003881786220000034
Figure FDA0003881786220000035
是对集合B进行变换后获得的一组GPS坐标集;
聚类单元,用于基于所述目标车辆的外观特征和所述目标车辆的位置信息,对所述摄像头聚类,得到聚类结果;通过结合目标车辆的地理位置集合和外观特征的集合进行分层聚类,得到逐帧合并的目标车辆图像,分层聚类是将聚类的数据集合利用连通矩阵进行合并,连通矩阵Θ计算每个区域的每一摄像头的每一帧的车辆图像的约束成对特征距离,在每一帧的目标车辆图像,计算所有目标车辆的外观特征向量之间的成对欧氏距离,如下所示:
ωd,d'=||fd-fd'||2 (1)
在每一帧的目标车辆图像,计算所有目标车辆的地理位置坐标向量之间的成对欧氏距离,如下所示:
Figure FDA0003881786220000041
连通矩阵Θ的计算如下:
Figure FDA0003881786220000042
r为最大关联半径;
关联单元,用于将所述聚类结果与所述目标车辆产生轨迹的时间关联,计算所述目标车辆轨迹。
7.如权利要求6所述的一种多目标多摄像头的目标追踪系统,其特征在于,所述至少一个摄像头组成无线网络,能够提供网络同步的独立视频序列。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1-5中任意一项所述方法的步骤。
9.一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-5中任意一项所述方法的步骤。
CN202210174972.7A 2022-02-25 2022-02-25 一种多目标多摄像头的目标追踪方法及系统 Active CN114549593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210174972.7A CN114549593B (zh) 2022-02-25 2022-02-25 一种多目标多摄像头的目标追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210174972.7A CN114549593B (zh) 2022-02-25 2022-02-25 一种多目标多摄像头的目标追踪方法及系统

Publications (2)

Publication Number Publication Date
CN114549593A CN114549593A (zh) 2022-05-27
CN114549593B true CN114549593B (zh) 2022-11-29

Family

ID=81678778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210174972.7A Active CN114549593B (zh) 2022-02-25 2022-02-25 一种多目标多摄像头的目标追踪方法及系统

Country Status (1)

Country Link
CN (1) CN114549593B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448025A (zh) * 2018-11-09 2019-03-08 国家体育总局体育科学研究所 视频中短道速滑运动员的自动跟踪与轨迹建模方法
CN109919974A (zh) * 2019-02-21 2019-06-21 上海理工大学 基于r-fcn框架多候选关联的在线多目标跟踪方法
CN111178161A (zh) * 2019-12-12 2020-05-19 重庆邮电大学 一种基于fcos的车辆追踪方法及系统
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
CN112925948A (zh) * 2021-02-05 2021-06-08 上海依图网络科技有限公司 视频处理方法及其装置、介质、芯片和电子设备
CN113536862A (zh) * 2020-04-21 2021-10-22 北京爱笔科技有限公司 一种聚类方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11397258B2 (en) * 2015-07-17 2022-07-26 Origin Wireless, Inc. Method, apparatus, and system for outdoor target tracking
CN111145545B (zh) * 2019-12-25 2021-05-28 西安交通大学 基于深度学习的道路交通行为无人机监测系统及方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112884816B (zh) * 2021-03-23 2023-12-15 武汉理工大学 一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
CN109448025A (zh) * 2018-11-09 2019-03-08 国家体育总局体育科学研究所 视频中短道速滑运动员的自动跟踪与轨迹建模方法
CN109919974A (zh) * 2019-02-21 2019-06-21 上海理工大学 基于r-fcn框架多候选关联的在线多目标跟踪方法
CN111178161A (zh) * 2019-12-12 2020-05-19 重庆邮电大学 一种基于fcos的车辆追踪方法及系统
CN113536862A (zh) * 2020-04-21 2021-10-22 北京爱笔科技有限公司 一种聚类方法、装置、设备及存储介质
CN112925948A (zh) * 2021-02-05 2021-06-08 上海依图网络科技有限公司 视频处理方法及其装置、介质、芯片和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Adaptive earth movers distance-based Bayesian multi-target tracking;Pankaj Kumar 等;《IET Computer Vision》;20121104;第7卷(第4期);246-257 *
基于单假设多目标跟踪方法的遮挡问题研究;吴梦琪;《中国优秀硕士学位论文全文数据库信息科技辑》;20220115(第(2022)01期);I138-1933 *
基于广义关联聚类图的分层关联多目标跟踪;齐美彬 等;《自动化学报》;20170131;第43卷(第1期);152-160 *

Also Published As

Publication number Publication date
CN114549593A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
Gurghian et al. Deeplanes: End-to-end lane position estimation using deep neural networksa
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
KR102338665B1 (ko) 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN112997187A (zh) 基于鸟瞰图点云的二维对象边界框信息估计
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN105913459B (zh) 基于高分辨率连拍图像的运动目标检测方法
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
Liu et al. Vehicle detection and ranging using two different focal length cameras
CN116052026B (zh) 一种无人机航拍图像目标检测方法、系统及存储介质
CN116109950A (zh) 一种低空域反无人机视觉检测、识别与跟踪方法
CN113012215A (zh) 一种空间定位的方法、系统及设备
BOURJA et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
CN114549593B (zh) 一种多目标多摄像头的目标追踪方法及系统
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
Ren et al. Vehicle Positioning Method of Roadside Monocular Camera
CN110399859A (zh) 无人跨运车的基于多传感器融合的障碍物辨识方法和装置
Cheng et al. Small Object Detection on Drone-view Images from Multiple UAVs Combination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant