CN109035295A - 多目标跟踪方法、装置、计算机设备和存储介质 - Google Patents

多目标跟踪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109035295A
CN109035295A CN201810662234.0A CN201810662234A CN109035295A CN 109035295 A CN109035295 A CN 109035295A CN 201810662234 A CN201810662234 A CN 201810662234A CN 109035295 A CN109035295 A CN 109035295A
Authority
CN
China
Prior art keywords
target tracking
target
foreground
frame image
foreground part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810662234.0A
Other languages
English (en)
Other versions
CN109035295B (zh
Inventor
林凡
成杰
张秋镇
张细英
杨峰
李盛阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GCI Science and Technology Co Ltd
Original Assignee
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GCI Science and Technology Co Ltd filed Critical GCI Science and Technology Co Ltd
Priority to CN201810662234.0A priority Critical patent/CN109035295B/zh
Publication of CN109035295A publication Critical patent/CN109035295A/zh
Application granted granted Critical
Publication of CN109035295B publication Critical patent/CN109035295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种多目标跟踪方法、系统、计算机设备和存储介质。所述方法包括:获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;通过比较所述第一前景部分和所述第二前景部分,判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡;若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。上述多目标跟踪方法,能够对目标遮挡导致的前景粘连区域进行准确分割,有较强处理目标粘连的能力,实现稳定跟踪。

Description

多目标跟踪方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种多目标跟踪方法、装置、计算机设备和存储介质。
背景技术
通过视频监测实现对目标跟踪物体的跟踪已广泛应用于安防、交通监控等场合。在对目标跟踪物体进行跟踪的过程中,视频的各帧图像中记录了目标跟踪物体(前景部分)以及目标跟踪物体所处的外界环境(背景部分)。
当监测的目标跟踪物体为多个时,可以通过识别各帧图像中的前景部分和背景部分对各个目标跟踪物体进行跟踪。然而,当图像帧中目标跟踪物体之间出现互相遮挡时,各个目标跟踪物体对应的前景部分出现粘连,无法准确识别前景部分中的各个目标跟踪物体,从而使跟踪得到的运动轨迹出现中断。
发明内容
基于此,有必要针对上述技术问题,提供一种能够实现稳定跟踪的多目标跟踪方法、装置、计算机设备和存储介质。
一种多目标跟踪方法,所述方法包括:
获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
通过比较所述第一前景部分和所述第二前景部分,判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
在一个实施例中,所述的多目标跟踪方法,所述获取上一帧图像的第一前景部分和当前帧图像的第二前景部分之前,还包括:根据多个正态分布函数组成的混合模型来表征各帧图像中的背景部分;
通过去除各帧图像中的背景部分来提取各帧图像中的前景部分;
通过中值滤波去除所述前景部分中的噪声,通过比较前景部分中各个像素点的灰度值来去除所述前景部分中的阴影。
在一个实施例中,所述的多目标跟踪方法,所述获取上一帧图像的第一前景部分和当前帧图像的第二前景部分,包括:
获取上一帧图像的第一前景部分;
根据所述第一前景部分以及线性系统状态方程预测当前帧图像的第二前景部分。
在一个实施例中,所述的多目标跟踪方法,所述比较所述第一前景部分和所述第二前景部分,包括:
分别对第一前景部分中的各个目标跟踪物体绘制第一最小外接矩形框,分别对第二前景部分中的各个目标跟踪物体绘制第二最小外接矩形框;
将所述第一最小外接矩形框覆盖的区域与所述第二最小外接矩形框覆盖的区域进行比较。
在一个实施例中,所述的多目标跟踪方法,所述判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡之后,包括:
若出现遮挡,则通过比较第二前景部分中完全可见的第二最小外接矩形框与被遮挡的第二最小外接矩形框的大小和位置关系来识别各个第二最小外接矩形框之间的遮挡关系。
在一个实施例中,所述的多目标跟踪方法,所述若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,包括:
若所述各个目标跟踪物体之间出现遮挡,则通过图像相似性指标函数对所述完全可见的第二最小外接矩形框进行定位;
在所述第二前景区域中去除已定位的所述完全可见的第二最小外接矩形框,再根据所述第二前景区域中的剩余区域以及所述遮挡关系来定位被遮挡的的第二最小外接矩形框;
根据所述完全可见的第二最小外接矩形框以及被遮挡的第二最小外接矩形框的定位,对各个目标跟踪物体进行分割。
一种多目标跟踪装置,包括:
获取模块,用于获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
判断模块,用于通过比较所述第一前景部分和所述第二前景部分,判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
跟踪模块,用于若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
一种车辆跟踪方法,包括:获取监测车辆的视频帧图像,并根据所述的多目标跟踪方法对监测的各个车辆进行跟踪,其中所述图像为监控车辆的视频帧图像,所述目标跟踪物体为车辆。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
通过比较所述第一前景部分和所述第二前景部分,判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
通过比较所述第一前景部分和所述第二前景部分,判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
本申请实施例中的多目标跟踪方法、装置、计算机设备和存储介质,通过比较上一帧图像的第一前景部分和当前帧图像的第二前景部分,判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡;若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。可以对目标遮挡导致的前景粘连区域进行准确分割,有较强处理目标粘连的能力,实现稳定跟踪。
附图说明
图1为一个实施例中多目标跟踪方法的应用环境图;
图2为一个实施例中多目标跟踪方法的流程示意图;
图3为一个实施例中无遮挡情况下目标跟踪步骤的流程示意图;
图4(a)为一个实施例中遮挡关系为一类对角交叉的示意图;
图4(b)为一个实施例中遮挡关系为二类对角交叉的示意图;
图4(c)为一个实施例中遮挡关系为一类垂直遮挡的示意图;
图4(d)为一个实施例中遮挡关系为二类垂直遮挡的示意图;
图4(e)为一个实施例中遮挡关系为一类水平遮挡的示意图;
图4(f)为一个实施例中遮挡关系为二类水平遮挡的示意图;
图4(g)为一个实施例中遮挡关系为水平交叉的示意图;
图4(h)为一个实施例中遮挡关系为完全覆盖的示意图;
图5为一个实施例中被动遮挡目标定位的分析过程示意图;
图6为一个实施例中车辆跟踪方法的流程示意图;
图7为一个实施例中多目标跟踪装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的多目标跟踪方法,可以应用于如图1所示的应用环境中。其中,终端102与服务器104通过网络进行通信。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种多目标跟踪方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取上一帧图像的第一前景部分和当前帧图像的第二前景部分。
在上述步骤中,可以通过获取图像的前景部分,将运动的目标跟踪物体与背景进行区分。
步骤204,通过比较第一前景部分和第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡。
对于此步骤,若第一前景部分对应的区域面积和第二前景部分对应的区域面积相差较大,则可以认为当前帧图像中的各个目标跟踪物体之间出现遮挡。
步骤206,若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
对于上述步骤,可以先判断出现遮挡的类型,再将出现遮挡的类型与模板中的遮挡类型进行匹配,再根据匹配结果对各个目标跟踪物体进行分割。
上述多目标跟踪方法,通过比较上一帧图像的第一前景部分和当前帧图像的第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡;若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。可以对目标遮挡导致的前景粘连区域进行准确分割,有较强处理目标粘连的能力,实现稳定跟踪。
在一个实施例中,在步骤S202之前还可以包括以下步骤:根据多个正态分布函数组成的混合模型来表征各帧图像中的背景部分;通过去除各帧图像中的背景部分来提取各帧图像中的前景部分;通过中值滤波去除前景部分中的噪声,通过比较前景部分中各个像素点的灰度值来去除前景部分中的阴影。
在上述实施例中,可以先对目标跟踪物体进行背景分析,再对目标跟踪物体进行前景分割,最后对目标跟踪物体进行后期处理。
其中,可以通过以下方式对目标跟踪物体进行背景分析:
捕获目标跟踪物体的图像上每一个像素点颜色有K个变化状态每一个状态用一个分布近似表示,即可用K个混合模型指代每个像素点颜色的变化,K值一般取3~5之间,K值越大,处理波动能力越强,同时处理时间也越长。当每个像素点颜色取值用It表示定义当前像素点的概率密度函数为这K个混合模型的概率密度函数的加权和:
其中,ωit为t时刻第i个正态分布的权值,ηi为第i个正态分布的概率密度函数,μix为均值,σit为其方差。
将K个正态分布按ω/σ由大到小排序,然后将当前像素点依次与其对应的K个正态分布进行匹配检验,当前像素点与混合模型匹配时,It应满足的条件:
|Itit-1|≤2.5σit-1(i∈[1,K])
如果It应不满足上式条件则当前像素与K个正态分布均不匹配,对于未匹配的模型,其均值和方差保持不变,可根据当前值构造一个新的正态分布,代替原来ω/σ排序中的最小分布。
对图像的每个像素的R、G、B三个通道都建立了包含K个函数的模型,匹配过程中逐帧更新每个模型的三个参数μ、σ2、ω,且当某点的背景模型中,某一正态分布被匹配的像素点高于一定阈值时,则在接下来帧数达到L(100~150)帧,该点的背景模型不再更新,L帧之后,重新把各正态分布权值ωit设置在相对平等的条件下开始学习,直到又有正态分布的匹配频率大于设定阈值,循环此步骤得到完整的图像。
匹配成功的第i个正态分布Gi的更新方程式:
各正态分布的权值更新方程式:ωit=(1-α)*ωit-1+α*Mit
可以通过以下方式对前景部分进行分割:
与背景相比,前景出现时间短,权重较小,因此在选择代表背景的混合模型时,先将模型按权重由大到小排序,通过式确定代表背景的模型个数。用B表示是排序后的K个正态分布中的前B个在该背景像素中的最佳描述,阈值T最佳取值范围为:0.5≤T≤1;
可以通过以下方式对目标跟踪物体进行后期处理:
在追踪前尽可能排除前景图中的像素干扰因素,这些干扰因素以噪声和阴影为主。可以对前景图先执行去噪声操作,再执行去阴影操作。
去噪声操作可以通过以下方式进行:噪声以孤立点出现,对应的像素点少。采用中值滤波和形态学操作相结合的方法可以去除前景图中的噪声,且保证目标图像外形基本不变。噪声点的灰度值是图像像素点灰度的极值,对含有噪声的图像采用重复中值滤波操作4次的方法,降低图像的噪点;然后进行形态学操作进一步增强图像。先从图像中提取比结构元素小的亮度特征即噪点,然后获取图像灰度结构元素对图像进行开操作和通过对图像亮部区域局部扩展变换对比度等,重复上述操作,直到获得图像的特征不含比结构元素小的亮度特征即噪点。
去阴影操作可以通过以下方式进行:采集到的图像一般除了包括目标和目标所在的背景还有在背景中阴影,图像中的阴影像素色彩和背景的相似但灰度值高,可以根据该属性区分阴影和前景。先将原像素RGB颜色空间转换到另一个(rgb)颜色空间。
计算该图像的像素亮度s=R+G+B,用SF和SB分别表示前景和背景像素的亮度变量。新的色彩空间中每个像素都对应一个向量值<r,g,s〉。阴影点的确定:
其中,(n为像素个数)。Euclid表示欧几里德距离度量,SF,SB分别是前景部分像素的亮度变量和背景部分像素的亮度变量。
上述实施例在算法设计上采用改进的混合模型方法来检测运动目标,具有一定的环境自适应性和较高的效率,在检测阶段具有良好的抗噪声和阴影干扰的能力。
在一个实施例中,的多目标跟踪方法,获取上一帧图像的第一前景部分和当前帧图像的第二前景部分,包括:获取上一帧图像的第一前景部分;根据第一前景部分以及线性系统状态方程预测当前帧图像的第二前景部分。
当目标跟踪物体之间不存在互相遮挡时,基于区域匹配的跟踪方法,由于图像帧与帧间隔时间很短,目标跟踪物体运动状态变化很小,可以假定目标跟踪物体在单位时间间隔内是匀速运动。根据运动目标在当前帧中的质心坐标(xc(t)、yc(t))、宽高(xw(t)、xh(t))和瞬时速度(vx(t)、vy(t))等信息,利用卡尔曼(Kalman)模型预测目标跟踪物体在下一帧中的状态,并在下一帧寻找最佳匹配。目标的状态向量x(t)矩阵和观测向量z(t)矩阵表达式如下所示:
x(t)=[xc(t),yc(t),xw(t),xh(t),vx(t)、vy(t)];
z(t)=[xc(t),yc(t),xw(t),xh(t)];
其中,可以将该识别系统的过程噪声向量和观测噪声向量视为零均值且相互独立的噪声向量,且协方差均为单位矩阵。确定状态向量矩阵和观测向量矩阵后,启动Kalman滤波器跟踪目标,过程如图3所示。可以先将第一帧中的全部目标检测出来,并计算每个目标的状态(质心、长宽等),并以此初始化Kalman模型后,将目标加入目标跟踪链。初始帧中目标的速度赋值为0;在每一帧分割之前,根据前一帧目标的状态信息,利用Kalman模型预测当前帧状态,然后进行每一帧的分割;检测下一帧中的所有目标,并在被跟踪目标M的预测区域附近搜索最佳匹配区域,匹配方法见下式:
Dis(Mean(K+1,M),Mean(K+1,i))<Ts&&Dis(Area(K+1,M),Area(K+1,i))<Ta
其中,Mean(K,i)表示第K帧中预测区域范围内的第i个目标质心坐标,Area(K,i)表示第K帧中预测范围内第i个目标的面积;Dis(Mean(K+1,M),Mean(K+1,i))表示第K帧目标Mean(K+1,M)与Mean(K+1,i)的质心距离;Dis(Area(K+1,M),Area(K+1,i))表示Area(K+1,i)相对于Area(K+1,M)面积的变化率;若找到匹配目标,则更新Kalman滤波器,图像序列结束。如果没有找到匹配目标,且目标位置预测值到达监控区域边界,则认为目标离开监控范围,将该目标从监控链表中删除;若目标位置预测值仍在监控范围内,则认为发生目标分裂或遮挡情况,则对各个目标进行分割,并将分割结果作为该目标的新状态更新到目标链中,处理的结果作为目标新状态更新到目标链中;若当前帧中如果仍有目标找不到匹配,则认为是新目标,将其加入目标跟踪链,并初始化状态矩阵和观测矩阵;并回到根据前一帧目标的状态信息,利用Kalman模型预测当前帧状态然后进行每一帧的分割的步骤。
上述实施例,通过比较上一帧图像的第一前景部分和当前帧图像的第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡;若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。可以对目标遮挡导致的前景粘连区域进行准确分割,有较强处理目标粘连的能力,实现稳定跟踪。
在一个实施例中,的多目标跟踪方法,比较第一前景部分和第二前景部分,包括:分别对第一前景部分中的各个目标跟踪物体绘制第一最小外接矩形框,分别对第二前景部分中的各个目标跟踪物体绘制第二最小外接矩形框;将第一最小外接矩形框覆盖的区域与第二最小外接矩形框覆盖的区域进行比较。
在目标跟踪物体之间出现遮挡时,粘连的前景区域无法与前一帧的目标匹配,这是导致跟踪失败的原因。采用Kalman预测模型和基于最大化后验概率匹配相结合的方法来定位运动目标。
遮挡情况的判断方法可以为:在前一帧中查找与当前帧对应的外接矩形框覆盖了几个区域,多余一个,则认为发生了遮挡情况。
如果当前帧中查找与前一帧对应的目标外接矩形框覆盖了几个目标区域,多余一个则是发生图像分裂情况,此时,只要从跟踪链表中删除分裂前目标,将分裂后的各个区域初始化后作为新目标加入跟踪列表,再启动跟踪。
上述实施例,通过比较上一帧图像的第一前景部分和当前帧图像的第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡;若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。可以对目标遮挡导致的前景粘连区域进行准确分割,有较强处理目标粘连的能力,实现稳定跟踪。
在一个实施例中,在判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡之后,可以执行以下步骤:若出现遮挡,则通过比较第二前景部分中完全可见的第二最小外接矩形框与被遮挡的第二最小外接矩形框的大小和位置关系来识别各个第二最小外接矩形框之间的遮挡关系。
依据主动遮挡目标(完全可见)外接矩形的底边纵坐标小于被动遮挡目标(部分可见或不可见)矩形底边纵坐标的值对遮挡关系分类,主要分为对角交叉、十字交叉、垂直遮挡、水平遮挡和完全覆盖。如图4所示,其中,图4(a)为一个实施例中遮挡关系为一类对角交叉的示意图;图4(b)为一个实施例中遮挡关系为二类对角交叉的示意图;图4(c)为一个实施例中遮挡关系为一类垂直遮挡的示意图;图4(d)为一个实施例中遮挡关系为二类垂直遮挡的示意图;图4(e)为一个实施例中遮挡关系为一类水平遮挡的示意图;图4(f)为一个实施例中遮挡关系为二类水平遮挡的示意图;图4(g)为一个实施例中遮挡关系为水平交叉的示意图;图4(h)为一个实施例中遮挡关系为完全覆盖的示意图。可以通过以下步骤认定遮挡关系:假设第K帧为进行正确跟踪的最后一帧,K+1为发生了目标粘连的帧。L表示第K+1帧中的粘连区域外接矩形,A和B表示第K帧中与L对应的两个目标区域外接矩形。目标矩形A在K+1帧的状态向量预测值Sa={Xa,Ya,Wa,Ha},目标矩形B在K+1帧的状态向量预测值Sb={Xb,Yb,Wb,Hb}粘连区域矩形L的状态向量sl={Xl,Yl,Wl,Hl}。根据A,B,L在K+1帧中的状态,粘连关系确定方法:
(1)若L的宽度Wl和高度Hl与A(或B)的Wa(Wb)和Ha(Hb)均不匹配,则认为发生了对角交叉;
(2)若L的高度Hl与A或B中某个目标的高度Hx(x=a或b)匹配,而宽度Wl与B或A的宽度Wx(x=b或a)匹配,则认为发生了十字交叉;
(3)若L的宽度Wl与Wa或Wb匹配,但高度Hl无匹配,则认为发生了宽度覆盖;
(4)若L的高度Hl与Ha或Hb匹配,但宽度Wl无匹配,则认为发生了高度覆盖;
(5)若L的宽度Wl和高度Hl与A(或B)的Wa(Wb)和Ha(Hb)均匹配,则认为发生了完全覆盖。
上述实施例,通过比较上一帧图像的第一前景部分和当前帧图像的第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡;若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。可以对目标遮挡导致的前景粘连区域进行准确分割,有较强处理目标粘连的能力,实现稳定跟踪。
在一个实施例中若各个目标跟踪物体之间出现遮挡,则可以通过以下步骤对各个目标跟踪物体进行分割:若各个目标跟踪物体之间出现遮挡,则通过图像相似性指标函数对完全可见的第二最小外接矩形框进行定位;在第二前景区域中去除已定位的完全可见的第二最小外接矩形框,再根据第二前景区域中的剩余区域以及遮挡关系来定位被遮挡的的第二最小外接矩形框;根据完全可见的第二最小外接矩形框以及被遮挡的第二最小外接矩形框的定位,对各个目标跟踪物体进行分割。
粘连区域可以分为主动遮挡目标(完全可见)和被动遮挡目标(部分可见或不可见)。
主动遮挡目标定位最佳匹配区域的算法分析可以为:采用图像相似匹配概率的方法进行分割,可用相似性指标函数关系式表示:
其中,p-为待匹配区域的特征向量;q-为模板特征向量;表示在搜索区域中特征u出现在某待匹配区域中的后验统计概率;表示特征u在模板中所占比重;表示特征u对于该待匹配区“中选”目标区的“支持程度”,因此对主动遮挡目标的定位即最大化该相似性指标函数。
如图5所示,被动遮挡目标定位最佳匹配区域的算法分析可以为:通过从前景图粘连区域中除去主动遮挡目标外接矩形区域内的像素,获得前景图中粘连区域剩余像素,并通过分析确定遮挡关系类型;当遮挡关系为对角交叉时,以粘连区域矩形中主动遮挡目标所在位置相对的顶点为恢复顶点,以被动遮挡目标的预测尺寸为分割窗,确定被动遮挡目标位置;当遮挡关系为水平遮挡和垂直遮挡时,以被动遮挡目标尺寸预测值为分割窗,沿着粘连区域矩形中主动遮挡区域所在位置相对的边移动,包含像素最多的窗口位置即为被动遮挡目标位置;当遮挡关系为十字交叉时,以被动遮挡目标尺寸预测值为分割窗沿着粘连区域矩形左侧或右侧边定位被动遮挡目标;当遮挡关系为完全遮挡时,直接使用被动遮挡目标的状态预测值作为其当前帧的状态。
上述实施例,通过比较上一帧图像的第一前景部分和当前帧图像的第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡;若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。可以对目标遮挡导致的前景粘连区域进行准确分割,有较强处理目标粘连的能力,实现稳定跟踪。
在一个实施例中,提供一种车辆跟踪方法,包括:获取监测车辆的视频帧图像,并根据所述的多目标跟踪方法对监测的各个车辆进行跟踪,其中所述图像为监控车辆的视频帧图像,所述目标跟踪物体为车辆。
如图6所示,整个车辆追踪识别过程分为2个阶段。第1个阶段是目标车辆检测阶段,在该阶段要先进行背景估计,某个时刻只要图像的像素点与所有混合模型中的一个匹配就可以认为该像素点为背景,否则认为该像素点为前景点即运动物体。然后进行前景分割确定混合模型的个数。最后进行后期处理,噪声和阴影是车辆识别追踪的主要影响因数,所以在开始跟踪前,需要从前景图中尽可能滤除这些干扰像素;第2个阶段是目标跟踪阶段,在这个阶段分无遮挡和有遮挡2种情景进行分析。
上述实施例在算法设计上采用改进的混合模型方法来检测运动目标,具有一定的环境自适应性和较高的效率,在检测阶段具有良好的抗噪声和阴影干扰的能力;用Kalman滤波器的预测模型和最大后验概率目标匹配相结合的方法的能够稳定地跟踪各个目标得到连续的目标运动轨迹图像,对目标遮挡导致的前景粘连区域进行准确分割,有较强处理目标粘连的能力,实现稳定跟踪。
应该理解的是,虽然图2、图3和图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图3和图6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种多目标跟踪装置,包括:
获取模块702,用于获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
判断模块704,用于通过比较第一前景部分和第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
跟踪模块706,用于若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
关于多目标跟踪装置的具体限定可以参见上文中对于多目标跟踪方法的限定,在此不再赘述。上述多目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本发明实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多目标跟踪数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多目标跟踪方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
通过比较第一前景部分和第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
通过比较第一前景部分和第二前景部分,判断当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
若各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多目标跟踪方法,其特征在于,包括:
获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
通过比较所述第一前景部分和所述第二前景部分,判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
2.根据权利要求1所述的多目标跟踪方法,其特征在于,所述获取上一帧图像的第一前景部分和当前帧图像的第二前景部分之前,还包括:
根据多个正态分布函数组成的混合模型来表征各帧图像中的背景部分;
通过去除各帧图像中的背景部分来提取各帧图像中的前景部分;
通过中值滤波去除所述前景部分中的噪声,通过比较前景部分中各个像素点的灰度值来去除所述前景部分中的阴影。
3.根据权利要求1或2所述的多目标跟踪方法,其特征在于,所述获取上一帧图像的第一前景部分和当前帧图像的第二前景部分,包括:
获取上一帧图像的第一前景部分;
根据所述第一前景部分以及线性系统状态方程预测当前帧图像的第二前景部分。
4.根据权利要求1或2所述的多目标跟踪方法,其特征在于,所述比较所述第一前景部分和所述第二前景部分,包括:
分别对第一前景部分中的各个目标跟踪物体绘制第一最小外接矩形框,分别对第二前景部分中的各个目标跟踪物体绘制第二最小外接矩形框;
将所述第一最小外接矩形框覆盖的区域与所述第二最小外接矩形框覆盖的区域进行比较。
5.根据权利要求4所述的多目标跟踪方法,其特征在于,所述判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡之后,包括:
若出现遮挡,则通过比较第二前景部分中完全可见的第二最小外接矩形框与被遮挡的第二最小外接矩形框的大小和位置关系来识别各个第二最小外接矩形框之间的遮挡关系。
6.根据权利要求5所述的多目标跟踪方法,其特征在于,所述若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,包括:
若所述各个目标跟踪物体之间出现遮挡,则通过图像相似性指标函数对所述完全可见的第二最小外接矩形框进行定位;
在所述第二前景区域中去除已定位的所述完全可见的第二最小外接矩形框,再根据所述第二前景区域中的剩余区域以及所述遮挡关系来定位被遮挡的的第二最小外接矩形框;
根据所述完全可见的第二最小外接矩形框以及被遮挡的第二最小外接矩形框的定位,对各个目标跟踪物体进行分割。
7.一种多目标跟踪装置,其特征在于,包括:
获取模块,用于获取上一帧图像的第一前景部分和当前帧图像的第二前景部分;
判断模块,用于通过比较所述第一前景部分和所述第二前景部分,判断所述当前帧图像中的各个目标跟踪物体之间是否出现遮挡;
跟踪模块,用于若所述各个目标跟踪物体之间出现遮挡,则通过将各个目标跟踪物体对应的区域与模板进行匹配对各个目标跟踪物体进行分割,并对分割后的各个目标跟踪物体进行跟踪。
8.一种车辆跟踪方法,其特征在于,包括:获取监测车辆的视频帧图像,并根据权利要求1至6中任一项所述的多目标跟踪方法对监测的各个车辆进行跟踪,其中所述图像为监控车辆的视频帧图像,所述目标跟踪物体为车辆。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的多目标跟踪方法或权利要求8所述的车辆跟踪方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的多目标跟踪方法或权利要求8所述的车辆跟踪方法的步骤。
CN201810662234.0A 2018-06-25 2018-06-25 多目标跟踪方法、装置、计算机设备和存储介质 Active CN109035295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810662234.0A CN109035295B (zh) 2018-06-25 2018-06-25 多目标跟踪方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810662234.0A CN109035295B (zh) 2018-06-25 2018-06-25 多目标跟踪方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109035295A true CN109035295A (zh) 2018-12-18
CN109035295B CN109035295B (zh) 2021-01-12

Family

ID=64610556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810662234.0A Active CN109035295B (zh) 2018-06-25 2018-06-25 多目标跟踪方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109035295B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429487A (zh) * 2020-03-18 2020-07-17 北京华捷艾米科技有限公司 一种深度图像的黏连前景分割方法及装置
WO2020215552A1 (zh) * 2019-04-26 2020-10-29 平安科技(深圳)有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN111968181A (zh) * 2020-08-21 2020-11-20 中科微至智能制造科技江苏股份有限公司 一种基于图像处理的包裹位置实时检测方法及系统
CN112085025A (zh) * 2019-06-14 2020-12-15 阿里巴巴集团控股有限公司 物体分割方法、装置、设备
CN112597854A (zh) * 2020-12-15 2021-04-02 重庆电子工程职业学院 无配合式人脸识别系统及方法
CN113343856A (zh) * 2021-06-09 2021-09-03 北京容联易通信息技术有限公司 一种图像识别的方法及系统
CN116129432A (zh) * 2023-04-12 2023-05-16 成都睿瞳科技有限责任公司 基于图像识别的多目标跟踪标注方法、系统和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN101916448A (zh) * 2010-08-09 2010-12-15 云南清眸科技有限公司 一种基于贝叶斯框架及lbp的运动目标检测方法
CN102117479A (zh) * 2009-12-30 2011-07-06 中国人民解放军国防科学技术大学 面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法
CN102646279A (zh) * 2012-02-29 2012-08-22 北京航空航天大学 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法
US20120249802A1 (en) * 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Distributed target tracking using self localizing smart camera networks
CN103679742A (zh) * 2012-09-06 2014-03-26 株式会社理光 对象跟踪方法和装置
CN103903282A (zh) * 2014-04-08 2014-07-02 陕西科技大学 一种基于LabVIEW的目标跟踪方法
CN105654515A (zh) * 2016-01-11 2016-06-08 上海应用技术学院 基于分片及多特征自适应融合的目标跟踪方法
CN105730336A (zh) * 2014-12-10 2016-07-06 比亚迪股份有限公司 倒车辅助装置及车辆
CN105930833A (zh) * 2016-05-19 2016-09-07 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法
CN107230188A (zh) * 2017-04-19 2017-10-03 湖北工业大学 一种视频运动阴影消除的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN102117479A (zh) * 2009-12-30 2011-07-06 中国人民解放军国防科学技术大学 面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法
CN101916448A (zh) * 2010-08-09 2010-12-15 云南清眸科技有限公司 一种基于贝叶斯框架及lbp的运动目标检测方法
US20120249802A1 (en) * 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Distributed target tracking using self localizing smart camera networks
CN102646279A (zh) * 2012-02-29 2012-08-22 北京航空航天大学 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法
CN103679742A (zh) * 2012-09-06 2014-03-26 株式会社理光 对象跟踪方法和装置
CN103903282A (zh) * 2014-04-08 2014-07-02 陕西科技大学 一种基于LabVIEW的目标跟踪方法
CN105730336A (zh) * 2014-12-10 2016-07-06 比亚迪股份有限公司 倒车辅助装置及车辆
CN105654515A (zh) * 2016-01-11 2016-06-08 上海应用技术学院 基于分片及多特征自适应融合的目标跟踪方法
CN105930833A (zh) * 2016-05-19 2016-09-07 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法
CN107230188A (zh) * 2017-04-19 2017-10-03 湖北工业大学 一种视频运动阴影消除的方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A.K.M.TOHIDUR 等: ""Target detection performance of coherent MIMO radar using space time adaptive processing"", 《ICIEV》 *
周良毅 等: ""基于遮挡变量的多视角目标融合追踪算法"", 《计算机研究与发展》 *
唐徵羽: ""基于低空无人机平台的运动车辆检测跟踪系统"", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
杨超 等: ""基于高斯背景模型的视频车辆跟踪方法"", 《微计算机信息》 *
钱志华: ""多目标跟踪的遮挡问题研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
龚鼎: ""基于全方位视觉系统的运动目标检测、跟踪及三维定位算法研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215552A1 (zh) * 2019-04-26 2020-10-29 平安科技(深圳)有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN112085025A (zh) * 2019-06-14 2020-12-15 阿里巴巴集团控股有限公司 物体分割方法、装置、设备
CN112085025B (zh) * 2019-06-14 2024-01-16 阿里巴巴集团控股有限公司 物体分割方法、装置、设备
CN111429487A (zh) * 2020-03-18 2020-07-17 北京华捷艾米科技有限公司 一种深度图像的黏连前景分割方法及装置
CN111429487B (zh) * 2020-03-18 2023-10-24 北京华捷艾米科技有限公司 一种深度图像的黏连前景分割方法及装置
CN111968181A (zh) * 2020-08-21 2020-11-20 中科微至智能制造科技江苏股份有限公司 一种基于图像处理的包裹位置实时检测方法及系统
CN111968181B (zh) * 2020-08-21 2022-04-15 中科微至智能制造科技江苏股份有限公司 一种基于图像处理的包裹位置实时检测方法及系统
CN112597854A (zh) * 2020-12-15 2021-04-02 重庆电子工程职业学院 无配合式人脸识别系统及方法
CN113343856A (zh) * 2021-06-09 2021-09-03 北京容联易通信息技术有限公司 一种图像识别的方法及系统
CN113343856B (zh) * 2021-06-09 2022-03-29 北京容联易通信息技术有限公司 一种图像识别的方法及系统
CN116129432A (zh) * 2023-04-12 2023-05-16 成都睿瞳科技有限责任公司 基于图像识别的多目标跟踪标注方法、系统和存储介质
CN116129432B (zh) * 2023-04-12 2023-06-16 成都睿瞳科技有限责任公司 基于图像识别的多目标跟踪标注方法、系统和存储介质

Also Published As

Publication number Publication date
CN109035295B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN109035295B (zh) 多目标跟踪方法、装置、计算机设备和存储介质
JP6650657B2 (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
Barcellos et al. A novel video based system for detecting and counting vehicles at user-defined virtual loops
Aeschliman et al. A probabilistic framework for joint segmentation and tracking
Herrero et al. Background subtraction techniques: Systematic evaluation and comparative analysis
Di Lascio et al. A real time algorithm for people tracking using contextual reasoning
CN110008867A (zh) 一种基于人物异常行为的预警方法、装置及存储介质
Varas et al. Region-based particle filter for video object segmentation
JP2014071902A5 (zh)
Shukla et al. Moving object tracking of vehicle detection: a concise review
US12087040B2 (en) Information processing device, information processing method, and program recording medium
Nallasivam et al. Moving human target detection and tracking in video frames
CN108830240A (zh) 疲劳驾驶状态检测方法、装置、计算机设备和存储介质
Tawab et al. Efficient multi-feature PSO for fast gray level object-tracking
Lopes et al. Hierarchical fuzzy logic based approach for object tracking
Zhao et al. APPOS: An adaptive partial occlusion segmentation method for multiple vehicles tracking
JP2002133421A (ja) 移動物体認識方法及び装置
Lu et al. Detecting unattended packages through human activity recognition and object association
Lu et al. Particle filter vehicle tracking based on surf feature matching
CN111768427A (zh) 一种多运动目标跟踪方法、装置及存储介质
CN111986231A (zh) 一种多目标跟踪方法及系统
Xie et al. A multi-object tracking system for surveillance video analysis
Truong et al. Single object tracking using particle filter framework and saliency-based weighted color histogram
Wang et al. Online adaptive multiple pedestrian tracking in monocular surveillance video
Kerdvibulvech Hybrid model of human hand motion for cybernetics application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant