CN106651908A - 一种多运动目标跟踪方法 - Google Patents

一种多运动目标跟踪方法 Download PDF

Info

Publication number
CN106651908A
CN106651908A CN201610894394.9A CN201610894394A CN106651908A CN 106651908 A CN106651908 A CN 106651908A CN 201610894394 A CN201610894394 A CN 201610894394A CN 106651908 A CN106651908 A CN 106651908A
Authority
CN
China
Prior art keywords
frame image
target
current frame
tracking
field picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610894394.9A
Other languages
English (en)
Other versions
CN106651908B (zh
Inventor
段世红
王辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201610894394.9A priority Critical patent/CN106651908B/zh
Publication of CN106651908A publication Critical patent/CN106651908A/zh
Application granted granted Critical
Publication of CN106651908B publication Critical patent/CN106651908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种多运动目标跟踪方法,能够多运动目标跟踪方法的时效性。所述方法包括:获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;预测每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;对所述一跟踪目标与所述待匹配目标进行特征匹配跟踪。本发明适用于运动目标检测跟踪技术领域。

Description

一种多运动目标跟踪方法
技术领域
本发明涉及运动目标检测跟踪技术领域,特别是指一种多运动目标跟踪方法。
背景技术
随着计算机技术、通信技术、图像处理等技术的不断发展,计算机视觉的研究重点已逐渐从对静态图像的研究过渡到对动态图像序列的研究上来,即研究对运动目标的视觉分析。在现实生活中,大量有意义的视觉信息都包含在运动当中,基于视觉的运动目标检测与跟踪问题是计算机视觉领域中的—个重要研究课题。
传统的基于单个特征的运动目标跟踪算法在简单的环境下跟踪效果较好,在复杂环境中很难对运动目标中的某一目标进行正确的跟踪。但在实际应用中,大多数环境都是复杂场景,运动目标跟踪过程中容易受到其他运动物体或是背景的干扰。因此,现有技术中,大多数使用多特征进行运动目标跟踪,然而多特征运动目标跟踪算法的运算量大,会导致多特征运动目标跟踪算法的时效性差。
发明内容
本发明要解决的技术问题是提供一种多运动目标跟踪方法,以解决现有技术所存在的多特征运动目标跟踪算法时效性差的问题。
为解决上述技术问题,本发明实施例提供一种多运动目标跟踪方法,包括:
S1,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;
S2,预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;
S3,对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;
S4,对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。
进一步地,所述获取当前帧图像中的运动目标包括:
获取当前帧图像、上一帧图像及下一帧图像,其中,所述上一帧图像为所述当前帧图像的上一帧图像,所述下一帧图像为所述当前帧图像的下一帧图像;
根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标。
进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为灰度化图像,则计算上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为彩色帧图像,则对获取的所述当前帧图像、上一帧图像及下一帧图像分别进行灰度化处理;
计算灰度化处理后的上一帧图像和当前帧图像的差分图像、灰度化处理后的当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标之后还包括:
对确定的当前帧图像中的每个运动目标轮廓内部的空洞进行填充;
获取填充后的所有前景区域的面积,将获取到的所述所有前景区域的面积与预设的开操作阈值进行比较;
若小于预设的开操作阈值,则判定所述所有前景区域是噪点,并去除所述噪点。
进一步地,所述对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪包括:
分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的颜色特征及几何特征;
将获取的所述当前帧图像中的一跟踪目标的颜色特征以及几何特征组成第一联合特征,将获取的所述待匹配目标的颜色特征以及几何特征组成第二联合特征,对所述第一联合特征和所述第二联合特征进行相似度匹配;
判断所述第一联合特征和所述第二联合特征的匹配相似度值是否大于预设的相似度阈值;
若大于预设的相似度阈值,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板。
进一步地,所述方法还包括:
若不大于预设的相似度阈值,则分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的Harris角点特征,将所述当前帧图像中的一跟踪目标和所述待匹配目标进行Harris角点特征匹配;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数不为零,则继续通过Harris角点特征进行匹配跟踪,若最终匹配的Harris角点数不为零,则匹配成功,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数为零,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标不是同一目标,所述当前帧图像中的一跟踪目标继续与下一帧图像中与所述当前帧图像中的一跟踪目标距离次之的运动目标进行匹配。
进一步地,所述方法还包括:
若所述当前帧图像中的一跟踪目标与下一帧图像中所有的运动目标都匹配失败,则判断所述当前帧图像中的一跟踪目标在下一帧图像中驶出了监控区域,清空所述当前帧图像中的一跟踪目标对应的目标模板。
进一步地,所述方法还包括:
对当前帧图像中没有进行特征匹配跟踪的跟踪目标执行S3、S4的操作,直到当前帧图像中的所有跟踪目标都进行特征匹配跟踪。
进一步地,所述方法还包括:
若下一帧图像中包含有不能与当前帧图像中跟踪目标匹配的运动目标,则判断所述不能与当前帧图像中跟踪目标匹配的运动目标是新驶入监控区域的运动目标,针对新驶入的所述运动目标建立相应的目标模板。
本发明的上述技术方案的有益效果如下:
上述方案中,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。这样,基于最邻近原则(距离最近原则)来确定所述当前帧图像中的跟踪目标与下一帧图像中的运动目标的匹配优先度,距离越近的越优先匹配,能够大大提高多运动目标跟踪方法的时效性,从而解决现有的多特征运动目标跟踪算法时效性差的问题;同时,采用基于最邻近原则的匹配策略还能减小颜色相近的运动目标带来的干扰,并且还能为运动目标的交汇产生的跟踪目标的遮挡判断提供依据。
附图说明
图1为本发明实施例提供的多运动目标跟踪方法的流程示意图;
图2为本发明实施例提供的最邻近原则决策目标间匹配优先度的流程示意图;
图3为本发明实施例提供的多运动目标跟踪方法的具体流程示意图;
图4为本发明实施例提供的混合特征匹配流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有的多特征运动目标跟踪算法时效性差的问题,提供一种多运动目标跟踪方法。
参看图1所示,本发明实施例提供的多运动目标跟踪方法,包括:
S1,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;
S2,预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;
S3,对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;
S4,对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。
本发明实施例所述的多运动目标跟踪方法,,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。这样,基于最邻近原则(距离最近原则)来确定所述当前帧图像中的跟踪目标与下一帧图像中的运动目标的匹配优先度,距离越近的越优先匹配,能够大大提高多运动目标跟踪方法的时效性,从而解决现有的多特征运动目标跟踪算法时效性差的问题;同时,采用基于最邻近原则的匹配策略还能减小颜色相近的运动目标带来的干扰,并且还能为运动目标的交汇产生的跟踪目标的遮挡判断提供依据。
本实施例中,先获取当前帧图像中的运动目标,获取的所述当前帧图像中的每个运动目标都可以是跟踪目标,Kalman滤波器可以根据当前帧图像中每个跟踪目标的运动信息(例如,速度,当前帧与所述当前帧的上一帧图像之间的时间间隔,其中,时间间隔是固定且是已知的),预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,其中,所述下一帧图像为所述当前帧图像的下一帧图像,如图2所示。
本实施例中,以当前帧图像中的一个跟踪目标为例,可以先确定该跟踪目标的质心坐标,接着通过Kalman滤波器根据该跟踪目标的运动信息预测该跟踪目标的质心坐标在下一帧图像中的坐标,并确定预测的该跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离。
本实施例中,接着,根据确定的该跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,可以对距离值从小到大或从大到小进行排列,依据距离值的大小决策该跟踪目标首先与下一帧图像中的哪个运动目标优先进行匹配,如图2所示,本实施例中,基于最邻近原则(距离最近原则),确定下一帧图像中与该跟踪目标距离最近的运动目标作为待匹配目标进行特征匹配跟踪,也就是说,距离越近的越优先进行特征匹配跟踪,这样,能够大大提高多运动目标跟踪方法的时效性,同时,采用基于最邻近原则的匹配策略还能减小颜色相近的运动目标带来的干扰,并且还能为运动目标的交汇产生的跟踪目标的遮挡判断提供依据。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述获取当前帧图像中的运动目标包括:
获取当前帧图像、上一帧图像及下一帧图像,其中,所述上一帧图像为所述当前帧图像的上一帧图像,所述下一帧图像为所述当前帧图像的下一帧图像;
根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标。
本实施例中,也可以通过三帧差法确定下一帧图像中的运动目标。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为灰度化图像,则计算上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
本实施例中,假设,f(k-1)、f(k)、f(k+1)分别是上一帧灰度化图像、当前帧灰度化图像以及下一帧灰度化图像,计算f(k)和f(k-1)差分图像Dk以及f(k)和f(k+1)的差分图像Dk+1,然后将Dk和Dk+1进行与运算,从而得到最终的差分图像D,根据得到的所述最终的差分图像D,确定当前帧图像中的运动目标。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为彩色帧图像,则对获取的所述当前帧图像、上一帧图像及下一帧图像分别进行灰度化处理;
计算灰度化处理后的上一帧图像和当前帧图像的差分图像、灰度化处理后的当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
如图3所示,本实施例中,若获取的上一帧图像、当前帧图像及下一帧图像为彩色帧图像,在通过三帧差法确定当前帧图像中的运动目标之前,还需对获取的上一帧图像、当前帧图像及下一帧图像分别进行预处理,例如,灰度化处理;接着,对灰度化处理后的上一帧图像、当前帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标之后还包括:
对确定的当前帧图像中的每个运动目标轮廓内部的空洞进行填充;
获取填充后的所有前景区域的面积,将获取到的所述所有前景区域的面积与预设的开操作阈值进行比较;
若小于预设的开操作阈值,则判定所述所有前景区域是噪点,并去除所述噪点。
本实施例中,由于获取到的当前帧图像中的每个运动目标的轮廓内部存在大量的空洞,因此,需对获取到的当前帧图像中的每个运动目标轮廓内部的空洞进行循环填充,循环填充后,得到当前帧图像中每个运动目标完整的轮廓。
本实施例中,在进行空洞填充后,会把一些离散的噪点填充满,如果不把这些噪点去除的话,会影响目标跟踪算法的时效性。为了解决这一问题,可以将所有的前景区域的面积与预设的开操作阈值进行比较,具体地,获取经过循环填充后的图像的所有前景区域的面积,并与预设的开操作阈值进行比较,若小于预设的开操作阈值,则认为所述所有前景区域是噪点,并去除所述噪点。
本实施例中,在去除噪点后,可以提取当前帧图像中的每个运动目标的颜色特征、几何特征以及Harris角点特征。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪包括:
分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的颜色特征及几何特征;
将获取的所述当前帧图像中的一跟踪目标的颜色特征以及几何特征组成第一联合特征,将获取的所述待匹配目标的颜色特征以及几何特征组成第二联合特征,对所述第一联合特征和所述第二联合特征进行相似度匹配;
判断所述第一联合特征和所述第二联合特征的匹配相似度值是否大于预设的相似度阈值;
若大于预设的相似度阈值,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板。
如图4所示,本实施例中,若所述第一联合特征和所述第二联合特征的匹配相似度值是大于预设的相似度阈值,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标匹配成功,所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标;利用匹配成功的所述待匹配目标的颜色特征、几何特征及Harris角点特征更新所述当前帧图像中的一跟踪目标对应的目标模板,结合当前跟踪目标的运动信息,Kalman滤波器可以预测该跟踪目标的质心坐标在下一帧图像中可能出现的位置,即:该跟踪目标的质心坐标在下一帧图像中的坐标。
本实施例中,所述颜色特征和几何特征是全局特征,不受噪声干扰,从而能够提高运动目标跟踪的精确性。
本实施例中,若所述第一联合特征和所述第二联合特征的匹配相似度值是不大于预设的相似度阈值,则认为所述当前帧图像中的一跟踪目标和所述待匹配目标可能发生遮挡,所述颜色特征和几何特征失效,需分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的Harris角点特征,将所述当前帧图像中的一跟踪目标和所述待匹配目标进行Harris角点特征匹配。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述方法还包括:
若不大于预设的相似度阈值,则分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的Harris角点特征,将所述当前帧图像中的一跟踪目标和所述待匹配目标进行Harris角点特征匹配;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数不为零,则继续通过Harris角点特征进行匹配跟踪,若最终匹配的Harris角点数不为零,则匹配成功,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数为零,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标不是同一目标,所述当前帧图像中的一跟踪目标继续与下一帧图像中与所述当前帧图像中的一跟踪目标距离次之的运动目标进行匹配。
本实施例中,所述Harris角点特征匹配包括:利用归一化相关算法的粗匹配和利用随机抽样一致性算法的精确匹配,如果所述当前帧图像中的一跟踪目标和所述待匹配目标最终匹配的Harris角点数不为零,则认为跟踪目标发生了遮挡,但依然可以继续通过Harris角点特征进行匹配跟踪,若最终匹配的Harris角点数不为零,则匹配成功,判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标的颜色特征、几何特征及Harris角点特征更新所述当前帧图像中的一跟踪目标对应的目标模板,结合当前跟踪目标的运动信息,Kalman滤波器可以预测该跟踪目标的质心坐标在下一帧图像中可能出现的位置,即:该跟踪目标的质心坐标在下一帧图像中的坐标。
本实施例中,如果所述当前帧图像中的一跟踪目标和所述待匹配目标最终匹配的角点数为零,则认为所述当前帧图像中的一跟踪目标和所述待匹配目标特征匹配不成功,不是同一目标,所述当前帧图像中的一跟踪目标继续与下一帧图像中与所述当前帧图像中的一跟踪目标距离次之的运动目标进行匹配。
本实施例中,利用颜色特征、几何特征及Harris角点特征组成的混合特征进行目标间的特征匹配,能够适应跟踪目标在跟踪过程中可能出现的变化,使目标模板在前景和背景发生变化时都能拥有持续的跟踪能力,从而能够提高跟踪方法的鲁棒性和稳定性,同时还能提高运动目标跟踪的精确性。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述方法还包括:
若所述当前帧图像中的一跟踪目标与下一帧图像中所有的运动目标都匹配失败,则判断所述当前帧图像中的一跟踪目标在下一帧图像中驶出了监控区域,清空所述当前帧图像中的一跟踪目标对应的目标模板。
本实施例中,如果所述当前帧图像中的一跟踪目标与下一帧图像中所有的运动目标都匹配失败,那么认为该跟踪目标在下一帧图像中驶出了监控区域,需清空该跟踪目标对应的目标模板。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述方法还包括:
对当前帧图像中没有进行特征匹配跟踪的跟踪目标执行S3、S4的操作,直到当前帧图像中的所有跟踪目标都进行特征匹配跟踪。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述方法还包括:
若下一帧图像中包含有不能与当前帧图像中跟踪目标匹配的运动目标,则判断所述不能与当前帧图像中跟踪目标匹配的运动目标是新驶入监控区域的运动目标,针对新驶入的所述运动目标建立相应的目标模板。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种多运动目标跟踪方法,其特征在于,包括:
S1,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;
S2,预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;
S3,对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;
S4,对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。
2.根据权利要求1所述的多运动目标跟踪方法,其特征在于,所述获取当前帧图像中的运动目标包括:
获取当前帧图像、上一帧图像及下一帧图像,其中,所述上一帧图像为所述当前帧图像的上一帧图像,所述下一帧图像为所述当前帧图像的下一帧图像;
根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标。
3.根据权利要求2所述的多运动目标跟踪方法,其特征在于,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为灰度化图像,则计算上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
4.根据权利要求2所述的多运动目标跟踪方法,其特征在于,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为彩色帧图像,则对获取的所述当前帧图像、上一帧图像及下一帧图像分别进行灰度化处理;
计算灰度化处理后的上一帧图像和当前帧图像的差分图像、灰度化处理后的当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
5.根据权利要求2所述的多运动目标跟踪方法,其特征在于,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标之后还包括:
对确定的当前帧图像中的每个运动目标轮廓内部的空洞进行填充;
获取填充后的所有前景区域的面积,将获取到的所述所有前景区域的面积与预设的开操作阈值进行比较;
若小于预设的开操作阈值,则判定所述所有前景区域是噪点,并去除所述噪点。
6.根据权利要求1所述的多运动目标跟踪方法,其特征在于,所述对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪包括:
分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的颜色特征及几何特征;
将获取的所述当前帧图像中的一跟踪目标的颜色特征以及几何特征组成第一联合特征,将获取的所述待匹配目标的颜色特征以及几何特征组成第二联合特征,对所述第一联合特征和所述第二联合特征进行相似度匹配;
判断所述第一联合特征和所述第二联合特征的匹配相似度值是否大于预设的相似度阈值;
若大于预设的相似度阈值,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板。
7.根据权利要求6所述的多运动目标跟踪方法,其特征在于,所述方法还包括:
若不大于预设的相似度阈值,则分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的Harris角点特征,将所述当前帧图像中的一跟踪目标和所述待匹配目标进行Harris角点特征匹配;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数不为零,则继续通过Harris角点特征进行匹配跟踪,若最终匹配的Harris角点数不为零,则匹配成功,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数为零,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标不是同一目标,所述当前帧图像中的一跟踪目标继续与下一帧图像中与所述当前帧图像中的一跟踪目标距离次之的运动目标进行匹配。
8.根据权利要求7所述的多运动目标跟踪方法,其特征在于,所述方法还包括:
若所述当前帧图像中的一跟踪目标与下一帧图像中所有的运动目标都匹配失败,则判断所述当前帧图像中的一跟踪目标在下一帧图像中驶出了监控区域,清空所述当前帧图像中的一跟踪目标对应的目标模板。
9.根据权利要求1所述的多运动目标跟踪方法,其特征在于,所述方法还包括:
对当前帧图像中没有进行特征匹配跟踪的跟踪目标执行S3、S4的操作,直到当前帧图像中的所有跟踪目标都进行特征匹配跟踪。
10.根据权利要求1所述的多运动目标跟踪方法,其特征在于,所述方法还包括:
若下一帧图像中包含有不能与当前帧图像中跟踪目标匹配的运动目标,则判断所述不能与当前帧图像中跟踪目标匹配的运动目标是新驶入监控区域的运动目标,针对新驶入的所述运动目标建立相应的目标模板。
CN201610894394.9A 2016-10-13 2016-10-13 一种多运动目标跟踪方法 Active CN106651908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610894394.9A CN106651908B (zh) 2016-10-13 2016-10-13 一种多运动目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610894394.9A CN106651908B (zh) 2016-10-13 2016-10-13 一种多运动目标跟踪方法

Publications (2)

Publication Number Publication Date
CN106651908A true CN106651908A (zh) 2017-05-10
CN106651908B CN106651908B (zh) 2020-03-31

Family

ID=58855992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610894394.9A Active CN106651908B (zh) 2016-10-13 2016-10-13 一种多运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN106651908B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222660A (zh) * 2017-05-12 2017-09-29 河南工业大学 一种分布式网络视觉监控系统
CN108875465A (zh) * 2017-05-26 2018-11-23 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN108985162A (zh) * 2018-06-11 2018-12-11 平安科技(深圳)有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN109658434A (zh) * 2018-12-26 2019-04-19 成都纵横自动化技术股份有限公司 一种目标跟踪的方法及装置
CN109712171A (zh) * 2018-12-28 2019-05-03 上海极链网络科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN112562358A (zh) * 2020-11-27 2021-03-26 石家庄铁道大学 基于视频数据的交通量检测方法、装置及终端设备
CN112614154A (zh) * 2020-12-08 2021-04-06 深圳市优必选科技股份有限公司 目标跟踪轨迹的获取方法、装置及计算机设备
CN112686921A (zh) * 2021-01-08 2021-04-20 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法
WO2021217450A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 目标跟踪方法、设备及存储介质
CN113723311A (zh) * 2021-08-31 2021-11-30 浙江大华技术股份有限公司 目标跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527040A (zh) * 2008-03-05 2009-09-09 深圳华为通信技术有限公司 图像处理方法及系统
CN102298781A (zh) * 2011-08-16 2011-12-28 长沙中意电子科技有限公司 基于颜色和梯度特征的运动阴影检测方法
CN103903282A (zh) * 2014-04-08 2014-07-02 陕西科技大学 一种基于LabVIEW的目标跟踪方法
CN105844634A (zh) * 2016-03-18 2016-08-10 阜阳师范学院 一种多运动目标视频监控系统及其追踪监测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527040A (zh) * 2008-03-05 2009-09-09 深圳华为通信技术有限公司 图像处理方法及系统
CN102298781A (zh) * 2011-08-16 2011-12-28 长沙中意电子科技有限公司 基于颜色和梯度特征的运动阴影检测方法
CN103903282A (zh) * 2014-04-08 2014-07-02 陕西科技大学 一种基于LabVIEW的目标跟踪方法
CN105844634A (zh) * 2016-03-18 2016-08-10 阜阳师范学院 一种多运动目标视频监控系统及其追踪监测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘闯: "基于角点采样的多目标跟踪方法", 《中国图象图形学报》 *
李静: "室内智能视频监控系统中运动目标检测与跟踪算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
田纲: "基于多特征融合的Meanshift目标跟踪技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
许婉君: "基于颜色和空间信息的多特征融合目标跟踪算法", 《应用光学》 *
赵佳: "视频图像序列中运动目标检测与跟踪方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222660A (zh) * 2017-05-12 2017-09-29 河南工业大学 一种分布式网络视觉监控系统
CN108875465B (zh) * 2017-05-26 2020-12-11 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN108875465A (zh) * 2017-05-26 2018-11-23 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN108985162A (zh) * 2018-06-11 2018-12-11 平安科技(深圳)有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN108985162B (zh) * 2018-06-11 2023-04-18 平安科技(深圳)有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN109658434A (zh) * 2018-12-26 2019-04-19 成都纵横自动化技术股份有限公司 一种目标跟踪的方法及装置
CN109712171A (zh) * 2018-12-28 2019-05-03 上海极链网络科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN109712171B (zh) * 2018-12-28 2023-09-01 厦门瑞利特信息科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
WO2021217450A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 目标跟踪方法、设备及存储介质
CN112562358A (zh) * 2020-11-27 2021-03-26 石家庄铁道大学 基于视频数据的交通量检测方法、装置及终端设备
CN112614154A (zh) * 2020-12-08 2021-04-06 深圳市优必选科技股份有限公司 目标跟踪轨迹的获取方法、装置及计算机设备
CN112614154B (zh) * 2020-12-08 2024-01-19 深圳市优必选科技股份有限公司 目标跟踪轨迹的获取方法、装置及计算机设备
CN112686921A (zh) * 2021-01-08 2021-04-20 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法
CN112686921B (zh) * 2021-01-08 2023-12-01 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法
CN113723311A (zh) * 2021-08-31 2021-11-30 浙江大华技术股份有限公司 目标跟踪方法

Also Published As

Publication number Publication date
CN106651908B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN106651908A (zh) 一种多运动目标跟踪方法
CN109829436B (zh) 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN108010067B (zh) 一种基于组合判断策略的视觉目标跟踪方法
CN103226708B (zh) 一种基于Kinect的多模型融合视频人手分割方法
CN103971386B (zh) 一种动态背景场景下的前景检测方法
CN104598915B (zh) 一种手势识别方法与装置
CN106875425A (zh) 一种基于深度学习的多目标追踪系统及实现方法
CN107563313A (zh) 基于深度学习的多目标行人检测与跟踪方法
CN104050488B (zh) 一种基于切换的卡尔曼滤波模型的手势识别方法
CN110009665A (zh) 一种遮挡环境下的目标检测跟踪方法
CN107563286A (zh) 一种基于Kinect深度信息的动态手势识别方法
CN110276229A (zh) 目标物体区域中心定位方法和装置
CN104091349A (zh) 基于支持向量机的鲁棒目标跟踪方法
CN105046721B (zh) 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法
CN102509074A (zh) 一种目标识别方法和设备
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN103632126A (zh) 人脸跟踪方法及装置
CN108446586A (zh) 一种列车驾驶员特定动作检测方法
CN105631899A (zh) 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN108615241A (zh) 一种基于光流的快速人体姿态估计方法
CN106651782A (zh) 一种面向ViBe的前景鬼影消除方法
Zhang Detection and tracking of human motion targets in video images based on camshift algorithms
Sheng et al. Robust visual tracking via an improved background aware correlation filter
CN109658441A (zh) 基于深度信息的前景检测方法及装置
Duan et al. An approach to dynamic hand gesture modeling and real-time extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant