CN106651908B - 一种多运动目标跟踪方法 - Google Patents
一种多运动目标跟踪方法 Download PDFInfo
- Publication number
- CN106651908B CN106651908B CN201610894394.9A CN201610894394A CN106651908B CN 106651908 B CN106651908 B CN 106651908B CN 201610894394 A CN201610894394 A CN 201610894394A CN 106651908 B CN106651908 B CN 106651908B
- Authority
- CN
- China
- Prior art keywords
- frame image
- target
- current frame
- tracking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种多运动目标跟踪方法,能够多运动目标跟踪方法的时效性。所述方法包括:获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;预测每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;对所述一跟踪目标与所述待匹配目标进行特征匹配跟踪。本发明适用于运动目标检测跟踪技术领域。
Description
技术领域
本发明涉及运动目标检测跟踪技术领域,特别是指一种多运动目标跟踪方法。
背景技术
随着计算机技术、通信技术、图像处理等技术的不断发展,计算机视觉的研究重点已逐渐从对静态图像的研究过渡到对动态图像序列的研究上来,即研究对运动目标的视觉分析。在现实生活中,大量有意义的视觉信息都包含在运动当中,基于视觉的运动目标检测与跟踪问题是计算机视觉领域中的—个重要研究课题。
传统的基于单个特征的运动目标跟踪算法在简单的环境下跟踪效果较好,在复杂环境中很难对运动目标中的某一目标进行正确的跟踪。但在实际应用中,大多数环境都是复杂场景,运动目标跟踪过程中容易受到其他运动物体或是背景的干扰。因此,现有技术中,大多数使用多特征进行运动目标跟踪,然而多特征运动目标跟踪算法的运算量大,会导致多特征运动目标跟踪算法的时效性差。
发明内容
本发明要解决的技术问题是提供一种多运动目标跟踪方法,以解决现有技术所存在的多特征运动目标跟踪算法时效性差的问题。
为解决上述技术问题,本发明实施例提供一种多运动目标跟踪方法,包括:
S1,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;
S2,预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;
S3,对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;
S4,对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。
进一步地,所述获取当前帧图像中的运动目标包括:
获取当前帧图像、上一帧图像及下一帧图像,其中,所述上一帧图像为所述当前帧图像的上一帧图像,所述下一帧图像为所述当前帧图像的下一帧图像;
根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标。
进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为灰度化图像,则计算上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为彩色帧图像,则对获取的所述当前帧图像、上一帧图像及下一帧图像分别进行灰度化处理;
计算灰度化处理后的上一帧图像和当前帧图像的差分图像、灰度化处理后的当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标之后还包括:
对确定的当前帧图像中的每个运动目标轮廓内部的空洞进行填充;
获取填充后的所有前景区域的面积,将获取到的所述所有前景区域的面积与预设的开操作阈值进行比较;
若小于预设的开操作阈值,则判定所述所有前景区域是噪点,并去除所述噪点。
进一步地,所述对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪包括:
分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的颜色特征及几何特征;
将获取的所述当前帧图像中的一跟踪目标的颜色特征以及几何特征组成第一联合特征,将获取的所述待匹配目标的颜色特征以及几何特征组成第二联合特征,对所述第一联合特征和所述第二联合特征进行相似度匹配;
判断所述第一联合特征和所述第二联合特征的匹配相似度值是否大于预设的相似度阈值;
若大于预设的相似度阈值,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板。
进一步地,所述方法还包括:
若不大于预设的相似度阈值,则分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的Harris角点特征,将所述当前帧图像中的一跟踪目标和所述待匹配目标进行Harris角点特征匹配;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数不为零,则继续通过Harris角点特征进行匹配跟踪,若最终匹配的Harris角点数不为零,则匹配成功,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数为零,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标不是同一目标,所述当前帧图像中的一跟踪目标继续与下一帧图像中与所述当前帧图像中的一跟踪目标距离次之的运动目标进行匹配。
进一步地,所述方法还包括:
若所述当前帧图像中的一跟踪目标与下一帧图像中所有的运动目标都匹配失败,则判断所述当前帧图像中的一跟踪目标在下一帧图像中驶出了监控区域,清空所述当前帧图像中的一跟踪目标对应的目标模板。
进一步地,所述方法还包括:
对当前帧图像中没有进行特征匹配跟踪的跟踪目标执行S3、S4的操作,直到当前帧图像中的所有跟踪目标都进行特征匹配跟踪。
进一步地,所述方法还包括:
若下一帧图像中包含有不能与当前帧图像中跟踪目标匹配的运动目标,则判断所述不能与当前帧图像中跟踪目标匹配的运动目标是新驶入监控区域的运动目标,针对新驶入的所述运动目标建立相应的目标模板。
本发明的上述技术方案的有益效果如下:
上述方案中,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。这样,基于最邻近原则(距离最近原则)来确定所述当前帧图像中的跟踪目标与下一帧图像中的运动目标的匹配优先度,距离越近的越优先匹配,能够大大提高多运动目标跟踪方法的时效性,从而解决现有的多特征运动目标跟踪算法时效性差的问题;同时,采用基于最邻近原则的匹配策略还能减小颜色相近的运动目标带来的干扰,并且还能为运动目标的交汇产生的跟踪目标的遮挡判断提供依据。
附图说明
图1为本发明实施例提供的多运动目标跟踪方法的流程示意图;
图2为本发明实施例提供的最邻近原则决策目标间匹配优先度的流程示意图;
图3为本发明实施例提供的多运动目标跟踪方法的具体流程示意图;
图4为本发明实施例提供的混合特征匹配流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有的多特征运动目标跟踪算法时效性差的问题,提供一种多运动目标跟踪方法。
参看图1所示,本发明实施例提供的多运动目标跟踪方法,包括:
S1,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;
S2,预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;
S3,对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;
S4,对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。
本发明实施例所述的多运动目标跟踪方法,,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪。这样,基于最邻近原则(距离最近原则)来确定所述当前帧图像中的跟踪目标与下一帧图像中的运动目标的匹配优先度,距离越近的越优先匹配,能够大大提高多运动目标跟踪方法的时效性,从而解决现有的多特征运动目标跟踪算法时效性差的问题;同时,采用基于最邻近原则的匹配策略还能减小颜色相近的运动目标带来的干扰,并且还能为运动目标的交汇产生的跟踪目标的遮挡判断提供依据。
本实施例中,先获取当前帧图像中的运动目标,获取的所述当前帧图像中的每个运动目标都可以是跟踪目标,Kalman滤波器可以根据当前帧图像中每个跟踪目标的运动信息(例如,速度,当前帧与所述当前帧的上一帧图像之间的时间间隔,其中,时间间隔是固定且是已知的),预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,其中,所述下一帧图像为所述当前帧图像的下一帧图像,如图2所示。
本实施例中,以当前帧图像中的一个跟踪目标为例,可以先确定该跟踪目标的质心坐标,接着通过Kalman滤波器根据该跟踪目标的运动信息预测该跟踪目标的质心坐标在下一帧图像中的坐标,并确定预测的该跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离。
本实施例中,接着,根据确定的该跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,可以对距离值从小到大或从大到小进行排列,依据距离值的大小决策该跟踪目标首先与下一帧图像中的哪个运动目标优先进行匹配,如图2所示,本实施例中,基于最邻近原则(距离最近原则),确定下一帧图像中与该跟踪目标距离最近的运动目标作为待匹配目标进行特征匹配跟踪,也就是说,距离越近的越优先进行特征匹配跟踪,这样,能够大大提高多运动目标跟踪方法的时效性,同时,采用基于最邻近原则的匹配策略还能减小颜色相近的运动目标带来的干扰,并且还能为运动目标的交汇产生的跟踪目标的遮挡判断提供依据。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述获取当前帧图像中的运动目标包括:
获取当前帧图像、上一帧图像及下一帧图像,其中,所述上一帧图像为所述当前帧图像的上一帧图像,所述下一帧图像为所述当前帧图像的下一帧图像;
根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标。
本实施例中,也可以通过三帧差法确定下一帧图像中的运动目标。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为灰度化图像,则计算上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
本实施例中,假设,f(k-1)、f(k)、f(k+1)分别是上一帧灰度化图像、当前帧灰度化图像以及下一帧灰度化图像,计算f(k)和f(k-1)差分图像Dk以及f(k)和f(k+1)的差分图像Dk+1,然后将Dk和Dk+1进行与运算,从而得到最终的差分图像D,根据得到的所述最终的差分图像D,确定当前帧图像中的运动目标。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为彩色帧图像,则对获取的所述当前帧图像、上一帧图像及下一帧图像分别进行灰度化处理;
计算灰度化处理后的上一帧图像和当前帧图像的差分图像、灰度化处理后的当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
如图3所示,本实施例中,若获取的上一帧图像、当前帧图像及下一帧图像为彩色帧图像,在通过三帧差法确定当前帧图像中的运动目标之前,还需对获取的上一帧图像、当前帧图像及下一帧图像分别进行预处理,例如,灰度化处理;接着,对灰度化处理后的上一帧图像、当前帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标之后还包括:
对确定的当前帧图像中的每个运动目标轮廓内部的空洞进行填充;
获取填充后的所有前景区域的面积,将获取到的所述所有前景区域的面积与预设的开操作阈值进行比较;
若小于预设的开操作阈值,则判定所述所有前景区域是噪点,并去除所述噪点。
本实施例中,由于获取到的当前帧图像中的每个运动目标的轮廓内部存在大量的空洞,因此,需对获取到的当前帧图像中的每个运动目标轮廓内部的空洞进行循环填充,循环填充后,得到当前帧图像中每个运动目标完整的轮廓。
本实施例中,在进行空洞填充后,会把一些离散的噪点填充满,如果不把这些噪点去除的话,会影响目标跟踪算法的时效性。为了解决这一问题,可以将所有的前景区域的面积与预设的开操作阈值进行比较,具体地,获取经过循环填充后的图像的所有前景区域的面积,并与预设的开操作阈值进行比较,若小于预设的开操作阈值,则认为所述所有前景区域是噪点,并去除所述噪点。
本实施例中,在去除噪点后,可以提取当前帧图像中的每个运动目标的颜色特征、几何特征以及Harris角点特征。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪包括:
分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的颜色特征及几何特征;
将获取的所述当前帧图像中的一跟踪目标的颜色特征以及几何特征组成第一联合特征,将获取的所述待匹配目标的颜色特征以及几何特征组成第二联合特征,对所述第一联合特征和所述第二联合特征进行相似度匹配;
判断所述第一联合特征和所述第二联合特征的匹配相似度值是否大于预设的相似度阈值;
若大于预设的相似度阈值,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板。
如图4所示,本实施例中,若所述第一联合特征和所述第二联合特征的匹配相似度值是大于预设的相似度阈值,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标匹配成功,所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标;利用匹配成功的所述待匹配目标的颜色特征、几何特征及Harris角点特征更新所述当前帧图像中的一跟踪目标对应的目标模板,结合当前跟踪目标的运动信息,Kalman滤波器可以预测该跟踪目标的质心坐标在下一帧图像中可能出现的位置,即:该跟踪目标的质心坐标在下一帧图像中的坐标。
本实施例中,所述颜色特征和几何特征是全局特征,不受噪声干扰,从而能够提高运动目标跟踪的精确性。
本实施例中,若所述第一联合特征和所述第二联合特征的匹配相似度值是不大于预设的相似度阈值,则认为所述当前帧图像中的一跟踪目标和所述待匹配目标可能发生遮挡,所述颜色特征和几何特征失效,需分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的Harris角点特征,将所述当前帧图像中的一跟踪目标和所述待匹配目标进行Harris角点特征匹配。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述方法还包括:
若不大于预设的相似度阈值,则分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的Harris角点特征,将所述当前帧图像中的一跟踪目标和所述待匹配目标进行Harris角点特征匹配;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数不为零,则继续通过Harris角点特征进行匹配跟踪,若最终匹配的Harris角点数不为零,则匹配成功,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标更新所述当前帧图像中的一跟踪目标对应的目标模板;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数为零,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标不是同一目标,所述当前帧图像中的一跟踪目标继续与下一帧图像中与所述当前帧图像中的一跟踪目标距离次之的运动目标进行匹配。
本实施例中,所述Harris角点特征匹配包括:利用归一化相关算法的粗匹配和利用随机抽样一致性算法的精确匹配,如果所述当前帧图像中的一跟踪目标和所述待匹配目标最终匹配的Harris角点数不为零,则认为跟踪目标发生了遮挡,但依然可以继续通过Harris角点特征进行匹配跟踪,若最终匹配的Harris角点数不为零,则匹配成功,判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标的颜色特征、几何特征及Harris角点特征更新所述当前帧图像中的一跟踪目标对应的目标模板,结合当前跟踪目标的运动信息,Kalman滤波器可以预测该跟踪目标的质心坐标在下一帧图像中可能出现的位置,即:该跟踪目标的质心坐标在下一帧图像中的坐标。
本实施例中,如果所述当前帧图像中的一跟踪目标和所述待匹配目标最终匹配的角点数为零,则认为所述当前帧图像中的一跟踪目标和所述待匹配目标特征匹配不成功,不是同一目标,所述当前帧图像中的一跟踪目标继续与下一帧图像中与所述当前帧图像中的一跟踪目标距离次之的运动目标进行匹配。
本实施例中,利用颜色特征、几何特征及Harris角点特征组成的混合特征进行目标间的特征匹配,能够适应跟踪目标在跟踪过程中可能出现的变化,使目标模板在前景和背景发生变化时都能拥有持续的跟踪能力,从而能够提高跟踪方法的鲁棒性和稳定性,同时还能提高运动目标跟踪的精确性。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述方法还包括:
若所述当前帧图像中的一跟踪目标与下一帧图像中所有的运动目标都匹配失败,则判断所述当前帧图像中的一跟踪目标在下一帧图像中驶出了监控区域,清空所述当前帧图像中的一跟踪目标对应的目标模板。
本实施例中,如果所述当前帧图像中的一跟踪目标与下一帧图像中所有的运动目标都匹配失败,那么认为该跟踪目标在下一帧图像中驶出了监控区域,需清空该跟踪目标对应的目标模板。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述方法还包括:
对当前帧图像中没有进行特征匹配跟踪的跟踪目标执行S3、S4的操作,直到当前帧图像中的所有跟踪目标都进行特征匹配跟踪。
在前述多运动目标跟踪方法的具体实施方式中,进一步地,所述方法还包括:
若下一帧图像中包含有不能与当前帧图像中跟踪目标匹配的运动目标,则判断所述不能与当前帧图像中跟踪目标匹配的运动目标是新驶入监控区域的运动目标,针对新驶入的所述运动目标建立相应的目标模板。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种多运动目标跟踪方法,其特征在于,包括:
S1,获取当前帧图像中的运动目标,获取到的所述当前帧图像中的运动目标为跟踪目标;
S2,预测每个跟踪目标的质心坐标在下一帧图像中的坐标,根据预测得到的每个跟踪目标的质心坐标在下一帧图像中的坐标,确定预测的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离;
S3,对当前帧图像中的一跟踪目标,根据确定的每个跟踪目标的质心坐标在下一帧图像中的坐标与下一帧图像中每个运动目标的质心坐标之间的距离,对距离值从小到大或从大到小进行排列,基于最邻近原则,确定下一帧图像中与所述当前帧图像中的一跟踪目标距离最近的运动目标作为待匹配目标;
S4,对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪;
其中,所述对所述当前帧图像中的一跟踪目标与所述待匹配目标进行特征匹配跟踪包括:
分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的颜色特征及几何特征;
将获取的所述当前帧图像中的一跟踪目标的颜色特征以及几何特征组成第一联合特征,将获取的所述待匹配目标的颜色特征以及几何特征组成第二联合特征,对所述第一联合特征和所述第二联合特征进行相似度匹配;
判断所述第一联合特征和所述第二联合特征的匹配相似度值是否大于预设的相似度阈值;
若大于预设的相似度阈值,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标的颜色特征、几何特征及Harris角点特征更新所述当前帧图像中的一跟踪目标对应的目标模板;
若不大于预设的相似度阈值,则分别获取所述当前帧图像中的一跟踪目标、所述待匹配目标的Harris角点特征,将所述当前帧图像中的一跟踪目标和所述待匹配目标进行Harris角点特征匹配,其中,所述Harris角点特征匹配包括:利用归一化相关算法的粗匹配和利用随机抽样一致性算法的精确匹配;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数不为零,则继续通过Harris角点特征进行匹配跟踪,若最终匹配的Harris角点数不为零,则匹配成功,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标为同一目标,利用所述待匹配目标的颜色特征、几何特征及Harris角点特征更新所述当前帧图像中的一跟踪目标对应的目标模板;
若所述当前帧图像中的一跟踪目标和所述待匹配目标匹配的Harris角点数为零,则判定所述当前帧图像中的一跟踪目标和所述待匹配目标不是同一目标,所述当前帧图像中的一跟踪目标继续与下一帧图像中与所述当前帧图像中的一跟踪目标距离次之的运动目标进行匹配。
2.根据权利要求1所述的多运动目标跟踪方法,其特征在于,所述获取当前帧图像中的运动目标包括:
获取当前帧图像、上一帧图像及下一帧图像,其中,所述上一帧图像为所述当前帧图像的上一帧图像,所述下一帧图像为所述当前帧图像的下一帧图像;
根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标。
3.根据权利要求2所述的多运动目标跟踪方法,其特征在于,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为灰度化图像,则计算上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
4.根据权利要求2所述的多运动目标跟踪方法,其特征在于,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标包括:
若获取的当前帧图像、上一帧图像及下一帧图像为彩色帧图像,则对获取的所述当前帧图像、上一帧图像及下一帧图像分别进行灰度化处理;
计算灰度化处理后的上一帧图像和当前帧图像的差分图像、灰度化处理后的当前帧图像和下一帧图像的差分图像;
将计算得到的上一帧图像和当前帧图像的差分图像、当前帧图像和下一帧图像的差分图像进行与运算,得到最终的差分图像;
根据得到的所述最终的差分图像,确定当前帧图像中的运动目标。
5.根据权利要求2所述的多运动目标跟踪方法,其特征在于,所述根据获取的当前帧图像、上一帧图像及下一帧图像,通过三帧差法确定当前帧图像中的运动目标之后还包括:
对确定的当前帧图像中的每个运动目标轮廓内部的空洞进行填充;
获取填充后的所有前景区域的面积,将获取到的所述所有前景区域的面积与预设的开操作阈值进行比较;
若小于预设的开操作阈值,则判定所述所有前景区域是噪点,并去除所述噪点。
6.根据权利要求1所述的多运动目标跟踪方法,其特征在于,所述方法还包括:
若所述当前帧图像中的一跟踪目标与下一帧图像中所有的运动目标都匹配失败,则判断所述当前帧图像中的一跟踪目标在下一帧图像中驶出了监控区域,清空所述当前帧图像中的一跟踪目标对应的目标模板。
7.根据权利要求1所述的多运动目标跟踪方法,其特征在于,所述方法还包括:
对当前帧图像中没有进行特征匹配跟踪的跟踪目标执行S3、S4的操作,直到当前帧图像中的所有跟踪目标都进行特征匹配跟踪。
8.根据权利要求1所述的多运动目标跟踪方法,其特征在于,所述方法还包括:
若下一帧图像中包含有不能与当前帧图像中跟踪目标匹配的运动目标,则判断所述不能与当前帧图像中跟踪目标匹配的运动目标是新驶入监控区域的运动目标,针对新驶入的所述运动目标建立相应的目标模板。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610894394.9A CN106651908B (zh) | 2016-10-13 | 2016-10-13 | 一种多运动目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610894394.9A CN106651908B (zh) | 2016-10-13 | 2016-10-13 | 一种多运动目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106651908A CN106651908A (zh) | 2017-05-10 |
CN106651908B true CN106651908B (zh) | 2020-03-31 |
Family
ID=58855992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610894394.9A Active CN106651908B (zh) | 2016-10-13 | 2016-10-13 | 一种多运动目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106651908B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107222660B (zh) * | 2017-05-12 | 2020-11-06 | 河南工业大学 | 一种分布式网络视觉监控系统 |
CN108875465B (zh) * | 2017-05-26 | 2020-12-11 | 北京旷视科技有限公司 | 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质 |
CN108985162B (zh) * | 2018-06-11 | 2023-04-18 | 平安科技(深圳)有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
CN109658434B (zh) * | 2018-12-26 | 2023-06-16 | 成都纵横自动化技术股份有限公司 | 一种目标跟踪的方法及装置 |
CN109712171B (zh) * | 2018-12-28 | 2023-09-01 | 厦门瑞利特信息科技有限公司 | 一种基于相关滤波器的目标跟踪系统及目标跟踪方法 |
CN111145214A (zh) * | 2019-12-17 | 2020-05-12 | 深圳云天励飞技术有限公司 | 目标跟踪方法、装置、终端设备及介质 |
CN112955712A (zh) * | 2020-04-28 | 2021-06-11 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、设备及存储介质 |
CN112562358A (zh) * | 2020-11-27 | 2021-03-26 | 石家庄铁道大学 | 基于视频数据的交通量检测方法、装置及终端设备 |
CN112614154B (zh) * | 2020-12-08 | 2024-01-19 | 深圳市优必选科技股份有限公司 | 目标跟踪轨迹的获取方法、装置及计算机设备 |
CN112686921B (zh) * | 2021-01-08 | 2023-12-01 | 西安羚控电子科技有限公司 | 一种基于轨迹特征的多干扰无人机检测跟踪方法 |
CN113723311A (zh) * | 2021-08-31 | 2021-11-30 | 浙江大华技术股份有限公司 | 目标跟踪方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527040A (zh) * | 2008-03-05 | 2009-09-09 | 深圳华为通信技术有限公司 | 图像处理方法及系统 |
CN102298781A (zh) * | 2011-08-16 | 2011-12-28 | 长沙中意电子科技有限公司 | 基于颜色和梯度特征的运动阴影检测方法 |
CN103903282A (zh) * | 2014-04-08 | 2014-07-02 | 陕西科技大学 | 一种基于LabVIEW的目标跟踪方法 |
CN105844634A (zh) * | 2016-03-18 | 2016-08-10 | 阜阳师范学院 | 一种多运动目标视频监控系统及其追踪监测方法 |
-
2016
- 2016-10-13 CN CN201610894394.9A patent/CN106651908B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527040A (zh) * | 2008-03-05 | 2009-09-09 | 深圳华为通信技术有限公司 | 图像处理方法及系统 |
CN102298781A (zh) * | 2011-08-16 | 2011-12-28 | 长沙中意电子科技有限公司 | 基于颜色和梯度特征的运动阴影检测方法 |
CN103903282A (zh) * | 2014-04-08 | 2014-07-02 | 陕西科技大学 | 一种基于LabVIEW的目标跟踪方法 |
CN105844634A (zh) * | 2016-03-18 | 2016-08-10 | 阜阳师范学院 | 一种多运动目标视频监控系统及其追踪监测方法 |
Non-Patent Citations (4)
Title |
---|
基于多特征融合的Meanshift目标跟踪技术研究;田纲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715(第07期);I138-105 * |
基于角点采样的多目标跟踪方法;刘闯;《中国图象图形学报》;20081015;第13卷(第10期);图1 * |
基于颜色和空间信息的多特征融合目标跟踪算法;许婉君;《应用光学》;20150915;第36卷(第5期);第755-761页 * |
视频图像序列中运动目标检测与跟踪方法研究;赵佳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120215(第02期);第2.1.1节、第2.3节、第3章引言、第3.2.1节、第4章引言,第4.2节、第4.3节,图3.12、图4.7、图4.8 * |
Also Published As
Publication number | Publication date |
---|---|
CN106651908A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106651908B (zh) | 一种多运动目标跟踪方法 | |
CN107563313B (zh) | 基于深度学习的多目标行人检测与跟踪方法 | |
US20220383535A1 (en) | Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium | |
CN106934333B (zh) | 一种手势识别方法及系统 | |
CN110097586B (zh) | 一种人脸检测追踪方法及装置 | |
CN110390292B (zh) | 基于动态关联模型的遥感视频车辆目标检测与跟踪方法 | |
CN105913028B (zh) | 一种基于face++平台的人脸跟踪方法及其装置 | |
CN110610150A (zh) | 一种目标运动物体的跟踪方法、装置、计算设备和介质 | |
CN110717934B (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
CN110084830B (zh) | 一种视频运动目标检测与跟踪方法 | |
CN112270745A (zh) | 一种图像生成方法、装置、设备以及存储介质 | |
KR20110021500A (ko) | 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치 | |
CN112164093A (zh) | 一种基于边缘特征和相关滤波的人物自动跟踪方法 | |
Sun et al. | Moving vehicle video detection combining ViBe and inter-frame difference | |
CN114549549A (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
CN111640134B (zh) | 人脸跟踪方法、装置、计算机设备及其存储装置 | |
KR20090093119A (ko) | 움직이는 객체 추적을 위한 다중 정보의 융합 방법 | |
CN114639159A (zh) | 移动行人检测方法、电子设备及机器人 | |
CN112308917A (zh) | 一种基于视觉的移动机器人定位方法 | |
CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
CN112233161A (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 | |
CN115880332A (zh) | 一种低空飞行器视角的目标跟踪方法 | |
Xie et al. | Hierarchical quadtree feature optical flow tracking based sparse pose-graph visual-inertial SLAM | |
Zhu et al. | Moving vehicle detection and tracking algorithm in traffic video | |
CN115526906A (zh) | 一种无人机目标跟踪方法、系统、无人机云台及无人机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |