CN106327526A

CN106327526A - 图像目标跟踪方法与系统

Info

Publication number: CN106327526A
Application number: CN201610702053.7A
Authority: CN
Inventors: 肖晶晶
Original assignee: Hunan Zhi New Technology Development Co Ltd
Current assignee: Hangzhou Baoxin Technology Co., Ltd.
Priority date: 2016-08-22
Filing date: 2016-08-22
Publication date: 2017-01-11
Anticipated expiration: 2036-08-22
Also published as: US20180053318A1; CN106327526B; US10115209B2

Abstract

本发明提供一种图像目标跟踪方法与系统，确定目标与伪装干扰在图像中的相对位置，根据所述目标与伪装干扰在图像中的相对位置，生成预测轨迹，将观测样本位置与所述预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。整个过程中，基于确定的目标与伪装干扰相对位置生成预测轨迹，进行轨迹关联，判断目标是否被遮挡并准确跟踪目标。

Description

图像目标跟踪方法与系统

技术领域

本发明涉及图像处理技术领域，特别是涉及图像目标跟踪方法与系统。

背景技术

随着视频摄像头的在城市安防领域的应用，基于图像信息的目标跟踪算法吸引了工业界及学术界的研究热情。在过去的三十年，图像跟踪算法取得了长足的发展，但是依然有很多开放性的问题并未得到完善的解决方案，例如，目标的大变形，观察视角的改变，光线的变化，嘈杂的背景，干扰及遮挡等问题。

传统的目标跟踪方案对仅仅基于目标对象完成算法的建模，其中主要含有三个部分：1)目标特征模型的提取；2)多特征融合的模型匹配算法；3)算法的实时更新方案。

基于传统的目标跟踪方案，一个跟踪器能够应对的一些传统的问题，例如目标的大变形，光线变化及快速运动，但是当环境存在伪装的时候，很有可能由于图像目标被遮挡，而无法很好跟踪图像目标。例如在人群中，当跟踪的对象(行人)被遮挡的情况下，传统图像目标跟踪方案容易错误的跟踪到其他的行人中。

发明内容

基于此，有必要针对传统图像目标跟踪方案无法实现准确跟踪的问题，提供一种能够准确跟踪目标的图像目标跟踪方法与系统。

一种图像目标跟踪方法，包括步骤：

确定目标与伪装干扰在图像中的相对位置；

根据所述目标与伪装干扰在图像中的相对位置，生成预测轨迹；

将观测样本位置与所述预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。

一种图像目标跟踪系统，包括：

位置确定模块，用于确定目标与伪装干扰在图像中的相对位置；

预测轨迹生成模块，用于根据所述目标与伪装干扰在图像中的相对位置，生成预测轨迹；

跟踪模块，用于将观测样本位置与所述预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。

本发明图像目标跟踪方法与系统，确定目标与伪装干扰在图像中的相对位置，根据所述目标与伪装干扰在图像中的相对位置，生成预测轨迹，将观测样本位置与所述预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。整个过程中，基于确定的目标与伪装干扰相对位置生成预测轨迹，进行轨迹关联，判断目标是否被遮挡并准确跟踪目标。

附图说明

图1为本发明图像目标跟踪方法第一个实施例的流程示意图；

图2为本发明图像目标跟踪方法第二个实施例的流程示意图；

图3为本发明图像目标跟踪系统第一个实施例的结构示意图；

图4为本发明图像目标跟踪系统第二个实施例的结构示意图。

具体实施方式

如图1所示，一种图像目标跟踪方法，包括步骤：

S200：确定目标与伪装干扰在图像中的相对位置。

目标与伪装干扰在图像中的相对位置可以采用多种方式确定，具体来说，可以借助已有成熟图像识别与定位技术以及历史经验数据来确定，另外还可以采用数据实时处理方式来确定。下面将详细介绍一种基于实时获取的图像数据来确定目标与伪装干扰在图像中的相对位置的具体实施例。

在其中一个实施例，步骤S200包括：

步骤一：获取目标初始位置，根据目标初始位置进行稀疏采样。

抽取含有目标的图像，从中获取目标初始位置。在不同应用场景下目标初始位置获取方式不相同，具体来说，可以分为两种情况，一种是存在前一帧图像；第二种是不存在前一帧图像。针对存在前一帧图像的情况可以直接获取目标在前一帧图像中的位置来获取目标初始位置；针对不存在前一帧图像的情况可以获取目标预设位置来获取目标初始位置。下面以实例来进行说明，假定当前时间点之前已经采集有连续含有目标的图像，当前时间点为开始采集的第10帧，则可以从第9帧采集的含有目标的图像中获取目标初始位置；假定当前时间点之前没有采集连续含有目标的图像，即当前时间点为开始采集的第1帧，则获取目标预设位置来获取目标初始位置。更进一步来说，预设初始位置可以随机设定或者根据实际应用场景以及历史经验数据进行设定。基于目标初始位置，对目标初始位置周围进行稀疏采样，获得多个采样点，非必要的，可以对目标初始位置周围进行均匀稀疏采样，以获得更加整齐的多个采样点，采用均匀稀疏采样有利于减小后期数据处理量。

步骤二：将采样点分为前景样本和背景样本。

将步骤一获得的采样点分为前景样本和背景样本，其中，前景样本中可能含有目标，同时也可能还有伪装干扰。采用点区分过程包括：首先，提取稀疏采样每个样本中的颜色特征。在步骤一进行稀疏采样之后，会获得多个样本，提取每个样本中的颜色特征，具体来说，是提取每个样本的颜色特征直方图；再获取颜色强度的梯度直方图特征，将提取的颜色特征与颜色强度的梯度直方图特征匹配，获得匹配结果。颜色强度的梯度直方图特征是通过对已有的图像目标特征进行分体所提取的特征，其梯度模型为方向梯度直方图(HOG)。非必要的，可以利用巴氏距离计算法，将样本中提取的颜色特征与模型中的颜色特征进行匹配，每个样本将得到一个匹配值；最后，据匹配结果以及采样点空间位置信息，利用高斯聚类算法将采样点分为前景样本和背景样本。聚类算法是研究(样品或指标)分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类分析是由若干模式组成的，通常模式是一个度量的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。在这里，根据颜色匹配结果以及各个采样点空间位置信息，采用高斯聚类算法将采样点分为前景样本和背景样本。

步骤三：根据前景样本的空间分布，聚类相邻的前景样本，获得包含多个簇的聚类结果。

在将采样点分为前景样本和背景样本之后，遍历所有前景样本，根据前景样本的空间分布，将相邻的前景样本再次进行聚类，获得包含多个簇的聚类结果。非必要的，可以主要考虑前景样本在空间分布重叠的区域，对该重叠的区域进行再次聚类，获得包含多个簇的聚类结果。具体来说，聚类过程包括：首先，根据前景样本的空间分布，获取前景样本的重叠区域。再区分出前景样本和背景样本后，遍历所有的前景样本，分析前景样本的空间分布，查找到前景样本的重叠区域；最后，根据前景样本的重叠区域将前景样本进行聚类，获得包含多个簇的聚类结果。前景样本中具有重叠区域的样本再次进行空间聚类，根据空间分布将前景样本分为多个不同的簇。

步骤四：根据聚类结果进行稳健估计，确定目标与伪装干扰在图像中的相对位置。具体来说，整个确定过程可以包括：首先，根据聚类结果进行簇内密集采样，并在密集采样中提取梯度特征；再将提取的梯度特征与预设梯度模型匹配，获得匹配值；再获取梯度匹配均值点对应位置以及梯度匹配值最高点对应位置；最后，根据梯度匹配均值点对应位置以及梯度匹配值最高点对应位置进行稳健估计，确定目标与伪装干扰在图像中的相对位置。

更进一步来说，上述根据梯度匹配均值点对应位置以及梯度匹配值最高点对应位置进行稳健估计，确定目标与伪装干扰在图像中的相对位置的步骤可以包括：

1)根据梯度匹配均值点对应位置以及梯度匹配最高点对应位置，对每个簇内的密集样本进行迭代聚类和潜在目标区域估计。

2)当每个梯度匹配均值点对应位置与梯度匹配最高点对应位置偏差均小于预设值时，停止迭代，查找具有区域重叠的目标。

3)确定目标与伪装干扰在图像中的相对位置。

根据匹配值的大小，获得均值点对应的位置，通过对比匹配值最高点的位置，对每个簇内的密集样本完成迭代聚类并完成潜在目标区域的估计，直到均值点对应的位置和最高点对应的位置足够靠近，则迭代停止，利用目标及伪装干扰之间的相对位置，完成目标位置的预测。上述足够靠近在实际操作中具体为每个梯度匹配均值点对应位置与梯度匹配最高点对应位置偏差均小于预设值，更具体来说，预设值为50％，即当均值点对应的位置与最高点对应的位置之间偏差小于50％时，停止迭代，查找具有区域重叠的目标。

S400：根据目标与伪装干扰在图像中的相对位置，生成预测轨迹。

具体来说，预测轨迹可以分别包括目标预测轨迹和伪装干扰预测轨迹。

S600：将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。

基于步骤S400的生成预测轨迹，将实时获得的观测样本位置与预测轨迹进行关联，获得关联结果，在根据关联结果判断目标是否被遮挡，并最终准确跟踪目标。具体来说，利用目标及伪装干扰之间的相对位置，完成目标位置的预测，然后将观测样本位置与预测轨迹进行关联，如果没有找到合适的关联对象(目标)，则判定目标被遮挡，如果找到合适的关联对象(目标)，则追踪目标。

本发明图像目标跟踪方法，确定目标与伪装干扰在图像中的相对位置，根据目标与伪装干扰在图像中的相对位置，生成预测轨迹，将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。整个过程中，基于确定的目标与伪装干扰相对位置生成预测轨迹，进行轨迹关联，判断目标是否被遮挡并准确跟踪目标。

如图2所示，在其中一个实施例中，步骤S600包括：

S620：实时获取观测样本位置，将观测样本位置与预测轨迹关联。

对整个含伪装干扰的图像观测，实时获取观测样本位置，将观测样本位置与预测轨迹关联。在实际操作中，观测样本位置可能有很多，为更好判断目标是否被遮挡并跟踪目标，可以对观测样本位置进行筛选。

S640：若观测样本位置与目标的关联系数大于与伪装干扰的关联系数，则判定目标未被遮挡，确认跟踪目标，否则，判定目标被遮挡。

如果观测样本与目标的关联系数大于与伪装干扰的关联系数，则判定目标未被遮挡，确认跟踪目标。否则现有观测样本被全部认定为伪装干扰，判定目标被伪装干扰遮挡。

在其中一个实施例中，将观测样本位置与预测轨迹关联的步骤包括：

步骤一：通过贝叶斯概率算法，分别将观测样本位置与目标轨迹以及伪装干扰轨迹匹配。

步骤二：计算观测样本位置对应的观测权重值，其中，当观测样本位置与目标轨迹越相似时，观测权重值越高，当观测样本位置与伪装干扰轨迹越相似时，观测权重值越低。

步骤三：选取观测权重值最高的观测样本位置与预测轨迹关联。

采用上述方式可以选择最相似的观测样本位置与预测的轨迹进行关联，最终能够更加准确跟踪目标。

在其中一个实施例中，根据目标与伪装干扰在图像中的相对位置，生成预测轨迹的步骤包括：

根据目标与伪装干扰在图像中的相对位置以及历史信息，生成预测轨迹，历史信息包括目标的历史图像位置、伪装干扰的历史图像位置、伪装目标的历史个数以及目标与伪装干扰在历史图像中相对位置。

在本实施例中，综合考虑目标与伪装干扰在图像中的相对位置以及历史信息，能够更加准确获得预测轨迹，从而最终实现更加准确跟踪目标。

如图2所示，在其中一个实施例中，步骤S200之后还包括：

S300：记录目标与伪装干扰在图像中的相对位置。

记录目标与伪装干扰在图像中的相对位置，一方面，能有效防止数据由于意外而丢失，另一方面，有利于后期对图像中目标与伪装干扰相对位置情况进行进一步研究。

如图3所示，一种图像目标跟踪系统，包括：

位置确定模块200，用于确定目标与伪装干扰在图像中的相对位置。

预测轨迹生成模块400，用于根据目标与伪装干扰在图像中的相对位置，生成预测轨迹。

跟踪模块600，用于将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。

本发明图像目标跟踪系统，位置确定模块200确定目标与伪装干扰在图像中的相对位置，预测轨迹生成模块400根据目标与伪装干扰在图像中的相对位置，生成预测轨迹，跟踪模块600将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。整个过程中，基于确定的目标与伪装干扰相对位置生成预测轨迹，进行轨迹关联，判断目标是否被遮挡并准确跟踪目标。

如图4所示，在其中一个实施例中，跟踪模块600包括：

关联单元620，用于实时获取观测样本位置，将观测样本位置与预测轨迹关联。

跟踪单元640，用于若观测样本位置与目标的关联系数大于与伪装干扰的关联系数，则判定目标未被遮挡，确认跟踪目标，否则，判定目标被遮挡。

在其中一个实施例中，预测轨迹包括目标轨迹和伪装干扰轨迹，跟踪模块600包括：

匹配单元，用于通过贝叶斯概率算法，分别将观测样本位置与目标轨迹以及伪装干扰轨迹匹配。

观测权重计算单元，用于计算观测样本位置对应的观测权重值，其中，当观测样本位置与目标轨迹越相似时，观测权重值越高，当观测样本位置与伪装干扰轨迹越相似时，观测权重值越低。

关联执行单元，用于选取观测权重值最高的观测样本位置与预测轨迹关联。

在其中一个实施例中，预测轨迹生成模块400根据目标与伪装干扰在图像中的相对位置以及历史信息，生成预测轨迹，历史信息包括目标的历史图像位置、伪装干扰的历史图像位置、伪装目标的历史个数以及目标与伪装干扰在历史图像中相对位置。

如图4所示，在其中一个实施例中，图像目标跟踪系统还包括：

记录模块300，用于记录目标与伪装干扰在图像中的相对位置。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种图像目标跟踪方法，其特征在于，包括步骤：

确定目标与伪装干扰在图像中的相对位置；

2.根据权利要求1所述的图像目标跟踪方法，其特征在于，所述将观测样本位置与所述预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标的步骤包括：

实时获取观测样本位置，将所述观测样本位置与所述预测轨迹关联；

若所述观测样本位置与目标的关联系数大于与伪装干扰的关联系数，则判定目标未被遮挡，确认跟踪目标，否则，判定目标被遮挡。

3.根据权利要求1所述的图像目标跟踪方法，其特征在于，所述预测轨迹包括目标轨迹和伪装干扰轨迹；

所述将观测样本位置与所述预测轨迹关联的步骤包括：

通过贝叶斯概率算法，分别将所述观测样本位置与目标轨迹以及伪装干扰轨迹匹配；

计算所述观测样本位置对应的观测权重值，其中，当所述观测样本位置与所述目标轨迹越相似时，所述观测权重值越高，当所述观测样本位置与所述伪装干扰轨迹越相似时，所述观测权重值越低；

选取观测权重值最高的观测样本位置与所述预测轨迹关联。

4.根据权利要求1所述的图像目标跟踪方法，其特征在于，所述根据所述目标与伪装干扰在图像中的相对位置，生成预测轨迹的步骤包括：

根据所述目标与伪装干扰在图像中的相对位置以及历史信息，生成预测轨迹，所述历史信息包括目标的历史图像位置、伪装干扰的历史图像位置、伪装目标的历史个数以及目标与伪装干扰在历史图像中相对位置。

5.根据权利要求1所述的图像目标跟踪方法，其特征在于，所述确定目标与伪装干扰在图像中的相对位置的步骤之后还包括：

记录目标与伪装干扰在图像中的相对位置。

6.一种图像目标跟踪系统，其特征在于，包括：

7.根据权利要求6所述的图像目标跟踪系统，其特征在于，所述跟踪模块包括：

关联单元，用于实时获取观测样本位置，将所述观测样本位置与所述预测轨迹关联；

跟踪单元，用于若所述观测样本位置与目标的关联系数大于与伪装干扰的关联系数，则判定目标未被遮挡，确认跟踪目标，否则，判定目标被遮挡。

8.根据权利要求6所述的图像目标跟踪系统，其特征在于，所述预测轨迹包括目标轨迹和伪装干扰轨迹，所述跟踪模块包括：

匹配单元，用于通过贝叶斯概率算法，分别将所述观测样本位置与目标轨迹以及伪装干扰轨迹匹配；

观测权重计算单元，用于计算所述观测样本位置对应的观测权重值，其中，当所述观测样本位置与所述目标轨迹越相似时，所述观测权重值越高，当所述观测样本位置与所述伪装干扰轨迹越相似时，所述观测权重值越低；

关联执行单元，用于选取观测权重值最高的观测样本位置与所述预测轨迹关联。

9.根据权利要求6所述的图像目标跟踪系统，其特征在于，所述预测轨迹生成模块根据所述目标与伪装干扰在图像中的相对位置以及历史信息，生成预测轨迹，所述历史信息包括目标的历史图像位置、伪装干扰的历史图像位置、伪装目标的历史个数以及目标与伪装干扰在历史图像中相对位置。

10.根据权利要求6所述的图像目标跟踪系统，其特征在于，还包括：

记录模块，用于记录目标与伪装干扰在图像中的相对位置。