CN111684491A - 目标跟踪方法、目标跟踪装置和无人机 - Google Patents

Abstract

本公开提出一种目标跟踪方法，包括：基于第一图像帧中的目标，在第二图像帧中确定多个待定目标；通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标；根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标；通过预设跟踪模型在至少一个所述备选目标中确定实际目标。根据本公开的实施例，可以缩短确定实际目标的时间，加快跟踪速度，提高跟踪的准确性。

Description

目标跟踪方法、目标跟踪装置和无人机

技术领域

本发明涉及图像技术领域，尤其涉及目标跟踪方法、目标跟踪装置和无人机。

背景技术

在相关技术中，主要采用高斯函数估计目标的运动状态，以实现对目标的跟踪，其中主要针对目标前一帧图像进行高斯采样，产生目标在当前帧大量的可能的位置。

而由于高斯函数一般是随机产生的，并不能保证准确地估计各种各样的运动方式下目标的实际位置，所以需要产生大量的可能的位置，以便可能的位置大概率将目标的实际位置包含进来。

但是，产生可能的位置过多，后续从可能的位置中确定目标的实际位置，计算量也随之增大，会降低确定目标实际位置的效率。而且，产生可能的位置过多，还会大概率将目标附近的与目标相似的物体的运动状态包含进来，容易在后续判断过程中将目标附近的与目标相似的物体确定为目标，导致跟踪出错。

发明内容

本发明提供目标跟踪方法、目标跟踪装置和无人机，以解决相关技术中判断目标实际位置时，计算量大和容易跟踪出错的问题。

根据本公开实施例的第一方面，提出一种目标跟踪方法，包括：

基于第一图像帧中的目标，在第二图像帧中确定多个待定目标；

通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标；

根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标；

通过预设跟踪模型在至少一个所述备选目标中确定实际目标。

根据本公开实施例的第二方面，提出一种目标跟踪装置，包括处理器，所述处理器用于执行如下步骤：

基于第一图像帧中的目标，在第二图像帧中确定多个待定目标；

通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标；

根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标；

通过预设跟踪模型在至少一个所述备选目标中确定实际目标。

根据本公开实施例的第三方面，提出无人机，包括上述任一实施例所述的装置。

根据本公开的实施例，由于预估目标是通过预设相关滤波模型得到的，是相对准确的结果，所以在确定预估目标和多个待定目标之后，可以确定每个待定目标与预设目标的相似度，然后根据相似度在多个待定目标中确定至少一个备选目标。

据此，实现了基于预估目标对多个待定目标进行筛选，从而得到相对准确的，且数量较少的备选目标，进而再通过预设跟踪模型在备选目标中确定实际目标。

相对直接通过预设跟踪模型在大量的待定目标中确定实际目标，可以极大地减少预设跟踪模型处理数据的数据量，从而缩短确定实际目标的时间，加快跟踪速度，并且由于预估目标是通过预设相关滤波模型得到的相对准确的结果，所以针对数量较少，且相对准确地备选目标确定实际目标，可以降低将实际目标周围相似目标确定为实际目标的可能性，从而提高跟踪的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开的实施例示出的一种目标跟踪方法的示意流程图。

图2是根据本公开的实施例示出的一种待定目标的示意图。

图3是根据本公开的实施例示出的一种预估目标的示意图。

图4是根据本公开的实施例示出的一种备选目标的示意图。

图5A和图5B是根据本公开的实施例示出的目标跟踪方法跟踪目标的示意图。

图6是根据本公开的实施例示出的另一种目标跟踪方法的示意流程图。

图7是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

图8是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

图9是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

图10是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

图11是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

图12是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

图13是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

图14是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

图15是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1是根据本公开的实施例示出的一种目标跟踪方法的示意流程图。本公开的实施例所示目标跟踪方法可以适用于具有图像采集功能的设备，可以独立的图像采集设备，例如照相机，摄像机等，也可以是装配有图像采集设备的设备，例如移动终端(手机、平板电脑等)，无人驾驶设备(无人机、无人车等)。

如图1所示，所述目标跟踪方法可以包括以下步骤：

步骤S1，基于第一图像帧中的目标，在第二图像帧中确定多个待定目标；所述第一图像帧与所述第二图像帧在码流中具有时序相关性；

在一个实施例中，所述目标跟踪方法所适用的设备，可以连续采集多帧图像，基于多帧图像中的第一图像帧中的目标，可以在第二图像帧中确定多个待定目标。

其中，可以根据第一图像帧中目标的运动状态，例如速度的大小，速度的方向，目标在第一图像帧中的位置等，在第二图像帧中预测目标可能出现的位置作为待定目标的中心。

需要说明的是，第一图像帧和第二图像帧，可以是所述多帧图像中连续的两帧图像，也可以是多帧图像中非连续的两帧图像，具体可以根据需要设置。

第一图像帧与第二图像帧在码流中具有时序相关性，可以是指第二图像帧在时序上位于第一图像帧之后，在这种情况下，第一图像帧先于第二图像帧被获取到，也就可以先确定第一图像帧中目标的运动状，进而可以根据第一图像帧中目标的运动状态，在后续获取到或即将获取到的第二图像帧中预测目标可能出现的位置作为待定目标的中心。

可选地，第二图像帧可以是与第一图像帧相邻的图像帧，例如在连续采集的n帧图像中，第一图像帧为第i帧图像，第二图像帧为第i+1帧图像。

可选地，第二图像帧可以是与第一图像帧不相邻的图像帧，例如在连续采集的n帧图像中，第一图像帧为第i帧图像，第二图像帧为第i+k帧图像，k大于1。

图2是根据本公开的实施例示出的一种待定目标的示意图。

如图2所示，可以通过矩形框表示待定目标，矩形框的中心与待定目标的中心重合，矩形框的尺寸可以与待定目标的外接矩形，或者感兴趣区域(Region of Interest，简称ROI)相同。

步骤S2，通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标；

在一个实施例中，通过预设相关滤波模型，估计第一图像帧中的目标在第二图像帧中的预估目标，具体可以先在第二图像帧中确定一块区域，该区域与第一图像帧中的目标至少部分重合，优选地，该区域的中心与第一图像帧中目标的中心重合，该区域的大小可以根据需要设置，然后提取改区域的特征，通过预设相关滤波模型在提取的特征上进行卷积，再通过快速傅氏变换(Fast Fourier Transformation，简称FFT)将卷积的结果转换到频域，进而确定频域上响应最大的点在第二图像帧中对应的坐标，最后以确定的坐标为中心，基于第一图像帧中的目标的尺寸，在第二图像帧中确定预估目标。

由于通过快速傅氏变换将卷积的结果转换到频域，可以在频域中利用特征的点乘来代替相对复杂的卷积过程，从而减少在第二图像帧中确定预估目标的耗时。

另外，由于预设相关滤波模型是预先训练得到的，具体是根据对目标和目标周围的位置信息进行学习和判断得到的，所以在估计第一图像帧中的目标在第二图像帧中的预估目标的过程中，使用预设相关滤波模型可以相对准确地确定预估目标。

所以通过预设相关滤波模型，可以快速且相对准确地估计第一图像帧中的目标在第二图像帧中的预估目标。

图3是根据本公开的实施例示出的一种预估目标的示意图。

如图3所示，通过预设相关滤波模型，估计第一图像帧中的目标在第二图像帧中的预估目标，可以得到一个预估目标。

需要说明的是，步骤S1和步骤S2的执行顺序不分先后，例如可以如图1所示，在步骤S2之前执行步骤S1，也可以根据需要调整执行顺序，例如在步骤S1之前执行步骤S2，或者同时执行步骤S1和步骤S2。

步骤S3，根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标；

步骤S4，通过预设跟踪模型在至少一个所述备选目标中确定实际目标。

在一个实施例中，由于预估目标是通过预设相关滤波模型得到的，是相对准确的结果，所以在确定预估目标和多个待定目标之后，可以确定每个待定目标与预设目标的相似度，然后根据相似度在多个待定目标中确定至少一个备选目标，例如选择相似度最大的待定目标作为备选目标，或者选择相似度大于预设值的待定目标为备选目标。

图4是根据本公开的实施例示出的一种备选目标的示意图。

如图4所示，可以选择相似度大于预设值的待定目标为备选目标，据此可以在图2所示的待定目标中确定出多个备选目标，由于确定出的备选目标与图3中的预估目标相似度较高，所以在图4中多个备选目标的位置高度集中。

据此，实现了基于预估目标对多个待定目标进行筛选，从而得到相对准确的，且数量较少的备选目标，进而再通过预设跟踪模型在备选目标中确定实际目标。

相对直接通过预设跟踪模型在大量的待定目标中确定实际目标，可以极大地减少预设跟踪模型处理数据的数据量，从而缩短确定实际目标的时间，加快跟踪速度，并且由于预估目标是通过预设相关滤波模型得到的相对准确的结果，所以针对数量较少，且相对准确地备选目标确定实际目标，可以降低将实际目标周围相似目标确定为实际目标的可能性，从而提高跟踪的准确性。

图5A和图5B是根据本公开的实施例示出的目标跟踪方法跟踪目标的示意图。

如图5A和图5B所示，在多帧(例如三帧)图像中可以分别确定实际目标。其中，如图5A所示，本实施例所述的目标跟踪方法可以适用于跟踪人体，如图5C所示，本实施例所述的目标跟踪方法可以适用于跟踪车辆等物体。

本实施例所述的方法并不限于上述实施例跟踪人体，车辆，还可以根据人脸等其他类型的目标，具体可以根据需要配置。

将本实施例所述的方法应用于具体的跟踪过程中，根据实验结果，相对于相关技术，每秒处理视频的帧数(FPS)可以提高20％，也即缩短了确定实际目标的时间，加快跟踪速度，并且确定的实际目标与人为标注目标的相似度可以提高2％，也即提高了跟踪的准确性。

图6是根据本公开的实施例示出的另一种目标跟踪方法的示意流程图。如图6所示，所述基于第一图像帧中的目标，在第二图像帧中确定多个待定目标包括：

步骤S11，基于第一图像帧中的目标，通过预设高斯函数在第二图像帧中确定多个待定目标，其中，所述预设高斯函数的期望值等于所述第一图像帧中目标的中心的坐标。

在一个实施例中，基于第一图像帧中的目标，在第二图像帧中确定多个待定目标，可以通过预设高斯函数得到，预设高斯函数的期望值等于第一图像帧中目标的中心的坐标。具体地，根据第一图像帧中目标的运动状态，例如速度的大小，速度的方向，目标在第一图像帧中的位置等，通过预设高斯函数在第二图像帧中产生大量目标可能的位置信息。

可以将产生的位置信息作为待定目标的中心，然后通过矩形框表示待定目标，矩形框的中心与待定目标的中心重合，矩形框的尺寸可以与待定目标的外接矩形(可以根据第一图像帧中目标的外接矩形确定)，或者感兴趣区域(可以根据第一图像帧中目标的感兴趣区域确定)相同。

图7是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图7所示，所述通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标包括：

步骤S21，在所述第二图像帧中确定跟踪区域，其中，所述跟踪区域与所述第一图像帧中的目标至少部分重合，且所述跟踪区域的尺寸为所述第一图像帧中的目标的尺寸的n倍，n＞1；

步骤S22，通过预设相关滤波模型，在所述跟踪区域中估计所述第一图像帧中的目标在所述第二图像帧中的预估目标。

在一个实施例中，可以在第二图像帧中确定尺寸大于第一图像帧中目标的尺寸的跟踪区域，进而通过预设相关滤波模型，在跟踪区域中估计第一图像帧中的目标在第二图像帧中的预估目标。

由于跟踪区域的尺寸为第一图像帧中的目标的尺寸的n倍，且n＞1，也即跟踪区域的尺寸大于第一图像帧中目标的尺寸，并且跟踪区域与第一图像帧中的目标至少部分重合，所以相对于在与第一图像帧中目标的尺寸相同的区域中估计预估目标，由于跟踪区域尺寸较大，更大概率能够将目标运动后的预估目标包含在内，可以提高估计预估目标的准确率。

而且虽然跟踪区域的尺寸大于第一图像帧中目标的尺寸，在更大尺寸的区域内估计预估目标需要更多的计算量，但是由于本实施例通过预设相关滤波模型，在跟踪区域中估计第一图像帧中的目标在第二图像帧中的预估目标，其中通过快速傅氏变换将卷积的结果转换到频域，可以在频域中利用特征的点乘来代替相对复杂的卷积过程，所以即使在较大的区域内估计预估目标，由于计算过程简单，并不会产生过多额外耗时，仍能保证较高的计算效率。

可选的，所述跟踪区域的中心与所述第一图像帧中的目标的中心重合。

在一个实施例中，由于目标从第一图像帧中的位置运动到第二图像帧中的位置，是从第一图像帧中目标的中心开始运动的，所以第二图像帧的实际目标，更有可能出现在第一图像帧中目标的中心附近，因此确定的跟踪区域，其中心可以与第一图像帧中的目标的中心重合，从而可以在第一图像帧中目标的中心附近估计预估目标，相对于在远离第一图像帧中目标的中心的情况下估计预估目标，有利于保证估计到的预估目标与第二图像帧目标的实际位置相符。

可选地，n＝3。

在一个实施例中，跟踪区域的尺寸与第一图像帧中的目标的尺寸的关系可以根据需要进行设置，本实施例在确保跟踪区域的尺寸比第一图像帧中的目标的尺寸大的基础上，设置n＝3，也即跟踪区域的尺寸为第一图像帧中的目标的尺寸的3倍，使得跟踪区域不会过大。

因为在越大的跟踪区域中估计预估目标，所需的计算量越大，而目标的运动速度一般不会过大，也即在第二图像帧中目标的位置与在第一图像帧中目标的位置不会过远，所以设置过大的跟踪区域几乎不会提高在第二图像帧中估计预估目标的准确率，而会较大程度上增加计算量。

所以设置n＝3，确保跟踪区域的尺寸比第一图像帧中的目标的尺寸大，又使得跟踪区域不会过大，既可以提高估计预估目标的准确率，又不会过多地增加计算量。

在一个实施例中，可以根据目标在第一图像帧中的速度大小来设置n，速度越大，说明目标在第二图像帧中的位置与在第一图像帧中的位置距离可能月远，所以可以设置n越大，以便确保跟踪区域能够包含目标在第二图像帧中的位置，从而确保估计预估目标具有较高的准确率。

需要说明的是，n可以根据第二图像帧与第一图像帧相距的时间来确定，第二图像帧与第一图像帧相距的时间越大，那么一般情况下，目标从第一图像帧对应时刻到第二图像帧对应时刻运动的距离就可能越大，目标在第一图像帧中的中心，到目标在第二图像帧中的中心距离可能就越远，那么可以将n设置的越大，以便保证跟踪区域能够更大概率包含目标在第二图像帧中的位置，从而确保估计预估目标具有较高的准确率。

图8是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图8所示，所述方法还包括：

步骤S5，以所述跟踪区域的特征作为输入，以所述实际目标的中心作为输出构成样本，更新所述预设相关滤波模型对应的第一训练样本集；

步骤S6，根据更新后的第一训练样本集，通过机器学习更新所述预设相关滤波模型。

在一个实施例中，预设相关滤波模型可以是根据第一训练样本集预先训练得到的，第一训练样本集中包含多个样本，样本的输入是前一帧(例如第一图像帧)中目标所在区域的特征，例如目标的外接矩形的特征，目标的感兴趣区域的特征，目标所在的某一帧图像的特征等，样本的输出是当前帧(例如第二图像帧)目标中心的坐标。

根据本实施例，在确定实际目标后，可以以跟踪区域的特征作为输入，以实际目标的中心作为输出构成样本a，更新预设相关滤波模型对应的第一训练样本集。例如可以将样本a添加至第一训练样本集中，使得更新后的第一训练样本集增加一个样本a。然后再根据更新后的第一训练样本集，通过机器学习更新预设相关滤波模型，以使更新后的预设相关滤波模型更符合目标在最近两帧中的运动状态，以便后续使用更新后的预设相关滤波模型可以更加准确地估计预估目标。

图9是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图9所示，所述通过预设相关滤波模型，在所述跟踪区域中估计所述第一图像帧中的目标在所述第二图像帧中的预估目标包括：

步骤S221，提取所述跟踪区域的特征；

步骤S222，通过预设相关滤波模型在所述特征上进行卷积；

步骤S223，通过快速傅氏变换将卷积的结果转换到频域；

步骤S224，确定频域上响应最大的点在所述跟踪区域对应的坐标；

步骤S225，以所述坐标为中心，基于所述第一图像帧中的目标的尺寸，在所述第二图像帧中确定预估目标。

在一个实施例中，通过预设相关滤波模型，在跟踪区域中估计第一图像帧中的目标在第二图像帧中的预估目标，具体可以先提取跟踪区域的特征，然后通过预设相关滤波模型在提取的特征上进行卷积，再通过快速傅氏变换将卷积的结果转换到频域，进而确定频域上响应最大的点在第二图像帧中对应的坐标，最后以确定的坐标为中心，基于第一图像帧中的目标的尺寸，在第二图像帧中确定预估目标。

由于通过快速傅氏变换将卷积的结果转换到频域，可以在频域中利用特征的点乘来代替相对复杂的卷积过程，从而减少在第二图像帧中确定预估目标的耗时。

另外，由于预设相关滤波模型是预先训练得到的，具体是根据对目标和目标周围的位置信息进行学习和判断得到的，所以在估计第一图像帧中的目标在第二图像帧中的预估目标的过程中，使用预设相关滤波模型可以相对准确地确定预估目标。

所以通过预设相关滤波模型，可以快速且相对准确地估计第一图像帧中的目标在第二图像帧中的预估目标。

图10是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图10所示，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

步骤S31，根据多个所述待定目标与所述预估目标的交并比，在多个所述待定目标中确定至少一个备选目标。

在一个实施例中，可以根据待定目标与预估目标的交并比(Intersection overUnion，简称IoU)，确定待定目标与预估目标的相似度，其中，交并比是指待定目标的位置信息与预估目标的位置信息的交集，除以待定目标的位置信息与预估目标的位置信息的并集。

例如通过待定目标的外接矩形表示待定目标的位置信息，通过预估目标的外接矩形表示预估目标的位置信息，待定目标与预估目标的交并比就是待定目标的外接矩形与预估目标的外接矩形重合的区域，除以待定目标的外接矩形与预估目标的外接矩形合并在其一的区域。

交并比越大，说明待定目标与预估目标重叠的部分越大，也即待定目标与预估目标相似度越高，从而可以根据根据多个待定目标与预估目标的交并比，在多个待定目标中确定至少一个备选目标，例如选择交并比最大的待定目标作为备选目标，或者选择交并比大于预设比值的待定目标作为备选目标。

图11是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图11所示，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

步骤S32，提取所述待定目标中预设位置的像素的特征，以及提取所述预估目标中对应位置的像素的特征；

步骤S33，根据所述预设位置的像素的特征与所述对应位置的像素的特征的相似度，在多个所述待定目标中确定至少一个备选目标。

在一个实施例中，预设位置可以是一个或多个位置，最少包括待定区域中一个像素的位置，最多包括待定区域中每个像素的位置。

例如预设位置的像素为待定目标的中心位置的像素，那么预估目标中对应位置是指预设目标的中心位置的像素，例如预设位置为待定目标的第一行的像素，那么预估目标中对应位置是指预设目标的第一行的像素。

由于预估目标和待定目标都是针对目标估计的结果，那么待定目标中预设位置的像素的特征与预估目标中对应位置的像素的特征的相似度越高，待定目标和预估目标越有可能属于对于目标预估的相同结果，因此，可以根据预设位置的像素的特征与对应位置的像素的特征的相似度，在多个待定目标中确定至少一个备选目标，例如选择相似度最高的预估目标作为备选目标，或者选择相似度高于预设阈值的预估目标作为备选目标。

图12是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图12所示，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

步骤S34，在多个所述待定目标中确定与所述预估目标的相似度最大的待定目标为所述备选目标。

在一个实施例中，可以在多个待定目标中确定与预估目标的相似度最大的待定目标为备选目标，据此，只需确定一个备选目标，可以有效地降低后续通过预设跟踪模型在至少一个备选目标中确定实际目标的计算量。

需要说明的是，在这种情况下，由于只确定一个备选目标，那么通过预设跟踪模型在至少一个备选目标中确定实际目标，也就只需针对一个备选目标确定其是否为实际目标，若确定该备选目标不是实际目标，可以生成提示信息，若确定该备选目标是实际目标，则可以基于实际目标的位置等信息进行跟踪。

图13是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图13所示，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

步骤S35，对多个所述待定目标与所述预估目标的相似度进行排序；

步骤S36，根据所述相似度的预设次序在多个所述待定目标确定所述备选目标。

在一个实施例中，在计算出多个待定目标与预估目标的相似度后，可以对多个待定目标与预估目标的相似度进行排序，可以由大到小排序，也可以有小到大排序，以由大到小排序为例，可以将排在预设次序之前的相似度对应的待定目标确定为备选目标。

其中，预设次序可以直接以次序表示，例如将排在第10个相似度之前的相似度对应的待定目标确定为备选目标；预设次序可以以比例表示，例如将排在前百分之十的相似度对应的待定目标确定为备选目标。

图14是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图14所示，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

步骤S37，将大于预设值的相似度对应的待定目标确定为所述备选目标。

在一个实施例中，在计算出多个待定目标与预估目标的相似度后，可以将每个相似度与预设值进行比较，确定出大于预设值的相似度，进而将大于预设值的相似度对应的待定目标确定为备选目标。其中，若不存在大于预设值的相似度，可以生成提示信息。

图15是根据本公开的实施例示出的又一种目标跟踪方法的示意流程图。如图15所示，所述方法还包括：

步骤S7，以所述第一图像帧中的目标的特征作为输入，以所述实际目标的中心作为输出构成样本，更新所述预设跟踪模型对应的第二训练样本集；

步骤S8，根据更新后的第二训练样本集，通过机器学习更新所述预设跟踪模型。

在一个实施例中，预设跟踪模型(包括但不限于神经网络，例如卷积神经网络)可以是根据第二训练样本集预先训练得到的，第二训练样本集中包含多个样本，样本的输入是前一帧(例如第一图像帧)中目标所在区域的特征，例如目标的外接矩形的特征，目标的感兴趣区域的特征，目标所在的某一帧图像的特征等，样本的输出是当前帧(例如第二图像帧)目标中心的坐标。

根据本实施例，在确定实际目标后，可以以跟踪区域的特征作为输入，以实际目标的中心作为输出构成样本b，更新预设跟踪模型对应的第二训练样本集。例如可以将样本b添加至第二训练样本集中，使得更新后的第二训练样本集增加一个样本b。然后再根据更新后的第二训练样本集，通过机器学习更新预设跟踪模型，以使更新后的预设跟踪模型更符合目标在最近两帧中的运动状态，以便后续使用更新后的预设跟踪模型可以更加准确地估计预估目标。

本公开的实施例还提出一种目标跟踪装置，包括处理器，所述处理器用于执行如下步骤：

基于第一图像帧中的目标，在第二图像帧中确定多个待定目标；

通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标；

根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标；

通过预设跟踪模型在至少一个所述备选目标中确定实际目标。

在一个实施例中，所述处理器用于执行如下步骤：

基于第一图像帧中的目标，通过预设高斯函数在第二图像帧中确定多个待定目标，其中，所述预设高斯函数的期望值等于所述第一图像帧中目标的中心的坐标。

在一个实施例中，所述处理器用于执行如下步骤：

在所述第二图像帧中确定跟踪区域，其中，所述跟踪区域与所述第一图像帧中的目标至少部分重合，且所述跟踪区域的尺寸为所述第一图像帧中的目标的尺寸的n倍，n＞1；

通过预设相关滤波模型，在所述跟踪区域中估计所述第一图像帧中的目标在所述第二图像帧中的预估目标。

在一个实施例中，所述跟踪区域的中心与所述第一图像帧中的目标的中心重合。

在一个实施例中，n＝3。

在一个实施例中，所述处理器还用于执行如下步骤：

以所述跟踪区域的特征作为输入，以所述实际目标的中心作为输出构成样本，更新所述预设相关滤波模型对应的第一训练样本集；

根据更新后的第一训练样本集，通过机器学习更新所述预设相关滤波模型。

在一个实施例中，所述处理器用于执行如下步骤：

提取所述跟踪区域的特征；

通过预设相关滤波模型在所述特征上进行卷积；

通过快速傅氏变换将卷积的结果转换到频域；

确定频域上响应最大的点在所述跟踪区域对应的坐标；

以所述坐标为中心，基于所述第一图像帧中的目标的尺寸，在所述第二图像帧中确定预估目标。

在一个实施例中，所述处理器用于执行如下步骤：

根据多个所述待定目标与所述预估目标的交并比，在多个所述待定目标中确定至少一个备选目标。

在一个实施例中，所述处理器用于执行如下步骤：

提取所述待定目标中预设位置的像素的特征，以及提取所述预估目标中对应位置的像素的特征；

根据所述预设位置的像素的特征与所述对应位置的像素的特征的相似度，在多个所述待定目标中确定至少一个备选目标。

在一个实施例中，所述处理器用于执行如下步骤：

在多个所述待定目标中确定与所述预估目标的相似度最大的待定目标为所述备选目标。

在一个实施例中，所述处理器用于执行如下步骤：

对多个所述待定目标与所述预估目标的相似度进行排序；

根据所述相似度的预设次序在多个所述待定目标确定所述备选目标。

在一个实施例中，所述处理器用于执行如下步骤：

将大于预设值的相似度对应的待定目标确定为所述备选目标。

在一个实施例中，所述处理器还用于执行如下步骤：

以所述第一图像帧中的目标的特征作为输入，以所述实际目标的中心作为输出构成样本，更新所述预设跟踪模型对应的第二训练样本集；

根据更新后的第二训练样本集，通过机器学习更新所述预设跟踪模型。

本公开的实施例还提出一种无人机，包括上述任一实施例所述的目标跟踪装置。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (27)

1.一种目标跟踪方法，其特征在于，包括：

基于第一图像帧中的目标，在第二图像帧中确定多个待定目标；所述第一图像帧与所述第二图像帧在码流中具有时序相关性；

通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标；

根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标；

通过预设跟踪模型在至少一个所述备选目标中确定实际目标。

2.根据权利要求1所述的方法，其特征在于，所述基于第一图像帧中的目标，在第二图像帧中确定多个待定目标包括：

基于第一图像帧中的目标，通过预设高斯函数在第二图像帧中确定多个待定目标，其中，所述预设高斯函数的期望值等于所述第一图像帧中目标的中心的坐标。

3.根据权利要求1所述的方法，其特征在于，所述通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标包括：

在所述第二图像帧中确定跟踪区域，其中，所述跟踪区域与所述第一图像帧中的目标至少部分重合，且所述跟踪区域的尺寸为所述第一图像帧中的目标的尺寸的n倍，n＞1；

通过预设相关滤波模型，在所述跟踪区域中估计所述第一图像帧中的目标在所述第二图像帧中的预估目标。

4.根据权利要求3所述的方法，其特征在于，所述跟踪区域的中心与所述第一图像帧中的目标的中心重合。

5.根据权利要求3所述的方法，其特征在于，n＝3。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

以所述跟踪区域的特征作为输入，以所述实际目标的中心作为输出构成样本，更新所述预设相关滤波模型对应的第一训练样本集；

根据更新后的第一训练样本集，通过机器学习更新所述预设相关滤波模型。

7.根据权利要求3所述的方法，其特征在于，所述通过预设相关滤波模型，在所述跟踪区域中估计所述第一图像帧中的目标在所述第二图像帧中的预估目标包括：

提取所述跟踪区域的特征；

通过预设相关滤波模型在所述特征上进行卷积；

通过快速傅氏变换将卷积的结果转换到频域；

确定频域上响应最大的点在所述跟踪区域对应的坐标；

以所述坐标为中心，基于所述第一图像帧中的目标的尺寸，在所述第二图像帧中确定预估目标。

8.根据权利要求1所述的方法，其特征在于，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

根据多个所述待定目标与所述预估目标的交并比，在多个所述待定目标中确定至少一个备选目标。

9.根据权利要求1所述的方法，其特征在于，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

提取所述待定目标中预设位置的像素的特征，以及提取所述预估目标中对应位置的像素的特征；

根据所述预设位置的像素的特征与所述对应位置的像素的特征的相似度，在多个所述待定目标中确定至少一个备选目标。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

在多个所述待定目标中确定与所述预估目标的相似度最大的待定目标为所述备选目标。

11.根据权利要求1至9中任一项所述的方法，其特征在于，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

对多个所述待定目标与所述预估目标的相似度进行排序；

根据所述相似度的预设次序在多个所述待定目标确定所述备选目标。

12.根据权利要求1至9中任一项所述的方法，其特征在于，所述根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标包括：

将大于预设值的相似度对应的待定目标确定为所述备选目标。

13.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：

以所述第一图像帧中的目标的特征作为输入，以所述实际目标的中心作为输出构成样本，更新所述预设跟踪模型对应的第二训练样本集；

根据更新后的第二训练样本集，通过机器学习更新所述预设跟踪模型。

14.一种目标跟踪装置，其特征在于，包括处理器，所述处理器用于执行如下步骤：

基于第一图像帧中的目标，在第二图像帧中确定多个待定目标；

通过预设相关滤波模型，估计所述第一图像帧中的目标在所述第二图像帧中的预估目标；

根据多个所述待定目标与所述预估目标的相似度，在多个所述待定目标中确定至少一个备选目标；

通过预设跟踪模型在至少一个所述备选目标中确定实际目标。

15.根据权利要求14所述的装置，其特征在于，所述处理器用于执行如下步骤：

基于第一图像帧中的目标，通过预设高斯函数在第二图像帧中确定多个待定目标，其中，所述预设高斯函数的期望值等于所述第一图像帧中目标的中心的坐标。

16.根据权利要求14所述的装置，其特征在于，所述处理器用于执行如下步骤：

在所述第二图像帧中确定跟踪区域，其中，所述跟踪区域与所述第一图像帧中的目标至少部分重合，且所述跟踪区域的尺寸为所述第一图像帧中的目标的尺寸的n倍，n＞1；

通过预设相关滤波模型，在所述跟踪区域中估计所述第一图像帧中的目标在所述第二图像帧中的预估目标。

17.根据权利要求16所述的装置，其特征在于，所述跟踪区域的中心与所述第一图像帧中的目标的中心重合。

18.根据权利要求16所述的装置，其特征在于，n＝3。

19.根据权利要求16所述的装置，其特征在于，所述处理器还用于执行如下步骤：

以所述跟踪区域的特征作为输入，以所述实际目标的中心作为输出构成样本，更新所述预设相关滤波模型对应的第一训练样本集；

根据更新后的第一训练样本集，通过机器学习更新所述预设相关滤波模型。

20.根据权利要求16所述的装置，其特征在于，所述处理器用于执行如下步骤：

提取所述跟踪区域的特征；

通过预设相关滤波模型在所述特征上进行卷积；

通过快速傅氏变换将卷积的结果转换到频域；

确定频域上响应最大的点在所述跟踪区域对应的坐标；

以所述坐标为中心，基于所述第一图像帧中的目标的尺寸，在所述第二图像帧中确定预估目标。

21.根据权利要求14所述的装置，其特征在于，所述处理器用于执行如下步骤：

根据多个所述待定目标与所述预估目标的交并比，在多个所述待定目标中确定至少一个备选目标。

22.根据权利要求14所述的装置，其特征在于，所述处理器用于执行如下步骤：

提取所述待定目标中预设位置的像素的特征，以及提取所述预估目标中对应位置的像素的特征；

根据所述预设位置的像素的特征与所述对应位置的像素的特征的相似度，在多个所述待定目标中确定至少一个备选目标。

23.根据权利要求14至22中任一项所述的装置，其特征在于，所述处理器用于执行如下步骤：

在多个所述待定目标中确定与所述预估目标的相似度最大的待定目标为所述备选目标。

24.根据权利要求14至22中任一项所述的装置，其特征在于，所述处理器用于执行如下步骤：

对多个所述待定目标与所述预估目标的相似度进行排序；

根据所述相似度的预设次序在多个所述待定目标确定所述备选目标。

25.根据权利要求14至22中任一项所述的装置，其特征在于，所述处理器用于执行如下步骤：

将大于预设值的相似度对应的待定目标确定为所述备选目标。

26.根据权利要求14至22中任一项所述的装置，其特征在于，所述处理器还用于执行如下步骤：

以所述第一图像帧中的目标的特征作为输入，以所述实际目标的中心作为输出构成样本，更新所述预设跟踪模型对应的第二训练样本集；

根据更新后的第二训练样本集，通过机器学习更新所述预设跟踪模型。

27.一种无人机，其特征在于，包括权利要求14至26中任一项所述的装置。

Images